DE102019122181B4 - Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen - Google Patents

Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen Download PDF

Info

Publication number
DE102019122181B4
DE102019122181B4 DE102019122181.1A DE102019122181A DE102019122181B4 DE 102019122181 B4 DE102019122181 B4 DE 102019122181B4 DE 102019122181 A DE102019122181 A DE 102019122181A DE 102019122181 B4 DE102019122181 B4 DE 102019122181B4
Authority
DE
Germany
Prior art keywords
video
user interaction
transport
display
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019122181.1A
Other languages
English (en)
Other versions
DE102019122181A1 (de
Inventor
Srikanth Kambhatla
Nausheen Ansari
Gary Smith
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102019122181A1 publication Critical patent/DE102019122181A1/de
Application granted granted Critical
Publication of DE102019122181B4 publication Critical patent/DE102019122181B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Anzeigevorrichtung (102), die aufweist:einen Anzeigebildschirm (622) zum Präsentieren von Video; undeine Steuereinrichtung(210), die mit dem Anzeigebildschirm (622) gekoppelt ist, wobei die Steuereinrichtung dazu ausgebildet ist:von einer Inhaltsquelle (101) über eine Transporttopologie (230) einen ersten Videostrom zu empfangen, der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame (345) von zusammengesetztem Videoinhalt aufweist;von der Inhaltsquelle (101) über die Transporttopologie (230) einen zweiten Videostrom zu empfangen, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene einen Benutzerinteraktion-Frame (346) von Benutzerinteraktionsinhalt aufweist;den Basis-Frame (345) und den Benutzerinteraktion-Frame (346) zu kombinieren, um einen zusammengesetzten Frame zu generieren; undden zusammengesetzten Frame dem Anzeigebildschirm (622) zur Präsentation bereitzustellen;wobei der erste Videostrom von einem ersten Transport-Agnostic-Display-konformen Empfänger (215) empfangen wird, der von der Steuereinrichtung implementiert wird, undder zweite Videostrom von einem zweiten Transport-Agnostic-Display-konformen Empfänger (216) empfangen wird, der von der Steuereinrichtung (210) implementiert wird; unddie Steuereinrichtung (210) außerdem dazu ausgebildet ist:von der Inhaltsquelle (101) über die Transporttopologie (230) eine Benutzerinteraktion-Binden-Nachricht (342) zu empfangen, um die ersten und zweiten Videoströme zu binden, wobei die Benutzerinteraktion-Binden-Nachricht einen ersten Handle des ersten Transport-Agnostic-Display-konformen Empfängers (215) angibt;den zweiten Transport-Agnostic-Display-konformen Empfänger (216) als Reaktion auf die Benutzerinteraktion-Binden-Nachricht (342) zu generieren; undals Reaktion auf die Benutzerinteraktion-Binden-Nachricht eine Benutzerinteraktion-Gebunden-Nachricht (343) zu generieren, die einen zweiten Handle des zweiten Transport-Agnostic-Display-konformen Empfängers (216) angibt.

Description

  • HINTERGRUND
  • Anzeigeschnittstellen dienen der Übertragung von Audio und/oder Video von einer Quellvorrichtung an eine Anzeigevorrichtung. Anzeigeschnittstellen umfassen beispielsweise HDMI (High Definition Multimedia Interface), DP (DisplayPort), eDP (embedded DisplayPort) und MIPI-(Mobile Industry Processor Interface)-DSI (Display Serial Interface). HDMI, ein digitaler Ersatz für analoge Videostandards, ist eine proprietäre Audio- und Videoschnittstelle zum Übertragen unkomprimierter Videodaten und komprimierter oder unkomprimierter digitaler Audiodaten von einer HDMI-konformen Quellvorrichtung, wie zum Beispiel einer Anzeigesteuerung, an eine kompatible Anzeigevorrichtung. DP ist eine durch die Video Electronics Standards Association (VESA) genormte digitale Anzeigeschnittstelle und bietet eine Schnittstelle zum Verbinden einer Videoquelle mit einer Anzeigevorrichtung und zum Übertragen von Audiodaten und anderen Arten von Daten. DP wurde dafür konzipiert, VGA (Video Graphics Array) und DVI (Digital Visual Interface) abzulösen. Die DP-Schnittstelle ist rückwärtskompatibel zu anderen Schnittstellen wie zum Beispiel HDMI und DVI. eDP definiert eine genormte Anzeigefeldschnittstelle für interne Verbindungen wie zum Beispiel Verbindungen zwischen Grafikkarten und Notebook-Anzeigefeldern. MIPI-DSI definiert eine serielle Schnittstelle hoher Geschwindigkeit zwischen einem Host-Prozessor und einem Anzeigemodul zum Bereitstellen integrierter Anzeigen mit hoher Leistung. MIPI-DSI wird gewöhnlich für Anzeigeeinrichtungen in Smartphones, Tablets, Laptops und Fahrzeugen verwendet.
  • Es kann vorteilhaft sein, Anzeigeschnittstellen dafür zu verbessern, verschiedene Transporteinrichtungen zu unterstützen, um die Anzahl von Video-Streaming-Protokollen zu reduzieren, die in einer Quellvorrichtung implementiert werden müssen. Hinsichtlich dieser und anderer Überlegungen waren und sind die vorliegenden Verbesserungen erforderlich. Derartige Verbesserungen können maßgeblich werden, wenn das Verlangen zunimmt, Video- und Audiodaten in einer Vielzahl von Kontexten anzuzeigen.
  • EP 3 336 685 A2 beschreibt ein Verfahren zum Darstellen von Bildern auf einem Bildschirm. Ein Einzelbild hat dabei einen vorgegebenen Teilbereich, in dem sich beispielsweise ein Cursor befindet, wobei der Teilbereich eine hohe Anforderung an die Dienstgüte hat. Eine Bildschirmsteuerung kann den Teilbereich mit der hohen Anforderung unabhängig vom restlichen Bild an den Bildschirm schicken, falls die Leistungsfähigkeit des Systems es verlangt.
  • CN 1 04 836 936 A beschreibt ein Datenübertragungsverfahren in dem ein sendendes Ende ein derzeitiges Bildschirmbild abfängt und das Bildschirmbild an ein empfangendes Ende sendet. Das sendende Ende nimmt Cursorinformation auf und sendet die Cursorinformation an das empfangende Ende weiter, wobei die Cursorinformationen Positionsinformationen und Zustandsinformationen umfassen. Das empfangende Ende sucht nach einem Cursorbild, das zu den Zustandsinformationen korrespondieren und superponiert das Cursorbild auf das Bildschirmbild entsprechend der Positionsinformationen.
  • US 2017/0171 494 A1 beschreibt eine Quellvorrichtung für eine drahtlose Anzeigenvorrichtung, wobei darzustellende Inhalte in mehreren Lagen einen dazustellenden Inhalt bilden. Die Quellvorrichtung ist dazu eingerichtet den darzustellenden Inhalt mittels eines Transportstroms bestehend aus mehreren Teilströmen an eine oder mehrere Anzeigenvorrichtungen zu schicken.
  • US 2010/0 232 521 A1 beschreibt ein System zum Bereitstellen von interaktivem Video, wobei ein Videoencoder mindestens eine grundlegende Inhaltssequenz erhält und eine Mehrzahl von exklusiven weitern Inhaltssequenzen erhält und daraus einen ersten skalierbaren Videostream generiert, der sich aus der grundlegenden Inhaltssequenz und mindestens einer der exklusiven Inhaltssequenzen zusammensetzt, und einen 2. skalierbaren Videostream generiert, der sich aus der grundlegenden Inhaltssequenz und mindestens einem anderen der exklusiven Inhaltssequenzen zusammensetzt. Das System multiplext daraufhin den 1. und den 2. skalierbaren Videostream.
  • US 2018/0 183 899 A1 beschreibt ein System, dass ein transport-agnostisches Displayprotokoll zum Übertragen und Darstellen von Videostreams beschreibt. Beispielsweise werden 2 Videos dreams über 2 verschiedene transport-agnostische Verbindungen übertragen und dann gemeinsam dargestellt.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die hier beschriebene Materie ist in den beigefügten Figuren beispielhaft und nicht einschränkend veranschaulicht. Aus Gründern einfacher und klarer Darstellung sind in den Figuren dargestellte Elemente nicht zwangsläufig maßstäblich gezeichnet. Beispielsweise können die Abmessungen einiger Elemente aus Gründen der Übersichtlichkeit im Vergleich zu anderen Elementen übertrieben dargestellt sein. Ferner wurden Bezugskennzeichnungen in den Figuren wiederholt, um entsprechende oder analoge Elemente anzugeben, wo dies als angemessen erachtet wurde. Es stellen dar:
    • 1 eine beispielhafte Ende-zu-Ende-Schichtstruktur eines Transport-Agnostic-Display-Protokolls von Vorrichtungen;
    • 2 eine beispielhafte TAD-Quellvorrichtung, die mit einer beispielhaften TAD-Senkenvorrichtung über eine beispielhafte Transporttopologie gekoppelt ist;
    • 3 einen beispielhaften Vorgang zum Übertragen und Empfangen separater Videoströme für Basisinhalt und Benutzerinteraktionsinhalt;
    • 4 eine beispielhafte TAD-Quellvorrichtung, eine beispielhafte TAD-Senkenvorrichtung sowie beispielhafte Operationen von Teilkomponenten davon;
    • 5 ein beispielhaftes Kombinieren eines Basis-Frames und eines Benutzerinteraktion-Frames;
    • 6 eine andere beispielhafte TAD-Quellvorrichtung, die mit der TAD-Senkenvorrichtung über die beispielhafte Transporttopologie gekoppelt ist;
    • 7 einen beispielhaften Vorgang zum Übertragen und Empfangen separater Videoströme für Basisinhalt und Benutzerinteraktionsinhalt;
    • 8 ein beispielhaftes Zeitdiagramm von Basis-Frames und Benutzerinteraktion-Frames;
    • 9 ein beispielhaftes Zeitdiagramm von Basis-Frames, Benutzerinteraktion-Frames und Nachrichten für Benutzerinteraktionsinhaltsaktualisierung;
    • 10 ein Ablaufdiagramm, das einen beispielhaften Vorgang zum Empfangen und Präsentieren von Video über verschiedene Transporteinrichtungen zeigt;
    • 11 ein Ablaufdiagramm, das einen anderen beispielhaften Vorgang zum Generieren und Übertragen von Video über verschiedene Transporteinrichtungen zeigt;
    • 12 eine veranschaulichende Darstellung eines Beispielsystems zum Empfangen und Präsentieren von Video und/oder zum Generieren und Übertragen von Video über verschiedene Transporteinrichtungen;
    • 13 eine veranschaulichende Darstellung eines Beispielsystems; und
    • 14 eine Beispielvorrichtung, wobei alles gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Es werden nun eine oder mehrere Ausführungsformen oder Implementierungen unter Bezugnahme auf die beigefügten Figuren beschrieben. Obwohl spezielle Konfigurationen und Anordnungen behandelt werden, sollte verstanden werden, dass dies lediglich zu Veranschaulichungszwecken geschieht. Der einschlägige Fachmann wird erkennen, dass andere Konfigurationen und Anordnungen verwendet werden können, ohne von dem Wesen und Offenbarungsumfang der Beschreibung abzuweichen. Es wird für den einschlägigen Fachmann offensichtlich sein, dass Techniken und/oder Anordnungen, die hier beschrieben sind, auch in einer Vielzahl anderer Systeme und Anwendungen als den hier beschriebenen verwendet werden können.
  • Obwohl die folgende Beschreibung verschiedene Implementierungen darlegt, die sich in Architekturen, wie zum Beispiel SoC-(System-on-a-Chip)-Architekturen, offenbaren können, ist die Implementierung der Techniken und/oder Anordnungen, wie hier beschrieben, nicht auf bestimmte Architekturen und/oder Rechensysteme beschränkt und kann durch jede Architektur und/oder jedes Rechensystem für ähnliche Zwecke implementiert sein. Beispielsweise können verschiedene Architekturen, die zum Beispiel mehrere Chips und/oder Gehäuse integrierter Schaltungen (IC, integrated circuit) verwenden, und/oder verschiedene Rechenvorrichtungen und/oder Vorrichtungen der Unterhaltungselektronik (CE, consumer electronic), wie zum Beispiel Set-Top-Boxen, Smartphones usw., die hier beschriebenen Techniken und/oder Anordnungen implementieren. Ferner kann, obwohl die folgende Beschreibung zahlreiche spezifische Details darlegen kann, wie zum Beispiel Logikimplementierungen, Arten und Zusammenhänge von Systemkomponenten, Auswahl bezüglich Logikpartitionierung/- einbindung usw., der beanspruchte Gegenstand ohne derartige spezifische Details praktiziert werden. In anderen Fällen kann es sein, dass einige Elemente, wie zum Beispiel Steuerstrukturen und vollständige Anweisungsfolgen von Software, nicht detailliert dargestellt sind, um die hier offenbarte Materie nicht zu verschleiern.
  • Die hier offenbarte Materie kann in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert sein. Die hier offenbarte Materie kann auch als Anweisungen implementiert sein, die auf einem maschinenlesbaren Medium gespeichert sind, wobei sie von einem oder mehreren Prozessoren gelesen und ausgeführt werden können. Ein maschinenlesbares Medium kann jedes Medium und/oder jede Einrichtung zum Speichern oder Übertragen von Informationen in einer Form, die von einer Maschine (z. B. einer Rechenvorrichtung) gelesen werden kann, umfassen. Beispielsweise kann ein maschinenlesbares Medium Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speichervorrichtungen, elektrische, optische, akustische oder sonstige Formen sich ausbreitender Signale (z. B. Trägerwellen, Infrarotsignale, digitale Signale usw.) und andere umfassen.
  • Bezugnahmen in der Patentschrift auf „eine Implementierung“, „eine Beispielimplementierung“ usw. zeigen an, dass die beschriebene Implementierung ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik aufweisen kann, aber jede Ausführungsform das bestimmte Merkmal, die bestimmte Struktur oder Charakteristik nicht notwendigerweise aufweisen kann. Zudem beziehen sich derartige Formulierungen nicht notwendigerweise auf die gleiche Implementierung. Wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik in Verbindung mit einer Ausführungsform beschrieben ist, wird ferner unterbreitet, dass es innerhalb des Wissens eines Fachmanns liegt, ein derartiges Merkmal, eine derartige Struktur oder Charakteristik in Verbindung mit anderen Implementierungen, ob hier nun explizit beschrieben oder nicht, zu bewirken.
  • Verfahren, Vorrichtungen, Geräte, Rechenplattformen und Artikel sind hier in Bezug auf das Übertragen von Videodaten über verschiedene Transporteinrichtungen beschrieben und insbesondere in Bezug auf eine generalisierte Niedriglatenzbenutzerinteraktion mit Video im Kontext eines Transport Agnostic Displays.
  • Wie vorstehend beschrieben, dienen Anzeigeschnittstellen der Übertragung von Audio und/oder Video von einer Quellvorrichtung an eine Anzeigevorrichtung. Transport Agnostic Display (TAD) ist ein Video-Streaming- und Steuerprotokoll, das dafür angepasst werden kann, auf verschiedenen Transporteinrichtungen zu laufen, wie zum Beispiel USB, 802.11 sowie Ethernet, und auch dafür angepasst werden kann, sich über eine Schnittstelle mit Monitoren zu verbinden, die Legacy-Protokolle, wie zum Beispiel DisplayPort oder HDMI, implementieren. TAD bietet die Vorteile der Verringerung der Anzahl von Video-Streaming-Protokollen, die in einer Videoquellvorrichtung implementiert sein müssen, und entkoppelt eine Bildwiederholrate für Inhalt von einer Bildwiederholrate für die Präsentation, um Energieeffizienz für aufkommende hohe Auflösungen und höhere Bildwiederholraten bereitzustellen.
  • In einigen Ausführungsformen sind zusammengesetzter Videoinhalt und Benutzerinteraktionsvideoinhalt entkoppelt. Eine Videoquellvorrichtung generiert einen ersten Videostrom, der einer ersten Videoebene entspricht, die Basis-Frames von zusammengesetztem Videoinhalt enthält. So wie hier verwendet, bezeichnet der Begriff zusammengesetzter Videoinhalt jeglichen Videoinhalt, der einem Benutzer präsentiert werden soll, wie zum Beispiel Videoinhalt, Unterhaltungsinhalt, Grafikinhalt, Benutzerarbeitsbereichsinhalt usw. Der zusammengesetzte Videoinhalt wird durch das Zusammensetzen individueller Videoebenen erlangt. In einer Ausführungsform ist eine Videoebene, die aus einem Cursor besteht, mit anderen Videoebenen zusammengesetzt, um den final zusammengesetzten Videoinhalt zu erstellen. In diesem Fall wird die Zusammensetzung aller Videoebenen außer dem Cursor als der Basis-Frame bezeichnet. Per Definition wird damit ein Frame bezeichnet, der eine für einen Anzeigebildschirm passende Größe aufweist. Der Basis-Frame kann in jeder geeigneten Anzeigeauflösung vorliegen wie zum Beispiel HD, 2K, UHD, 4K usw. In einigen Ausführungsformen sind die Basis-Frames für eine Darstellung mit einer bestimmten Bildrate vorgesehen. Die Videoquellvorrichtung generiert auch einen zweiten Videostrom, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, die einen Benutzerinteraktion-Frame von Benutzerinteraktionsinhalt enthält. Beispielsweise kann der Benutzerinteraktionsinhalt, wie durch den zweiten Videostrom und die Videoebene bereitgestellt, einen Cursor oder ein anderes bewegbares Zeigerelement vorsehen, das eine Position auf einem Bildschirm bestimmt, die durch eine Eingabe von dem Benutzer über eine Benutzereingabevorrichtung beeinflusst wird. Die Videoquellvorrichtung überträgt die ersten und zweiten Videoströme separat. Eine Anzeigevorrichtung empfängt die ersten und zweiten Videoströme und kombiniert einen Basis-Frame und einen Benutzerinteraktion-Frame, um einen zusammengesetzten Frame zu erstellen, der einem Benutzer über einen Anzeigebildschirm der Anzeigevorrichtung präsentiert wird.
  • Insbesondere birgt die Implementierung von TAD das Potenzial für Probleme hinsichtlich der Benutzererfahrung, die sich aus Verzögerungen ergeben, die in der Codiereinrichtung, der Decodiereinrichtung und den Transport-/Adaptationsschichten eingebracht werden. Wenn ein Benutzer beispielsweise mit einer Videosenkenvorrichtung interagiert (z. B. stellt der Benutzer Eingaben über einen Joystick, einen Spielecontroller, ein Gamepad, ein Mauspad, eine Fernbedienung usw. bereit), kann ein Versatz zwischen der natürlichen menschlichen Reaktion und dem Ergebnis einer Ende-zu-Ende-Verzögerung dazu führen, dass das Drücken von Tasten bzw. Schaltflächen an falschen Stellen erfasst wird, was die Richtigkeit einer resultierenden Aktion, schlechte Aktualität und schlechtes Ansprechen der Steuerung beeinflusst, und kann zu Frust beim Benutzer führen. Die hier erörterten Techniken lösen oder mindern derartige Probleme, indem der Benutzerinteraktionsinhalt (z. B. ein Cursor) und ein Basis-Frame separat übertragen werden und die Inhalte zu einem Frame zur Darstellung an der Videosenke zusammengesetzt werden. Darüber hinaus kann der Benutzerinteraktionsinhalt aktualisiert werden für folgende Benutzerinteraktionsinhaltsänderungen, die sich beispielsweise auf die Position aber nicht die Form auswirken (z. B. jegliche Änderung, die kein Aktualisieren von Bildpunktdaten erfordert), unter Verwendung einer Nachricht für Benutzerinteraktionsinhaltsaktualisierung (z. B. eines Cursor-Metadatenpakets) in einer Datenebene oder einer Steuerebene, die von den Videoströmen und Videoebenen getrennt sind, wobei die Nachricht für Benutzerinteraktionsinhaltsaktualisierung eine Positionsaktualisierung, Aktualisierungen für Zusammensetzungsparameter usw. bereitstellt, so dass der Benutzerschnittstelleninhalt in dem Basis-Frame aktualisiert werden kann, ohne einen weiteren Benutzerinteraktion-Frame zu empfangen.
  • Derartige Techniken vermeiden das Zusammensetzen eines vollständigen resultierenden Frames (eines finalen Frames zur Präsentation) an der Videoquelle, das Übertragen des resultierenden Frames und das Verarbeiten dessen an einer Videosenke hinsichtlich einer Änderung, die lediglich den Benutzerschnittstelleninhalt betrifft (z. B. eine Cursor-Erzeugung oder - Bewegung). Die entsprechende Bandbreitennutzung und Ende-zu-Ende-Latenz für Codieren, Decodieren, Transport, Nachbearbeitung usw. werden damit verringert.
  • In einer Ausführungsform werden die Möglichkeiten von TAD erweitert, um die Erzeugung von zwei Instanzen einer TAD-Verbindung (wobei jede einen einzelnen Videostrom überträgt und empfängt) von einer bestimmten Stromquelle zu einer bestimmten Stromsenke zu berücksichtigen, wobei eine Instanz Benutzerinteraktionsinhalt (z. B. einem Cursor) zugeordnet ist und die andere Instanz einem Basis-Frame zugeordnet ist. Des Weiteren werden die Möglichkeiten von TAD erweitert, um Mechanismen zum dynamischen Binden und Entbinden dieser Instanzen bereitzustellen. Einzelne Frames aus den gebundenen Instanzen werden in der Videosenkenvorrichtung für die Präsentation kombiniert. Zusätzlich oder alternativ werden die Möglichkeiten von TAD erweitert, um mehrere einzelne Ebenen (z. B. Videoebenen) zu übertragen, die von einer bestimmten Videoquellvorrichtung an eine bestimmte Videosenkenvorrichtung zu übertragen sind. Der Benutzerschnittstelleninhalt wird als eine der Ebenen übertragen und der Basis-Frame-Inhalt wird als eine andere der Ebenen übertragen. Die Videosenkenvorrichtung kombiniert die separaten Ebenen für die Präsentation. Ein derartiges Kombinieren kann unter Verwendung jeglicher geeigneter Technik oder Techniken durchgeführt werden, wie zum Beispiel Überlagerungstechniken, Zusammensetzungstechniken, Blending-Techniken usw., wie sie in der Technik bekannt sind. Derartige Techniken gewährleisten niedrige Latenz, Energieeffizienz und eine Unterstützung auf einer Vielzahl von Transporteinrichtungen. Des Weiteren werden sich diese Vorteile mit der unweigerlichen Steigerung von Auflösung und Bildwiederholrate nur verstärken.
  • 1 stellt eine beispielhafte Ende-zu-Ende-Schichtstruktur 100 eines Transport-Agnostic-Display-Protokolls von Vorrichtungen dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 1 dargestellt, umfasst die Ende-zu-Ende-Schichtstruktur 100 eines Transport-Agnostic-Display-(TAD)-Protokolls eine TAD-Quellvorrichtung 101 und eine TAD-Senkenvorrichtung 102. Die Ende-zu-Ende-Schichtstruktur 100 des TAD-Protokolls umfasst eine Streaming-Schicht 111, eine TAD-Anzeigeschicht 112, eine Transport-Specific-Adaptation-(TSA)-Schicht 113 sowie eine Transportschicht 114. In einer Ausführungsform erzeugt, verwaltet und beendet Streaming-Schicht 111 einen Videostrom/Videoströme zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102. In einer Ausführungsform bewirkt TAD-Schicht 112 das Konfigurieren, Verwalten, Paketieren und Verschlüsseln jedes TAD-Videostroms zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 (und stellt ergänzendes Entschlüsseln, Zerlegen usw. bereit). In einer Ausführungsform passt TSA-Schicht 113 bei Bedarf einen Transport-Agnostic-Videostrom an eine bestimmte Transporteinrichtung an. In einer Ausführungsform stellt Transportschicht 114 einen physischen Bus bereit, der einen TAD-Videostrom/TAD-Videoströme zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 überträgt. Des Weiteren kann Transportschicht 114 physische Sender und Empfänger für den Austausch von einem TAD-Videostrom/von TAD-Videoströmen enthalten.
  • In einigen Ausführungsformen ist TAD-Quellvorrichtung 101 bezüglich TAD-Senkenvorrichtung 102 räumlich getrennt (und in einem separaten Gehäuse und/oder Formfaktor vorgesehen). In anderen Ausführungsformen kann TAD-Quellvorrichtung 101 mit TAD-Senkenvorrichtung 102 integriert sein. TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 können durch jede geeignete Vorrichtung oder jeden geeigneten Formfaktor implementiert sein, wie zum Beispiel einen Personal Computer, einen Laptop-Computer, ein Tablet, ein Phablet, ein Smartphone, eine Spielkonsole, eine am Körper tragbare Vorrichtung, einen Fernseher, einen Monitor, einen Anzeigebildschirm usw.
  • 2 stellt eine beispielhafte TAD-Quellvorrichtung 101 dar, die mit einer beispielhaften TAD-Senkenvorrichtung 102 über eine beispielhafte Transporttopologie 230 gekoppelt ist, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 2 gezeigt, ist TAD-Quellvorrichtung 101 (oder mindestens einige Komponenten davon) durch eine Steuereinrichtung 200 implementiert. TAD-Quellvorrichtung 101 beinhaltet eine Quellenverwaltungseinheit (ME, management entity) 201, eine Videostromquelle 1 202, eine Videostromquelle 2 203, einen TAD-Geräte-Manager (TxDM) 204, einen TAD-Sender 1 (TAD TX1) 205, einen TAD-Sender 2 (TAD TX2) 206, ein Quellen-TSA-Modul 207 und ein Quellentransportmodul 208. Steuereinrichtung 200 kann durch einen geeigneten Prozessor/geeignete Prozessoren, geeignete Firmware, Software usw. implementiert sein, so wie es hier weiter erörtert wird. Des Weiteren ist TAD-Senkenvorrichtung 102 (oder mindestens einige Komponenten davon) durch eine Steuereinrichtung 210 implementiert und beinhaltet eine Senkenverwaltungseinheit (ME, management entity) 211, eine Videostromsenke 1 212, eine Videostromsenke 2 213, einen TAD-Geräte-Manager (RxDM) 214, einen TAD- Empfänger 1 (TAD RX1) 215, einen TAD-Empfänger 2 (TAD RX2) 216, ein Senken-TSA-Modul 217 und ein Senkentransportmodul 218. Steuereinrichtung 210 kann durch einen geeigneten Prozessor/geeignete Prozessoren, geeignete Firmware, Software usw. implementiert sein, so wie es hier weiter erörtert wird. In einer Ausführungsform präsentieren Videostromsenke 1 212 und Videostromsenke 2 213 einem Benutzer Video-Frames. Beispielsweise können Vdeostromsenke 1 212 und Videostromsenke 2 213 jeweils einen Anzeigebildschirm beinhalten, der von Steuereinrichtung 210 getrennt ist. Die Anzeigebildschirme können ein integraler Teil von TAD-Senkenvorrichtung 102 sein oder von dieser getrennt sein und mittels einer drahtgebundenen oder drahtlosen Verbindung zur Kommunikation gekoppelt sein.
  • In einer Ausführungsform definiert TAD eine Struktur zum Senden und Empfangen von Videoinhalt derart, dass das Senden und Empfangen bezüglich der Transporteinrichtung, die durch Transporttopologie 230 implementiert ist, agnostisch ist. Beispielsweise kann Transporttopologie 230 eines oder mehr als eines von einer drahtgebundenen Legacy-Transporteinrichtung für Video-Streaming, einer drahtlosen Legacy-Transporteinrichtung oder einer unkonventionellen Transporteinrichtung für Video beinhalten, wobei die drahtgebundene Legacy-Transporteinrichtung Universal Serial Bus (USB) umfasst, die drahtlose Legacy-Transporteinrichtung Institute of Electrical and Electronics Engineers (IEEE) 802.11 umfasst und die unkonventionelle Transporteinrichtung Ethernet umfasst. Des Weiteren kann Transporttopologie 230 eine direkte Verbindung zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 oder eine beliebige Anzahl von Zwischenvorrichtungen zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 beinhalten.
  • So wie hier verwendet, bezeichnen die Begriffe TAD-Quellvorrichtung, TAD-Quelle oder Videoquellvorrichtung (z. B. TAD-Quellvorrichtung 101) jegliche Vorrichtung, die einen Videostrom erzeugt. Beispielsweise kann, wie erörtert, TAD-Quellvorrichtung 101 ein Personal Computer, eine Spielkonsole, ein Smartphone usw. sein. Die Begriffe TAD-Senkenvorrichtung, TAD-Senke oder Videosenkenvorrichtung (z. B. TAD-Senkenvorrichtung 102) bezeichnen jegliche Vorrichtung, an der ein Videostrom endet. Beispielsweise kann, wie erörtert, TAD-Senkenvorrichtung 102 ein Fernseher, ein Monitor usw. sein. Der Begriff TAD TX (z. B. TAD-Sender wie etwa TAD TX, TAD TX1, TAD TX2) bezeichnet eine Einheit in einer TAD-Quellvorrichtung, die für Verschlüsselung, TAD-Paketieren, Stromebenenfähigkeitsfeststellung, -steuerung und -konfiguration verantwortlich ist. Der Begriff TAD RX (z. B. TAD-Empfänger wie etwa TAD RX, TAD RX1, TAD RX2) bezeichnet eine Einheit in einer TAD-Senkenvorrichtung, die für Entschlüsselung, Wiederzusammenfügen von TAD-Paketen und das Reagieren auf Anfragen von einer TAD-Quellvorrichtung bezüglich Stromebenenfähigkeitsfeststellung, -steuerung und -konfiguration verantwortlich ist. Der Begriff Stromquelle bezeichnet eine logische Einheit in einer TAD-Quellvorrichtung, die einen Videostrom erzeugt. Der Begriff Stromsenke bezeichnet eine logische Einheit in einer TAD-Senkenvorrichtung, an der ein Videostrom endet. Der Begriff Video bezeichnet eine Folge einzelner Frames, die dem Endbenutzer anzuzeigen sind. Der Begriff Ebene bezeichnet eine Teilmenge eines Frames (eine Ebene kann ein ganzer Frame sein), so dass es in einem Frame mehrere Ebenen geben kann und ein Frame eine Kombination all der Ebenen ist. Der Begriff Basis-Frame bezeichnet einen Frame, der final zusammengesetzten Inhalt außer beispielsweise Benutzerschnittstelleninhalt (z. B. einem Cursor) enthält, so dass, wenn Benutzerschnittstelleninhalt (z. B. ein Cursor) nicht angezeigt wird, ein Basis-Frame gleich einem Frame ist. Die Begriffe Benutzerschnittstelleninhalt und Benutzerinteraktionsinhalt werden austauschbar verwendet und bezeichnen Inhalt, der eine Position für Benutzereingaben an eine Vorrichtung (z. B. einen Cursor) bereitstellt.
  • 3 stellt einen beispielhaften Vorgang 300 zum Übertragen und Empfangen separater Videoströme für Basisinhalt und Benutzerinteraktionsinhalt dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 3 gezeigt, interagieren TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, um einem Benutzer Videoinhalt zu präsentieren. Bei der Erörterung von 3 wird Bezug genommen auf TAD-Quellvorrichtung 101, die mit einer beispielhaften TAD-Senkenvorrichtung 102 und deren Komponenten gekoppelt ist, um die Teilkomponenten von Steuereinrichtungen 200, 210 anzugeben, die die erörterten Operationen durchführen. Insbesondere wird 3 mit Bezug auf 4 erörtert.
  • 4 stellt die beispielhafte TAD-Quellvorrichtung 101 dar, die beispielhafte TAD-Senkenvorrichtung 102 sowie beispielhafte Operationen, die von deren Teilkomponenten ausgeführt werden, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Beispielsweise stellt 4 die Komponenten von 2 dar, wobei Verbindungen ausgegraut sind, um den Nachrichtenaustausch zwischen TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 zu veranschaulichen. Beispielsweise überträgt in den Techniken, die mit Bezug auf 3 und 4 erörtert werden, jede Videostromquelle von mehreren Videostromquellen eine Ebene eines Frames mit mehreren Ebenen an eine entsprechende Stromsenke. Beispielsweise überträgt Stromquelle 1 Videostrom 1 an Stromsenke 1, überträgt Stromquelle 2 Videostrom 2 an Stromsenke 2, überträgt Stromquelle 1 Videostrom 3 an Stromsenke 3 und so weiter. Beispielsweise kann, obwohl die Darstellung bezüglich zwei Stromsenken, Stromquellen, TAD-Sendern und TAD-Empfängern ausgeführt ist, eine beliebige Anzahl derartiger Komponenten durch TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102 implementiert sein. Die Anzahl unterstützter Ebenen (z. B. zu einem sich ergebenden Frame zu kombinierende) stimmt mit der Anzahl von Stromsenken überein, die verbunden sind. Um Benutzerinteraktionsinhalt zu unterstützen, ist einer der Videoströme Benutzerinteraktionsinhalt (z. B. einem Cursor) zugeordnet. Um das Kombinieren von Videoströmen von verschiedenen Ebenen zu zusammengesetzten Frames zu unterstützen, erfolgt das Verbinden durch TAD-Steuernachrichten, die von der Quellenverwaltungseinheit (z. B. Quellen-ME 201) initiiert werden, welche von all den gezählten Stromsenken und all den Videoströmen, die von Stromquellen initiiert werden, Kenntnis hat. Eine beispielhafte Folge von Operationen ist wie folgt.
  • Zurückkehrend zu 3, kann TAD-Senkenvorrichtung 102, wie dargestellt, bei Operation 301 eine Hot-Plug-Vorrichtung erfassen. Ein derartiges Hot-Plug-Erfassen (HPD, Hot Plug Detect) kann an TAD-Senkenvorrichtung 102 unter Verwendung jeglicher geeigneter Technik oder Techniken erfolgen. Wie dargestellt, erzeugt TAD-Senkenvorrichtung 102 (z. B. mittels Senken-ME 211 und/oder RxDM 214) bei Operation 302 als Reaktion auf das HPD (oder jedes andere Ereignis zum Instanziieren einer Videoanzeige) einen TAD RX (z. B. TAD RX 1 215). Des Weiteren generiert TAD-Senkenvorrichtung 102 (z. B. mittels Senken-ME 211) eine Hot-Plug-Nachricht 341, die bei Operation 303 von RxDM 214 an TAD-Quellvorrichtung 101 übertragen wird. Hot-Plug-Nachricht 341 enthält eine Angabe einer geeigneten Stromsenke.
  • TAD-Quellvorrichtung 101 empfängt bei Operation 304 Hot-Plug-Nachricht 341 mittels TxDM 204. TxDM 204 übermittelt Hot-Plug-Nachricht 341 an Quellen-ME 201. Als Reaktion darauf generiert TAD-Quellvorrichtung 101 (z. B. mittels Quellen-ME 201) bei Operation 306 einen TAD TX (z. B. TAD TX1 205), wie in 4 mit Bezug auf Element (1) gezeigt ist (z. B. dargestellt durch eine 1, die in einem Kreis eingeschlossen ist).
  • Bei Operation 307 bestimmt TAD-Quellvorrichtung 101 (z. B. mittels Quellen-ME 201), ob Benutzerinteraktion (UI, user interaction) niedriger Latenz implementiert wird. Eine derartige Bestimmung kann unter Verwendung jeglicher geeigneter Technik oder Techniken erfolgen. In einigen Ausführungsformen erfolgt die Bestimmung, dass Niedriglatenz-UI aktiviert ist, durch eine Bedienfeldschnittstelle (z. B. zum Steuern von Hardware), ein Bedienfeld-Applet oder eine benutzerdefinierte Steueranwendung. In einer Ausführungsform ist die Bestimmung, dass Niedriglatenz-UI aktiviert ist, in die Implementierung von Quellen-ME 201 integriert, so dass der Standardwert anpassbar sein kann. Die Bestimmung, ob Niedriglatenz-UI implementiert ist, ist in 4 mit Bezug auf Element (2) dargestellt.
  • Wenn Niedriglatenz-UI implementiert wird, fährt die Verarbeitung damit fort, dass Quellen-ME 201 eine Binde-Niedriglatenz-UI-Nachricht 342 generiert und TAD-Quellvorrichtung 101 (z. B. mittels TxDM 204) Binde-Niedriglatenz-UI-Nachricht 342 an TAD-Senkenvorrichtung 102 überträgt, welche bei Operation 309 Binde-Niedriglatenz-UI-Nachricht 342 empfängt (z. B. mittels RxDM 214). Binde-Niedriglatenz-UI-Nachricht 342 beinhaltet einen Handle für TAD RX1 215 und andere Daten zum Angeben der letztendlichen Kombination von Videoebenen, wie hier erörtert. So wie hier verwendet, bezeichnet der Begriff Handle jeglichen Indikator/jegliche Indikatoren, Kennzeichnungen oder dergleichen, die eine Komponente oder logische Einheit identifizieren. Beispielsweise kann ein Handle einen TAD RX (z. B. TAD RX1 215, TAD RX2 216 usw.), eine Stromsenke (z. B. Stromsenke 1 212, Stromsenke 2 213 usw.), einen RX-Geräte-Manager (z. B. RxDM 214) identifizieren. In einigen Ausführungsformen sind Handles Ganzzahlen mit Werten, die größer oder gleich null sind. In einer Ausführungsform ist Binde-Niedriglatenz-UI-Nachricht 342 als eine BindLowLatencyCursor-Steuernachricht bezeichnet. Bei Operation 310 übermittelt RxDM 214 Binde-Niedriglatenz-UI-Nachricht 342 an Senken-ME 211. Die Übertragung von Binde-Niedriglatenz-UI-Nachricht 342 ist in 4 mit Bezug auf Element (3) dargestellt.
  • Als Reaktion auf das Empfangen von Binde-Niedriglatenz-UI-Nachricht 342 erzeugt Senken-ME 211 bei Operation 311 eine zusätzliche Stromsenke (z. B. Stromsenke 2 213) und einen zusätzlichen TAD RX (z. B. TAD RX 2 216). Des Weiteren weist Senken-ME 211 dem zusätzlichen TAD RX (z. B. TAD RX 2 216) einen Handle zu. Die Erzeugung der zusätzlichen Stromsenke und des TAD RX sind in 4 mit Bezug auf die Elemente (4a) und (4b) dargestellt. RxDM 214 generiert dann eine Benutzerinteraktion-Gebunden-Nachricht 343, die die Handles von TAD RX 1215 und TAD RX2 enthält. In einer Ausführungsform ist Binde-Niedriglatenz-UI-Nachricht 342 als eine BoundLowLatencyCursor-Mitteilungsnachricht bezeichnet. Wie in 3 dargestellt, wird Benutzerinteraktion-Gebunden-Nachricht 343 bei Operation 312 von RxDM 214 übertragen und bei Operation 313 von TAD-Quellvorrichtung 101 (z. B. mittels TxDM 204) empfangen. Die Übertragung von Benutzerinteraktion-Gebunden-Nachricht 343 ist in 4 mit Bezug auf Element (5a) dargestellt.
  • Als Reaktion auf das Empfangen von Benutzerinteraktion-Gebunden-Nachricht 343 erzeugt Quellen-ME 201 bei Operation 314 eine zusätzliche Stromquelle (z. B. Stromquelle 2 203) und einen zusätzlichen TAD TX (z. B. TAD TX 2 206). Die Erzeugung der zusätzlichen Stromquelle und des TAD TX sind in 4 mit Bezug auf die Elemente (5b) und (5c) dargestellt. Des Weiteren generiert Quellen-ME 201 eine Handles-Binden-Nachricht 344, die die Handles von TAD RX 1215 und TAD RX2 beinhaltet. Handles-Binden-Nachricht 344 kann auch Handles von TAD TX1 205 und TAD TX2 206 beinhalten. Handles-Binden-Nachricht 344 wird bei Operation 315 mittels TxDM 204 an RxDM 214 von TAD-Senkenvorrichtung 102 übertragen, welche bei Operation 316 Handles-Nachricht 344 empfängt. Die Übertragung von Handles-Binden-Nachricht 344 ist in 4 mit Bezug auf Element (6) dargestellt. Wie dargestellt, übermittelt RxDM 214 bei Operation 317 Handles-Nachricht 344 an Senken-ME 211.
  • Wie bei Operation 320 dargestellt, initiiert TAD-Quellvorrichtung 101 die Datenübertragung eines Videostroms 1, der Basis-Frames 345 enthält, und getrennt davon von Videostrom 2, der Benutzerinteraktion-Frames 346 enthält. Das heißt, Videostrom 1, der Basis-Frames 345 enthält, umfasst Videodaten einer ersten Ebene, die Basis-Frames beinhaltet, und Videostrom 2, der Benutzerinteraktion-Frames 346 enthält, umfasst Videodaten einer zweiten Ebene, die Benutzerinteraktionsinhalt beinhaltet. So wie hier verwendet, geben die Begriffe getrennt bzw. separat in Bezug auf Videoströme, Videoebenen und Video-Frames an, dass jedes davon verarbeitet, übertragen, empfangen, codiert, decodiert usw. werden kann, um Video zu generieren. Beispielsweise umfasst jeder von Videostrom 1, der Basis-Frames 345 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 346 enthält, Daten, die es separat vermögen, Video zur Darstellung für einen Benutzer zu generieren. In der Ausführungsform von 3 werden Videostrom 1, der Basis-Frames 345 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 346 enthält, jeweils von separaten Stromquellen (Stromquelle 1 202 und Stromquelle 2 203) generiert. In einer Ausführungsform wird Videostrom 1, der Basis-Frames 345 enthält, codiert, um einen Bitstrom zu generieren, und verschlüsselt und paketiert TAD TX1 205 den Bitstrom für den Transport. In einer Ausführungsform wird Videostrom 2, der Benutzerinteraktion-Frames 346 enthält, codiert, um einen Bitstrom zu generieren, und verschlüsselt und paketiert TAD TX2 206 den Bitstrom für den Transport.
  • Bei Operation 321 werden Videostrom 1, der Basis-Frames 345 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 346 enthält, von TAD-Senkenvorrichtung 102 empfangen. Insbesondere empfängt TAD RX1 215 Videostrom 1, der Basis-Frames 345 enthält, und empfängt TAD RX2 216 Videostrom 2, der Benutzerinteraktion-Frames 346 enthält. TAD RX1 215 entschlüsselt TAD-Pakete und setzt sie wieder zusammen, um einen Bitstrom zu generieren, der decodiert ist, um Basis-Frames zu generieren. Gleichermaßen entschlüsselt TAD RX2 216 TAD-Pakete und setzt sie wieder zusammen, um einen Bitstrom zu generieren, das heißt, um Benutzerinteraktion-Frames zu generieren. Ein Basis-Frame und ein Benutzerinteraktion-Frame werden dann bei Operation 322 kombiniert, um einen zusammengesetzten Frame zu generieren. Der zusammengesetzte Frame wird bei Operation 323 an Stromsenke 1 212 zur Präsentation mittels eines Anzeigebildschirms übermittelt.
  • 5 stellt ein beispielhaftes Kombinieren 500 eines Basis-Frames und eines Benutzerinteraktion-Frames dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 5 dargestellt, umfasst Basis-Frame-Video 511, wie aus Videostrom 1 decodiert, der Basis-Frames 345 enthält, eine Folge von Basis-Frames, die Basis-Frame 501 beinhaltet. Basis-Frame 501 beinhaltet zusammengesetzten Inhalt 505, der eine Anzeige ausfüllen kann und jeglichen geeigneten Inhalt umfasst, wie zum Beispiel Unterhaltungsinhalt, gerenderten Inhalt, Büroproduktivitätsinhalt usw. Ebenso umfasst, wie dargestellt, Benutzerinteraktionsvideo 512, wie aus Videostrom 2 decodiert, der Benutzerinteraktion-Frames 346 enthält, eine Folge von Benutzerinteraktion-Frames, die Benutzerinteraktion-Frame 502 beinhaltet. Benutzerinteraktion-Frame 502 enthält Benutzerinteraktionsinhalt 503, der einen Bereich 503 umfasst, der ein Benutzerinteraktionssymbol 504 (z. B. einen Cursor) beinhaltet, wobei er eine Anzeige möglicherweise nicht ausfüllt und stattdessen in einem relativ kleinen Bereich 503 liegt, wie zum Beispiel einem Bereich von 16x16 Bildpunkten, einem Bereich von 32x32 Bildpunkten, einem Bereich von 64x64 Bildpunkten usw. Es sei darauf hingewiesen, dass, obwohl Benutzerinteraktion-Frame 502 aus Gründen der Klarheit der Darstellung derart dargestellt ist, dass er eine volle Frame-Größe umfasst, Benutzerinteraktion-Frame 502 lediglich Bereich 503 umfassen kann.
  • Wie dargestellt, werden bei Operation 322 zum Kombinieren von Frames Basis-Frame 501 und Benutzerinteraktion-Frame 502 kombiniert, um einen zusammengesetzten Frame 510 zu generieren, der zusammengesetzten Inhalt 505 und Interaktionsinhalt 503 mit Benutzerinteraktionssymbol 504 beinhaltet. Basis-Frame 501 und Benutzerinteraktion-Frame 502 können unter Verwendung jeglicher geeigneter Technik oder Techniken, wie zum Beispiel Überlagerungstechniken, Zusammensetzungstechniken usw., kombiniert werden. Insbesondere können Basis-Frame-Video 511 und Benutzerinteraktionsvideo 512, obgleich in 5 mit derselben Frequenz oder Zeitvorgabe dargestellt, aktualisierte Frames bei einer beliebigen Frequenz beinhalten und müssen nicht die gleiche Frequenz aufweisen, so dass Frames von Basis-Frame-Video 511 und Benutzerinteraktionsvideo 512 in jeder geeigneten Weise aktualisiert werden können. In einer Ausführungsform beinhalten sowohl Basis-Frame-Video 511 als auch Benutzerinteraktionsvideo 512 Frames, die nur aktualisiert werden, wenn eine Änderung in den Frames auftritt. Beispielsweise kann, wenn keine Änderung angezeigt ist, dem Benutzer der letzte Frame, wie beispielsweise von einem Puffer gehalten, präsentiert werden. Wenn sich Basis-Frame-Video 511 oder Benutzerinteraktionsvideo 512 ändert, kann der entsprechende Frame empfangen und mit dem komplementären Frame neu kombiniert werden. Beispielsweise wird, wenn sich Basis-Frame-Video 511 ändert, ein aktualisierter Basis-Frame von TAD-Quellvorrichtung 101 übertragen und von TAD-Senkenvorrichtung 102 empfangen, an TAD-Senkenvorrichtung mit dem früheren Benutzerinteraktion-Frame kombiniert und dem Benutzer präsentiert. Wenn sich Benutzerinteraktionsvideo 512 ändert, wird ein aktualisierter Benutzerinteraktion-Frame von TAD-Quellvorrichtung 101 übertragen und von TAD-Senkenvorrichtung 102 empfangen, an TAD-Senkenvorrichtung mit dem Basis-Frame kombiniert und dem Benutzer präsentiert. In einer Ausführungsform kann Basis-Frame-Video an einem vorgegebenen Frame bereitgestellt sein und wird Benutzerinteraktionsvideo 512 nur bei Bedarf aktualisiert. Derartige Konzepte werden hier mit Bezug auf 8 und 9 weiter erörtert.
  • Des Weiteren veranschaulicht 5, dass, wenn kein Kombinieren durchzuführen ist, ein Basis-Frame 520, welcher aus Basis-Frame 501 oder Basis-Frame 501, der mit einem anderen Video-Frame/anderen Video-Frames kombiniert ist, besteht, einer anderen Stromsenke oder Anzeige bereitgestellt werden kann. Beispielsweise wird, wenn einem Benutzer ein kombinierter Desktop oder ein anderer Arbeitsbereich, Unterhaltungsbereich usw. über mehrere Anzeigen zu präsentieren ist, Benutzerinteraktionsvideo 512 nur auf einem Anzeigebildschirm dargestellt. Beispielsweise kann der zusammengesetzte Frame 510 einem Benutzer mittels Stromsenke 1 212 präsentiert werden und kann Basis-Frame 520 oder Basis-Frame 501 dem Benutzer mittels Stromsenke 2 213 präsentiert werden, so dass lediglich eine Instanz von Benutzerinteraktionssymbol 504 von dem Benutzer betrachtet wird. Alternativ wird, wenn einem Benutzer ein geklonter Desktop oder ein anderer Arbeitsbereich, Unterhaltungsbereich usw. über mehrere Anzeigen zu präsentieren ist, Benutzerinteraktionsvideo 512 auf beiden Anzeigebildschirmen dargestellt. Beispielsweise kann der zusammengesetzte Frame 510 einem Benutzer mittels Stromsenke 1 212 und zum Beispiel einem anderen Benutzer mittels Stromsenke 2 213 derart präsentiert werden, dass zwei Instanzen von Benutzerinteraktionssymbol 504 von dem Benutzer in der geklonten Umgebung betrachtet werden.
  • Zurückkehrend zu 3, wird in dem behandelten Beispiel ein folgendes Basis-Frame-Video bei Operation 324 übertragen, wobei keine Benutzerinteraktion-Frames bereitgestellt werden, wie mit Bezug auf Operation 326 dargestellt ist, da keine Benutzerinteraktionsänderung empfangen wird (z. B. wurde keine Benutzereingabe empfangen), wobei TAD-Quellvorrichtung 101 die Datenübertragung von Videostrom 1, der Basis-Frames 347 enthält, der ersten Ebene initiiert, ohne Benutzerinteraktion-Frames zu übertragen. Bei Operation 325 wird Videostrom 1, der Basis-Frames 347 enthält, an TAD-Senkenvorrichtung 102 empfangen. Der empfangene Videostrom 1, der Basis-Frames 347 enthält, wird entschlüsselt, wieder zusammengesetzt zu TAD-Paketen und decodiert, um einen Basis-Frame zu generieren, der mit einem zuvor generierten Benutzerinteraktion-Frame kombiniert wird, um einen zusammengesetzten Frame zu generieren, der einem Benutzer, wie erörtert, präsentiert wird. Wie deutlich wird, können ähnliche Techniken dafür verwendet werden, nur Benutzerinteraktion-Frames zu aktualisieren, und können derartige Techniken darauf ausgeweitet werden, Basis-Frames und Benutzerinteraktion-Frames bei Bedarf zu aktualisieren.
  • Wie dargestellt, wird, wenn bei Operation 327 eine Benutzerinteraktionsänderung erfasst wird, ein neuer Benutzerinteraktion-Frame in Videostrom 2, der Benutzerinteraktion-Frames 349 enthält, bereitgestellt, der, wie gezeigt, bei Operation 328 übertragen und bei Operation 329 empfangen wird. Der Benutzerinteraktion-Frame wird, wie hier erörtert, verarbeitet und mit einem komplementären Basis-Frame zur Benutzerpräsentation kombiniert.
  • Bei Operation 330 generiert Quellen-ME 201, wenn eine Bestimmung erfolgt, dass der Benutzerinteraktionsinhalt zu verbergen ist (z. B. als Teil einer Routineoperation), eine Binden-Aufheben-Nachricht 350 und bei Operation 331 überträgt TxDM 204 diese Binden-Aufheben-Nachricht 350, die auch als eine Handles-Entbinden-Nachricht oder eine SuspendCursorBinding-Steuernachricht oder dergleichen bezeichnet werden kann, wird bei Operation 232 von RxDM 214 empfangen und Binden-Aufheben-Nachricht 350 enthält die Handle-Werte von TAD RX1 215 und TAD RX2 216, die zuvor aneinander gebunden wurden, sowie eine Anweisung zum Entbinden der Handles. Als Reaktion darauf hebt Senken-ME 211 bei Operation 333 das Binden der zwei Ebenen auf (z. B. der Basis-Frame-Videoebene und der Benutzerinteraktionsebene), bevor das resultierende Bild (z. B. von TAD TX1) mittels Stromsenke 1 212 auf einem Anzeigebildschirm dargestellt wird. Das heißt, lediglich der Basis-Frame (ohne Kombinieren eines Benutzerinteraktion-Frames) wird dem Benutzer präsentiert. Insbesondere beendet TAD-Senkenvorrichtung 102 TAD RX2 216 nicht als Reaktion auf Binden-Aufheben-Nachricht 350. Nach dem Empfang von Binden-Aufheben-Nachricht 350 durch RxDM 214 übertragen TAD TX1 205 und in einigen Ausführungsformen sogar TAD TX2 206 ihre jeweiligen Videoströme weiter. Die Folge von Binden-Aufheben-Nachricht 350 ist, dass Senken-ME 211 die zwei Videoströme nicht weiter zusammensetzt und nur die Basisvideo-Frames, die an TAD RX1 215 empfangen werden, präsentiert (z. B. zur Anzeige bereitstellt). In einer Ausführungsform gibt Binden-Aufheben-Nachricht 350 auch den Videostrom, der zu präsentieren ist, über einen Handle-Wert in Binden-Aufheben-Nachricht 350 an (z. B. kann der Videostrom, der zu präsentieren ist, einer der Videoströme sein, die aneinander gebunden waren). Das Binden kann in ähnlicher Weise wieder aufgenommen werden (nicht dargestellt), indem Quellen-ME 201 eine Binden-Wiederaufnahme-Nachricht generiert und TxDM 204 diese überträgt. Die Binden-Wiederaufnahme-Nachricht, die als eine RestartCursorBinding-Steuernachricht bezeichnet werden kann, enthält die Handle-Werte für TAD RX1 215 und TAD RX2 216 sowie eine Anweisung zum Binden der Handles. Wie vorstehend erwähnt, beinhaltet die Wiederaufnahme des Bindens keine Generierung von TAD RX2 216, da TAD RX2 216 nicht beendet wurde. Anschließend werden die Basis-Frame-Videoebene und die Benutzerinteraktionsebene, wie vorstehend erörtert, gebunden und verarbeitet, um zusammengesetzte Video-Frames zur Präsentation bereitzustellen.
  • Bei Operation 334 generiert Quellen-ME 201, wenn der Modus für Niedriglatenzbenutzerinteraktion (LL UI, low latency user interaction) zu beenden ist, eine Binden-Stopp-Nachricht 351 und bei Operation 335 überträgt TxDM 204 diese. Binden-Stopp-Nachricht 351, die auch als eine StopCursorBinding-Steuernachricht oder dergleichen bezeichnet werden kann, wird bei Operation 236 von RxDM 214 empfangen und Binden-Stopp-Nachricht 351 enthält die Handle-Werte von TAD RX1 215 und TAD RX2 216, die zuvor aneinander gebunden wurden, sowie eine Anweisung zum Stoppen des Bindens der Handles. Als Reaktion darauf stoppt Senken-ME 211 das Binden der zwei Ebenen (z. B. der Basis-Frame-Videoebene und der Benutzerinteraktionsebene), bevor das resultierende Bild (z. B. von TAD TX1) mittels Stromsenke 1 212 auf einem Anzeigebildschirm dargestellt wird, und beendet bei Operation 337 TAD RX2 216. Insbesondere bewirkt der Empfang von Binden-Stopp-Nachricht 351, dass Senken-ME 211 TAD RX2 216 zerstört.
  • Obwohl aus Gründen der Klarheit der Darstellung in einer bestimmten Reihenfolge dargestellt, können die behandelten Techniken in beliebiger Reihenfolge durchgeführt werden, um zum Beispiel Videoebenen zu binden, die von TAD-Stromquellen und TAD-Sendern separat generiert und gesendet werden und von TAD-Empfängern separat empfangen und verarbeitet werden, so dass kombinierte Frames (beide Videoebenen enthaltend) generiert werden und an mindestens eine TAD-Senke zur Darstellung über einen Anzeigebildschirm bereitgestellt werden; um die Videoebenen zeitlich zu entbinden, um Niedriglatenzbenutzerinteraktionsinhalt zu verbergen; um die Videoebenen neu zu binden, um Niedriglatenzbenutzerinteraktionsinhalt zu zeigen; und um das Binden der Videoebenen zu stoppen und den TAD-Empfänger und die TAD-Stromsenke zu beenden, die dem Niedriglatenzbenutzerinteraktionsinhalt zugeordnet sind.
  • 6 stellt eine andere beispielhafte TAD-Quellvorrichtung 101 dar, die mit TAD-Senkenvorrichtung 102 über die beispielhafte Transporttopologie 230 gekoppelt ist, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 6 gezeigt, ist TAD-Quellvorrichtung 101 (oder mindestens einige Komponenten davon) durch Steuereinrichtung 200 implementiert und beinhaltet Quellenverwaltungseinheit (ME, management entity) 201, Videostromquelle 602, TAD-Geräte-Manager (TxDM), einen TAD-Sender (TAD TX) 603, Quellen-TSA-Modul 207 und Quellentransportmodul 208. TAD-Senkenvorrichtung 102 (oder mindestens einige Komponenten davon) ist durch Steuereinrichtung 210 implementiert und beinhaltet Senkenverwaltungseinheit (ME, management entity) 211, Videostromsenke 612, TAD-Geräte-Manager (RxDM), einen TAD-Empfänger (TAD RX) 613, Senken-TSA-Modul 217 und Senkentransportmodul 218. Wie dargestellt, kann Stromsenke 612 ein Legacy-Sender-(TX)-Modul 621 und einen Anzeigebildschirm 622 umfassen, so dass Legacy-TX 621 eine Neukonfiguration von Videodaten durchführt, gegebenenfalls zur Darstellung über Anzeigebildschirm 622. Insbesondere können Stromsenke 1 212 und/oder Stromsenke 2 213 ebenso einen Legacy-TX und/oder einen Anzeigebildschirm implementieren.
  • Insbesondere beinhalten TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, wie in 6 dargestellt, beide eine einzelne Instanz von Stromquelle 602, TAD TX 603, Stromsenke 621 und TAD RX 613. Techniken, die mit Bezug auf TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, wie in 6 dargestellt, erörtert sind, dienen der Übertragung und dem Empfang mehrerer Videoströme (entsprechend mehreren Videoebenen) unter Verwendung einer einzelnen Instanz von Stromquelle 602, TAD TX 603, Stromsenke 621 und TAD RX 613. Derartige Techniken können auch im Zusammenhang mit TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, wie in 6 dargestellt, durchgeführt werden, so dass eine einzelne Instanz einer Stromquelle (z. B. Stromquelle 1 202), eines TAD TX (z. B. TD TX1 205), einer Stromsenke (z. B. Stromsenke 1 212) und eines TAD RX (z. B. TAD RX1 215) die Operationen durchführen, die mit Bezug auf Stromquelle 602, TAD TX 603, Stromsenke 621 und TAD RX 613 erörtert sind.
  • 7 stellt einen beispielhaften Vorgang 700 zum Übertragen und Empfangen separater Videoströme für Basisinhalt und Benutzerinteraktionsinhalt dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 7 gezeigt, interagieren TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, um einem Benutzer Videoinhalt zu präsentieren. Bei der Erörterung von 7 wird Bezug genommen auf TAD-Quellvorrichtung 101, die mit einer beispielhaften TAD-Senkenvorrichtung 102 gekoppelt ist, und deren Komponenten, um die Teilkomponenten von Steuereinrichtungen 200, 210 anzugeben, die die erörterten Operationen mit Bezug auf 6 durchführen. Wie erörtert, können derartige Operationen auch von entsprechenden Komponenten von TAD-Quellvorrichtung 101 und TAD-Senkenvorrichtung 102, wie in 2 dargestellt, durchgeführt werden.
  • Wie in 7 gezeigt, kann TAD-Senkenvorrichtung 102 bei Operation 701 eine Hot-Plug-Vorrichtung erfassen. Als Reaktion auf das HPD (oder jedes andere Ereignis zum Instanziieren einer Videoanzeige) erzeugt TAD-Senkenvorrichtung 102 (z. B. mittels Senken-ME 211 und/oder RxDM 214) bei Operation 702 TAD RX 613 und weist TAD RX 613 einen Handle zu. Des Weiteren generiert TAD-Senkenvorrichtung 102 (z. B. mittels Senken-ME 211) eine Hot-Plug-Nachricht 741, die bei Operation 703 von RxDM 214 an TAD-Quellvorrichtung 110 übertragen wird. Hot-Plug-Nachricht 741 enthält eine Angabe einer geeigneten Stromsenke. TAD-Quellvorrichtung 101 empfängt bei Operation 704 Hot-Plug-Nachricht 741 mittels TxDM 204. TxDM 204 übermittelt Hot-Plug-Nachricht 741 an Quellen-ME 201. Als Reaktion darauf generiert TAD-Quellvorrichtung 101 (z. B. mittels Quellen-ME 201) TAD TX 603 bei Operation 706.
  • Die Verarbeitung fährt damit fort, dass Quellen-ME 201 eine Strom-Start-Nachricht 742 generiert, die angibt, dass mehrere separate Ströme zu übertragen sind. Strom-Start-Nachricht 742 gibt beispielsweise an, dass ein Videostrom von mehreren Videoströmen der Videoebene entspricht, die Benutzerinteraktionsinhalt aufweist (z. B. einen Cursor enthält). Des Weiteren kann Strom-Start-Nachricht 742 angeben, dass ein anderer Videostrom der mehreren Videoströmen der Videoebene entspricht, die Basis-Frame-Inhalt aufweist. Beispielsweise kann jeder Videostrom eine Kennung oder einen Indikator aufweisen, der die Videoebene des Videostroms angibt.
  • Wie bei Operation 708 dargestellt, initiiert TAD-Quellvorrichtung 101 die Datenübertragung eines Videostroms 1, der Basis-Frames 743 enthält, und getrennt davon von Videostrom 2, der Benutzerinteraktion-Frames 744 enthält. Wie mit Bezug auf 3 erörtert, umfasst Videostrom 1, der Basis-Frames 743 enthält, Videodaten einer ersten Ebene, die Basis-Frames beinhaltet, und umfasst Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, Videodaten einer zweiten Ebene, die Benutzerinteraktionsinhalt beinhaltet. Obwohl unter Verwendung derselben TAD TX- und TAD RX-Instanz übertragen und empfangen, sind solche Videoströme derart separat, dass die separaten Videoströme, Videoebenen und Video-Frames jeweils verarbeitet, übertragen, empfangen, codiert, decodiert usw. werden können, um Video zu generieren. Beispielsweise umfasst jeder von Videostrom 1, der Basis-Frames 743 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, Daten, die es separat vermögen, Video zur Darstellung für einen Benutzer zu generieren. In der Ausführungsform von 7, werden Videostrom 1, der Basis-Frames 743 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, jeweils von den gleichen Stromquellen (Stromquelle 602) generiert. In einer Ausführungsform wird Videostrom 1, der Basis-Frames 743 enthält, codiert, um einen Bitstrom zu generieren, und verschlüsselt und paketiert TAD TX 603 den Bitstrom für den Transport und wird Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, codiert, um einen Bitstrom zu generieren, und verschlüsselt und paketiert TAD TX 603 den Bitstrom für den Transport.
  • Bei Operation 709 werden Videostrom 1, der Basis-Frames 743 enthält, und Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, von TAD-Senkenvorrichtung 102 empfangen. Insbesondere empfängt TAD RX 613 Videostrom 1, der Basis-Frames 743 enthält, und empfängt TAD RX 613 216 Videostrom 2, der Benutzerinteraktion-Frames 744 enthält. TAD RX 613 entschlüsselt TAD-Pakete von Videostrom 1, der Basis-Frames 743 enthält, und setzt sie wieder zusammen, um einen Bitstrom zu generieren, der decodiert wird, um Basis-Frames zu generieren. Des Weiteren entschlüsselt TAD RX 613 TAD-Pakete von Videostrom 2, der Benutzerinteraktion-Frames 744 enthält, und setzt sie wieder zusammen, um einen Bitstrom zu generieren, das heißt, um Basis-Frames zu generieren. Ein Basis-Frame und ein Benutzerinteraktion-Frame werden dann bei Operation 710 kombiniert, um einen zusammengesetzten Frame zu generieren, wie beispielsweise mit Bezug auf 5 erörtert. Der zusammengesetzte Frame wird bei Operation 711 an Stromsenke 271 zur Darstellung über einen Anzeigebildschirm übermittelt.
  • Wie erörtert, sieht Vorgang 700 vor, dass eine Steuereinrichtung von TAD-Quellvorrichtung 101 über Transporttopologie 230 einen ersten Videostrom empfängt, der einer ersten Videoebene entspricht, so dass die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt aufweist, und von TAD-Quellvorrichtung 101 über Transporttopologie 230 einen zweiten Videostrom empfängt, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, so dass die zweite Videoebene einen Benutzerinteraktion-Frame von Benutzerinteraktionsinhalt aufweist. Insbesondere werden die ersten und zweiten Videoströme beide von der gleichen Stromquelle generiert, von dem gleichen TAD-Sender übertragen und werden beide von dem gleichen TAD-Empfänger empfangen. Der Basis-Frame und der Benutzerinteraktion-Frame werden kombiniert, um einen zusammengesetzten Frame zu generieren, der einem Anzeigebildschirm zur Darstellung für einen Benutzer bereitgestellt wird. Ferner sieht Vorgang 300, wie vorstehend erörtert, vor, dass eine Steuereinrichtung von TAD-Quellvorrichtung 101 über Transporttopologie 230 einen ersten Videostrom empfängt, der einer ersten Videoebene entspricht, so dass die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt aufweist, und von TAD-Quellvorrichtung 101 über Transporttopologie 230 einen zweiten Videostrom empfängt, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, so dass die zweite Videoebene einen Benutzerinteraktion-Frame von Benutzerinteraktionsinhalt aufweist. Insbesondere werden die ersten und zweiten Videoströme von verschiedenen Stromquellen generiert, von verschiedenen TAD-Sendern übertragen und von verschiedenen TAD-Empfängern empfangen. Der Basis-Frame und der Benutzerinteraktion-Frame werden dann kombiniert, um einen zusammengesetzten Frame zu generieren, der einem Anzeigebildschirm zur Darstellung für einen Benutzer bereitgestellt wird.
  • Insbesondere empfangen beide Vorgänge separate Videoströme und kombinieren Frames zur Darstellung. Vorgang 300 stellt TAD-Operationen bereit, die die Erzeugung von zwei Instanzen einer TAD-Verbindung (wobei jede einen einzelnen Videostrom überträgt) von einer bestimmten Stromquelle zu einer bestimmten Stromsenke ermöglichen, wobei eine Instanz einem Benutzerinteraktionsinhalt (z. B. einem Cursor) und die andere Basis-Frames (z. B. zusammengesetztem Inhalt) zugeordnet ist, sowie zum dynamischen Binden und Entbinden dieser Instanzen, wobei einzelne Frames gebundener Instanzen in der Videosenkenvorrichtung zur Darstellung kombiniert werden. Vorgang 700 sieht TAD-Operationen vor, die mehrere einzelne Ebenen übertragen, die von einer bestimmten Videoquellvorrichtung an eine bestimmte Videosenkenvorrichtung zu übertragen sind, welche die Ebenen (z. B. Frames der Ebene) kombiniert, wobei der Benutzerinteraktionsinhalt als eine der Ebenen übertragen wird. Vorgang 300 und Vorgang 700 können separat oder zusammen in einer TAD-Topologie implementiert sein. Die Diskussion richtet sich nun auf Operationen, die entweder auf Vorgang 300 oder Vorgang 700 anwendbar sind.
  • In einer anderen Ausführungsform wird ein Benutzerschnittstellen-Frame oder -Bild über eine Steuerebene übertragen. In derartigen Ausführungsformen generiert TAD-Quellvorrichtung 101 eine Steuernachricht für Benutzerschnittstellen-Frame-Aktualisierung oder Benutzerschnittstellenbild-Aktualisierung (z. B. eine UpdateCursorImage-Steuernachricht), die einen neuen Benutzerschnittstellen-Frame oder ein neues Benutzerschnittstellenbild (z. B. von einem Cursor-Bild) anzeigt, der bzw. das mit allen Basis-Frames zusammenzusetzen ist, die an TAD-Senkenvorrichtung 102 empfangen werden, bis eine andere Steuernachricht für Benutzerschnittstellen-Frame-Aktualisierung oder Benutzerschnittstellenbild-Aktualisierung von TAD-Quellvorrichtung 101 übertragen wird (oder eine Binden-Aufheben-Nachricht/Binden-Stopp-Nachricht empfangen wird, wie hier erörtert). In derartigen Ausführungsformen muss ein zweiter TAD RX nicht erstellt werden. Des Weiteren generiert TAD-Senkenvorrichtung 102 als Reaktion auf die Steuernachricht für Benutzerschnittstellen-Frame-Aktualisierung oder Benutzerschnittstellenbild-Aktualisierung eine Benutzerschnittstellen-Binden-Nachricht (z. B. eine BindCursor-Nachricht), die TAD-Quellvorrichtung 101 anzeigt, dass RxDM 214 bereit ist, Benutzerschnittstellen-(z. B. Cursor)-Bilder durch den Steuerpfad zu empfangen und die empfangenen Benutzerschnittstellen-(z. B. Cursor)-Bilder mit dem Basis-Frame/den Basis-Frames zusammenzusetzen.
  • 8 stellt ein beispielhaftes Zeitdiagramm 800 von Basis-Frames 811 und Benutzerinteraktion-Frames 821 dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. In dem dargestellten Beispiel sind Basis-Frames (BF) 811 und Benutzerinteraktion-Frames (UIF, user interaction frames) 821 jeweils als ein nach unten gerichteter Pfeil dargestellt, so dass der nach unten gerichtete Pfeil eine Zeit angibt, zu der der Basis-Frame oder der Benutzerinteraktion-Frame zu präsentieren sind. Wie deutlich wird, kann eine derartige Zeitvorgabe in Frame-Codieren, -Verschlüsseln, -Paketieren usw. an TAD-Quellvorrichtung 101 und -Zerlegen, -Entschlüsseln, -Decodieren usw. an TAD-Senkenvorrichtung 102 übersetzt werden.
  • Wie in 8 dargestellt, sind Basis-Frames 811 Teil eines Videostroms 1 801 und einer Videoebene 1 802 und sind Benutzerinteraktion-Frames 821 Teil eines Videostroms 2 803 und einer Videoebene 2 804, die von Videostrom 1 801 und Videoebene 1 802 getrennt sind, wie hier erörtert. In dem Beispiel von 8, sind Basis-Frames 811 mit einer bestimmten Bildrate, wie zum Beispiel 24 fps, 30 fps, 60 fps usw., darzustellen und werden Benutzerinteraktion-Frames 821 mit relevanten Frames von Basis-Frames 811, wie zur Darstellung empfangen, bei Kombinationsoperationen 821, 822, 823 kombiniert. Die kombinierten Frames werden dann präsentiert. Des Weiteren wird, wenn keine Änderung an dem Benutzerinteraktionsinhalt empfangen wird (z. B. kein Schnittstellen-Frame 821 empfangen wird), der frühere Benutzerinteraktion-Frame mit dem aktuellen Frame von Basis-Frames 811 kombiniert, wie mit Bezug auf Kombinationsoperationen 824, 825, 826 gezeigt. Vorteilhaft ist, dass ein kombinierter Frame nicht bei jeder Zeitinstanz an TAD-Quellvorrichtung 101 generiert und von TAD-Senkenvorrichtung 102 verarbeitet werden muss, wodurch Bandbreite und Latenz eingespart werden. Insbesondere können Benutzerinteraktion-Frames 821 in einer ersten Pufferbelegung eines Speicherpuffers gespeichert werden und können Basis-Frames 811 in einer zweiten Pufferbelegung des Speicherpuffers gespeichert werden, so dass die erste Pufferbelegung kleiner ist als die zweite Pufferbelegung.
  • In der veranschaulichten Ausführungsform sind Basis-Frames 811 mit einer festen Bildrate vorgesehen und sind Benutzerinteraktion-Frames 821 mit einer intermittierenden oder Ad-hoc-Bildrate vorgesehen. In einigen Ausführungsformen werden sowohl Basis-Frames 811 als auch Benutzerinteraktion-Frames 821 mit einer intermittierenden oder Ad-hoc-Bildrate empfangen. Beispielsweise kann ein Basis-Frame in einer Speicherpufferbelegung gespeichert werden (z. B. 1920x1080-Bildpunktpufferbelegung für hohe Auflösung), bis eine Änderung an dem Basis-Frame empfangen wird, wobei zu diesem Zeitpunkt die Speicherpufferbelegung durch den neuen Basis-Frame ersetzt wird. Gleichermaßen kann ein Benutzerinteraktion-Frame (wie erörtert, kann ein Frame einen kompletten Anzeigebildschirm ausfüllen oder nicht) in einer anderen Speicherpufferbelegung gespeichert werden (z. B. 64x64-Bildpunktpufferbelegung), die kleiner ist als die Basis-Frame-Speicherpufferbelegung, bis eine Änderung an dem Benutzerinteraktion-Frame empfangen wird, wobei zu diesem Zeitpunkt die Speicherpufferbelegung des Benutzerinteraktion-Frames aktualisiert wird. Des Weiteren können der aktuelle Basis-Frame und der aktuelle Benutzerinteraktion-Frame bei jeder Anzeigebildschirmaktualisierung kombiniert werden, um einen zusammengesetzten Frame zur Darstellung mittels einer Stromsenke zu generieren (die z. B. einen Anzeigebildschirm umfasst). Insbesondere muss TAD-Quellvorrichtung 101 bei Verwendung derartiger Techniken Frames lediglich bei Aktualisierungen senden, was eine erhebliche Verbrauchsreduktion hinsichtlich Verarbeitung, Energie und Bandbreite ermöglicht.
  • 9 stellt ein beispielhaftes Zeitdiagramm 900 von Basis-Frames 911, Benutzerinteraktion-Frames 921 und Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. In dem dargestellten Beispiel sind wie bei 8 Basis-Frames (BF) 911, Benutzerinteraktion-Frames (UIF) 921 und Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung (UICUM, user interaction content update messages) jeweils als ein nach unten gerichteter Pfeil dargestellt, so dass der nach unten gerichtete Pfeil eine Zeit angibt, zu der der Basis-Frame, der Benutzerinteraktion-Frame oder die Benutzerschnittstellenaktualisierung zu präsentieren oder zu implementieren ist. Wie deutlich wird, kann eine derartige Zeitvorgabe bezüglich Basis-Frames und Benutzerinteraktion-Frames in Frame-Codieren, -Verschlüsseln, -Paketieren usw. an TAD-Quellvorrichtung 101 und -Zerlegen, -Entschlüsseln, -Decodieren usw. an TAD-Senkenvorrichtung 102 übersetzt werden sowie bezüglich Benutzerschnittstellenaktualisierungen in Benutzerinteraktionsinhaltsaktualisierungsnachricht-Generieren, -Verschlüsseln, -Paketieren usw. an TAD-Quellvorrichtung 101 und -Empfangen, -Zerlegen, -Entschlüsseln usw. an TAD-Senkenvorrichtung 102.
  • Basis-Frames 911 sind Teil von Videostrom 1 801 und Videoebene 1 802 und Benutzerinteraktion-Frames 921 sind Teil von Videostrom 2 803 und Videoebene 2 804, die von Videostrom 1 801 und Videoebene 1 802 getrennt sind. Des Weiteren sind Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung Teil einer Steuerebene 905 (oder eines Steuerkanals) oder einer Datenebene 906, die ebenfalls von Videostrom 1 801 und Videoebene 1 802 sowie von Videostrom 2 803 und Videoebene 2 804 getrennt sind. In einer Ausführungsform sind Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung als Teil von Steuerebene 905 implementiert, so dass Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung von Datenebene 906 (die auch Videoströme beinhalten kann) entkoppelt sind. In einer Ausführungsform sind Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung als Teil der Datenebene implementiert, sind aber bezüglich der Videoströme separat implementiert. Beispielsweise kann Steuerebene 905 für den Austausch von Befehlsnachrichten verwendet werden, wobei Befehle zum Stoppen von Video, Befehle zum Ermöglichen einer Steuerung, Befehle und Parameter zur Farbraumkonvertierung, Befehle und Parameter zur Videoskalierung usw. enthalten sind, die Videodaten unterstützen können, aber davon getrennt sind. Insbesondere können derartige Befehlsdaten nicht dafür verwendet werden, Video oder Video-Frames zu generieren, können aber Videoströme dafür verwendet werden, Video oder Video-Frames zu generieren.
  • Wie mit Bezug auf Basis-Frames 811 erörtert, sind in dem veranschaulichten Beispiel Basis-Frames 911 mit einer bestimmten Bildrate darzustellen. Des Weiteren werden Benutzerinteraktion-Frames 921 mit relevanten Frames von Basis-Frames 911, wie zur Darstellung empfangen, bei Kombinationsoperation 941 kombiniert. Insbesondere stellen Benutzerinteraktion-Frames 921 eine Form und Textur (z. B. Bildpunktdaten) ebenso bereit wie eine Position von Benutzerinteraktionsinhalt (z. B. eines Cursors), so dass Benutzerinteraktion-Frames 921 ohne weitere Daten dafür verwendet werden können, einen kombinierten Frame zu bilden, der Benutzerinteraktionsinhalt enthält. Die kombinierten Frames werden dann über einen Anzeigebildschirm präsentiert.
  • Wenn es keine Änderung an der Form und Textur (z. B. Bildpunktdaten) des Benutzerschnittstelleninhalts gibt, es aber eine Änderung an seiner Position gibt (z. B. ein regelmäßiges Ereignis, wenn ein Cursor o. Ä. bewegt wird) oder daran, wie er mit dem Basis-Frame zu kombinieren ist (z. B. ein regelmäßiges Ereignis, wenn ein Cursor o. Ä. pulsieren oder sich in seiner Darstellung anderweitig ändern soll), generiert und überträgt TAD-Quellvorrichtung 101 Nachrichten 931 für eine Benutzerinteraktionsinhaltsaktualisierung. Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung beinhalten jegliche geeignete Daten, um den Benutzerinteraktionsinhalt auf eine neue Position zu übertragen und/oder den Benutzerinteraktionsinhalt korrekt mit einem Basis-Frame zu kombinieren. In einer Ausführungsform beinhalten Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung Metadaten, um den Benutzerinteraktionsinhalt zu übertragen und/oder die Kombination des Benutzerinteraktionsinhalts mit einem Basis-Frame zu steuern. In einer Ausführungsform können Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung als Cursor-Metadaten-Pakete (CMP) bezeichnet werden. Wie erörtert, beinhalten Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung keinerlei Videoinhalt oder Daten, die dafür verwendet werden können, Video oder Video-Frames zu generieren.
  • In einer Ausführungsform beinhalten Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung eines oder mehr als eines von einer Benutzerinteraktionsinhaltsposition (z. B. einer Position oben links bei einem Frame, wobei der Benutzerinteraktionsinhalt mit einem Basis-Frame zu kombinieren ist), Zusammensetzungsparametern (z. B. Alpha-Blending-Parametern, XOR-Blend-Parametern usw.), einem Indikator zum Anzeigen, ob der Benutzerinteraktionsinhalt an (z. B. dargestellt) oder aus (z. B. nicht dargestellt) sein soll, oder z-Ordnen und Transparenzwerten für mehrere Videoebenen 803, 804 oder mehr, falls implementiert. In einer Ausführungsform werden Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung mit einem Nulldatenstrom (z. B. Nutzlastgröße von null) aber mit einem Header und Presentation Timestamp (PTS) gesendet, so dass der Header die Position, die Zusammensetzungsparameter und/oder den Ein/Aus-Indikator, wie erörtert, enthält und der Presentation Timestamp eine Zeit angibt, zu der der Benutzerinteraktionsinhalt zu präsentieren ist. In einer Ausführungsform gibt der Presentation Timestamp eine Frame-Nummer für die Darstellung des Benutzerinteraktionsinhalts an. In einer Ausführungsform sind, wenn durch Steuerebene 905 implementiert, Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung (z. B. die Metadaten darin) einem Basis-Frame zugeordnet, wobei die Frame-Nummer des Basis-Frames verwendet wird. In einer Ausführungsform stellen, wenn durch Datenebene 906 implementiert, Nachrichten 931 für Benutzerinteraktionsaktualisierung Aktualisierungen mit der gleichen Geschwindigkeit bereit, mit der sich der Inhalt von Basis-Frames 911 ändert (z. B. mit einer bestimmten Bildrate). In einer Ausführungsform werden, wenn durch Datenebene 906 implementiert, Nachrichten 931 für Benutzerinteraktionsaktualisierung als ein Attribut oder als Attribute der Benutzerinteraktion bereitgestellt.
  • Wie bei Aktualisierungsoperation 951 gezeigt, verwendet TAD-Senkenvorrichtung 102 eine von Benutzerinteraktionsinhaltsaktualisierungsnachrichten 931, um Benutzerinteraktion-Frames 921 zu aktualisieren oder zu modifizieren und/oder um zu modifizieren, wie Kombinationsoperation 942 den relevanten Basis-Frame 911 mit Benutzerinteraktion-Frame 921 kombiniert. Beispielsweise kann als Reaktion auf Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung die Position von Benutzerschnittstelleninhalt eingestellt werden, kann das Kombinieren eingestellt werden oder beides. Ferner wird, wenn keine Änderung an dem Benutzerinteraktionsinhalt empfangen wird (z. B. weder ein Schnittstellen-Frame 921 noch eine Nachricht 931 für Benutzerinteraktionsinhaltsaktualisierung empfangen wird), der frühere Benutzerinteraktion-Frame, wie durch die frühere Nachricht für Benutzerinteraktionsinhaltsaktualisierung modifiziert, mit dem aktuellen Frame von Basis-Frames 811 kombiniert, wie mit Bezug auf Kombinationsoperation 943 dargestellt.
  • Wie bei Aktualisierungsoperation 952 und Kombinationsoperation 944 gezeigt, verwendet TAD-Senkenvorrichtung 102, wenn eine andere Nachricht für Benutzerinteraktionsinhaltsaktualisierung empfangen wird (aber noch kein anderer Benutzerinteraktion-Frame), die aktuellsten Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung, um Benutzerinteraktion-Frames 921 zu aktualisieren oder zu modifizieren und/oder um zu modifizieren, wie Kombinationsoperation 942 den relevanten Basis-Frame 911 mit Benutzerinteraktion-Frame 921 kombiniert. In einer Ausführungsform sind Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung unabhängig, so dass alle erforderlichen Informationen für Aktualisierungsoperation 952 empfangen werden. In einer anderen Ausführungsform stellen zusammenhängende Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung (z. B. fortlaufend ohne eine Benutzerinteraktion-Frame-Aktualisierung dazwischen) Delta-Informationen bezüglich der ersten Nachricht für Benutzerinteraktionsinhaltsaktualisierung bereit, so dass nur Daten übertragen werden, die geändert sind. Beispielsweise werden, wenn sich die Position ändert, nicht aber die Zusammensetzungsparameter, lediglich die Positionsänderungen bereitgestellt (entweder als eine neue Position oder als eine Verschiebung von der früheren Position). Gleichermaßen werden, wenn sich die Zusammensetzungsparameter ändern, nicht aber die Position, lediglich die Zusammensetzungsparameter bereitgestellt.
  • Wenn ein anderer von Benutzerinteraktion-Frames 921 zur Darstellung empfangen wird (z. B. aufgrund von Änderungen der Form und/oder Textur des Benutzerinteraktionsinhalts), wird der neue Benutzerinteraktion-Frame von Schnittstellen-Frames 921 mit einem relevanten Basis-Frame von Basis-Frames 911 kombiniert, wie mit Bezug auf Kombinationsoperation 945 dargestellt. Der kombinierte Frame wird dann über einen Anzeigebildschirm präsentiert. Wenn keine Änderung an dem Benutzerinteraktionsinhalt empfangen wird (z. B. kein Schnittstellen-Frame empfangen wird und keine Nachricht für Benutzerinteraktionsinhaltsaktualisierung empfangen wird), wird der frühere Benutzerinteraktion-Frame mit dem aktuellen Frame von Basis-Frames 911 kombiniert, wie mit Bezug auf Kombinationsoperation 946 gezeigt. Wie mit Bezug auf 8 erörtert, können Benutzerinteraktion-Frames 921 in einer ersten Pufferbelegung eines Speicherpuffers gespeichert werden und können Basis-Frames 911 in einer zweiten Pufferbelegung des Speicherpuffers gespeichert werden, so dass die erste Pufferbelegung kleiner ist als die zweite Pufferbelegung. Zudem müssen Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung nicht zwischengespeichert werden.
  • In der veranschaulichten Ausführungsform sind Basis-Frames 911 mit einer festen Bildrate vorgesehen und sind Benutzerinteraktion-Frames 921 sowie Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung mit einer intermittierenden oder Ad-hoc-Bildrate vorgesehen. In einigen Ausführungsformen werden Basis-Frames 911, Benutzerinteraktion-Frames 821 und Nachrichten 931 für Benutzerinteraktionsinhaltsaktualisierung alle mit intermittierenden oder Ad-hoc-Raten empfangen. Wie mit Bezug auf 8 erörtert, kann ein Basis-Frame in einer Speicherpufferbelegung gespeichert werden (z. B. 1920x1080-Bildpunktpufferbelegung für hohe Auflösung), bis eine Änderung an dem Basis-Frame empfangen wird, wobei zu diesem Zeitpunkt die Speicherpufferbelegung durch den neuen Basis-Frame ersetzt wird. Gleichermaßen kann ein Benutzerinteraktion-Frame (wie erörtert, kann ein Frame einen kompletten Anzeigebildschirm ausfüllen oder nicht) in einer anderen Speicherpufferbelegung gespeichert werden (z. B. 64x64-Bildpunktpufferbelegung), die kleiner ist als die Basis-Frame-Speicherpufferbelegung, bis eine Änderung an dem Benutzerinteraktion-Frame empfangen wird, wobei zu diesem Zeitpunkt die Speicherpufferbelegung des Benutzerinteraktion-Frames aktualisiert wird. Des Weiteren können bei jeder Anzeigebildschirmaktualisierung der aktuelle Basis-Frame und der aktuelle Benutzerinteraktion-Frame, wie durch eine aktuelle Nachricht für Benutzerinteraktionsinhaltsaktualisierung modifiziert (falls zutreffend), unter Verwendung von Techniken, die durch eine aktuelle Nachricht für Benutzerinteraktionsinhaltsaktualisierung modifiziert sind (falls zutreffend), kombiniert werden, um einen zusammengesetzten Frame zur Darstellung mittels einer Stromsenke zu generieren (die z. B. einen Anzeigebildschirm umfasst). Insbesondere muss TAD-Quellvorrichtung 101 bei Verwendung derartiger Techniken Basis-Frames lediglich senden, wenn Frame-Aktualisierungen erforderlich sind, Benutzerinteraktion-Frames lediglich, wenn Form- oder Texturänderungen an dem Benutzerinteraktionsinhalt erforderlich sind, und eine Nachricht für Benutzerinteraktionsinhaltsaktualisierung, wenn Positions- oder Kombinationsänderungen für den Benutzerinteraktionsinhalt erforderlich sind, was eine erhebliche Ressourcenverbrauchsreduktion hinsichtlich Verarbeitung, Energie und Bandbreite ermöglicht.
  • Die hier behandelten Techniken und Systeme dienen der generalisierten Niedriglatenzbenutzerinteraktion mit Video auf verschiedenen Transporteinrichtungen. Beispielsweise sehen die beschriebenen Techniken und Systeme ein generalisiertes Framework vor (z. B. anstatt einen kleinen dedizierten Benutzerinteraktions- oder Cursor-Puffer zu definieren), wobei eine zweite Ebene definiert ist, die für Benutzerinteraktionsinhalt (z. B. einen Cursor) oder anderen Inhalt, wie zum Beispiel mehrere Anwendungen, genutzt werden kann. Derartige Techniken bieten Einsparungen und Effizienzen hinsichtlich Energie, Berechnung und Bandbreite. Wie erörtert, stellt im Zusammenhang mit TAD eine Videosenkenvorrichtung Speicher für jede Videoebene bereit, die sie unterstützt. In einigen Ausführungsformen wird jede Ebene nur dann übertragen, wenn sich ihr Inhalt geändert hat. Wenn sich der Inhalt nicht geändert hat, setzt die Videosenkenvorrichtung den Frame auf Grundlage lokal gespeicherter Daten zusammen. Da lokale Kopien jedes Frames (Basis- und Benutzerinteraktion-) existieren, sind Aktualisierungsraten jedes Frames von den anderen entkoppelt: Nur der Frame, der geändert wurde, wird übertragen und nur, wenn eine Änderung eintritt. Dies vermeidet in vorteilhafter Weise unnötige Datenübertragung und die damit verbundene Verarbeitung an der Videoquellvorrichtung und der Videosenkenvorrichtung. Des Weiteren wird Niedriglatenzbenutzerinteraktion (z. B. ein Cursor niedriger Latenz) dadurch erreicht, dass eine zweite Videoebene für den Niedriglatenzbenutzerinteraktion verwendet wird, wobei die erste Ebene (z. B. eine Basis-Frame-Ebene) nicht neu übertragen wird, wenn sie sich nicht geändert hat, und die zweite Ebene (z. B. die Benutzerinteraktionsinhaltsebene) nicht übertragen wird, sofern sich die Form des Benutzerinteraktionsinhalts (z. B. des Cursors) nicht geändert hat. Das Nichtübertragen der ersten Ebene sofern es keine Änderungen gibt, reduziert die Latenz bis zur Bereitschaft eines Frames gegenüber Ansätzen der vollständigen Zusammensetzung (z. B. bei denen der Basis-Frame mit der Bildwiederholrate der Anzeige übertragen wird). Das Nichtübertragen der zweiten Ebene sofern es keine Formänderung gibt reduziert die Latenz beim Vorbereiten des Frames, da Aufwand, der zu erbringen ist, weiter reduziert wird (z. B. sind, wenn ein Cursor bewegt wird, die einzigen Informationen, die zu übertragen sind, lediglich die Cursorposition und keine anderen Ebenen). Insbesondere betreffen Verzögerungen auf dem Pfad zwischen Übertragen und Verarbeiten von Video-Frame-Daten den Cursor nicht mehr, wenn der einzige Bildwechsel die Cursorbewegung betrifft.
  • 10 ist ein Ablaufdiagramm, das einen beispielhaften Vorgang 1000 zum Empfangen und Präsentieren von Video über verschiedene Transporteinrichtungen darstellt, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Vorgang 1000 kann eine oder mehrere Operationen 1001-1004 umfassen, wie in 10 dargestellt. Vorgang 1000 kann mindestens einen Teil eines Videopräsentationsvorgangs bilden. Ferner wird Vorgang 1000 mit Bezug auf System 1200 aus 12 beschrieben.
  • 11 ist ein Ablaufdiagramm, das einen anderen beispielhaften Vorgang 1100 zum Generieren und Übertragen von Video über verschiedene Transporteinrichtungen darstellt, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Vorgang 1100 kann eine oder mehrere Operationen 1101-1103 umfassen, wie in 11 dargestellt. Vorgang 1100 kann mindestens einen Teil eines Videoübertragungsvorgangs bilden. Ferner wird Vorgang 1100 mit Bezug auf System 1200 aus 12 beschrieben.
  • 12 ist eine veranschaulichende Darstellung eines Beispielsystems 1200 zum Empfangen und Präsentieren von Video und/oder zum Generieren und Übertragen von Video über verschiedene Transporteinrichtungen, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Beispielsweise kann System 1200 eine oder mehrere Operationen, die mit Bezug auf Vorgang 1000 sowie Vorgang 1100 erörtert sind, oder jegliche andere hier behandelte Operationen durchführen. Wie in 12 dargestellt, kann System 1200 einen Zentralprozessor 1201, eine Steuereinrichtung 1202, einen Speicher 1203, einen oder mehrere Anzeigebildschirme 1204 und einen Sender/Empfänger 1205 enthalten. In einigen Ausführungsformen kann System 1200 Kamera 1204, Anzeige 1205 und/oder Sender/Empfänger 1205 nicht enthalten. Wie dargestellt, kann Steuereinrichtung 1202 TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 implementieren. System 1200 kann jedes hier behandelte System oder jede hier behandelte Vorrichtung oder Kombinationen davon umfassen. In dem Beispiel von System 1200 kann Speicher 1203 Videodaten, Nachrichtenaustauschdaten, Basis-Frame-Daten, Benutzerinteraktion-Frame-Daten oder jegliche zugehörige Daten, wie zum Beispiel jegliche andere hier erörterte Daten, speichern.
  • Wie gezeigt, können in einigen Ausführungsformen eines oder mehr als eines oder Teile von TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 durch Steuereinrichtung 1202 implementiert sein. In anderen Ausführungsformen können eines oder mehr als eines oder Teile von TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 durch den Zentralprozessor 1201 implementiert sein. In wieder anderen Ausführungsformen können eines oder mehr als eines oder Teile von TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 durch eine Videoverarbeitungseinheit, eine Grafikverarbeitungseinheit, eine Bildverarbeitungseinheit o. Ä. implementiert sein. In einigen Ausführungsformen kann System 400 für bewegungsbasierte farbunterstützte Bereichssegmentierung in Hardware als ein System-on-a-Chip (SoC) implementiert sein.
  • Steuereinrichtung 1202 kann jede Anzahl und Art von Verarbeitungseinheiten enthalten, die die Operationen, wie hier erörtert, bereitstellen können. Derartige Operationen können durch Software oder Hardware oder eine Kombination davon implementiert sein. Beispielsweise kann Steuereinrichtung 1202 eine Schaltungsanordnung umfassen, die dafür vorgesehen ist, Bilder oder Frames, die aus Speicher 1203 erlangt werden, zu manipulieren und/oder zu analysieren. Der Zentralprozessor 1201 kann jede Anzahl und Art von Verarbeitungseinheiten oder Modulen enthalten, die Steuerfunktionen und andere höhere Funktionen für System 1200 bereitstellen und/oder jegliche Operationen, wie hier erörtert, bereitstellen können. Speicher 1203 kann jede Art von Speicher sein, wie zum Beispiel flüchtiger Speicher (z. B. Static Random Access Memory (SRAM), Dynamic Random Access Memory (DRAM) usw.) oder nichtflüchtiger Speicher (z. B. Flash-Speicher usw.) und so weiter. In einem nicht einschränkenden Beispiel kann Speicher 1203 durch Cache-Speicher implementiert sein. In einer Ausführungsform können eines oder mehr als eines oder Teile von TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 durch eine Ausführungseinheit (EU, execution unit) von Steuereinrichtung 1202 oder einem anderen Prozessor implementiert sein. Die EU kann beispielsweise programmierbare Logik oder eine Schaltungsanordnung umfassen, wie zum Beispiel einen Logikkern oder Logikkerne, die ein breites Spektrum von Funktionen programmierbarer Logik bereitstellen können. In einer Ausführungsform können eines oder mehr als eines oder Teile von TAD-Quellvorrichtung 101 und/oder TAD-Senkenvorrichtung 102 durch dedizierte Hardware, wie zum Beispiel eine Schaltungsanordnung fester Funktion oder dergleichen, implementiert sein. Die Schaltungsanordnung fester Funktion kann eine dedizierte Logik oder Schaltungsanordnung umfassen und kann eine Reihe von Einsprungpunkten fester Funktion bereitstellen, die auf die dedizierte Logik für einen festen Zweck oder eine feste Funktion abbilden können. Anzeige 1204 kann jede Anzeige oder jede Vorrichtung sein, die Bild- oder Frame-Daten präsentieren kann. Sender/Empfänger 1206 kann jeden geeigneten Sender und/oder Empfänger umfassen, der Daten, wie hier erörtert, senden oder empfangen kann.
  • System 1200 kann jegliche Vorrichtungen, Systeme, Module, Einheiten oder dergleichen, wie hier erörtert, implementieren. Ferner kann System 1200 jegliche Vorgänge, Operationen oder dergleichen, wie hier erörtert, implementieren. System 1200 kann jeden geeigneten Formfaktor aufweisen. Beispielsweise kann System 1200 von einer Kamera, einem Smartphone, einem Ultrabook, einem Tablet, einer am Körper tragbaren Vorrichtung, einem Monitor, einem Desktop-Computer, einer Set-Top-Box, einer Spielkonsole, einem Fernseher o. Ä. implementiert werden.
  • Zurückkehrend zur Erörterung von 10, kann Vorgang 1000 bei Operation 1001 beginnen, wobei ein erster Videostrom von einer Inhaltsquelle über eine Transporttopologie empfangen wird, so dass der erste Videostrom einer ersten Videoebene entspricht und die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt enthält. Beispielsweise kann der Basis-Frame dafür geeignet sein, eine Auflösung eines Anzeigebildschirms auszufüllen, und kann der zusammengesetzte Videoinhalt für die Darstellung mit oder ohne Benutzerinteraktionsinhalt geeignet sein.
  • Das Verarbeiten kann bei Operation 1002 fortfahren, wobei ein zweiter Videostrom, der von dem ersten Videostrom getrennt ist, von der Inhaltsquelle über die Transporttopologie empfangen wird, so dass der zweite Videostrom einer zweiten Videoebene entspricht und die zweite Videoebene einen Benutzerinteraktion-Frame von Benutzerinteraktionsinhalt enthält.
  • Beispielsweise kann der Benutzerinteraktion-Frame ein kleines Frame-Segment sein (z. B. 16x16 Bildpunkte oder 32x32 Bildpunkte), das Benutzerinteraktionsinhalt, wie zum Beispiel einen Cursor oder ein anderes Benutzereingabebild, beinhaltet.
  • Das Verarbeiten kann bei Operation 1003 fortfahren, wobei der Basis-Frame und der Benutzerinteraktion-Frame kombiniert werden, um einen zusammengesetzten Frame zu generieren. Der Basis-Frame und der Benutzerinteraktion-Frame können unter Verwendung jeglicher geeigneter Technik oder Techniken kombiniert werden. In einer Ausführungsform wird der Benutzerinteraktion-Frame auf den Basis-Frame überlagert. In einer Ausführungsform werden der Benutzerinteraktion-Frame und der Basis-Frame mittels Blending vermischt.
  • Das Verarbeiten kann bei Operation 1004 fortfahren, wobei der zusammengesetzte Frame einem Anzeigebildschirm zur Präsentation bereitgestellt wird. Beispielsweise enthält der zusammengesetzte Frame den Inhalt des Basis-Frames und den Inhalt des Benutzerinteraktion-Frames, die in einer für die Darstellung geeigneten Weise kombiniert sind (z. B. werden der Cursor-Inhalt und der Basis-Frame-Inhalt in dem zusammengesetzten Frame dargestellt).
  • In einer Ausführungsform wird der erste Videostrom von einem ersten Transport-Agnostic-Display-konformen Empfänger empfangen, der von einer Steuereinrichtung implementiert wird, und wird der zweite Videostrom von einem zweiten (separaten) Transport-Agnostic-Display-konformen Empfänger empfangen, der von der (gleichen) Steuereinrichtung implementiert wird. In einer Ausführungsform umfasst Vorgang 1000 ferner das Empfangen einer Benutzerinteraktion-Binden-Nachricht von der Inhaltsquelle über die Transporttopologie, um die ersten und zweiten Videoströme zu binden, so dass die Benutzerinteraktion-Binden-Nachricht einen ersten Handle des ersten Transport-Agnostic-Display-konformen Empfängers angibt, das Generieren des zweiten Transport-Agnostic-Display-konformen Empfängers als Reaktion auf die Benutzerinteraktion-Binden-Nachricht und das Generieren einer Benutzerinteraktion-Gebunden-Nachricht, die einen zweiten Handle des zweiten Transport-Agnostic-Display-konformen Empfängers angibt, als Reaktion auf die Binden-Nachricht. In einer Ausführungsform umfasst Vorgang 1000 ferner das Empfangen einer Binden-Aufheben-Nachricht von der Inhaltsquelle über die Transporttopologie, um die ersten und zweiten Videoströme zu entbinden, so dass die Entbinden-Nachricht die ersten und zweiten Handles enthält, und als Reaktion auf die Binden-Aufheben-Nachricht das Bereitstellen eines zweiten Basis-Frames zur Präsentation, so dass der zweite Basis-Frame über den ersten Videostrom empfangen wird und aus lediglich der ersten Videoebene von zusammengesetztem Videoinhalt besteht (z. B. enthält er keinen Benutzerinteraktionsinhalt).
  • In einer Ausführungsform werden der erste Videostrom und der zweite Videostrom beide von einem (gleichen) Transport-Agnostic-Display-konformen Empfänger empfangen, der von einer Steuereinrichtung implementiert wird. In einer Ausführungsform umfasst Vorgang 1000 ferner das Empfangen eines Strom-Start-Befehls, der dem zweiten Videostrom entspricht, von der Inhaltsquelle über die Transporttopologie, so dass der Strom-Start-Befehl angibt, dass der zweite Videostrom Benutzerinteraktionsinhalt enthält, und der zusammengesetzte Frame als Reaktion auf den Strom-Start-Befehl generiert wird.
  • In einer Ausführungsform umfasst Vorgang 1000 ferner das Empfangen einer Nachricht für Benutzerinteraktionsinhaltsaktualisierung in einer Steuerebene, die von den ersten und zweiten Videoebenen getrennt ist, von der Inhaltsquelle über die Transporttopologie, wobei sie für einen zweiten Basis-Frame der ersten Videoebene, der dem Basis-Frame folgt, mindestens eines von einer Position innerhalb des zweiten Frames, einem Zusammensetzungsparameter oder einem Ein/Aus-Indikator für den Benutzerinteraktion-Frame angibt, und das Generieren eines zweiten zusammengesetzten Basis-Frames auf Grundlage des zweiten Frames, des Benutzerinteraktion-Frames und der Nachricht für Interaktionsinhaltsaktualisierung. In einer Ausführungsform umfasst die Nachricht für Benutzerinteraktionsinhaltsaktualisierung den Zusammensetzungsparameter und umfasst der Zusammensetzungsparameter ein z-Ordnen für die ersten und zweiten Videoebenen und einen Transparenzwert für die zweite Videoebene.
  • In einer Ausführungsform umfasst Vorgang 1000 ferner das Empfangen einer Aktualisierungsbenutzerschnittstellensteuernachricht über eine Steuerebene von der Inhaltsquelle über die Transporttopologie, das Übertragen, als Reaktion auf die Aktualisierungsbenutzerschnittstellensteuernachricht, einer Benutzerschnittstellen-Binden-Nachricht, die angibt, dass die Steuereinrichtung dafür vorbereitet ist, einen zweiten Basis-Frame und einen zweiten Benutzerschnittstellen-Frame, empfangen über die Steuerebene, zu binden, und das Zusammensetzen des zweiten Basis-Frames und des zweiten Benutzerschnittstellen-Frames, empfangen über die Steuerebene, um einen zweiten zusammengesetzten Frame zu generieren.
  • Vorgang 1000 kann für jede Anzahl von Videosequenzen, Videoinstanzen oder dergleichen hintereinander oder mindestens teilweise parallel durchgeführt werden.
  • Nun wird 11 erörtert, wobei Vorgang 1100 bei Operation 1101 beginnen kann, wobei ein erster Videostrom, der einer ersten Videoebene entspricht, derart generiert wird, dass die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt enthält. Beispielsweise kann der Basis-Frame dafür geeignet sein, eine Auflösung eines Anzeigebildschirms auszufüllen, und kann der zusammengesetzte Videoinhalt für die Darstellung mit oder ohne Benutzerinteraktionsinhalt geeignet sein.
  • Das Verarbeiten kann bei Operation 1102 fortfahren, wobei ein zweiter Videostrom, der von dem ersten Videostrom getrennt ist, derart generiert wird, dass der zweite Videostrom einer zweiten Videoebene entspricht und die zweite Videoebene Benutzerinteraktionsinhalt beinhaltet. Beispielsweise kann der Benutzerinteraktion-Frame ein kleines Frame-Segment sein (z. B. 16x16 Bildpunkte oder 32x32 Bildpunkte), das Benutzerinteraktionsinhalt, wie zum Beispiel einen Cursor oder ein anderes Benutzereingabebild, beinhaltet.
  • Das Verarbeiten kann bei Operation 1103 fortfahren, wobei ein Befehl an einen Sender gegeben wird, die ersten und zweiten Videoströme über eine Transporttopologie an eine Anzeigevorrichtung zu übertragen. Beispielsweise können die Daten, die über die Transporttopologie übertragen werden, bezüglich des Transports agnostisch sein, so dass die Daten über jede geeignete Art von Transporttopologie übertragen werden können.
  • In einer Ausführungsform wird der erste Videostrom von einer ersten Transport-Agnostic-Display-konformen Stromquelle generiert, die von einer Steuereinrichtung implementiert wird, und wird der zweite Videostrom von einer (separaten) zweiten Transport-Agnostic-Display-konformen Stromquelle generiert, die von der (gleichen) Steuereinrichtung implementiert wird. In einer Ausführungsform umfasst Vorgang 1100 ferner das Bestimmen, dass eine Benutzerauswahl der Niedriglatenzbenutzerschnittstelle aktiviert ist, und das Bereitstellen einer Benutzerinteraktion-Binden-Nachricht an die Anzeigevorrichtung über die Transporttopologie und als Reaktion auf die Benutzerauswahl der Niedriglatenzbenutzerschnittstelle, um die ersten und zweiten Videoströme an der Anzeigevorrichtung zu binden, so dass die Benutzerinteraktion-Binden-Nachricht einen ersten Handle eines ersten Transport-Agnostic-Display-konformen Empfängers der Anzeigevorrichtung angibt. In einer Ausführungsform umfasst Vorgang 1100 ferner das Empfangen einer Benutzerinteraktion-Gebunden-Nachricht, die einen zweiten Handle eines zweiten Transport-Agnostic-Display-konformen Empfängers der Anzeigevorrichtung angibt. In einer Ausführungsform umfasst Vorgang 1100 ferner das Empfangen eines Indikators, dass die Benutzerinteraktionsanzeige aufzuheben ist, und das Bereitstellen einer Binden-Aufheben-Nachricht an die Anzeigevorrichtung über die Transporttopologie, um die ersten und zweiten Videoströme zu entbinden, wobei die Entbinden-Nachricht die ersten und zweiten Handles aufweist.
  • In einer Ausführungsform werden der erste Videostrom und der zweite Videostrom beide von einer (gleichen) Stromquelle generiert, die von der Steuereinrichtung implementiert wird. In einer Ausführungsform umfasst Vorgang 1100 ferner das Bereitstellen eines Strom-Start-Befehls an die Anzeigevorrichtung über die Transporttopologie, der dem zweiten Videostrom entspricht, so dass der Strom-Start-Befehl angibt, dass der zweite Videostrom Benutzerinteraktionsinhalt enthält.
  • In einer Ausführungsform umfasst Vorgang 1100 ferner das Bereitstellen einer Nachricht für Benutzerinteraktionsinhaltsaktualisierung in einer Steuerebene, die von den ersten und zweiten Videoebenen getrennt ist, an die Anzeigevorrichtung über die Transporttopologie, wobei sie für einen zweiten Basis-Frame der ersten Videoebene, der dem Basis-Frame folgt, mindestens eines von einer Position innerhalb des zweiten Frames, einem Zusammensetzungsparameter oder einem Ein/Aus-Indikator für den Benutzerinteraktion-Frame angibt. In einer Ausführungsform umfasst die Nachricht für Benutzerinteraktionsinhaltsaktualisierung den Zusammensetzungsparameter und umfasst der Zusammensetzungsparameter ein z-Ordnen für die ersten und zweiten Videoebenen und einen Transparenzwert für die zweite Videoebene.
  • Vorgang 1100 kann für jede Anzahl von Videosequenzen, Videoinstanzen oder dergleichen hintereinander oder mindestens teilweise parallel durchgeführt werden.
  • Obwohl die Implementierung der beispielhaften Vorgänge, die hier erörtert sind, das Durchführen aller gezeigten Operationen in der dargestellten Reihenfolge umfassen kann, ist die vorliegende Offenbarung in dieser Hinsicht nicht beschränkt und kann in verschiedenen Beispielen die Implementierung der beispielhaften Vorgänge hier nur eine Teilmenge der gezeigten Operationen, Operationen, die in einer anderen Reihenfolge als der dargestellten durchgeführt werden, oder zusätzliche Operationen umfassen.
  • Verschiedene Komponenten der Systeme, die hier beschrieben sind, können in Software, Firmware und/oder Hardware und/oder jeder Kombination davon implementiert sein. Beispielsweise können verschiedene Komponenten der Systeme oder Vorrichtungen, die hier erörtert sind, mindestens teilweise durch Hardware eines Rechen-System-on-a-Chip (SoC) bereitgestellt sein, wie es etwa in einem Rechensystem, wie zum Beispiel einem Smartphone, vorkommt. Ein Fachmann kann erkennen, dass Systeme, die hier beschrieben sind, zusätzliche Komponenten enthalten können, die in den entsprechenden Figuren nicht bildlich dargestellt wurden. Beispielsweise können die Systeme, die hier erörtert sind, zusätzliche Komponenten, wie zum Beispiel Bitstrommultiplexer- oder -demultiplexermodule und dergleichen, enthalten, die aus Gründen der Klarheit nicht bildlich dargestellt wurden.
  • Obwohl die Implementierung der beispielhaften Vorgänge, die hier erörtert sind, das Durchführen aller gezeigten Operationen in der dargestellten Reihenfolge umfassen kann, ist die vorliegende Offenbarung in dieser Hinsicht nicht beschränkt und kann in verschiedenen Beispielen die Implementierung der beispielhaften Vorgänge hier nur eine Teilmenge der gezeigten Operationen, Operationen, die in einer anderen Reihenfolge als der dargestellten durchgeführt werden, oder zusätzliche Operationen umfassen.
  • Darüber hinaus können eine beliebige oder mehrere der hier erörterten Operationen als Reaktion auf Anweisungen durchgeführt werden, die von einem oder mehreren Computerprogrammprodukten bereitgestellt werden. Derartige Programmprodukte können signaltragende Medien umfassen, die Anweisungen bereitstellen, die bei Ausführung durch beispielsweise einen Prozessor die hier beschriebene Funktionalität bereitstellen können. Die Computerprogrammprodukte können in jeder Form eines oder mehrerer maschinenlesbarer Medien bereitgestellt sein. So kann beispielsweise ein Prozessor, der eine oder mehrere Grafikverarbeitungseinheit(en) oder einen oder mehrere Prozessorkern(e) enthält, einen oder mehrere der Blöcke der hier aufgeführten beispielhaften Vorgänge als Reaktion auf Programmcode und/oder Anweisungen oder Befehlssätze ausführen, die von einem oder mehreren maschinenlesbaren Medien an den Prozessor übermittelt werden. Allgemein kann ein maschinenlesbares Medium Software in Form von Programmcode und/oder Anweisungen oder Befehlssätzen übermitteln, die bewirken können, dass ein beliebiges der hier beschriebenen Vorrichtungen und/oder Systeme mindestens Abschnitte der hier erörterten Operationen und/oder jegliche Abschnitte der Vorrichtungen, Systeme oder jegliches Modul oder jegliche Komponente, wie hier erörtert, implementiert.
  • So wie in einer beliebigen Implementierung, die hier beschrieben ist, verwendet, bezieht sich der Begriff „Modul“ auf jegliche Kombination von Software-Logik, Firmware-Logik, Hardware-Logik und/oder einer Schaltungsanordnung, die dazu ausgebildet ist, die hier beschriebene Funktionalität bereitzustellen. Die Software kann als ein Softwarepaket, Code und/oder ein Befehlssatz oder als Anweisungen ausgeführt sein und „Hardware“, so wie in einer beliebigen Implementierung, die hier beschrieben ist, verwendet, kann beispielsweise eine festverdrahtete Schaltungsanordnung, eine programmierbare Schaltungsanordnung, eine Zustandsmaschinenschaltungsanordnung, eine Schaltungsanordnung fester Funktion, eine Ausführungseinheitschaltungsanordnung und/oder Firmware, die Anweisungen speichern, die von einer programmierbaren Schaltungsanordnung ausgeführt werden, einzeln oder in jeglicher Kombination beinhalten. Die Module können gemeinsam oder einzeln als Schaltungsanordnung ausgeführt sein, die einen Teil eines größeren Systems bildet, beispielsweise einer integrierten Schaltung (IC, integrated circuit), eines System-on-Chip (SoC) usw.
  • 13 ist eine veranschaulichende Darstellung eines Beispielsystems 1300, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. System 1300 kann jegliche Operationen ausführen, die hier erörtert sind. System 1300 kann integriert sein in einen Personal Computer (PC), Laptop-Computer, Ultra-Laptop-Computer, ein Tablet, Touchpad, einen tragbaren Computer, Handheld-Computer, Palmtop-Computer, eine Spielkonsole, einen Personal Digital Assistant (PDA), ein Funktelefon, eine Funktelefon/PDA-Kombination, einen Fernseher, ein Smart Device (z. B. Smartphone, Smart-Tablet oder Smart-TV), ein mobiles Internetgerät (MID, Mobile Internet Device), eine Nachrichtenaustauschvorrichtung, Datenkommunikationsvorrichtung, in Kameras (z. B. Point-And-Shoot-Kameras, Super-Zoom-Kameras, digitale Spiegelreflexkameras (DSLR, digital single-lens reflex)) usw.
  • In verschiedenen Implementierungen enthält System 1300 eine Plattform 1302, die mit einer Anzeige 1320 gekoppelt ist. Plattform 1302 kann Inhalt von einer Inhaltsvorrichtung erhalten, wie zum Beispiel Inhaltsdienstevorrichtung(en) 1330 oder Inhaltsübergabevorrichtung(en) 1340 oder anderen ähnlichen Inhaltsquellen. Eine Navigationssteuereinrichtung 1350, die eine oder mehrere Navigationselemente umfasst, kann dafür verwendet werden, mit beispielsweise Plattform 1302 und/oder Anzeige 1320 zu interagieren. Jede dieser Komponenten ist nachstehend ausführlicher beschrieben.
  • In verschiedenen Implementierungen kann Plattform 1302 jegliche Kombination aus einem Chipsatz 1305, einem Prozessor 1310, einem (Memory-)Speicher 1312, einer Antenne 1313, einem Speicher 1314, einem Grafiksubsystem 1315, Anwendungen 1316 und/oder einer Funkeinrichtung 1318 beinhalten. Chipsatz 1305 kann Interkommunikation zwischen Prozessor 1310, (Memory-)Speicher 1312, Speicher 1314, Grafiksubsystem 1315, Anwendungen 1316 und/oder Funkeinrichtung 1318 bereitstellen. Beispielsweise kann Chipsatz 1305 einen Speicheradapter (nicht dargestellt) enthalten, der es vermag, Interkommunikation mit Speicher 1314 bereitzustellen.
  • Prozessor 1310 kann als CISC-(Complex Instruction Set Computer)- oder RISC-(Reduced Instruction Set Computer)-Prozessoren, x86-Befehlssatz-kompatible Prozessoren, Mehrkern- oder jeder andere Mikroprozessor oder jede andere zentrale Verarbeitungseinheit (CPU) implementiert sein. In verschiedenen Implementierungen kann Prozessor 1310 ein Doppelkernprozessor/Doppelkernprozessoren, ein Doppelkernmobilprozessor/Doppelkernmobilprozessoren usw. sein.
  • (Memory-)Speicher 1312 kann als eine flüchtige Speichervorrichtung implementiert sein, wie etwa, jedoch nicht darauf beschränkt, ein Speicher mit wahlfreiem Zugriff (RAM), ein dynamischer RAM (DRAM) oder ein statischer RAM (SRAM).
  • Speicher 1314 kann als eine nicht flüchtige Speichervorrichtung implementiert sein, wie etwa, jedoch nicht darauf beschränkt, ein Magnetplattenlaufwerk, ein optisches Plattenlaufwerk, ein Bandlaufwerk, eine interne Speichervorrichtung, eine angeschlossene Speichervorrichtung, ein Flash-Speicher, ein batteriegestützter SDRAM (synchroner DRAM) und/oder eine über Netzwerk zugängliche Speichervorrichtung. In verschiedenen Implementierungen kann Speicher 1314 Technologie zum Erhöhen des speicherleistungsverbesserten Schutzes für wertvolle Digitale Medien beinhalten, wenn beispielsweise mehrere Festplatten enthalten sind.
  • Grafiksubsystem 1315 kann das Verarbeiten von Bildern, wie zum Beispiel Standbildern oder Video, zur Anzeige durchführen. Grafiksubsystem 1315 kann beispielsweise eine Grafikverarbeitungseinheit (GPU, graphics processing unit) oder eine visuelle Verarbeitungseinheit (VPU, visual processing unit) sein. Eine analoge oder digitale Schnittstelle kann dafür verwendet werden, Grafiksubsystem 1315 und Anzeige 1320 kommunikativ zu koppeln. Beispielsweise kann die Schnittstelle eines von High Definition Multimedia Interface, DisplayPort, Drahtlos-HDMI und/oder Drahtlos-HD-konformen Techniken sein. Grafiksubsystem 1315 kann in Prozessor 1310 oder Chipsatz 1305 integriert sein. In einigen Implementierungen kann Grafiksubsystem 1315 eine eigenständige Vorrichtung sein, die mit Chipsatz 1305 kommunikativ gekoppelt ist.
  • Die Grafik- und/oder Videoverarbeitungstechniken, die hier beschrieben sind, können in verschiedenen Hardwarearchitekturen implementiert sein. Beispielsweise kann Grafik- und/oder Videofunktionalität in einem Chipsatz integriert sein. Alternativ kann ein getrennter Grafik- und/oder Videoprozessor verwendet werden. Als eine wiederum andere Implementierung können die Grafik- und/oder Videofunktionen von einem Universalprozessor, der einen Mehrkernprozessor umfasst, bereitgestellt werden. In weiteren Ausführungsformen können die Funktionen in einer Unterhaltungselektronikvorrichtung implementiert sein.
  • Funkeinrichtung 1318 kann eine oder mehrere Funkeinrichtungen umfassen, die es vermögen, Signale unter Verwendung verschiedener geeigneter drahtloser Kommunikationstechniken zu senden und zu empfangen. Derartige Techniken können Übertragungen über ein oder mehrere drahtlose Netzwerke beinhalten. Beispielhafte drahtlose Netzwerke umfassen (sind jedoch nicht beschränkt auf) drahtlose lokale Netzwerke (WLAN), WPAN (Wireless Personal Area Network), WMAN (Wireless Metropolitan Area Network), Mobilfunknetze und Satellitennetze. Beim Kommunizieren über derartige Netzwerke kann Funkeinrichtung 1318 gemäß einem oder mehreren anwendbaren Standards in jeglicher Version arbeiten.
  • In verschiedenen Implementierungen kann Anzeige 1320 jeglichen Monitor oder jegliche Anzeige vom Fernsehtyp umfassen. Anzeige 1320 kann beispielsweise einen Computeranzeigebildschirm, eine Berührungsbildschirmanzeige, einen Videomonitor, eine fernsehähnliche Vorrichtung und/oder einen Fernseher umfassen. Anzeige 1320 kann digital und/oder analog sein. In verschiedenen Implementierungen kann Anzeige 1320 eine holografische Anzeige sein. Auch kann Anzeige 1320 eine transparente Oberfläche sein, die eine visuelle Projektion empfangen kann. Derartige Projektionen können verschiedene Formen von Informationen, Bildern und/oder Objekten übermitteln. Beispielsweise können derartige Projektionen eine visuelle Überlagerung für eine Anwendung der mobilen erweiterten Realität (MAR, mobile augmented reality) sein. Unter der Steuerung einer oder mehrerer Softwareanwendungen 1316 kann Plattform 1302 Benutzerschnittstelle 1322 auf Anzeige 1320 darstellen.
  • In verschiedenen Implementierungen können Inhaltsdienstevorrichtung(en) 1330 von jedem nationalen, internationalen und/oder unabhängigen Dienst gehostet werden und somit für Plattform 1302 beispielsweise über das Internet zugänglich sein.
    Inhaltsdienstevorrichtung(en) 1330 können mit Plattform 1302 und/oder Anzeige 1320 gekoppelt sein. Plattform 1302 und/oder Inhaltsdienstevorrichtung(en) 1330 können mit einem Netzwerk 1360 gekoppelt sein, um Medieninformationen an und von Netzwerk 1360 zu übertragen (z. B. zu senden und/oder zu empfangen). Inhaltsübergabevorrichtung(en) 1340 können ebenfalls mit Plattform 1302 und/oder Anzeige 1320 gekoppelt sein.
  • In verschiedenen Implementierungen können Inhaltsdienstevorrichtung(en) 1330 eine Kabelfernsehbox, einen Personal Computer, ein Netzwerk, ein Telefon, internetfähige Vorrichtungen oder Geräte, die es vermögen, digitale Informationen und/oder digitalen Inhalt bereitzustellen, sowie jegliche andere ähnliche Vorrichtung umfassen, die es vermag, Inhalt unidirektional oder bidirektional zwischen Content Providern und Plattform 1302 und/oder Anzeige 1320 über Netzwerk 1360 oder direkt zu übertragen. Es lässt sich nachvollziehen, dass der Inhalt unidirektional und/oder bidirektional zu und von einer der Komponenten in System 1300 und einem Content Provider über Netzwerk 1360 übertragen werden kann. Beispiele für Inhalt können jegliche Medieninformationen umfassen, einschließlich z. B. Video-, Musik-, Medizin- und Spielinformationen und so weiter.
  • Inhaltsdienstevorrichtung(en) 1330 können Inhalt empfangen, wie zum Beispiel eine Kabelfernsehprogrammgestaltung, die Medieninformationen, digitale Informationen und/oder anderen Inhalt enthält. Beispiele für Content Provider können jegliche Anbieter von Kabel- oder Satellitenfernsehen oder Radio oder Internetinhalt sein. Die angeführten Beispiele sind nicht dazu bestimmt, Implementierungen gemäß der vorliegenden Offenbarung in irgendeiner Form einzuschränken.
  • In verschiedenen Implementierungen kann Plattform 1302 Steuersignale von Navigationssteuereinrichtung 1350, die eine oder mehrere Navigationselemente aufweist, erhalten. Die Navigationselemente können beispielsweise dafür verwendet werden, mit Benutzerschnittstelle 1322 zu interagieren. In verschiedenen Ausführungsformen kann die Navigation eine Zeigevorrichtung sein, die eine Computerhardwarekomponente (insbesondere ein Human Interface Device) sein kann, die es einem Benutzer ermöglicht, räumliche (z. B. kontinuierliche und mehrdimensionale) Daten in einen Computer einzugeben. Viele Systeme, wie zum Beispiel grafische Benutzeroberflächen (GUI), sowie Fernseher und Monitore ermöglichen es dem Benutzer, Daten unter Verwendung physischer Gesten zu steuern und dem Computer oder Fernseher bereitzustellen.
  • Bewegungen der Navigationselemente können auf einer Anzeige (z. B. Anzeige 1320) durch Bewegungen eines Zeigers, Cursors, Fokusrings oder anderer visueller Anzeiger, die auf der Anzeige dargestellt werden, nachgebildet werden. Beispielsweise können unter der Steuerung von Softwareanwendungen 1316 die Navigationselemente, die sich auf der Navigationseinrichtung befinden, auf virtuelle Navigationselemente abgebildet werden, die beispielsweise auf Benutzerschnittstelle 1322 angezeigt werden. In verschiedenen Ausführungsformen ist möglicherweise keine separate Komponente, kann aber in Plattform 1302 und/oder Anzeige 1320 integriert sein. Die vorliegende Offenbarung ist jedoch nicht auf die Elemente oder in dem Kontext, wie hier gezeigt oder beschrieben, beschränkt.
  • In verschiedenen Implementierungen können Treiber (nicht dargestellt) Technologie beinhalten, um es Benutzern zu ermöglichen, beispielsweise Plattform 1302 nach dem ersten Hochfahren wie einen Fernseher mit dem Berühren einer Taste sofort ein- und auszuschalten, sofern verfügbar. Programmlogik kann ermöglichen, dass Plattform 1302 Inhalt an Medienadaptationseinrichtungen oder andere Inhaltsdienstevorrichtung(en) 1330 oder Inhaltsübergabevorrichtung(en) 1340 streamt, selbst wenn die Plattform „ausgeschaltet“ ist. Darüber hinaus kann Chipsatz 1305 beispielsweise Hardware- und/oder Softwareunterstützung für Surround-Sound-5.1-Audio und/oder High-Definition-Surround-Sound-7.1-Audio beinhalten. Treiber können einen Grafiktreiber für integrierte Grafikplattformen umfassen. In verschiedenen Ausführungsformen kann der Grafiktreiber eine PCI-(Peripheral Component Interconnect)-Express-Grafikkarte beinhalten.
  • In verschiedenen Implementierungen können eine beliebige oder mehrere der Komponenten, die in System 1300 gezeigt sind, integriert sein. Zum Beispiel können beispielsweise Plattform 1302 und Inhaltsdienstevorrichtung(en) 1330 integriert sein oder können Plattform 1302 und Inhaltsübergabevorrichtung(en) 1340 integriert sein oder können Plattform 1302, Inhaltsdienstevorrichtung(en) 1330 und Inhaltsübergabevorrichtung(en) 1340 integriert sein. In verschiedenen Ausführungsformen können Plattform 1302 und Anzeige 1320 eine integrierte Einheit sein. Beispielsweise können Anzeige 1320 und Inhaltsdienstevorrichtung(en) 1330 integriert sein oder können Anzeige 1320 und Inhaltsübergabevorrichtung(en) 1340 integriert sein. Diese Beispiele sind nicht dazu bestimmt, die vorliegende Offenbarung einzuschränken.
  • In verschiedenen Ausführungsformen kann System 1300 als ein drahtloses System, ein drahtgebundenes System oder eine Kombination aus beidem implementiert sein. Wenn es als ein drahtloses System implementiert ist, kann System 1300 Komponenten und Schnittstellen beinhalten, die für das Übertragen über drahtlose gemeinsam genutzte Medien geeignet sind, wie zum Beispiel eine oder mehrere Antennen, Sender, Empfänger, Sende-Empfänger, Verstärker, Filter, Steuerlogik und so weiter. Ein Beispiel für drahtlose gemeinsam genutzte Medien kann Abschnitte eines drahtlosen Spektrums umfassen, wie zum Beispiel des HF-Spektrums und so weiter. Wenn es als ein drahtgebundenes System implementiert ist, kann System 1300 Komponenten und Schnittstellen beinhalten, die für das Übertragen über drahtgebundene Übertragungsmedien geeignet sind, wie zum Beispiel Eingabe/Ausgabe-(E/A)-Adapter, physische Verbinder zum Verbinden des E/A-Adapters mit einem entsprechenden drahtgebundenen Übertragungsmedium, eine Netzwerkkarte (NIC, network interface card), eine Plattensteuereinrichtung, Videosteuereinrichtung, Audiosteuereinrichtung und dergleichen. Beispiele für drahtgebundene Übertragungsmedien können einen Draht, ein Kabel, Metallleitungen, eine Leiterplatte (PCB, Printed Circuit Board), eine Rückplatte, ein Switch-Fabric, ein Halbleitermaterial, ein Twisted-Pair-Kabel, ein Koaxialkabel, Faseroptik usw. umfassen.
  • Plattform 1302 kann einen oder mehrere logische oder physische Kanäle zum Übertragen von Informationen erstellen. Die Informationen können Medieninformationen und Steuerinformationen umfassen. Medieninformationen können sich auf jegliche Daten beziehen, die Inhalt darstellen, der für einen Benutzer bestimmt ist. Beispiele für Inhalt können beispielsweise Daten aus einem Gespräch, einer Videokonferenz, einem Streaming-Video, einer E-Mail-Nachricht („E-Mail“), einer Sprachnachricht, aus alphanumerischen Symbolen, Grafiken, Bild, Video, Text usw. umfassen. Daten aus einem Gespräch können beispielsweise Sprechinformationen, Sprechpausen, Hintergrundgeräusche, Komfortrauschen, Töne usw. sein. Steuerinformationen können sich auf jegliche Daten beziehen, die Befehle, Anweisungen oder Steuerwörter darstellen, die für ein automatisiertes System bestimmt sind. Beispielsweise können Steuerinformationen dafür verwendet werden, Medieninformationen durch ein System zu routen oder einen Knoten anzuweisen, die Medieninformationen in einer vorgegebenen Weise zu verarbeiten. Die Ausführungsformen sind jedoch nicht auf die Elemente oder in dem Kontext, wie in 13 gezeigt oder beschrieben, beschränkt.
  • Wie vorstehend beschrieben, kann System 1300 in unterschiedlichen physischen Stilen oder Formfaktoren ausgeführt sein, wie zum Beispiel Kraftfahrzeugplattformformfaktoren oder Rechenplattformformfaktoren. 14 stellt eine beispielhafte Vorrichtung 1400 mit kleinem Formfaktor dar, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. In einigen Beispielen kann System 1300 durch Vorrichtung 1400 implementiert sein. In anderen Beispielen kann System 100 oder können Teile davon durch Vorrichtung 1400 implementiert sein. In verschiedenen Ausführungsformen kann beispielsweise Vorrichtung 1400 als eine mobile Rechenvorrichtung mit Drahtlosfunktionen implementiert sein. Eine mobile Rechenvorrichtung kann sich auf jegliche Vorrichtung beziehen, die beispielsweise ein Verarbeitungssystem und eine mobile Energiequelle oder -versorgung, wie zum Beispiel eine oder mehrere Batterien, aufweist.
  • Beispiele für eine mobile Rechenvorrichtung können einen Personal Computer (PC), Laptop-Computer, Ultra-Laptop-Computer, ein Tablet, Touchpad, einen tragbaren Computer, Handheld-Computer, Palmtop-Computer, einen Personal Digital Assistant (PDA), ein Funktelefon, eine Funktelefon/PDA-Kombination, ein Smart Device (z. B. Smartphone, Smart-Tablet oder Smart-Mobil-TV), ein mobiles Internetgerät (MID, Mobile Internet Device), eine Nachrichtenaustauschvorrichtung, Datenkommunikationsvorrichtung, Kameras usw. umfassen.
  • Beispiele für eine mobile Rechenvorrichtung können auch Computer umfassen, die dazu ausgebildet sind, von einer Person getragen zu werden, wie zum Beispiel Handgelenkscomputer, Fingercomputer, Ringcomputer, Brillencomputer, Gürtelclip-Computer, Armbandcomputer, Schuhcomputer, Kleidungscomputer und andere am Körper tragbare Computer. In verschiedenen Ausführungsformen kann beispielsweise eine mobile Rechenvorrichtung als ein Smartphone implementiert sein, das es vermag, Computeranwendungen als auch Sprachkommunikation und/oder Datenkommunikation auszuführen. Obwohl einige Ausführungsformen mit einer mobilen Rechenvorrichtung beschrieben werden können, die beispielhaft als ein Smartphone implementiert ist, ist anzumerken, dass andere Ausführungsformen unter Verwendung anderer drahtloser mobiler Rechenvorrichtungen ebenso implementiert sein können. Die Ausführungsformen sind in dieser Hinsicht nicht beschränkt.
  • Wie in 14 dargestellt, kann Vorrichtung 1400 ein Gehäuse mit einer Vorderseite 1401 und einer Rückseite 1402 beinhalten. Vorrichtung 1400 enthält eine Anzeige 1404, eine Eingabe/Ausgabe-(E/A)-Vorrichtung 1406 und eine integrierte Antenne 1408. Vorrichtung 1400 kann auch Navigationselemente 1412 enthalten. E/A-Vorrichtung 1406 kann jegliche geeignete E/A-Vorrichtung zum Eingeben von Informationen in eine mobile Rechenvorrichtung umfassen. Beispiele für E/A-Vorrichtung 1406 können eine alphanumerische Tastatur, ein numerisches Tastenfeld, ein Touchpad, Eingabetasten, Knöpfe, Schalter, Mikrofone, Lautsprecher, eine Spracherkennungsvorrichtung und -software usw. umfassen. Informationen können auch über Mikrofon (nicht dargestellt) in Vorrichtung 1400 eingegeben werden oder können von einer Spracherkennungsvorrichtung digitalisiert werden.
  • Wie dargestellt, kann Vorrichtung 1400 eine Kamera 1405 (z. B. eine Linse, eine Blende und einen Bildverarbeitungssensor beinhaltend) und einen Blitz 1410 enthalten, die in Rückseite 1402 (oder an anderer Stelle) von Vorrichtung 1400 integriert sind. In anderen Beispielen können Kamera 1405 und Blitz 1410 in Vorderseite 1401 von Vorrichtung 1400 integriert sein oder können sowohl Front- als auch Rückseitenkameras vorgesehen sein. Kamera 1405 und Blitz 1410 können Komponenten eines Kameramoduls zum Erzeugen von Bilddaten sein, die zu Streaming-Video verarbeitet werden, das beispielsweise an Anzeige 1404 ausgegeben und/oder von Vorrichtung 1400 über Antenne 1408 fernübertragen wird.
  • Verschiedene Ausführungsformen können unter Verwendung von Hardware-Elementen, Software-Elementen oder einer Kombination aus beidem implementiert sein. Beispiele für Hardware-Elemente können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktoren usw.), integrierte Schaltungen, anwendungsspezifische integrierte Schaltungen (ASIC, Application Specific Integrated Circuit), programmierbare Logik-Schaltungen (PLD, Programmable Logic Device), digitale Signalprozessoren (DSP), FPGA (Field Programmable Gate Array), Logikgatter, Register, eine Halbleitervorrichtung, Chips, Mikrochips, Chipsätze usw. umfassen. Beispiele für Software können Softwarekomponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystemsoftware, Middleware, Firmware, Softwaremodule, Routinen, Subroutinen, Funktionen, Verfahren, Prozeduren, Softwareschnittstellen, Programmierschnittstellen (API, Application Programming Interface), Befehlssätze, Rechencode, Computercode, Codesegmente, Computercodesegmente, Wörter, Werte, Symbole oder eine beliebige Kombination davon umfassen. Das Bestimmen, ob eine Ausführungsform unter Verwendung von Hardware-Elementen und/oder Software-Elementen implementiert ist, kann gemäß einer beliebigen Anzahl von Faktoren variieren, wie zum Beispiel gewünschter Rechengeschwindigkeit, Leistungspegel, Wärmetoleranzen, Verarbeitungszyklusbudget, Eingangsdatenraten, Ausgangsdatenraten, Speicherressourcen, Datenbusgeschwindigkeiten und anderen Auslegungs- oder Leistungsbeschränkungen.
  • Ein oder mehrere Aspekte von mindestens einer Ausführungsform können durch repräsentative Befehle implementiert sein, die auf einem maschinenlesbaren Medium gespeichert sind, das verschiedene Logik innerhalb des Prozessors repräsentiert und das, wenn es von einer Maschine gelesen wird, die Maschine veranlasst, Logik zum Durchführen der hier beschriebenen Techniken zu fertigen. Derartige Repräsentationen, bekannt als IP-Cores, können auf einem greifbaren maschinenlesbaren Medium gespeichert sein und verschiedenen Kunden oder Herstellungseinrichtungen bereitgestellt werden, um in die Fertigungsmaschinen geladen zu werden, die effektiv die Logik oder den Prozessor herstellen.
  • Obwohl bestimmte Merkmale, die hier dargelegt sind, mit Bezug auf verschiedene Implementierungen beschrieben wurden, ist nicht beabsichtigt, dass diese Beschreibung in einem einschränkenden Sinne ausgelegt wird. Daher werden verschiedene Modifikationen der Implementierungen, die hier beschrieben sind, ebenso wie andere Implementierungen, die für einen Fachmann auf dem Gebiet, das die vorliegende Offenbarung betrifft, offensichtlich sind, als innerhalb des Wesens und Umfangs der vorliegenden Offenbarung erachtet.
  • Es wird erkannt werden, dass die Ausführungsformen nicht auf die so beschriebenen Ausführungsformen beschränkt sind, sondern mit Modifikation und Abwandlung praktiziert werden können, ohne von dem Offenbarungsumfang der angefügten Ansprüche abzuweichen. Beispielsweise können die vorstehenden Ausführungsformen eine bestimmte Kombination von Merkmalen beinhalten. Die vorstehenden Ausführungsformen sind jedoch in dieser Hinsicht nicht beschränkt und in verschiedenen Implementierungen können die vorstehenden Ausführungsformen das Durchführen lediglich einer Teilmenge derartiger Merkmale, das Durchführen einer anderen Reihenfolge derartiger Merkmale, das Durchführen einer anderen Kombination derartiger Merkmale und/oder das Durchführen zusätzlicher Merkmale als jener Merkmale, die explizit aufgeführt sind, beinhalten. Der Offenbarungsumfang der Ausführungsformen sollte daher mit Bezug auf die angefügten Ansprüche bestimmt werden, zusammen mit dem vollen Umfang von Äquivalenten, zu dem derartige Ansprüche berechtigt sind.

Claims (17)

  1. Anzeigevorrichtung (102), die aufweist: einen Anzeigebildschirm (622) zum Präsentieren von Video; und eine Steuereinrichtung(210), die mit dem Anzeigebildschirm (622) gekoppelt ist, wobei die Steuereinrichtung dazu ausgebildet ist: von einer Inhaltsquelle (101) über eine Transporttopologie (230) einen ersten Videostrom zu empfangen, der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame (345) von zusammengesetztem Videoinhalt aufweist; von der Inhaltsquelle (101) über die Transporttopologie (230) einen zweiten Videostrom zu empfangen, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene einen Benutzerinteraktion-Frame (346) von Benutzerinteraktionsinhalt aufweist; den Basis-Frame (345) und den Benutzerinteraktion-Frame (346) zu kombinieren, um einen zusammengesetzten Frame zu generieren; und den zusammengesetzten Frame dem Anzeigebildschirm (622) zur Präsentation bereitzustellen; wobei der erste Videostrom von einem ersten Transport-Agnostic-Display-konformen Empfänger (215) empfangen wird, der von der Steuereinrichtung implementiert wird, und der zweite Videostrom von einem zweiten Transport-Agnostic-Display-konformen Empfänger (216) empfangen wird, der von der Steuereinrichtung (210) implementiert wird; und die Steuereinrichtung (210) außerdem dazu ausgebildet ist: von der Inhaltsquelle (101) über die Transporttopologie (230) eine Benutzerinteraktion-Binden-Nachricht (342) zu empfangen, um die ersten und zweiten Videoströme zu binden, wobei die Benutzerinteraktion-Binden-Nachricht einen ersten Handle des ersten Transport-Agnostic-Display-konformen Empfängers (215) angibt; den zweiten Transport-Agnostic-Display-konformen Empfänger (216) als Reaktion auf die Benutzerinteraktion-Binden-Nachricht (342) zu generieren; und als Reaktion auf die Benutzerinteraktion-Binden-Nachricht eine Benutzerinteraktion-Gebunden-Nachricht (343) zu generieren, die einen zweiten Handle des zweiten Transport-Agnostic-Display-konformen Empfängers (216) angibt.
  2. Anzeigevorrichtung (102) nach Anspruch 1, wobei die Steuereinrichtung (210) dazu ausgebildet ist: von der Inhaltsquelle (101) über die Transporttopologie (230) eine Binden-Aufheben-Nachricht (350) zu empfangen, um die ersten und zweiten Videoströme zu entbinden, wobei die Entbinden-Nachricht (350) die ersten und zweiten Handles aufweist; und als Reaktion auf die Binden-Aufheben-Nachricht (350) dem Anzeigebildschirm zur Präsentation einen zweiten empfangenen Basis-Frame bereitzustellen, wobei der zweite empfangene Basis-Frame über den ersten Videostrom empfangen wird und aus lediglich der ersten Videoebene von zusammengesetztem Videoinhalt besteht.
  3. Anzeigevorrichtung (102) nach Anspruch 1, wobei der erste Videostrom und der zweite Videostrom beide von einem Transport-Agnostic-Display-konformen Empfänger empfangen werden, der von der Steuereinrichtung (210) implementiert wird, wobei die Steuereinrichtung (210) dazu ausgebildet ist: von der Inhaltsquelle (101) über die Transporttopologie (230) einen Strom-Start-Befehl (742) zu empfangen, der dem zweiten Videostrom entspricht, wobei der Strom-Start-Befehl (742) angibt, dass der zweite Videostrom Benutzerinteraktionsinhalt aufweist, wobei der zusammengesetzte Frame als Reaktion auf den Strom-Start-Befehl (742) generiert wird.
  4. Anzeigevorrichtung (102) nach einem der Ansprüche 1 bis 3, wobei die Steuereinrichtung (210) dazu ausgebildet ist: von der Inhaltsquelle (101) über die Transporttopologie (230) eine Nachricht (931) für Benutzerinteraktionsinhaltsaktualisierung in einer Steuerebene (905), die von den ersten und zweiten Videoebenen getrennt ist, zu empfangen, wobei sie für einen zweiten Basis-Frame der ersten Videoebene, der dem Basis-Frame folgt, mindestens eines von einer Position innerhalb des zweiten Frames, einem Zusammensetzungsparameter oder einem Ein/Aus-Indikator für den Benutzerinteraktion-Frame angibt; und einen zweiten zusammengesetzten Frame auf Grundlage des zweiten Basis-Frames, des Benutzerinteraktion-Frames und der Nachricht (931) für Interaktionsinhaltsaktualisierung zu generieren.
  5. Anzeigevorrichtung (102) nach Anspruch 4, wobei die Nachricht (931) für Benutzerinteraktionsinhaltsaktualisierung den Zusammensetzungsparameter aufweist und der Zusammensetzungsparameter ein z-Ordnen für die ersten und zweiten Videoebenen und einen Transparenzwert für die zweite Videoebene aufweist.
  6. Anzeigevorrichtung (102) nach einem der Ansprüche 1 bis 5, wobei die Steuereinrichtung (210) dazu ausgebildet ist: von der Inhaltsquelle (101) über die Transporttopologie (230) eine Aktualisierungsbenutzerschnittstellensteuernachricht (931) über eine Steuerebene (905) zu empfangen; als Reaktion auf die Aktualisierungsbenutzerschnittstellensteuernachricht (931), eine Benutzerschnittstellen-Binden-Nachricht zu übertragen, die angibt, dass die Steuereinrichtung (210) dafür vorbereitet ist, einen zweiten Basis-Frame und einen zweiten Benutzerschnittstellen-Frame, empfangen über die Steuerebene (905), zu binden; und den zweiten Basis-Frame und den zweiten Benutzerschnittstellen-Frame, empfangen über die Steuerebene (905), zusammenzusetzen, um einen zweiten zusammengesetzten Frame zu generieren.
  7. Anzeigevorrichtung (102) nach einem der Ansprüche 1 bis 6, ferner aufweisend: einen Speicherpuffer, der mit der Steuereinrichtung gekoppelt ist, wobei der Speicherpuffer eine erste Pufferbelegung für die erste Videoebene und eine zweite Pufferbelegung, die kleiner ist als die erste Pufferbelegung, für die zweite Videoebene aufweist, wobei die Inhaltsquelle und das Anzeigefeld gemäß einem Transport-Agnostic-Display-(TAD)-Protokoll arbeiten.
  8. Quellvorrichtung (101), die aufweist: einen Sender; und eine Steuereinrichtung (200), die mit dem Sender gekoppelt ist, wobei die Steuereinrichtung (200) dazu ausgebildet ist: einen ersten Videostrom zu generieren, der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt aufweist; einen zweiten Videostrom zu generieren, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene Benutzerinteraktionsinhalt aufweist; und dem Sender zu befehlen, die ersten und zweiten Videoströme über eine Transporttopologie (230) an eine Anzeigevorrichtung (102) zu übertragen; wobei der erste Videostrom von einer ersten Transport-Agnostic-Display-konformen Stromquelle (202) generiert wird, die von der Steuereinrichtung (200) implementiert wird, und der zweite Videostrom von einer zweiten Transport-Agnostic-Display-konformen Stromquelle (203) generiert wird, die von der Steuereinrichtung (200) implementiert wird; wobei die Steuereinrichtung (200) außerdem dazu ausgebildet ist: zu bestimmen, dass eine Benutzerauswahl einer Niedriglatenzbenutzerschnittstelle aktiviert ist; und der Anzeigevorrichtung (102) über die Transporttopologie (230) und als Reaktion auf die Benutzerauswahl der Niedriglatenzbenutzerschnittstelle eine Benutzerinteraktion-Binden-Nachricht (342) bereitzustellen, um die ersten und zweiten Videoströme an der Anzeigevorrichtung (102) zu binden, wobei die Benutzerinteraktion-Binden-Nachricht (342) einen ersten Handle eines ersten Transport-Agnostic-Display-konformen Empfängers (215) der Anzeigevorrichtung (102) angibt.
  9. Quellvorrichtung (101) nach Anspruch 8, wobei die Steuereinrichtung (200) dazu ausgebildet ist: eine Benutzerinteraktion-Gebunden-Nachricht (343) zu empfangen, die einen zweiten Handle eines zweiten Transport-Agnostic-Display-konformen Empfängers (216) der Anzeigevorrichtung (102) angibt; und der Anzeigevorrichtung (102) über die Transporttopologie (230) eine Handles-Binden-Nachricht (344) bereitzustellen, die angibt, dass die Anzeigevorrichtung (102) die ersten und zweiten Handles zu binden hat.
  10. Quellvorrichtung (101) nach Anspruch 9, wobei die Steuereinrichtung (200) dazu ausgebildet ist: einen Indikator, dass die Benutzerinteraktionsanzeige aufzuheben ist, zu empfangen; und der Anzeigevorrichtung (102) über die Transporttopologie (230) eine Binden-Aufheben-Nachricht (350) bereitzustellen, um die ersten und zweiten Videoströme zu entbinden, wobei die Entbinden-Nachricht (350) die ersten und zweiten Handles aufweist.
  11. Quellvorrichtung (101) nach einem der Ansprüche 8 bis 10, wobei der erste Videostrom und der zweite Videostrom beide von einer Stromquelle (202, 203) generiert werden, die von der Steuereinrichtung (200) implementiert wird, wobei die Steuereinrichtung (200) dazu ausgebildet ist: der Anzeigevorrichtung (102) über die Transporttopologie (230) einen Strom-Start-Befehl (742) bereitzustellen, der dem zweiten Videostrom entspricht, wobei der Strom-Start-Befehl (742) angibt, dass der zweite Videostrom Benutzerinteraktionsinhalt aufweist.
  12. Quellvorrichtung (101) nach einem der Ansprüche 8 bis 11, wobei die Steuereinrichtung (200) dazu ausgebildet ist: der Anzeigevorrichtung (102) über die Transporttopologie (230) eine Nachricht für Benutzerinteraktionsinhaltsaktualisierung in einer Steuerebene (905), die von den ersten und zweiten Videoebenen getrennt ist, bereitzustellen, wobei sie für einen zweiten Basis-Frame der ersten Videoebene, der dem Basis-Frame folgt, mindestens eines von einer Position innerhalb des zweiten Frames, einem Zusammensetzungsparameter oder einem Ein/Aus-Indikator für den Benutzerinteraktion-Frame angibt.
  13. Quellvorrichtung (101) nach einem der Ansprüche 8 bis 12, wobei die Nachricht für Benutzerinteraktionsinhaltsaktualisierung den Zusammensetzungsparameter aufweist und der Zusammensetzungsparameter ein z-Ordnen für die ersten und zweiten Videoebenen und einen Transparenzwert für die zweite Videoebene aufweist.
  14. Mindestens ein maschinenlesbares Medium, das eine Mehrzahl von Anweisungen aufweist, die als Reaktion darauf, dass sie auf einer Rechenvorrichtung (1400) ausgeführt werden, bewirken, dass die Rechenvorrichtung (1400): von einer Inhaltsquelle (101) über eine Transporttopologie (230) einen ersten Videostrom empfängt, der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame (345) von zusammengesetztem Videoinhalt aufweist; von der Inhaltsquelle (101) über die Transporttopologie (230) einen zweiten Videostrom empfängt, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene einen Benutzerinteraktion-Frame (346) von Benutzerinteraktionsinhalt aufweist; den Basis-Frame (345) und den Benutzerinteraktion-Frame (346) kombiniert, um einen zusammengesetzten Frame zu generieren; und den zusammengesetzten Frame einem Anzeigebildschirm (622) zur Präsentation bereitstellt; wobei der erste Videostrom von einem ersten Transport-Agnostic-Display-konformen Empfänger (215) empfangen wird und der zweite Videostrom von einem zweiten Transport-Agnostic-Display-konformen Empfänger (216) empfangen wird, wobei das maschinenlesbare Medium ferner eine Mehrzahl von Anweisungen aufweist, die als Reaktion darauf, dass sie auf der Rechenvorrichtung (1400) ausgeführt werden, bewirken, dass die Rechenvorrichtung (1400): eine Benutzerinteraktion-Binden-Nachricht (342) von der Inhaltsquelle (101) über die Transporttopologie (230) empfängt, um die ersten und zweiten Videoströme zu binden, wobei die Benutzerinteraktion-Binden-Nachricht (342) einen ersten Handle des ersten Transport-Agnostic-Display-konformen Empfängers (215) angibt; den zweiten Transport-Agnostic-Display-konformen Empfänger (216) als Reaktion auf die Benutzerinteraktion-Binden-Nachricht (342) generiert; und als Reaktion auf die Benutzerinteraktion-Binden-Nachricht (342) eine Benutzerinteraktion-Gebunden-Nachricht (343) generiert, die einen zweiten Handle des zweiten Transport-Agnostic-Display-konformen Empfängers (216) angibt.
  15. Verfahren (1000), das umfasst: das Empfangen (1001) eines ersten Videostroms, der einer ersten Videoebene entspricht, von einer Inhaltsquelle über eine Transporttopologie, wobei die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt aufweist; das Empfangen (1002) eines zweiten Videostroms, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, von der Inhaltsquelle über die Transporttopologie, wobei die zweite Videoebene einen Benutzerinteraktion-Frame von Benutzerinteraktionsinhalt aufweist; das Kombinieren (1003) des Basis-Frames und des Benutzerinteraktion-Frames zum Generieren eines zusammengesetzten Frames; und das Bereitstellen (1004) des zusammengesetzten Frames an den Anzeigebildschirm zur Präsentation; wobei der erste Videostrom von einem ersten Transport-Agnostic-Display-konformen Empfänger empfangen wird und der zweite Videostrom von einem zweiten Transport-Agnostic-Display-konformen Empfänger empfangen wird, wobei das Verfahren ferner umfasst: das Empfangen einer Benutzerinteraktion-Binden-Nachricht von der Inhaltsquelle über die Transporttopologie, um die ersten und zweiten Videoströme zu binden, wobei die Benutzerinteraktion-Binden-Nachricht einen ersten Handle des ersten Transport-Agnostic-Display-konformen Empfängers angibt; das Generieren des zweiten Transport-Agnostic-Display-konformen Empfängers als Reaktion auf die Benutzerinteraktion-Binden-Nachricht; und das Generieren als Reaktion auf die Benutzerinteraktion-Binden-Nachricht einer Benutzerinteraktion-Gebunden-Nachricht, die einen zweiten Handle des zweiten Transport-Agnostic-Display-konformen Empfängers angibt.
  16. Mindestens ein maschinenlesbares Medium, das eine Mehrzahl von Anweisungen aufweist, die als Reaktion darauf, dass sie auf einer Rechenvorrichtung (1400) ausgeführt werden, bewirken, dass die Rechenvorrichtung (1400): einen ersten Videostrom generiert, der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame (345) von zusammengesetztem Videoinhalt aufweist; einen zweiten Videostrom generiert, der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene Benutzerinteraktionsinhalt aufweist; und einen Befehl für einen Sender generiert, die ersten und zweiten Videoströme über eine Transporttopologie (230) an eine Anzeigevorrichtung (102) zu übertragen; wobei der erste Videostrom von einer ersten Transport-Agnostic-Display-konformen Stromquelle (215) generiert wird und der zweite Videostrom von einer zweiten Transport-Agnostic-Display-konformen Stromquelle generiert (216) wird, wobei das maschinenlesbare Medium ferner eine Mehrzahl von Anweisungen aufweist, die als Reaktion darauf, dass sie auf der Rechenvorrichtung (1400) ausgeführt werden, bewirken, dass die Rechenvorrichtung (1400): bestimmt, dass eine Benutzerauswahl einer Niedriglatenzbenutzerschnittstelle aktiviert ist; und der Anzeigevorrichtung über die Transporttopologie und als Reaktion auf die Benutzerauswahl der Niedriglatenzbenutzerschnittstelle eine Benutzerinteraktion-Binden-Nachricht bereitstellt (342), um die ersten und zweiten Videoströme an der Anzeigevorrichtung zu binden, wobei die Benutzerinteraktion-Binden-Nachricht (342) einen ersten Handle eines ersten Transport-Agnostic-Display-konformen Empfängers (215) der Anzeigevorrichtung angibt.
  17. Verfahren (1100), das umfasst: das Generieren eines ersten Videostroms (1101), der einer ersten Videoebene entspricht, wobei die erste Videoebene einen Basis-Frame von zusammengesetztem Videoinhalt aufweist; das Generieren eines zweiten Videostroms (1102), der von dem ersten Videostrom getrennt ist, wobei er einer zweiten Videoebene entspricht, wobei die zweite Videoebene Benutzerinteraktionsinhalt aufweist; und das Generieren eines Befehls für einen Sender (1103), die ersten und zweiten Videoströme über eine Transporttopologie an eine Anzeigevorrichtung zu übertragen; wobei der erste Videostrom von einer ersten Transport-Agnostic-Display-konformen Stromquelle (202) generiert wird und der zweite Videostrom von einer zweiten Transport-Agnostic-Display-konformen Stromquelle (203) generiert wird, wobei das Verfahren ferner umfasst: das Bestimmen, dass eine Benutzerauswahl einer Niedriglatenzbenutzerschnittstelle aktiviert ist; und das Bereitstellen einer Benutzerinteraktion-Binden-Nachricht an die Anzeigevorrichtung über die Transporttopologie und als Reaktion auf die Benutzerauswahl der Niedriglatenzbenutzerschnittstelle, um die ersten und zweiten Videoströme an der Anzeigevorrichtung zu binden, wobei die Benutzerinteraktion-Binden-Nachricht einen ersten Handle eines ersten Transport-Agnostic-Display-konformen Empfängers der Anzeigevorrichtung angibt.
DE102019122181.1A 2018-09-17 2019-08-19 Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen Active DE102019122181B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/133,476 US10785512B2 (en) 2018-09-17 2018-09-17 Generalized low latency user interaction with video on a diversity of transports
US16/133,476 2018-09-17

Publications (2)

Publication Number Publication Date
DE102019122181A1 DE102019122181A1 (de) 2020-03-19
DE102019122181B4 true DE102019122181B4 (de) 2023-09-14

Family

ID=65231965

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019122181.1A Active DE102019122181B4 (de) 2018-09-17 2019-08-19 Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen

Country Status (2)

Country Link
US (1) US10785512B2 (de)
DE (1) DE102019122181B4 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796548B (zh) * 2020-02-21 2023-03-21 聰泰科技開發股份有限公司 無失真4k多媒體傳輸方法
US11792443B1 (en) * 2022-06-29 2023-10-17 Sony Interactive Entertainment Inc. Enhanced screen share for online computer applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US80211A (en) 1868-07-21 John phillips
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
CN104836936A (zh) 2015-05-19 2015-08-12 深圳市飞图视讯有限公司 一种数据传输方法
US20170171494A1 (en) 2015-12-11 2017-06-15 Qualcomm Incorporated Layered display content for wireless display
EP3336685A2 (de) 2016-11-28 2018-06-20 Displaylink (UK) Limited Anzeigen von bilddaten basierend auf der ebene der systemleistung
US20180183899A1 (en) 2016-12-23 2018-06-28 Intel Corporation Transport agnostic display protocol

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US20180246635A1 (en) * 2017-02-24 2018-08-30 Microsoft Technology Licensing, Llc Generating user interfaces combining foreground and background of an image with user interface elements
US10540301B2 (en) * 2017-06-02 2020-01-21 Apple Inc. Virtual host controller for a data processing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US80211A (en) 1868-07-21 John phillips
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
CN104836936A (zh) 2015-05-19 2015-08-12 深圳市飞图视讯有限公司 一种数据传输方法
US20170171494A1 (en) 2015-12-11 2017-06-15 Qualcomm Incorporated Layered display content for wireless display
EP3336685A2 (de) 2016-11-28 2018-06-20 Displaylink (UK) Limited Anzeigen von bilddaten basierend auf der ebene der systemleistung
US20180183899A1 (en) 2016-12-23 2018-06-28 Intel Corporation Transport agnostic display protocol

Also Published As

Publication number Publication date
US20190045236A1 (en) 2019-02-07
DE102019122181A1 (de) 2020-03-19
US10785512B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
CA2661771C (en) Video multiviewer system with serial digital interface and related methods
DE112018000280T5 (de) Entblockungsfilterung für 360-video
DE112016006734T5 (de) Integriertes Android- und Windows-Gerät
DE112013004778T5 (de) Kodierung von Bildern unter Verwendung eines 3D-Netzes von Polygonen und entsprechenden Strukturen
EP2274909B1 (de) Multiviewer-videosystem mit schalter und verteilter skalierung
DE102013020808A1 (de) Effiziente Autostereo-Unterstützung unter Verwendung von Anzeigesteuerungsfenster
DE102019122181B4 (de) Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen
DE102019127726A1 (de) Für fernarbeitsplatz-anwendungen geeignetes streaming individueller anwendungsfenster
DE102019130366A1 (de) Bildskalierung
DE112011105950T5 (de) Verfahren, Vorrichtung und System für erweiterte Grafikverarbeitung über einen externen E/A-Port für Anzeigedaten
DE112013004618T5 (de) Tiefenpufferung
DE112015006587T5 (de) Adaptive Batch-Codierung für Slow-Motion-Videoaufzeichnung
DE112012007037T5 (de) Verarbeiten von Videoinhalt
CN106803984A (zh) 一种兼容vr和电视功能的方法和装置
DE112013005204T5 (de) Verringern des mit Frequenzänderungen von Prozessoren verbundenen Aufwands
EP2279615B1 (de) Video-multiviewer mit skalierung
DE112012006970T5 (de) Verteilte Grafikverarbeitung
DE102019215387A1 (de) Zirkularfischaugenkameraarrayberichtigung
CN101520719B (zh) 画面分享系统以及画面分享方法
DE112016005015T5 (de) Direkte bewegungssensoreingabe an eine grafikpipeline
DE112011106035T5 (de) Anzeigesteuerungs-Unterbrechungsregister
DE112011105951T5 (de) Auflösungsverlustminderung für 3D-Anzeigen
DE102014117931B4 (de) Koordinierte Videotelefonüberlagerung einer PC-Desktopanzeige
DE112011105994T9 (de) Techniken für die Ratenregelung eines Anzeigedatenstroms
US10972681B2 (en) Image encoding method and system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HGF EUROPE LLP, DE

Representative=s name: HGF EUROPE LP, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division