DE102014004466A1

DE102014004466A1 - "Matrix-Streaming". Verfahren und System zum Streamen von in Echtzeit gerenderter Daten (Daten werden auf einem anderen Gerät abgespielt, als auf dem datenerzeugenden Gerät) aus einer Datenquelle auf einem Datenspielgerät, das nicht den Zweck hat, als Mon

Info

Publication number: DE102014004466A1
Application number: DE102014004466.1A
Authority: DE
Inventors: Andreas Horn
Original assignee: Matrix Technologies Ug Haftungsbeschrankt; Matrix-Technologies Ug (haftungsbeschrankt)
Current assignee: Matrix Technologies Ug Haftungsbeschrankt; Matrix-Technologies Ug (haftungsbeschrankt)
Priority date: 2014-03-26
Filing date: 2014-03-26
Publication date: 2015-10-01

Abstract

betreffend: „”Matrix-Streaming” – Verfahren und System zum Streamen von in Echtzeit gerenderter Daten (Daten werden auf einem anderen Gerät abgespielt, als auf dem datenerzeugenden Gerät) aus einer Datenquelle auf einem Datenabspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones”. Die computerimplementierte Erfindung in einer Daten-Signalverarbeitungsanlage betrifft ein Verfahren und ein System, genannt „Matrix-Streaming” zum Streamen von in Echtzeit gerenderter Daten aus einer Datenquelle auf einem Abspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones. Mit dem Zurückspielen des GPU/GPGPU-Outputs zum Prozessor geht die sehr performante asynchrone Arbeitsteilung der CPU und der GPU/GPGPU verloren. Dieses Problem ist grundlegender Natur und wurde bis dato nicht befriedigend gelöst. Nach dem heutigen Stand der Technik existieren keine mobilen Smartphones (Telefongeräte) mit einem Monitoreingang. Nach dem heutigen Stand der Technik gibt es keine für den Nutzer akzeptable Möglichkeit, durch GPU/GPGPU's erzeugte Daten von aufwendigen Anwendungen mit hoher Performance (60FPS+) auf Smartphones zu streamen und dort auszugeben. Es gibt daher nach dem heutigen Stand der Technik keine hoch performante Lösung, um den Bildschirm eines Smartphones für die Wiedergabe in Echtzeit gerenderter Daten aus einem Computer zu benutzen. Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, einem Nutzer zu ermöglichen, in Echtzeit gerenderte Daten (insbesondere Bilder) von einem CPU in Verbindung mit einer GPU/GPGPU auf einem Abspielgerät zu streamen, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones. Auf das Abspielgerät, insbesondere das Smartphone kann dann beispielsweise eine „virtual-reality”-Brille aufgesetzt werden, um einen „virtual reality” Effekt beim Betrachten von S3D-Bildern und Videos (Stereo 3D) beim Betrachter zu erzeugen.

Description

Die computerimplementierte Erfindung in einer Daten-Signalverarbeitungsanlage betrifft ein Verfahren und ein System, genannt „Matrix-Streaming” zum Streamen von in Echtzeit gerenderter Daten aus einer Datenquelle auf einem Abspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones.
In einem Computer wirken in der Regel eine oder mehrere CPU (central processing unit) und eine oder mehrere GPU (graphics processing unit)/GPGPU (general purpose computation an graphics processing unit) zusammen. Die CPU sagt der GPU/GPGPU unter anderem, was diese zu tun hat. Während die CPU vorwiegend sequentiell arbeitet, arbeitet die GPU/GPGPU parallel. Letztere Arbeitsweise ist deutlich schneller (performanter) als erstere, jedoch auf parallelisierbare Programme (insbesondere Grafikprogramme) begrenzt. Das von der GPU/GPGPU erzeugte Ergebnis (Output) gibt diese in der Regel direkt an den Monitor weiter.
GPU/GPGPU's in Computern sind nach dem heutigen Stand der Technik nicht dafür optimiert, dass die dort erzeugten Datenströme und -ergebnisse wieder auf die CPU zurückgespielt werden. Darum führt dies zu einem signifikanten Performanceabfall, etwa von 130 FPS (frames per second)/Hertz auf 30 FPS/Hertz, der so gravierend wäre, dass der Nutzer diesen bei einigen Anwendungen nicht akzeptieren würde. So liegt die Akzeptanzschwelle für Echtzeit Grafik Anwendungen bei 60 FPS/Hertz und für VR Anwendungen sogar bei 90 FPS/Hertz. Ein Bild, das mit 30 FPS/Hertz erzeugt würde, würde als unnatürlich wahrgenommen werden und etwa bei Kopfbewegungen mit einer VR Brille (virtual reality Brille) zu einem deutlich erkennbaren „Nachziehen” des Bildes führen.
Mit dem Zurückspielen des GPU/GPGPU-Outputs zum Prozessor geht die sehr performante asynchrone Arbeitsteilung der CPU und der GPU/GPGPU verloren. Dieses Problem ist grundlegender Natur und wurde bis dato nicht befriedigend gelöst.
Nachteilig ist dies, weil das Verschicken von Daten durch heute übliche Schnittstellen durch die CPU in Auftrag gegeben wird, und das Verschicken von den GPU/GPGPU generierten Daten über andere Outputs als den Grafikkarte-Monitorausgang somit zwangsläufig zu einen signifikanten Performance-Verlust führt.
Nach dem heutigen Stand der Technik existieren keine mobilen Smartphones (Telefongeräte) mit einem Monitoreingang.
Ein Monitorausgang nach dem heutigen Stand der Technik verfügt über einen höheren Datenstrom (z. B. 14,4 Gigabit/Sekunde bei HDMI), als ein Smartphone-Eingang zuließe, der nach dem heutigen Stand der Technik bei Smartphones als Schnittstelle verwendet wird (z. B. Bluetooth mit maximal 3 Megabit/Sekunde oder USB mit 500 Megabit/Sekunde). Die nach dem heutigen Stand der Technik verwendeten Schnittstellen bei Smartphones lauten USB, WLAN, Bluetooth und NFC.
Nach dem heutigen Stand der Technik gibt es keine für den Nutzer akzeptable Möglichkeit, durch GPU/GPGPU's erzeugte Daten von aufwendigen Anwendungen mit hoher Performance (60FPS+) auf Smartphones zu streamen und dort auszugeben.
Nachteilig ist dies, weil sich eine Kombination von der hohen Rechenleistung eines Computers nicht mit der Mobilität eines mobileren Abspielgerätes verbinden lässt, ohne hohe Performance-Einbusen, die bei einer Echtzeitanwendung in vielen Fällen nicht hinnehmbar sind.
Es gibt daher nach dem heutigen Stand der Technik keine hoch performante Lösung, um den Bildschirm eines Smartphones für die Wiedergabe in Echtzeit gerenderter Daten aus einem Computer zu benutzen.
Dieser Fall bereitet aber in vielen Lebensbereichen Sinn, etwa wenn der Nutzer in der Badewanne liegt und über sein Smartphone in Echtzeit gerenderte Daten seines PC's empfangen möchte.
Ferner tritt mit dem Erscheinen sogenannter „VR-Brillen” (virtual reality) Brillen die auf Smartphones aufsetzen, ein weiterer Anwendungsfall ins Feld:
Virtual reality entfaltet ihre Wirkung beim Nutzer nur, wenn dieser den Kopf frei und sich gegebenenfalls sogar komplett bewegen kann. Mit einem herkömmlichen „Monitor” ist dies nicht möglich. Um diese für virtual reality lebensnotwendige Lücke zu schließen sind derzeit zwei technische Verfahren erhältlich, respektive in der Entwicklung: das erste Verfahren münzt die VR-Brille quasi zum Monitor um und erlaubt das Abspielen von im Prozessor zusammen mit der Grafikkarte erzeugter Daten in der VR-Brille. Diese Lösung soll hier „VR-Monitorlösung” geheißen werden. Das zweite Verfahren nutzt ein normales Smartphone als Abspielgerät und setzt darauf eine einfache optische Konstruktion. Diese Lösung soll hier „VR-optische Lösung” genannt werden.
Die „VR-Monitorlösung” hat den Nachteil, dass die VR-Brille einer eigenen Elektronik bedarf (Ausgabe, Sensoren etc.), die aufwändig zu konstruieren und damit für den Verbraucher teuer ist. Die Qualität der erzeugten Daten (Bilder) ist dagegen hoch. Die „VR-optische Lösung” hat den Nachteil, dass die Qualität der erzeugten Daten (Bilder) niedrig ist, weil sie an die (meist niedrige) Prozessorleistung des Handies gekoppelt ist. Ihr Vorteil besteht darin, dass der Konsument in der Regel bereits ein Smartphone besitzt und damit nur noch die optische VR-Brille benötigt, die infolge ihrer Einfachheit günstig ist. Außerdem ist man bei der „VR-optischen Lösung” nicht an ein Kabel gebunden, kann in der Regel auf eine Kamera zurückgreifen und sie besitzt ein Mikrophon als Eingabegerät.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, einem Nutzer zu ermöglichen, in Echtzeit gerenderte Daten (insbesondere Bilder) von einem CPU in Verbindung mit einer GPU/GPGPU auf einem Abspielgerät zu streamen, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones.
Dies wird auch die Vorteile der „VR-Monitorlösung” mit den Vorteilen der „VR-optischen Lösung” vereinen.
Erfindungsgemäß wird hierzu eine computerimplementierte Erfindung in einer Daten-Signalverarbeitungsanlage vorgeschlagen, die es ermöglicht, in Echtzeit gerenderte Daten (insbesondere Bilder) von einem CPU in Verbindung mit einer GPU/GPGPU auf einem anderen Abspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere einem Smartphones zu streamen. Auf das Abspielgerät, insbesondere das Smartphone kann dann beispielsweise eine – günstige – optische VR-Lösung aufgesetzt werden, um den „virtual reality” Effekt beim Betrachter zu erwirken.
Nachfolgend werden einige Aspekte und Ausgestaltungen der Erfindung näher beschrieben. Es sei darauf hingewiesen, dass nicht alle nachfolgend beschriebenen Aspekte zur Realisierung der Erfindung notwendig sind. Ein Fachmann wird erkennen, welche Merkmale zur Realisierung der Erfindung zwingend erforderlich sind und welche prinzipiell entbehrlich sind.
Der Nutzer der Erfindung verfügt über einen PC (stationär oder als bewegliches Notebook) mit einer Grafikkarte, das sogenannte „Datenerzeugergerät” sowie über ein bewegliches, sogenanntes „Abspielgerät”, das geeignet ist, auf einem Display grafische Daten anzuzeigen, insbesondere ein Smartphone. Über eine Datensignalverarbeitungsanlage wird zwischen dem „Datenerzeugergerät” und dem „Abspielgerät” eine Verbindung aufgebaut, sei es über Kabel und/oder über Funk, die es ermöglicht, die im „Datenerzeugergerät” erzeugten Daten auf dem „Datenabspielgerät”, insbesondere einem Smartphone in einer Qualität abzuspielen, die für den Nutzer akzeptabel ist, und die es ihm auch ermöglicht, virtual-reality Brillen der „optischen Lösung” einzusetzen, um einen „virtual reality” Effekt zu erzeugen.
Die Datensignalverarbeitungsanlage übernimmt über eine computerimplementierte Software und oder Hardware die Filtration der eingehenden Daten aus der Grafikkarte (ggfs in Verbindung der Grafikkarte mit dem Prozessor) und komprimiert, respektive optimiert, die Daten derart, dass die Übergabe und weitere Verarbeitung der Daten durch eine, nach dem heutigen Stand der Technik, gebräuchliche Datenschnittstelle, insbesondere WLAN, USB, Bluetooth und NFC, möglich ist. Sie wandelt damit die in Echtzeit gerenderten „hochperformant” erzeugten Daten derart, dass sie auf dem Abspielgerät mit einer geringeren Datenrate gestreamt werden können.
Anwender für die Erfindung sind in erster Linie Nutzer von Abspielgeräten, die nicht den Zweck haben, als Monitor verwendet zu werden, insbesondere Smartphones sowie Anwender von Smartphones, die gemeinsam mit einer VR-Brille der „optischen VR-Lösung” mithilfe der Erfindung in Echtzeit gerenderte Daten (insbesondere Bilder) auf ihrem Abspielgerät (insbesondere Smartphone) betrachten können. Anstelle von Smartphones sind auch „kleine” PC's und oder „Uhren” und oder „Bildschirme in Autos” und oder andere transportable oder bewegliche Geräte als Abspielgeräte denkbar, die nicht den Zweck haben, als Monitor zu fungieren und auf die sich gegebenenfalls VR-Brillen der „optischen Lösung” montieren lassen.
Es sei ausdrücklich darauf hingewiesen, das die vorstehend beschriebenen Ausführungsbeispiele lediglich zur Erörterung der beanspruchten Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.
In der Zeichnung sind Bezugszeichen aufgeführt, die hiermit wie folgt erläutert werden
Bezugszeichenliste

1: Signal wird am Monitorausgang abgefangen (VGA, DVI, HDMI...).
2: Nicht benötigte Informationen aus dem Signal werden gefiltert.
3: Signal wird neu organisiert.
4: Ausgabe wird komprimiert.
5: Signal wird per Funk oder Kabel an ein mobiles Ausgabegerat (z. B. Handy) weitergeleitet.
6: Eine Anwendung verarbeitet das ankommende Signal und schickt unter Umstanden Benutzereingaben zurück zum PC.

Claims

Die computerimplementierte Erfindung in einer Daten-Signalverarbeitungsanlage betrifft ein Verfahren und ein System, genannt „Matrix-Streaming” zum Streamen von in Echtzeit gerenderter Daten aus einer Datenquelle auf einem Abspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones. Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, einem Nutzer zu ermöglichen, in Echtzeit gerenderte Daten (insbesondere Bilder) von einem CPU in Verbindung mit einer GPU/GPGPU auf einem Abspielgerät zu streamen, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones. Dies wird auch die Vorteile der „VR-Monitorlösung” mit den Vorteilen der „VR-optischen Lösung” vereinen. Erfindungsgemäß wird hierzu eine computerimplementierte Erfindung in einer Daten-Signalverarbeitungsanlage vorgeschlagen, die es ermöglicht, in Echtzeit gerenderte Daten (insbesondere Bilder) von einem CPU in Verbindung mit einer GPU/GPGPU auf einem anderen Abspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere einem Smartphones zu streamen. Auf das Abspielgerät, insbesondere das Smartphone kann dann beispielsweise eine – günstige – optische VR-Lösung aufgesetzt werden, um den „virtual reality” Effekt beim Betrachter zu erwirken. Es werden folgende Ansprüche zum Patent angemeldet: PATENTANSPRÜCHE 1. Verfahren zum Streamen (Daten werden auf einem anderen Gerät abgespielt, als auf dem datenerzeugenden Gerät) von in Echtzeit gerenderter Daten aus einer Datenquelle auf einem Datenabspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones, mit den Schritten: 1.1 Aufnahme des Datenimputs aus dem Grafikkarten-Output. 1.2 Analyse des Datenimputs hinsichtlich Überschreitungen der Datenmengen hinsichtlich der Weitergabe der Daten an die Schnittstelle eines Datenabspielgerätes, etwa WLAN, USB, NFC und Bluetooth. 1.3 Eingrenzung und Umwandlung (Konvertierung) des Dateninputs auf eine Datenmenge, welche die Weitergabe an die Schnittstelle eines Abspielgerätes zuläßt. 1.4 Weitergabe der analysierten und umgewandelten Daten an die Schnittstelle eines Abspielgerätes. 1.5 Steuerung des gesamten Prozesses mit Interaktionsmöglichkeiten zum Nutzer. 2. System zum Streamen (Daten werden auf einem anderen Gerät abgespielt, als auf dem datenerzeugenden Gerät) von in Echtzeit gerenderten Daten aus einer Datenquelle auf einem Datenabspielgerät, das nicht den Zweck hat, als Monitor verwendet zu werden, insbesondere Smartphones, umfassend: 2.1 Datensignalverarbeitungsanlage in Form von Hardware, die eingehende Daten über eine Schnittstellen-Steck(Kabel)- oder eine -Funkverbindung annimmt. 2.2 Datensignalverarbeitungsanlage in Form von Hardware, die eingehende Daten computerimplementiert (durch Software) oder auch ohne Software annimmt, 2.3 eine Auswerteeinheit in der Datensignalverarbeitungsanlage, die eingehende Daten computerimplementiert (durch Software) oder auch ohne Software analysiert, 2.4 eine Wandlungseinheit in der Datensignalverarbeitungsanlage, die eingehende Daten computerimplementiert (durch Software) oder auch ohne Software analysiert, 2.5 eine Weitergabeeinheit in der Datensignalverarbeitungsanlage, die analysierte und gewandelte Daten an die Schnittstelle eines niederperformanten Abspielgerätes über eine Schnittstellen-Steck(Kabel)- oder eine -Funkverbindung weitergibt. 2.6 einer Steuerungseinheit in der Datensignalverarbeitungsanlage, die den Gesamtprozess sowie die Interaktion mit dem Nutzer steuert.