DE10231286A1

DE10231286A1 - Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung

Info

Publication number: DE10231286A1
Application number: DE10231286A
Authority: DE
Inventors: Gerd Dipl.-Ing. Mossakowsk
Original assignee: T Mobile Deutschland GmbH
Current assignee: Telekom Deutschland GmbH
Priority date: 2002-07-10
Filing date: 2002-07-10
Publication date: 2004-02-05
Anticipated expiration: 2022-07-11
Also published as: WO2004008766A1; AU2003250780A1; US20060215015A1; EP1520425A1; PL373844A1; DE10231286B4; US7369154B2

Abstract

Die Erfindung betrifft ein Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung zwischen einem Sender und einem Empfänger nach dem Verfahren der priorisierten Pixelübertragung, wobei die Videodaten aus einzelnen Pixelgruppen bestehen und jede Pixelgruppe einen Positionswert innerhalb eines Bildarrays und mindestens einen Pixelwert aufweist, wobei die minimale Größe des Bildarrays durch die Höhe h und Breite b eines Videobildes, angegeben in Bildpunkten, definiert ist. Die Erfindung zeichnet sich dadurch aus, dass bei der Übertragung der zusätzlichen Daten Positionswerte verwendet werden, die nicht in den eigentlichen Videodaten vorkommen, sondern einem Offset-Bereich des Bildarrays zugeordnet sind.

Description

Die Erfindung betrifft ein Verfahren zur Übertagung von zusätzlichen Daten innerhalb einer Videodatenübertragung nach dem Oberbegriff des Patentanspruchs 1.
Um Videodateien über einen Kommunikationskanal flüssig übertragen zu können, sind hohe Übertragungsbandbreiten notwendig. Insbesondere bei Mobilkommunikationsnetzen stehen jedoch nur begrenzte Bandbreiten zur Verfügung. Bei der Übertragung und Echtzeitwiedergabe eines Videos, z.B. auf dem Display eines Mobilfunkendgeräts oder mobilen Computers, macht sich eine niedrige Bandbreite insbesondere bei schnellen Szenenwechseln bemerkbar, indem die Szenen nicht mehr flüssig wiedergegeben werden können.
Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfolge von Einzelbildern aufgezeichnet und wiedergegeben. Beim Fernsehen (z.B. PAL-Norm) sind dies 25 Bilder pro Sekunde bzw. 50 Halbbilder. Bei digitalen Aufnahmen können das bis zu 30 Bilder pro Sekunde sein. Bei der Übertragung wird jedes Bild in Zeilen zerlegt und sequenziell an einen Empfänger übertragen und dort wieder zu einem Bild zusammengesetzt.
Bekannte Komprimierungsmethoden basieren im wesentlichen auf einer Reduzierung der Auflösung und der Verringerung der Anzahl der (zu speichernden oder zu übertragenden) Bilder pro Sekunde. Bei der digitalen Kompression werden im wesentlichen die Differenzbilder, d.h. nur die sich unterscheidenden Bildinformationen zwischen aufeinanderfolgenden Bildern, anstelle von kompletten Bildern übertragen.
Der neueste Standard für Videokodierung ist MPEG4.
Auch bei MPEG4 muss bei einem Szenenwechsel zunächst ein komplettes neues Bild übertragen werden, von dem ausgehend dann wieder Differenzbilder übertragen werden können. Steht nur eine geringe Bandbreite zur Verfügung, so benötigt man für die Übertragung des kompletten Bildes in aller Regel eine gewisse Zeit. Bei niedrigen Übertragungsraten kann diese Zeit im Bereich bis zu einigen Sekunden liegen. Damit in diesem Zeitraum ein für das menschliche Auge ununterbrochener Bildübergang entsteht, wird das zuletzt übertragene Bild solange angezeigt, bis das neue Bild vollkommen übertragen wurde. Der Betrachter empfindet dieses als kurzes Anhalten des Videos, sogenanntes Ruckeln, so als ob er an dem Videorekorder die Standbildfunktion benutzt.
Um z.B. bei Videokonferenzsystemen mehrere Szenenbilder gleichzeitig ruckfrei anzeigen zu können, werden nach Möglichkeit jeweils eigene Übertragungskanäle für jede Szene geöffnet.
Die Aufgabe der Erfindung besteht darin, ein Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung anzugeben, das insbesondere eine flüssige Videoübertragung auch bei geringen Übertragungsbandbreiten ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Patentanspruchs 1 gelöst.
Als Grundlage für das erfindungsgemäße Verfahren gilt das Verfahren zur Komprimierung und Dekomprimierung von Videodaten mittels priorisierter Pixelübertragung, das in der deutschen Patentanmeldung DE 101 13 880.6 (entspricht PCT/DE02/00987 ) beschrieben ist und dessen Offenbarung vollinhaltlich in die Offenbarung der vorliegenden Erfindung aufgenommen werden soll. Bei diesem Verfahren erfolgt vorzugsweise eine parallele Verarbeitung der Videoinformationen im Videoaufnahmechip. Die parallele Verarbeitung dient dem Zweck, zunächst die wichtigsten Pixel zu ermitteln und diese entsprechend einer Priorisierung in ein Prioritätenarray abzulegen. Dieses Array enthält zu jedem Zeitpunkt, die nach der Priorisierung sortierten Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die für die Berechnung der Priorisierung benutzten Pixelwerte, übertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Priorität, wenn die Unterschiede zu seinen benachbarten Pixel sehr groß sind. Die Pixel werden in Pixelgruppen übertragen, deren Position in einem Bildarray durch Positionswerte bestimmt ist.
Zur Rekonstruktion des Videobilds werden die jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht übertragenden Pixel werden aus den schon übertragenden Pixel berechnet. Entsprechend der Rechenleistung, der Übertragungsbandbreite und der Größe des Displays können unterschiedliche Verfahren zur Berechnung der noch nicht übertragenen Pixel eingesetzt werden. Steht eine sehr große Bandbreite zur Verfügung kann eine einfache lineare Interpolation durchgeführt werden. Steht nur eine sehr kleine Bandbreite zur Verfügung, kann dies bei der Übertragung der priorisierten Pixel berücksichtigt werden.
Erfindungsgemäß werden bei der Übertragung der zusätzlichen Daten Positionswerte verwendet, die nicht in den eigentlichen Videodaten vorkommen sondern einem Offset-Bereich des Bildarrays zugeordnet sind.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Jede Pixelgruppe wird mit einem Positionswert übertragen, der die Position der Pixelgruppe in jedem Bild kennzeichnet. Jedes Bild besteht aus einem Bildarray von Bildpunkten, das durch die Werte Höhe h × Breite h, jeweils angegeben in Bildpunkten (Pixel), definiert ist.
Ausgehend von dem in der Patentanmeldung DE 101 13 880.6 beschriebenen, einfachen Beispiel ergeben sich bei einer Bildhöhe h von beispielsweise 21 und einer Bildbreite b von 20 Bildpunkten Positionswerte der Pixelgruppen zwischen 0... 419.
Eine neue Bildszene würde beim Positionswert 420 beginnen und bei 839 enden, usw.
Erfindungsgemäß beginnt die Übertragung eines neuen Bildes nicht beim Positionswert 420, sondern es wird nun mit Offsets gearbeitet, so dass es möglich wird, schon im Vorfeld z.B. Informationen aus anderen Szenen zu übertragen. Dabei muss der Offset mindestens den Wert Höhe × Breite eines Bildes betragen. Mit einem Offset dessen Größe = n × Breite b × Höhe h ist, können Informationen aus verschiedenen Szenen im Voraus übertragen werden. Das Umschalten zu einer Szene mit einem bestimmten Offset kann durch Übertragung eines Positionswerts erfolgen, der im Wertebereich des Offsets liegt und somit in keiner der Szenen vorkommt bzw. vorkommen kann. Das prinzipielle Verfahren soll an einem einfachen Beispiel verdeutlicht werden.
Beispiel:
Bildbreite b: 20 Bildpunkte (Pixel)
Bildhöhe h: 21 Bildpunkte
Minimaler Offset = Bildbreite b × Bildhöhe h = 20 × 21 = 420
Damit würde sich ein minimaler Offset von 420 ergeben. Um eine optimale Performance zu erhalten, ist es ratsam, dem maximalen Offset einen Wert von 2ⁿ zu geben, wobei n eine natürliche Zahl ist. In diesem Fall würde sich n = 9 anbieten, da sich hieraus 2⁹ = 512 ergibt.
Die Positionswerte zwischen 420 und zum Beispiel 512 können nun für die Übertragung von zusätzlichen Informationen, d.h. für eine Inline-Signalisierung verwendet werden. Mittels der Inlinesignalisierung können zum Beispiel die Zeitpunkte von Szenenwechseln übertragen werden.
In dem oben beschriebenen Beispiel können den Positionswerten unterschiedliche Szenen eindeutig zugewiesen werden. Dieses Verfahren kann auch dazu benutzt werden, mehrere Szenen parallel zu übertragen, wie es zum Beispiel bei Videokonferenzsystemen hilfreich ist, um z.B. mehren Kamerabilder gleichzeitig darzustellen, z.B. Kamera 1 = Übersichtskamera im Konferenzraum, Kamera 2 = Kamera auf aktuellen Sprecher, Kamera 3 = Dokumentenkamera, etc.
Beispiel
Die Vorteile gegenüber dem Stand der Technik aufgrund der priorisierenden Pixelübertragung entsprechen zunächst den in der Patentanmeldung DE 101 13 880.6 beschriebenen Vorteilen, die unter anderem darin bestehen, dass eine adaptive Kompression der Videobilddaten an die vorhandene Übertragungsbandbreite und die Bildauflösung des verwendeten Endgeräts möglich wird.
Ein im voraus übertragender Szenenwechsel erlaubt es, insbesondere bei niedrigen Bandbreiten, die neue Szene ohne eine merkliche Verzögerung anzuzeigen.
Durch die Inlinesignalisierung entsteht weniger Overhead als dass für mehrere Kameras (z.B. Videokonferenzsystem) einzelne Übertragungskanäle geöffnet werden müssen.
Durch die Inlinesignalisierung ist auch zu jedem Zeitpunkt eine Synchronisation zwischen den Videodaten und den zusätzlichen Daten gewährleistet.

Claims

Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung zwischen einem Sender und einem Empfänger nach dem Verfahren der priorisierten Pixelübertragung, wobei die Videodaten aus einzelnen Pixelgruppen bestehen, und jede Pixelgruppe einen Positionswert innerhalb eines Bildarrays und mindestens einen Pixelwert aufweist, wobei die minimale Größe des Bildarrays durch die Höhe h und Breite b eines Videobildes, angegeben in Bildpunkten, definiert ist, dadurch gekennzeichnet, dass bei der Übertragung der zusätzlichen Daten Positionswerte verwendet werden, die nicht in den eigentlichen Videodaten vorkommen sondern einem Offset-Bereich des Bildarrays zugeordnet sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Offsetbereich bei einem Positionswert h × b beginnt.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der Offsetbereich bei einem Positionswert 2ⁿ = h × b endet, wobei n eine natürliche Zahl ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Videodaten mit Positionswerten von < h × b und die zusätzlichen Daten mit Positionswerten von >= h × b übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass anhand der zusätzlichen Daten im voraus Videodaten aus anderen Szenen übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass anhand der zusätzlichen Daten Szenenwechelzeitpunkte übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die zusätzlichen Daten in Form von Pixelgruppen übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass den Pixelgruppen in Abhängigkeit von ihrer inhaltlichen, zeitlichen oder geräteabhängigen Relevanz Prioritäten zugeordnet werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Pixelgruppen in absteigender Reihenfolge ihrer Priorität übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die zusätzlichen Daten im Empfänger anhand ihrer Positionswerte erkannt werden.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Szenen beim Empfänger anhand der ihnen zugeordneten Positionswerte identifiziert werden.