AT414292B - Verfahren zur übertragung von audio- und videostreams über das internet zwischen mehreren datenquellen und einer datensenke - Google Patents

Description

2

AT 414 292 B

Derzeit gibt es zahlreiche Sendungen im Bereich des Hörfunks, in denen Endkunden über das Telefon am Sendungsgeschehen teilnehmen können. Im allgemeinen werden die Kunden zunächst mit einem Redakteur verbunden, der eine Vorauswahl unter den Anrufern trifft. Ausgewählte Anrufer werden dann schließlich an den Moderator durchgestellt und können sich mit ihm, mit anderen Personen im Studio oder mit anderen Anrufern auf Sendung unterhalten. Die gegenständliche Erfindung betrifft ein Verfahren, das eine ähnliche Vorgangsweise im Fernsehen ermöglicht, das heißt, Endkunden können nicht nur über eine Audio-, sondern auch über ein Videoverbindung in das Sendungsgeschehen eingebunden werden. Das Bild des Teilnehmers wird als Teilbild oder als Vollbild am Bildschirm dargestellt. Als Übertragungsmedium wird das Internet verwendet (Technologie des Audio- und Videostreamings).

Gemäß des Standes der Technik werden Audio- und Videostreams dadurch erzeugt, dass das durch eine Mikrofon mit Soundkarte erzeugte digitale Audiosignal und das durch eine Videokamera mit Frame Grabber erzeugte digitale Videosignal zunächst mittels eines geeigneten Encoders jedes für sich komprimiert werden. Danach werden die beiden Streams so zu einem einzelnen Datenstrom überlagert, dass sie als Einheit und synchron zueinander übertragen werden können. Der so erzeugte Datenstrom kann entweder als File gespeichert, auf Anforderung später ("on demand") oder live ("live Streaming") an eine oder mehrere IP Adressen (Internet Protocol Adressen) weiter geleitet werden. Sowohl die Aufnahme der Audio- und Videosignale, als auch die Software, die die Streams entweder "on demand" oder "live" zum Abruf durch einen oder mehrere Clients anbietet, muss serverseitig gestartet und gewartet werden, um nach außen hin zur Verfügung zu stehen. Oftmals wird ein eigener Rechner zum Erzeugen und Encodieren der Streams und ein zweiter Rechner zum Anbieten der Inhalte über das Internet verwendet. Anwendungen dieser Technik liegen etwa im Senden von Fernsehinhalten über das Internet durch eine Rundfunkanstalt oder das Anbieten von Videoclips für Promotionzwecke. Andere Anwendungen von Audio- und Videostreaming liegen im Bereich der Abhaltung von Videokonferenzen oder im Video Chat. So sind etwa Systeme bekannt, mittels derer jede Person, die über bestimmte Voraussetzungen verfügt (Breitband Internet Zugang, PC mit Webcam und Headset), Audio- und Videoübertragungen an einen eingeschränkten oder offenen Personenkreis im Internet aussenden kann. Das System wird dabei von einem zentralen Server aus gesteuert, der unter anderem die Zugriffsberechtigungen und Übertragungskanäle verwaltet (siehe Joo Young Bae et al., Distributed internet broadcasting method and System using Camera and screen capture, WO 01/65396 A1). Teilweise sind Funktionen für Videokonferenzen bzw. Videochat sogar schon standardmäßig im Betriebssystem eines Rechners integriert. Oftmals sind diese Systeme schwierig zu installieren bzw. zu betreiben wobei hier allerdings Methoden bekannt sind, um die Bedienung zu vereinfachen (siehe z.B. Cheng Linfu et al., A method and System for internet based Video chat, WO0229513A2). Ein weiteres Problem bei Videokonferenzen bzw. beim Video Chat liegt darin, dass die Bildqualität bei Engpässen in der Übertragungsbandbreite oftmals gegenüber der Tonqualität hintangestellt wird, da der Informationsgehalt des Tons meist von größerer Bedeutung ist als der des Bildes. Auch hier gibt es gemäß des Standes der Technik Ansätze, um die Aufteilung der Ressourcen auf Bild und Ton flexibel zu gestalten bzw. individuell zu beeinflussen (siehe z.B. Metha Vinesh R et al., Video conferencing with adaptive client-controlled resource utilization, US6453336B1).

Was lange Zeit die Übertragung von Audio- und Videostreams zwischen Endkunden und Sendeanstalten über das Internet in hoher Qualität verhindert hat, waren die unzureichenden Internetanbindungen, die in diesem Bereich zur Verfügung standen. Erst mit dem Aufkommen von Breitband-Intemetanbindungen, etwa über DSL oder die Netze von Kabelfernsehbetreibern, stehen Bandbreiten zur Verfügung, die eine Übertragung von sendefähigen Audio- und Videostreams möglich gemacht haben.

Die Grenzen der heutigen Technik zur Übertragung von Audio- und Videostreams in hoher Qualität über das Internet werden durch den Bandbreitenbedarf des Videostreams festgelegt. Wesentlich ist dabei auch der eingesetzte Codec zur Komprimierung bzw. Dekomprimierung der Videodaten. Ein leistungsfähiger Codec hilft zwar die Bandbreite effizient zu nutzen, erfor- 3

AT 414 292 B dert in der Regel aber eine hohe Rechenleistung zum Komprimieren und Dekomprimieren. Die Komplexität mancher Systeme zur Audio- und Videoübertragung in hoher Qualität und die große Anzahl an Einstellungsmöglichkeiten macht häufig Spezialkenntnisse der Anwender erforderlich, die die Möglichkeiten des durchschnittlichen PC Anwenders überschreiten. 5

Die gegenständliche Erfindung betrifft ein Verfahren, mit dem Audio- und Videodatenstreams in sendefähiger Qualität von einem oder mehreren Audio/Video-Clients (im folgenden AV-Clients genannt) zu einem Audio/Video-Server (im folgenden AV-Server genannt) übertragen werden. "Sendefähige Qualität" lässt sich dabei nicht exakt definieren, es kann jedoch grob abgeschätzt io werden, dass nach heutigem Stand der Technik und den heutigen Qualitätsansprüchen beim Fernsehen etwa eine Datenrate von 200-300 kBit/s für ein Bild in viertel Bildschirmgröße einer entsprechenden Qualität erforderlich ist.

Die AV-Clients stehen in einer typischen Ausführung der Erfindung dabei bei den Endkunden 15 des Rundfunkprogramms, der AV-Server in der Sendeanstalt. Zur Übertragung der Audio- und Videodaten werden Übertragungsformate, Codecs und Steuerungsprotokolle gemäß des Standes der Technik verwendet. Erfindungsgemäß steuert der AV-Server mehrere AV-Clients fern, insbesondere kontrolliert er alle wesentlichen Einstellungen der AV-Clients, wie die Auflösung des Bildes und des Tones, die Bildfolgefrequenz, bzw. die Abtastrate des Tones. Er startet und 20 stoppt überdies die Übertragung. Der Anwender des AV-Clients muss lediglich die Clientsoftware installieren, sowie Webcam und Headset in Betrieb nehmen. Der Start der Clientsoftware erfolgt typischerweise automatisch wenn sich der Anwender über seinen vertrauten Webbrowser beim Betreiber des AV-Servers anmeldet, um am Sendungsgeschehen teilzunehmen. Ab diesem Zeitpunkt erfolgt die Steuerung des Systems durch den AV-Server. 25

Je nach der serverseitig zur Verfügung stehenden Bandbreite und der eingesetzten Hardware kann über Streams mit geringem Bandbreitenbedarf zu vielen AV-Clients eine Verbindung aufrecht erhalten werden. Nur eine vergleichsweise geringe Anzahl an AV-Clients, bzw. nur ein einziger AV-Client kann zu einem gewissen Zeitpunkt in hoher Auflösung empfangen werden. 30 Dies ist typischerweise der AV-Client, der zur Übertragung über den Rundfunk vorgesehen ist.

Sowohl die den Streams mit niedrigem Bandbreitenbedarf entsprechenden Bilder, als auch die den Streams mit hoher mit hohem Bandbreitenbedarf entsprechenden Bilder können in einer typischen Ausführung der Erfindung am Bildschirm des AV-Servers dargestellt und arrangiert 35 werden, wobei in bekannter Weise eine grafische Benutzerschnittstelle zur Anwendung kommt. Zusätzlich kann, ebenfalls in bekannter Weise, ein alpha- Kanal generiert werden, der gewisse Teile des Bildschirminhaltes ausmaskiert. Das Videosignal der Grafikkarte des AV-Servers zusammen mit dem erzeugten alpha- Kanal wird an den Fernsehregieplatz übergeben, wo es entweder direkt gesendet, oder mit einem anderen Bildinhalt, etwa einem auf konventionelle 40 Weise im Studio generierten Bildinhalt, gemischt wird. Typischerweise wird vom AV-Server auch ein Summenaudiosignal generiert und an den Tonregieplatz weiter geleitet.

In einer weiteren Ausführung der Erfindung wird das Videosignal zusätzlich oder ausschließlich als unkomprimiertes, digitales Videosignal (SDI - serial digital interface) ausgegeben. 45

In einer anderen Ausführung der Erfindung werden mehrere AV-Server in Form einer Baumstruktur hinter einander geschaltet. Die vorgelagerten AV-Server können aus den von den Teilnehmern angebotenen Streams einen oder mehrere auswählen und an den nächsten AV-Server in der Art weiter geben, als ob sie direkt vom ursprünglichen AV-Client kommen so würden. Der AV-Server, der diesen Stream übernommen hat, kann nun in der zuvor beschriebenen Art die Quellen dieser Streams fern steuern. Insbesondere kann er also einen Stream mit hoher Auflösung abrufen und an den Videoregieplatz weiter leiten. Als weitere Möglichkeit kann dieser AV-Server aber seinerseits den Stream an den nächsten AV-Server weiter geben. Die beschriebene Netzwerktopologie ermöglicht es, viele eingehende Streams zu bewerten und 55 vorzuselektieren. In einer typischen Anwendung dieser Ausführungsform der Erfindung werden 4

AT 414 292 B die vorgelagerten AV-Server durch Redakteure bedient, die die einlangenden Streams der Teilnehmer (AV-Clients), die am Sendegeschehen teilnehmen wollen, zunächst bearbeiten und ausgewählte Teilnehmer dann an den nächsten Redaktionsplatz in der Hierarchie, oder schließlich an den Platz des Regisseurs oder Moderators, weiter schalten. 5

In einer alternativen Ausführung der gegenständlichen Erfindung werden die empfangenen Streams der AV-Clients in einem der bekannten Dateiformate abgespeichert, um später "on demand" abgerufen zu werden, damit sie entweder über den Rundfunk oder das Internet ange-boten werden können. 10

In einer weiteren Ausführungsform der Erfindung wird im Zuge des Verbindungsaufbaus eine Authentifizierung des Clients durchgeführt. Dadurch kann überprüft werden, ob die möglicherweise erforderlichen Lizenzen für die Clientsoftware vorliegen. Auch ist es dadurch möglich, an eine bestimmte Person bzw. an einen bestimmten Standort gebundene Dienste anzubieten. 15

In einer weiteren Ausführung der Erfindung sendet der AV-Server zu dem auf Sendung geschalteten AV-Client oder zu den auf Sendung geschalteten AV-Clients einen Audio- und Vi-deostream, der von der über den Rundfunk gesendeten Aussendung abweicht. Typischerweise wird in diesem Stream das Audiosignal des jeweiligen AV-Clients selbst unterdrückt, da dies in 20 bekannter Weise einen natürlicheren Eindruck vermittelt (n-1 Problem). In einer weiteren Ausführung der Erfindung wird über den vom AV-Server ausgehenden Audio- und Videostream das Bild des Redakteurs oder Moderators übertragen, um bereits vor der Sendung über den Rundfunk mittels einer Bild- und Tonverbindung kommunizieren zu können. 25 In einer weiteren Ausführung der Erfindung übermittelt der AV-Server über einen Datenkanal individuelle Zusatzinformationen an jeden AV-Client, über den typischerweise der Status der Verbindung (Warten auf freien Redaktionsplatz, Gespräch mit Redakteur, Warten auf Weiterleitung zum Regieplatz, Gespräch mit Regisseur/Moderator, Warten auf Sendung, Sendung) übermittelt wird. 30

In Figur 1 zeigt eine typische Ausführung der erfindungsgemäßen Methode, in der mehrere AV-Clients mit einem AV-Server verbunden sind.

In Figur 2 ist eine andere typische Ausführung dargestellt, in der mehrere AV-Server in einer 35 baumartigen Struktur miteinander verbunden sind.

In Figur 1 sind sechs AV-Clients (1), (2), (3), (4), (5) und (6) dargestellt. Jeder dieser Clients ist mit einer Webcam (7) und einem Headset (8) ausgestattet. Auf jedem dieser AV-Clients ist eine entsprechende Software installiert, die mit der Software am AV-Server (9) kompatibel ist. Ge-40 mäß Figur 1 haben gerade fünf AV-Clients (alle bis auf AV-Client (2)) unter Verwendung bekannter Internet-Technologie eine Verbindung mit dem AV-Server (9) aufgebaut. Der AV-Server steuert dabei über eine Datenverbindung (10), die über das Internet (11) geroutet wird, die Clientsoftware. Nach Figur 1 wird auf Anforderung des AV-Servers gerade von den AV-Clients (1), (4), (5) und (6) ein Audio- und Videostream (12) mit geringer Bandbreite abgerufen, wäh-45 rend Client (3) gerade eine Audio- und Videostream (13) mit hoher Bandbreite, typischerweise in sendefähiger Qualität, aussendet. Am Bildschirm (14) des AV-Servers (9) werden die empfangen Streams dargestellt, gemäß Figur 1 gerade ein Stream in hoher Auflösung und vier Streams in geringer Auflösung. Die Bilder können am Bildschirm über die allgemein bekannten Funktionen einer grafischen Benutzeroberfläche manipuliert werden. Weiters kann für das am so Bildschirm dargestellte Gesamtbild (9) in ebenfalls bekannter Weise ein alpha-Kanal generiert werden, der Teile des Bildschirms ausmaskiert. Gemäß der Darstellung in Figur 1 wird gerade nur das Teilbild, das dem Stream in hoher Auflösung entspricht, durch den alpha-Kanal selektiert. Das Gesamtbild des Bildschirms als Videosignal (15) und der alpha-Kanal (16) werden vom AV-Server an den Regieplatz der Sendeanstalt (17) übergegeben. Dort wird das so über-55 nommenen Signal gemäß Figur 1 mit dem Videosignal einer Studiokamera (18) gemischt und

Claims (8)

1. 5 AT 414 292 B zur Aussendung über einen Rundfunksender (19) aufbereitet. Die Aufbereitung der Audiosigna-le ist in Figur 1 der Einfachheit halber nicht dargestellt, sie erfolgt aber nichtsdestotrotz parallel zur Verarbeitung der Videosignale. Figur 2 zeigt drei AV-Server (9), (20) und (21), die in einer baumförmigen Struktur zusammen geschaltet sind. Mit diesen drei AV-Servern sind sechs AV-Clients (1), (2), (3), (4), (5) und (6) verbunden. Die drei AV-Clients (2), (3) und (4) wurden bereits zum AV-Server (9) am Ende der Hierarchie weitergeleitet, nachdem sie ursprünglich mit einem der vorgelagerten AV-Server (20) oder (21) über das Internet (11) Kontakt aufgenommen hatten. Bei AV-Client (2) ist der Übergabeprozess genauer dargestellt: Auf Anmeldung des AV-Clients über den Webbrowser wurde zunächst die Datenverbindung zur Steuerung (22) aufgebaut. Daraufhin wurde durch den AV-Server (20) der Audio- und Videostream (23) in geringer Auflösung gestartet. Als nächstes wurde auf Veranlassung des Redakteurs, der den AV-Server (20) bedient, die Umleitung (24) der Verbindung zum AV-Server (9) veranlasst. Der AV-Server (9) arbeitet mit dem Regieplatz der Sendeanstalt (17) auf die bei Figur 1 beschriebene Weise zusammen. Die AV-Server (9), (20) und (21) sind dabei über ein lokales Netzwerk (25) miteinander verbunden. Patentansprüche: 1. Verfahren zur Übertragung von Audio- und Videostreams zwischen einem als Datensenke und als Steuereinheit dienenden AudioA/ideo-Server und mehreren als Datenquellen wirkenden Audio/Video-Clients, dadurch gekennzeichnet, dass der Audio/Video-Server die verbundenen Audio/Video-Clients konfiguriert und fern steuert, so dass eine für eine Rundfunkübertragung geeignete Qualität und Kontrollierbarkeit der Audio- und Videostreams gewährleistet ist, wobei insbesondere die die Übertragungsbandbreite bestimmenden Parameter eingestellt werden können und die Übertragung gestartet bzw. gestoppt werden kann.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass einer oder mehrere der von den Audio/Video-Clients empfangenen Streams vom Audio/Video-Server zur Übertragung durch den Rundfunk weiter geleitet wird bzw. werden, wobei am Audio/Video-Server über eine grafische Benutzerschnittstelle in an sich bekannter Weise das zu sendende Bild zusammengestellt wird, das in Form des Videosignals der Grafikkarte des Audio/Video-Servers zusammen mit einem alpha-Kanal, ausgegeben wird.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das durch den Audio/Video-Server zusammengestellte Bild als unkomprimiertes, digitales Videosignal ausgegeben wird.
4. 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Audio/Video-Server in der gleichen Art wie ein Audio/Video-Client einen Stream zu einem anderen Audio/Video-Server weiter leiten kann, wobei dieser Stream in der Folge genauso gehandhabt wird, als ob er direkt vom ursprünglichen Audio/Video-Client kommen würde.
5. 5. Verfahren nach den Ansprüchen 1 und 4, dadurch gekennzeichnet, dass die von den Clients empfangenen Streams abgespeichert und "on demand" zur Verfügung stehen.
6. 6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Verbindungsaufbau zwischen Client und Server zunächst eine Authentifizierung des Clients durchgeführt wird.
7. 7. Verfahren nach den Ansprüchen 1 bis 6, dadurch gekennzeichnet, dass der Server einen Audio- und Videostream zu einem oder mehreren Clients zurücksendet, welcher entweder die aktuell über den Rundfunk verbreitete Sendung mit abgeschwächtem Audiostream des jeweiligen Audio/Video-Clients enthält, oder welcher eine Übertragung vom Redakteur oder 5 6 AT 414 292 B Moderator enthält.
8. 8. Verfahren nach den Ansprüchen 1 bis 7, dadurch gekennzeichnet, dass zum Client Daten über den jeweiligen Verbindungsstatus übertragen werden. Hiezu 2 Blatt Zeichnungen 10 15 20 25 30 35 40 45 50 55