-
Technisches Fachgebiet der Erfindung
-
Die
vorliegende Erfindung betrifft die Verteilung von Echtzeit-Bild-
und Audioinformationen. Detaillierter betrifft die Erfindung eine
Vorrichtung und ein Verfahren zum Senden von Video von einer Bilderfassungseinrichtung,
wie etwa einer Kamera, an mehrere Ziele.
-
Hintergrund der Erfindung
-
Während den
letzten 20 Jahren und insbesondere während des letzten Jahrzehnts
hat die aus dem Internet erhältliche
Informationsmenge gewaltig zugenommen. Benutzer von Computern und
computergesteuerten Einrichtungen haben sich an die Möglichkeit
gewöhnt,
alle Arten von Informationen mit hohen Übertragungsraten abzurufen,
und insbesondere für
die jüngere
Generation stellt das Internet nun die erste Wahl dar, wenn nach
Informationen gesucht wird. Den Einfluß, den das Internet auf jedermanns tägliches
Leben haben wird, kann, zumindest bei einer etwas längeren Perspektive
als ein paar Jahre, nicht überschätzt werden.
-
Das
Internet bietet Zugang zu weltweiten Informationsquellen und es
hat sich als das perfekte Werkzeug herausgestellt, um alle Arten
von Inhalt abzurufen, ungeachtet dessen, ob der Informationsgehalt
Audio oder Graphik ist. Typischerweise erwarten wir nicht, vom Internet
und Informationen, die dort gefunden und abgerufen werden, zu profitieren,
bis wir an einem vertrauten Punkt, wie etwa am Arbeitsplatzbüro, in der
Schule oder vor einem Computerendgerät Zuhause ankommen. Es wird
angenommen, daß die
zunehmende An zahl und Vielfalt an drahtlosen Vorrichtungen, die
Internetprotokoll-(IP-)basierte Anschlußfähigkeit bieten, wie etwa mobile
Kommunikationsendgeräte,
tragbare Computer, etc. unsere Vorstellungen über das Internet ändern werden.
-
US 2002 023 166 offenbart
einen Server zum Zusammenführen
von Streams.
US-A-5
758 094 offenbart ein Computerabbildungs-Kommunikationssystem,
das eine flexible CCD-Steuerungsarchitektur für computerbasierte
Kameraanwendungen aufweist. Die offenbarte Architektur ermöglicht,
daß die
Steuerung und Intelligenz zwischen dem Hostcomputer, der Computeranschlußschnittstelle
und einem Kamerakopf verteilt werden. Im Falle geographisch verteilter
Kameras kann die Steuerung ferner zwischen einem entfernten Hostcomputer
und einem lokalen Steuerungscomputer verteilt werden. Wenn ein Benutzer
jedoch ein Echtzeitvideo von seinem Computerendgerät an mehrere
Sitzungen senden möchte, erlaubt
dies der bisherige Stand der Technik ungeachtet der Art des Computerendgeräts, wie
etwa einem tragbaren Computer mit einem integrierten Mobilkommunikationsendgerät, nicht.
Heutige Betriebssysteme erlauben nicht, dass mehrere Anwendungen
zur gleichen Zeit Echtzeitbildinformationen von der gleichen Bildkamera
abrufen. Softwarebasierte Anwendungen wurden entwickelt, um die
Videoübertragung
an eine Vielzahl von Benutzern zu ermöglichen. Die Anwendungen können durch
Videoerfassungskarten gewonnen werden, mit denen mehrere Videokameras
verbunden werden können,
aber der gleichzeitige Zugang wird nicht bereitgestellt. Dies ist ein
großer
Nachteil mit der Folge, daß ein
Benutzer nicht fähig
ist, zur gleichen Zeit auf mehrere Sitzungen, wie etwa elektronische
Besprechungen, zuzugreifen. Außerdem
sind nach dem bisherigen Stand der Technik vorgestellte Lösungen nicht
unabhängig von
der Videovorrichtung, die verwendet wird, wobei diese Unabhängigkeit
aufgrund der gewaltigen Anzahl verschiedener Bilderfassungseinrichtungen,
die bereits auf dem Markt zum Kauf zur Verfügung stehen, eine Anforderung
ist, wenn Softwareprodukte für
elektronische Besprechungen hergestellt werden.
-
Zusammenfassung der Erfindung
-
Es
ist daher eine Aufgabe der vorliegenden Erfindung, die vorher erwähnten mit
Gruppenkommunikationsdiensten verbundenen Schwächen des bisherigen Stands
der Technik zu verringern. Dies wird durch eine Vorrichtung und
ein Verfahren zur Verteilung gestreamter Signale zwischen einer
Gruppe verschiedener teilnehmender Benutzer in einem Computernetzwerk
erreicht, wobei die Benutzer auf Client-Endgeräte zugreifen mit mehreren Einrichtungen
für die
Zugänglichkeit
und die Teilnahme an verschiedenen Mediensitzungen, wobei die Vorrichtung aufweist:
eine Bilderfassungseinrichtung, die geeignet ist, ein gestreamtes
Signal innerhalb zumindest einer eingerichteten Mediensitzung zu
erfassen und zu übertragen,
wobei die Sitzung von den Benutzern in einem Computernetzwerk definiert
wird, die Zugang zu dem Signalstrom haben,
eine erste Einrichtung
des mit der Mediensitzung verbundenen Client-Endgeräts, wobei
die Einrichtung eine eingerichtete Verbindung mit der Bilderfassungseinrichtung
zum Empfangen des von dieser ausgesendeten gestreamten Signals hat,
dadurch
gekennzeichnet, daß
eine
zweite Einrichtung des Client-Endgeräts geeignet ist, innerhalb
einer gemeinsamen Sitzung eine Anforderung auszusenden, wobei die
Anforderung die erste Einrichtung des Client-Endgeräts anweist, eine
Kopie des von der Bilderfassungseinrichtung übertragenen Signalstroms an
die zweite Einrichtung bereitzustellen, um dem Benutzer gleichzeitig
Zugang zu mehreren Mediensitzungen zu ermöglichen.
-
Ein
Vorteil der Erfindung ist, daß sie
ermöglicht,
daß mehrere
Anwendungen, wie etwa von verschiedenen Benutzern bediente Client-Endgeräte, eine
einzige Webkamera, Videokamera oder andere Bilderfassungsvorrichtung
gemeinsam nutzen. Die Nutzung einer softwarebasierten Betriebssystemschnittstelle
und eines sogenannten Hosts zusammen mit Verbindungen zwischen dem
Host, der Kamera und Client-Endgeräten macht
es für
jede verbundene Einrichtung, d. h. aktivierte Programmversion, eines
Client-Endgeräts
möglich,
eine Kopie des Videostreams zu empfangen, der ursprünglich nur
einer der Programminstanzen eines gewissen Client-Endgeräts bereitgestellt
wurde. Aufgrund der Erfindung wird es ermöglicht, an verschiedenen Mediensitzungen
gleichzeitig teilzunehmen, wobei die aktive Teilnahme in einer Sitzung
und gleichzeitige passive Teilnahme in den anderen bevorzugt ist.
Die aktive Teilnahme in mehreren Sitzungen ist jedoch ebenfalls
möglich,
wenngleich es zunächst
wenige Anwendungen geben wird.
-
Gemäß der vorliegenden
Erfindung wird das Internet als ein Mittel zur Verteilung gestreamter
Medien verwendet. Die Verwendung des Internet ist die optimale Lösung, solange
es eine zuverlässige
Verbindung mit ausreichenden Übertragungsraten,
aber ohne zugehörige
Probleme mit Datenstau in dem Netzwerk bereitstellt. Probleme mit Überlastung
können überwunden
werden, und es ist von entscheidender Bedeutung, dass Abnehmer von
gestreamten Medien an einem Medienereignis gleichzeitig und unabhängig teilnehmen
können.
Die vorliegende Erfindung ermöglicht
dies, und sie führt
nicht zu unerwünschter Überlastung
innerhalb der Computernetzwerke mit unnötigen Rohdatenmengen, die komprimiert
werden könnten.
-
Wie
bereits erwähnt,
wird die Menge an Daten, die durch das Netzwerk verteilt sind, verringert, da
der Datenstrom, der als eine Kopie von einem Client-Endgerät an andere
zugehörige
Endgeräte
gesendet wird, komprimiert werden kann, wobei als ein Ergebnis dessen
die Gesamtsumme von Daten, die über
das Netzwerk übertragen
werden, verringert wird. Gemäß der vorliegenden
Erfindung kann der Echtzeit-Datenstrom,
der direkt von der Bilderfassungseinrichtung an die erste Empfangseinrichtung des
Client-Endgeräts übertragen
wird, nur einmal komprimiert werden, und eine Kopie des komprimierten
Datenstroms wird an die anderen Empfangseinrichtungen des Client-Endgeräts übertragen,
ohne Schlüssel
und zugehörige
Sicherheitsinformationen enthalten zu müssen, um den Strom zu dekomprimieren
und zu entschlüsseln.
-
Kurze Beschreibung der Zeichnungen
-
Die
Merkmale, Aufgaben und weitere Vorteile dieser Erfindung werden
durch Lesen dieser Beschreibung in Verbindung mit den beigefügten Zeichnungen
offensichtlich, wobei gleiche Bezugszeichen sich auf gleiche Elemente
beziehen und wobei:
-
1 einen
schematischen Überblick
der Vorrichtung für
die Verteilung gestreamter Bild- und Audiosignale gemäß der vorliegenden
Erfindung darstellt.
-
2 ein
Diagramm ist, das den sequentiellen Ablauf während des Betriebs gemäß der vorliegenden
Erfindung darstellt.
-
Detaillierte Beschreibung
-
Die
folgende Beschreibung ist die beste Betriebsart, die gegenwärtig für das Betreiben
der Erfindung betrachtet wird. Die Beschreibung soll nicht in einem
einschränkenden
Sinne genommen werden, sondern wird lediglich zum Zweck der Beschreibung der
allgemeinen Prinzipien der Erfindung gegeben. Der Schutzbereich
der Erfindung sollte unter Bezug auf die erstellten Patentansprüche festgelegt
werden.
-
Unter
Bezug auf 1 stellt ein schematischer Überblick
die Vorrichtung zur Verteilung gestreamter Bild- und Audiosignale gemäß der vorliegenden
Erfindung dar. Mehrere Einrichtungen 10, 20, 30 eines
Client-Endgeräts,
von denen jede ihre jeweilige Anwendungsprotokollschnittstelle API 12, 22, 32 hat, sind über Anschlußverbindungen 14, 24, 34 mit
einer sogenannten Mediensitzung 50, 52, 54 verbunden. Die
Mediensitzung umfasst und verbindet eine beliebige Anzahl von Benutzern,
die Zugang zu einem Signalstrom haben, der die interaktive Kommunikation untereinander über Teile
eines Computernetzwerks bereitstellt. Jede beliebige Anzahl von
Mediensitzungen für
die gleichzeitige Teilnahme durch Benutzer ist mit Hilfe der vorliegenden
Erfindung möglich.
Die Kommunikation erfolgt mittels Bild oder Audio oder eine Kombination
von ihnen. Abgesehen von der Mediensitzung ist jede Einrichtung
des Client-Endgeräts über eine
Anschlußver bindung 36 mit
einer gemeinsamen Kommunikationssitzung 56, wie etwa einer Mehrpunktverbindungsgruppe,
verbunden. Diese gemeinsame Kommunikationssitzung kann in dem Client-Endgerät lokal
zugewiesen werden, und jede Einrichtung greift auf die Sitzung kontinuierlich
zu.
-
Bevorzugt
ist das Computernetzwerk Teil des Internets oder jedes anderen globalen
miteinander verbindenden Netzwerks, zu dem aufgenommene Teilnehmer
Zugang haben. Die Verbindungsleitungen können verschiedene verdrahtete
Verbindungen sein, aber wahrscheinlich bereits für den heutigen Gebrauch oder
zumindest in einer nahen Zukunft sind auch drahtlose Übertragungstechnologien,
wie etwa Zugangstechnologie, die auf Infrarot-, Bluetooth- oder
drahtlosem LAN basiert. Verbindungseinrichtungen, die in Verbindung
mit der vorliegenden Erfindung verwendet werden, werden sich mit
neuen und aufkommenden Zugangstechnologien entwickeln. Jede Einrichtung
des Client-Endgeräts
ist mit zumindest einer Bilderfassungseinrichtung 60, bevorzugt
einer sogenannten Webkamera, einer Digitalkamera oder einer digitalen
Videokamera, verbindbar. Jeder Benutzer hat seine eigene Bilderfassungseinrichtung,
wobei diese Einrichtung mit dem Client-Endgerät verbunden ist, von dem der
Benutzer typischerweise an einer Mediensitzung teilnimmt.
-
Die
Einrichtungen von Client-Endgeräten
organisieren selbst die Verteilung einer Kopie des Datenstroms innerhalb
der Mediensitzung. Dies ist eine unabhängige Funktion zwischen Einrichtungen
von Client-Endgeräten,
sobald die Teilnehmer in einer gewissen Mediensitzung definiert
wurden. Es ist denkbar, eine Verteilungseinheit, wie etwa ein verwaltetes Portal,
zu haben, das die Zugänglichkeit
für Benutzer handhabt,
die an einer gewissen Mediensitzung teilnehmen möchten. Die notwendige Identifizierung, Authentifizierung
und Berechtigung von Teilnehmern für eine gewisse Mediensitzung
wird ausgeführt,
aber eine detaillierte Beschreibung dieser Schritte geht klar über den
Bereich dieser Anmeldung hinaus, und wird hier daher weggelassen.
Das Portal wird von einem möglichen
Teilnehmer, der einem Medienereignis beitre ten will, gesehen, und
das Portal ist der Ort, von dem die Mediensitzungen zugänglich gemacht werden
oder durch das eine sogenannte elektronische Besprechung mit einer
Vielzahl von Teilnehmern oder ein an mehrere Benutzer verteiltes
Echtzeit-Multimediaereignis möglich
gemacht wird.
-
Die
Mediensitzung, die eine definierte Anzahl von Benutzern eines internen
oder externen Computernetzwerks ist, wobei die Benutzer Zugang zu
einer Mediensitzung für
berechtigte Teilnehmer haben, ist aufgrund ihrer Skalierbarkeit
und Flexibilität
für die
Datenübertragung
geeignet. In den meisten denkbaren Situationen umfasst die Mediensitzung Benutzer
und ihre jeweiligen Bilderfassungsvorrichtungen an verschiedenen
Orten, weswegen das Internet bevorzugt zum Transportieren von Daten
zwischen den Client-Endgeräten
der teilnehmenden Benutzer verwendet werden kann. Um jedoch das
Internet als ein Mittel zur Verteilung zu verwenden, müssen Nachrichtentransportbeschränkungen,
wie etwa Time-to-live- bzw.
Lebensdauerparameter an die verwendeten Nachrichtenverteilungsmittel
angepaßt werden.
Als ein Beispiel kann ein Parameter, der den Nachrichtentransport
auf ein spezifisches Client-Endgerät beschränkt, wie etwa eine Time-to-live, die
auf 0 gesetzt ist, nicht verwendet werden, wenn die Kommunikation
zwischen verschiedenen Client-Endgeräten eingerichtet werden soll.
-
Unter
Bezug auf 2 stellt ein Flußdiagramm
den sequentiellen Ablauf von Arbeitsschritten gemäß der vorliegenden
Erfindung dar. Der Ablauf beginnt (S10) mit einer ersten Anwendung 10,
die in den meisten Fällen
eine beliebige von mehreren Einrichtungen 10, 20, 30 von
Client-Endgeräten ist,
die die Bilderfassungs- und Übertragungsvorrichtung 60 unter
Verwendung der Standardanwendungsprogrammschnittstelle des Betriebssystems öffnet (S20).
Anschließend
wird eine zweite Einrichtung 20, 30 eines Client-Endgeräts versuchen,
die gleiche Vorrichtung zu öffnen
(S20), aber diese Einrichtung wird scheitern, da die Vorrichtung
augenblicklich beschäftigt
ist, indem sie Rohdaten an die erste Einrichtung 10 sendet.
Im bisherigen Stand der Technik be schriebene Bilderfassungsvorrichtungen
und Betriebssysteme sind nicht daran angepaßt, den Datenstrom an eine
größere Anzahl
von Einrichtungen von Client-Endgeräten auszusenden, und folglich
blockiert die erste Einrichtung des Client-Endgeräts die Übertragung des Rohdatenstroms
an andere Benutzer oder mögliche
Medienabnehmer. Gemäß der vorliegenden
Erfindung wird die zweite Einrichtung des Client-Endgeräts, die
eine der zumindest einen verbundenen Einrichtungen 20, 30 in
der definierten Mediensitzung 50, 52, 54 ist,
dann unter Verwendung einer IP-Mehrpunktverbindung innerhalb des
Host eine Nachricht übertragen
(S50). Unter Nutzen der Definition der auf 0 gesetzten Time-to-live
wird die Nachricht einfach innerhalb der gemeinsamen Kommunikationssitzung 56 verteilt,
und die erste Einrichtung 10 des Client-Endgeräts, die
eine Datenstromverbindung mit der Bilderfassungseinrichtung aufgebaut hat,
wird diese gemeinsame kommunikationssitzungsinterne Nachricht empfangen.
Die Nachricht enthält
eine Anforderung einer Kopie des Videostreams ebenso wie den Namen
der Vorrichtung und den Namen des Ports auf der Vorrichtung (Videoerfassungshardware
hat gewöhnlich
mehrere Eingangsports für
verschiedene Arten von Hardwareverbindungen). Wenn die Anforderung
den aktuellen vorbestimmten Einstellungen der ersten Einrichtung des
Client-Endgeräts
entspricht, wird dieses der zweiten Einrichtung des Client-Endgeräts antworten, daß sie sie
in einer Server-Client-Beziehung bedienen wird. Dies führt dazu,
daß die
zweite Einrichtung des Client-Endgeräts einen geeigneten Socket öffnet und
die erste Client-Einrichtung fähig
ist, eine Kopie des Videostreams an die zweite Einrichtung zu senden
(S80). Die zweite Einrichtung überträgt dann kontinuierlich
(z. B. alle 10 Sekunden) (S50) eine Nachricht an die erste Einrichtung,
daß sie
immer noch eine Kopie des Streams möchte, und sobald diese Nachrichten
aufhören
zu kommen, wird die erste Einrichtung aufhören, die zweite Einrichtung
zu bedienen. Falls eine dritte Einrichtung des Client-Endgeräts 20, 30,
die vorher nicht an der Übertragung beteiligt
war, ebenfalls eine Kopie möchte,
wird das Verfahren gleich wie für
die zweite Ein richtung sein, und die erste Einrichtung des Client-Endgeräts wird dann
eine Kopie sowohl an die zweite als auch die dritte Einrichtung
des Client-Endgeräts
senden.
-
Time-to-live
TTL ist eine weitverbreitete Art, zu bestimmen und zu begrenzen,
wie weit IP-Mehrpunktverbindungsnachrichten in einem Computernetzwerk
reichen sollten. TTL auf 0 gesetzt bedeutet, daß Nachrichten den Host nicht
verlassen sollten. TTL auf 1 gesetzt, bedeutet, daß eine Nachricht
das lokale Netzwerk nicht verlassen sollte, d. h. nicht über den
ersten Router hinaus gehen sollte.
-
Wenn
die erste Einrichtung des Client-Endgeräts aus irgendeinem Grund, durch
Benutzerinteraktion oder Programmfehler, aufhören sollte zu senden, werden
die davon abhängenden
Clients dies erkennen, indem sie die Abwesenheit von Nachrichten, die
von der ersten Einrichtung des Client-Endgeräts gesendet werden, als ein
Einstellen des Sendens auslegen. Außerdem wird auch explizit bekannt
gemacht, daß der
Datenstrom aufgehört
hat. Ansprechend auf den Empfang dieser Bekanntmachungsnachricht
oder Datenverlust werden die zweiten und dritten Einrichtungen des
Client-Endgeräts
beide versuchen, die Bilderfassungsvorrichtung zu öffnen, und der
Zufall entscheidet, wer zuerst die Verbindung mit der Videokamera
oder Webkamera aufbauen wird. In einem Fall, in dem die dritte Einrichtung
des Client-Endgeräts
zuerst die Verbindung aufbaut, wird sie der neue Server. Die zweite
Einrichtung des Client-Endgeräts,
die es nicht geschafft hat, die Vorrichtung zu öffnen, wird wie vorher mit
einer Client-Anforderung
an die dritte Einrichtung weitermachen.
-
Um
Bandbreite zu sparen, während
die Bildqualität
erhalten bleibt, kann der Datenstrom auch in codierter Form zwischen
der ersten Einrichtung und der zweiten Einrichtung des Client-Endgeräts gesendet
werden, d. h. der Rohvideostream wird in eine Form überführt, die
weniger Bandbreite benötigt. Wenn
die erste Einrichtung zum Beispiel in das M-JPEG-Format codiert,
kann anstelle des Rohdatenstroms der codierte Strom an die zweiten
und dritten Einrichtungen des Client-Endgeräts gesendet werden. Dieses
M-JPEG-Signalformat wird in einer ersten Ausführungsform der vorliegenden
Erfindung verwendet.
-
Gemäß einer
alternativen Ausführungsform der
Erfindung ist es anstelle des Sendens einer codierten Kopie an die
Einrichtungen des Client-Endgeräts
möglich,
den Server den Stream direkt an sein Ziel senden zu lassen. Dies
würde Verarbeitungskapazität in dem
Client-Endgerät
sparen, erfordert aber statt dessen in einem höheren Maß die gemeinsame Nutzung von
Logik zwischen dem Client und dem Server. Wenn zum Beispiel das
Client-Endgerät
den ausgehenden Stream verschlüsseln
möchte,
muß es seine
Verschlüsselungsinformation
mit dem Server gemeinsam nutzen, was bewältigt werden muß, um die
Sicherheit der Anwendung aufrechtzuerhalten. Im Fall der Verwendung
von Punkt-zu-Punkt-Datenstroms in Richtung eines Punkt-zu-Punkt-Reflektors zusammen
mit einer Firewall, wo der Verkehr von einem gewissen Port kommen
muß, müssen zusätzliche
Informationen an beteiligte Einheiten bereitgestellt werden, um
Sicherheitseinrichtungen ohne Störung
zu durchlaufen. Selbst wenn die beste Betriebsart der vorliegenden
Erfindung flexibler ist und diese erwähnten zusätzlichen Merkmale nicht erfordert, könnte die
alternative Ausführungsform
in gewissen Situationen verwendet werden, in denen zum Beispiel
eine Knappheit an Verarbeitungskapazität besteht.
-
Die
vorliegende Erfindung ist in verschiedenen Zusammenhängen anwendbar,
solange die gemeinsame Nutzung einer Videovorrichtung erwünscht ist.
Dies könnte
z. B. eine lokale TV-Anwendung sein, wobei zwei verschiedene Anwendungen, wie
etwa ein TV-Anzeigeprogramm und ein TV-Aufzeichner auf der gleichen
Vorrichtung laufen. In Offenbarungen des bisherigen Stands der Technik
wird dies durch Software von der gleichen Firma verwaltet. Obwohl
TV-Anwendungen von heute sowohl die Anzeige als auch die Aufzeichnung
gleichzeitig unterstützen
können,
nutzen sie den Videostream nicht gemeinsam zwischen verschiedenen
Anwendungen, sondern nutzen statt dessen den Stream innerhalb der
gleichen Anwendungsinstanz.
-
Gemäß der vorliegenden
Erfindung wird Software parallel zu der Vorrichtung zur Verteilung von
Signalen entwickelt. Die Software befindet sich in einem zu der
Vorrichtung gehörenden
Speicher. Die Software ist konzipiert, um die Hardware anzuweisen,
die unter Bezug auf 2 beschriebenen sequentiellen
Verfahrensschritte auszuführen.