-
GEBIET DER ERFINDUNG
-
Die
Erfindung betrifft die Multimediakommunikation und insbesondere
den Gebrauch von Multimediaströmen
zum Erzeugen und Wiedergeben von Präsentationen oder Nachrichten,
die aus dynamischen Kommentaren zu zahlreichen Bildern, Videos, 3D-Graphiken, digitalem
Fax und Sprachnachrichten sowie HTML-Dokumenten und Microsoft Office
Dokumenten bestehen können.
-
BESCHREIBUNG DES STANDS
DER TECHNIK
-
Aufgrund
der sehr rasch wachsenden Anzahl von Benutzern und der exponentiell
wachsenden Anzahl der Internetanschlüsse ist das Internet zu einem weithin
akzeptierten Medium für
die Kommunikation und ebenso für
den Einkauf und die künftige
Vermarktung geworden. Die Fähigkeit,
Multimediadaten über
das Internet zu liefern, ist durch die Bandbreitenkapazität und die
Kosten der Netzanbindung begrenzt sowie durch die Rechenleistung
der Server- und Clientcomputer. In jüngerer Zeit haben verschiedene
Firmen Datenstromverfahren entwickelt, mit denen sich Multimediadaten
in guter Qualität
auch über schmalbandige
Netze übertragen
lassen, beispielsweise über
Modemverbindungen mit 28,8 oder 56 kBit. Zusätzlich sind aufgrund des scharten
Wettbewerbs im Markt der Internet-Dienstbereitsteller die Kosten des Netzzugangs
für viele
Privatanwender erschwinglich geworden. Zudem wächst die Rechenleistung der
Server- und Clientcomputer exponentiell, wogegen ihre Preise rasch
fallen.
-
Aufgrund
der obigen Entwicklungen können die
Menschen nun das Internet ausgiebig für die gegenseitige Kommunikation
und den Informationsaustausch nutzen. Der Informationsaustausch
und die Kommunikation über
Texte sind jedoch nicht immer effizient. Erst kürzlich hat eine Renaissance
der WWW-Publizierung stattgefunden. Zahlreiche WWW-Sites enthalten Multimediaströme, Bilder,
Videos und 3D-Graphiken, die die Internetgestützte Kommunikation vereinfachen
und fördern
sollen. Um sich besser verständlich
zu machen, tauscht man untereinander Bilder, Videos oder 3D-Graphiken
zusätzlich
zu Textnachrichten aus.
-
Bis
vor kurzem waren die Multimediadaten auf einer WWW-Seite oder in
einer Nachricht nicht semantisch miteinander verknüpft, sondern
syntaktisch. Man verlässt
jedoch derartige Umgebungen momentan sehr rasch. Dies wird durch
die Entwicklung von neuen Umgebungen bewiesen, bei denen Audio-
und animierte Videokommentare und andere dynamische Multimediainhalte
den Multimediainhalt graphisch unterstützen und die Kommunikation
fördern.
Das strömende
Video wird beispielsweise mit Audio- und Textkommentaren angereichert,
die an einen Frame oder ein Ereignis in einem Video geknüpft sind.
Die ist beschrieben in "Annotations
for Streaming Video on the Web: System Design and Usage Studies" von David Bargeron,
Anoop Gupta, Jonathan Grudin und Elizabeth Sanocki, erschienen in
der Eight International World Wide Web Conference, Toronto Convention
Center, Toronto Canada, 11.–14. Mai
1999. Dieses System erfordert, dass die Videowiedergabe angehalten
wird, um auf die Kommentare zuzugreifen. In einem weiteren Beispiel
werden Powerpoint-Präsentationen
durch synchronisierte animierte Videokommentare unterstützt [Eloquent Enterprise
Communications Portal, http://www.eloquent.com/]. Dieses System
ist jedoch auf die Ergänzung
von Powerpoint-Präsentationen
eingeschränkt. Damit
besteht Bedarf an der Entwicklung von Nachrichten- und Kommunikationssystemen
und Verfahren, die für
eine effizientere Kommunikation eine nahtlose Integration sämtlicher
anderer Multimediainhalte in eine Multimediapräsentation erlauben.
-
Ein
weiteres Kommentierungskonzept, nämlich das der Überlagerungen
auf dem sichtbaren Multimediainhalt (auch als graphische Kommentare
bekannt) zielt auf Bilder beim Erzeugen von Multimediapräsentationen,
siehe das US-Patent 5,838,313 mit dem Titel "Multimedia-based Reporting System With Recording
And Playback Of Dynamic Annotation", (Ta-Yuan Hou, Wei-Kwan Vincent Su,
Thomas Meissner und Arding Hsu), das dem Inhaber dieses Patents
abgetreten wurde. Dieses System ermöglicht nicht die Kommentierung
anderer Multimediainhalte, beispielsweise Video, 3D-Graphiken, digitales
Fax und Sprachnachrichten sowie HTML- und Microsoft Office Dokumente,
z. B. Microsoft Word Dokumente, Excel-Tabellen oder Powerpoint-Präsentationen. Eine
weitere fehlende Komponente in diesem System ist das Anfügen von
dynamischen Markern, animierten Zeichnungen und Hyperlinks zu Bereichen oder
Flächen
im Multimediainhalt. Beispielsweise ermöglicht dieses System nicht
die Erzeugung von dynamischen Markern, die an bewegten Videoobjekten angebracht
werden, etwa Automobilen oder Personen in einer Szene, von animierten
(blinkenden) graphischen Zeichnungen, oder von 3D-Markern, die an einer
Fläche
in einer 3D-Szene haften, und von Skalierungen oder Bewegungen in
dieser Szene, wenn sich der Betrachtungspunkt ändert. Zudem erlaubt dieses
System keine Kommentierung vom HTML-Seiten, d. h. ein Verfolgen
von Links. Damit besteht Bedarf an der Entwicklung von Systemen und
Verfahren, die das Erzeugen einer nahtlosen Integration umfangreicher
Multimediainhalte erlauben. D. h., der Multimediainhalt ist nicht
nur auf Bilder beschränkt
und nicht nur mit Audio/Video-Kommentaren synchronisiert, sondern
auch mit graphischen Kommentierungen wie Texten, dynamischen freiformanimierten
oder statischen graphischen Zeichnungen und dynamischen Bereichsmarkern.
Zusätzlich sollten
derartige Systeme das Erzeugen dynamischer Hyperlinks erlauben,
beispielsweise Hotspots in einer Videosequenz und das Verfolgen
von Hyperlinks analog zu einem Web-Browser.
-
Derartige
Medienkommentienrungssysteme erfordern eigene Plug-ins (Zusatzprogramme),
um die Präsentationen
innerhalb einer der herkömmlichen
Internetanwendungen, dem Web-Browser, wiederzugeben, da ein eigenes
Datenformat zum Speichern der nahtlos integrierten (oder zusammengestellten)
Multimediapräsentationen
vorliegt. Web-Browser sind neuerdings in der Lage, Multimedia-Datenstrominhalte
zu empfangen und darzustellen, und zwar durch die frei verfügbaren Plug-ins,
die RealNetworks Inc. (http://www.real.com/playerplus/) oder die
Microsoft Corp. (http://www.microsoft.com/windows/mediaplayer/)
liefern. Damit ist die Verbreitung von Multimediapräsentationen über das Internet
kein Problem mehr, wenn sie in ein Bündel bekannter und allgemein
unterstützter
Multimediaströme
konvertiert werden. Somit benötigen
die Systeme, die das Erzeugen von Multimediapräsentationen ermöglichen,
Verfahren und Systeme zum Erzeugen von Multimediaströmen der
Präsentationen.
-
Ähnliche
Erfordernisse bestehen, falls es nötig ist, graphisch kommentierte
Multimedianachrichten mit elektronischer Post zu versenden und wiederzugeben.
Es ist nicht immer machbar, eine Multimediapräsentation als Nachricht mit
beigefügtem
Inhalt zu senden, da die Multimedianachricht auf Video oder anderen
umfangreichen Multimediainhalten beruhen kann. Damit ist es ebenfalls
wünschenswert, den
Multimediainhalt der Nachricht während
der Wiedergabe als Datenstrom zu behandeln. Wie beim Veröffentlichen
von Multimediapräsentationen
im WWW darf man nicht voraussetzen, dass der Empfänger der
elektronischen Post das Medienkommentierungswerkzeug auf seinem
Computer installiert hat. Damit ist anzustreben, dass ein in sich
geschlossenes ausführbares
Programm als Anhang gesendet wird, das die Multimedianachricht darstellt.
-
Das
US-Patent 6,006,241 offenbart ein System zum Herstellen eines Videostroms
und getrennter synchronisierter Kommentierungsströme, bei
dem Frames des Kommentierungsstroms Zeiger auf interessierende Ereignisse
enthalten oder darstellbare Daten, die in den Kommentierungsstrom
eingebettet sind. Das britische Patent GB2319135 offenbart ein Telekonferenzsystem,
das das Versenden von Multimediadokumenten mit elektronischer Post
enthält.
-
Die
Erfindung ist im unabhängigen
Anspruch bestimmt, der nun eingesehen werden sollte. Bevorzugte
Merkmale sind ausführlich
in den abhängigen Ansprüchen beschrieben.
-
Ausführungsformen
und Beispiele der Erfindung umfassen ein System zum: (i) Erzeugen
und Darstellen einer Multimediapräsentation mit Hilfe von Bildern,
Video, 3D-Graphiken,
digitalem Fax, Sprachnachrichten, HTML-Seiten und Microsoft Office
Dokumenten, z. B. Microsoft Word Dokumenten, Excel-Tabellen und
Powerpoint-Präsentationen
mit graphischen Kommentaren, Audiokommentaren und/oder animierten
Videokommentaren; (ii) Konvertieren der Multimediapräsentation
in ein Bündel
Multimediaströme,
so dass elektronische Mailer oder Web-Browser die Präsentation
wiedergeben können, und
zwar entweder unterstützt
durch frei verfügbare Medienstrom-Wiedergabeprogramme,
etwa RealPlayer von RealNetworks Inc. (http://www.real.com/playerplus/)
oder Windows Media Player von der Microsoft Corp. (http://www microsoft.com/windows/mediaplayer/)
oder wenn nötig
mit einem eigenen Plug-in, das die graphischen Kommentare wiedergibt;
und (iii) Ermöglichen
des Erzeugens einer Multimedianachricht, die aus einem Bündel Multimediaströmen mit
graphischen und synchronisierten Audio/Video-Kommentaren besteht,
die über
elektronische Post versendet werden und von elektronischen Mailern
wiedergegeben werden können.
Die Erfindung stellt auch ein System und Verfahren bereit, wodurch
eigene Plug-ins nicht mehr erforderlich sind, falls der Client dies
nicht wünscht.
Dieses letztere System besteht in der Erzeugung einer Diaschau-Präsentation
des sichtbaren Inhalts der Multimediapräsentation über ihre gesamte Dauer und
im Umsetzen dieser Diaschau-Präsentation
in einen Multimediastrom.
-
KURZE BESCHREIBUNG DER
ZEICHNUNGEN
-
Aus
der folgenden ausführlichen
Beschreibung und den beigefügten
Ansprüchen
gehen zusammen mit den Zeichnungen weitere Aufgaben und Merkmale
der Erfindung hervor.
-
Es
zeigt:
-
1 ein Blockdiagramm einer
bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimediaströmen;
-
2 ein Blockdiagramm einer
bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimediapräsentationen und der Wiedergabe
dieser Präsentationen
auf einem Clientcomputer;
-
3 ein Blockdiagramm einer
bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimedianachrichten und der Wiedergabe
dieser Nachrichten auf einem Clientcomputer;
-
4 ein Blockdiagramm einer
bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimedianachrichten mit Anhängen und
der Wiedergabe dieser Nachrichten auf einem Clientcomputer;
-
5 ein Blockdiagramm einer
bevorzugten Ausführungsform
des Plug-ins;
-
6 ein Blockdiagramm einer
bevorzugten Ausführungsform
des Medienkommentierungswerkzeugs;
-
7 ein Blockdiagramm einer
bevorzugten Ausführungsform
des Multimedia-Strömegenerators;
-
8 ein Flussdiagramm einer
bevorzugten Ausführungsform
der Erzeugung von Multimediapräsentationen
durch den Web-Publisher; und
-
9 ein Flussdiagramm einer
bevorzugten Ausführungsform
der Erzeugung von Multimedianachrichten durch den elektronischen
Mailer.
-
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
-
Die
Erfindung wird nun ausführlich
anhand einiger bevorzugter Ausführungsformen
der Erfindung beschrieben, die in den Zeichnungen dargestellt sind.
In der folgenden Beschreibung werden zahlreiche besondere Details
angegeben, damit ein vertieftes Verständnis der Erfindung möglich ist. Fachleuten
ist jedoch bekannt, dass die Erfindung auch ohne einige oder alle
dieser besonderen Einzelheiten umgesetzt werden kann. In anderen
Fällen werden
bekannte Verfahrensschritte nicht in allen Einzelheiten beschrieben,
damit die Beschreibung der Erfindung nicht unnötig kompliziert wird.
-
1 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
zum Erzeugen von Multimediaströmen,
die ein Medienkommentierungswerkzeug 210 (MAT, MAT = Media
Annotation Tool) und einen Multimedia-Strömegenerator 250 (MSG,
MSG = Multimedia Streams Generator) enthält.
-
Die
Informationseingabe in das Medienkommentierungswerkzeug umfasst
als Medienquellen 110 digitalisierte Videos, Bilder, 3D-Graphikdateien, Fax
und Sprachnachrichten, HTML- und Office-Dokumente 111,
Ausgaben digitaler Kameras 112, Ausgaben digitaler Videokameras 113,
Ausgaben von 3D-Scannern 114 und Ausgaben von Bildscannern 115.
Die Informationseingabe in das Medienkommentierungswerkzeug als
Kommentierungsquellen kann eine oder mehrere Ausgaben von Livevideo-Mitschnitten 121,
von Liveaudio-Mitschnitten 122, Computermaus-Aktionen 123 und
Computertastatur-Eingaben 124 umfassen.
Die Information, die das Medienkommentierungswerkzeug 210 an
den Multimedia-Strömegenerator 250 ausgibt,
umfasst graphische Kommentierungen 301 zusammen mit den
Audio- und/oder Videokommentierungen 302. Die graphischen
Kommentierungen 301 umfassen Ereignisse, die zu den Mausaktionen
und Tastatureingaben während
des Aufzeichnens einer Medienkommentierungssitzung gehören. Fachleuten
ist bekannt, dass man die Mausaktionen und Tastatureingaben mit
einer Anwendung auffangen und gemäß bestimmten Regeln interpretieren
kann, die von dem System definiert werden, um Ereignisse zu erzeugen.
Jedes Ereignis trägt
einen Zeitstempel, der den Zeitpunkt seines Auftretens darstellt.
Ein Ereignis könnte
sein: (i) das Zeichnen einer Form mit gegebenen Koordinaten und
einer Beschreibung auf dem Darstellungsbereich des Eingabemediums,
beispielsweise eines Polygonmarkers, der an einem Videoobjekt in
einer Videoszene haftet, oder eines 3D-Markers, der an einer Fläche in der
3D-Szene haftet, oder eines 3D-Volumens,
das an einem Objekt in der 3D-Animation haftet; (ii) das Zeichnen
einer statischen oder animierten Linie von der vorhergehenden Position
der Maus zu einem neuen Ort auf dem Darstellungsbereich des Eingabemediums,
beispielsweise das Darstellen eines Stroms, der in einer elektronischen
Schaltung fließt;
(iii) das Löschen
derartiger Zeichnungen; (iv) das Anordnen von Text, der an einer
Position zentriert wird, die der Benutzer auf dem Darstellungsbereich
des Eingabemediums festlegt; (iv) das Löschen derartiger Texte; oder
(v) ein URL-, Dokumenten- oder Präsentationsdarstellungsbefehl
in einem festgelegten Fenster im Clientcomputer, z. B. das Unterstützen von
Powerpoint-Präsentationen
eines derzeit entfernt stattfindenden Lehrvortrags über das
Internet. Die Audiokommentare können
eine Beschreibung der Bedeutung der graphischen Kommentare enthalten,
beispielsweise Sprache oder Hintergrundmusik. Schließlich können die
Videokommentare die animierte Bildfolge enthalten, die zu den Audiokommentaren
gehört.
-
Die
in den Multimedia-Strömegenerator 250 eingegebene
Information umfasst die Medienquellen 110, graphische Kommentare 301 und
Video- und/oder Audiokommentare 302. Die an den Multimedia-Strömegenerator
ausgegebene Information umfasst die Multimediaströme 303 in
RealAudio, RealVideo, Real G2 mit Flash, RealPix, RealText (http://www.realnetworks.com/products/authkit/index.html),
und ASF Dateiformate (http://msdn.microsoft.com/workshop/imedia/windowsmedia/)
oder irgendwelche anderen eigenen Dateiformate, beispielsweise die
Ströme
der Ereignisse, die die graphischen Kommentare bestimmen. Multimediaströme in den
Dateiformaten RealAudio, RealVideo, Real G2 mit Flash, RealPix,
RealText können
mit dem RealPlayer abgespielt werden. Dagegen können die Multimediaströme in ASF-Dateiformaten
mit dem MediaPlayer abgespielt werden. Schließlich erfordern sämtliche
anderen eigenen Dateiformate, die der Multimedia-Strömegenerator 250 erzeugt,
die Installation des Medienkommentierungswerkzeugs 210 in
jedem Clientcomputer, der die Multimediaströme wiedergibt.
-
2 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimediapräsentationen 304 und
zur Wiedergabe dieser Präsentationen
auf einem Clientcomputer 500, wobei die Ausführungsform
einen Web-Publisher 280,
einen Web-Server 410, einen Content-Server 420,
einen Web-Browser 510 und ein Plug-in 520 enthält.
-
Eine
Multimediapräsentation 304 ist
eine interaktive und synchronisierte audiovisuelle Beschreibung
einer Prozedur, eines Gegenstands, einer Person oder von Wissen. Sie
ist aus verschiedenen Multimediaströmen zusammengesetzt, die man
auf dem Bildschirm 550 des Clientcomputers sehen und mit den
Lautsprechern 560 hören
kann, die mit dem Clientcomputer 500 verbunden sind.
-
Die
Zusammenstellung, Synchronisierung und Playlist der unterschiedlichen
Multimediaströme, die
für eine
Multimediapräsentation
zusammenwirken, werden durch den Gebrauch einer Beschreibungssprache
definiert, beispielsweise der Synchronized Multimedia Integration
Language (SMIL) von RealNetworks (http://www.realnetworks.com/products/authkit/index.html)
oder der Beschreibungssprache ASX von Microsoft (http://msdn.microsoft.com/workshop/imedia/windowsmedia/CrContent/asx.asp),
ohne jedoch hierauf eingeschränkt
zu sein. Der Web-Publisher 280 erzeugt das Skript der Multimediapräsentation 304 und
einen URL-Link, den man zum Wiedergeben der Multimediapräsentation 304 in
einem Web-Browser 510 benötigt. Der Web-Server 410 ist
verantwortlich für
das Senden des Skripts der Multimediapräsentation 304 über das Internet
an den Clientcomputer 500, falls dies erforderlich ist.
Dagegen sendet der Content-Server 420 die Multimediaströme für die Wiedergabe über das Internet
an den Clientcomputer 500. Das Plug-in 520 decodiert
die ankommenden Multimediaströme
in getrennte Puffer und erzeugt wenn nötig neue Puffer. Anschließend gibt
es die Puffer an den Bildschirm 550 oder die Lautsprecher 560 des
Clientcomputers aus.
-
3 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimedianachrichten 305 und
zur Wiedergabe dieser Nachrichten auf einem Clientcomputer 500,
wobei die Ausführungsform
einen elektronischen Mailer 290, einen Server 430 für elektronische Mail,
einen Content-Server 420, einen Client 530 für elektronische
Post (E-Mail) und das Plug-in 520 enthält.
-
Eine
Multimedianachricht 305 ist eine Multimediapräsentation
mit Information für
den Empfänger
und wahlweise Objekten, die als elektronische Post versendet werden
können,
und die mit einem E-Mail-Client 530 anstelle eines Web-Browsers 510 wiedergegeben
werden. Der Server 430 für elektronische Mail ist verantwortlich
für das
Senden der Multimedianachricht 306 an eine Liste mit Empfängern. In ähnlicher
Weise decodiert das Plug-in 520 die eingehende Multimediapräsentation,
die zur Nachricht gehört,
in getrennte Puffer, erzeugt bei Bedarf neue Puffer und gibt die
Puffer an den Bildschirm 550 oder die Lautsprecher 560 des
Clientcomputers aus. In vergleichbarer Weise wird ein URL-Link, den der elektronische
Mailer 290 erzeugt, zum Zugriff auf die Multimedianachricht 305 benötigt. Die
Zusammenstellung, Synchronisierung und Playlist der unterschiedlichen
Multimediaströme,
die für
eine Multimediapräsentation
zusammenwirken, werden wieder durch den Gebrauch einer Beschreibungssprache
definiert, beispielsweise SMIL oder ASX.
-
Der
elektronische Mailer 290 erzeugt das Skript. Der Content-Server 420 sendet
die Multimediaströme über das
Internet an den Clientcomputer 500, der sie wiedergibt,
wenn ein Empfänger
das Ansehen der Nachricht auswählt.
Es ist erwünscht,
dass eine Multimedianachricht mit der Wiedergabe beginnt, wenn sie
aus der Nachrichtenliste im E-Mail-Client 530 ausgewählt wird.
Dieses Verhalten nennt man Wiedergabe mit einem Klick (one-click play).
Die Alternative zur Wiedergabe mit einem Klick erfordert das Ausführen von
zwei Klicks: (i) das Öffnen
der Multimedianachricht, und (ii) das Anklicken des URL-Links im
Körper
der Nachricht, damit die Wiedergabe der Multimediapräsentation
beginnt, die zur Nachricht gehört.
Wiedergabe mit einem Klick lässt
sich innerhalb eines Microsoft-Outlook-Formulars implementieren.
-
4 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
der Erfindung zum Erzeugen von Multimedianachrichten 306 mit
Anhängen und
zum Wiedergeben dieser Nachrichten mit einem Clientcomputer 500,
wobei die Ausführungsform
einen elektronischen Mailer 290, einen Server 430 für elektronische
Mail, einen E-Mail-Client 530 und das Plug-in 520 enthält.
-
Eine
Multimedianachricht 306 mit Anhängen ist eine Nachricht, die
die Multimediaströme
enthält, die
zur Wiedergabe der Multimediapräsentation,
die zur Nachricht gehört,
erforderlich sind. Auf die Multimedianachrichten mit Anhängen wird über den E-Mail-Client 530 zugegriffen.
Der Server 430 für elektronische
Mail ist verantwortlich für
das Senden der Multimedianachricht 306 mit Anhängen an
eine Liste mit Empfängern.
In ähnlicher
Weise decodiert das Plug-in 520 die angehängten Multimediaströme für die Präsentation
in getrennte Puffer, erzeugt wenn nötig neue Puffer und gibt die
Puffer auf den Bildschirm 550 oder die Lautsprecher 560 des
Clientcomputers aus. Es ist nicht erforderlich, für die Multimediapräsentation
auf einen URL-Link zuzugreifen, da ihre Komponenten in der Nachricht
enthalten sind. Die Zusammenstellung, Synchronisierung und Playlist
der unterschiedlichen Multimediaströme, die für eine Multimediapräsentation
zusammenwirken, können
wieder durch den Gebrauch einer Beschreibungssprache definiert werden,
beispielsweise SMIL oder ASX. Der elektronische Mailer 290 erzeugt
das Skript.
-
5 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
des Plugins 520, das entweder das Medienkommentierungswerkzeug 210 oder
den Medienströmespieler 526 enthält, und
zwar abhängig
von den Programmen, die auf dem Clientcomputer installiert sind,
und seine Schnittstelle zur Multimediapräsentation 304, zur
Multimedianachricht 305 und zur Multimedianachricht 306 mit
Anhängen. Ist
das Medienkommentierungswerkzeug 210 im Clientcomputer 500 vorhanden
(bejahende Antwort auf die Freigabefrage 522), so ist das
Plug-in 520 das Medienkommentierungswerkzeug 210.
Andernfalls (verneinende Antwort auf die Freigabefrage 522)
ist das Plug-in ein frei verfügbarer
Medienströmespieler 524,
beispielsweise der RealPlayer oder der MediaPlayer. Die Information
hinsichtlich des Vorhandenseins des Medienkommentierungswerkzeugs 210 kann
auch im Körper
der Multimedianachricht 305 gespeichert sein. Während der
Erzeugungsphase der Multimedianachricht 305 kann das System den
Typ der Nachricht definieren und im Nachrichtenskript eine ganze
Zahl ablegen, die den Typ bestimmt. Der Clientcomputer 500,
auf dem das Plug-in 520 läuft, kann zu einer der drei
folgenden Arten gehören:
(i) ein Medienkommentierungswerkzeug 210 ist vorhanden;
(ii) ein Medienkommentierungswerkzeug 210 ist nicht vorhanden;
und (iii) das Medienkommentierungswerkzeug 210 mit der
Multimedianachricht 305, 306 werden als Anhang
an eine reguläre E-Mail
empfangen. Wird das Medienkommentierungswerkzeug 210 mit
der Multimedianachricht 305, 306 als Anhang auf
dem Clientcomputer 500 empfangen, so startet sich dieser
Anhang selbst als in sich abgeschlossenes ausführbares Programm und gibt die
Multimedianachricht 305, 306 wieder, wenn er ausgewählt wird.
-
6 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
des Medienkommentierungswerkzeugs 210, das eine Wiedergabemaschine 212,
einen Medieninterpretierer 214, eine Aufzeichnungsmaschine 216 und
einen Interpreter 218 für Maus-
und Tastaturaktionen enthält.
-
Die
Informationseingabe in das Medienkommentierungswerkzeug 210 umfasst
die Medienquellen 110, wahlweise Livevideo-Mitschnitte
und/oder Liveaudio-Mitschnitte 123, Mausaktionen 123 und Tastaturaktionen 124 im
Fall einer Medienkommentierungsaufzeichnung, und Multimediapräsentationen 304,
Multimedianachrichten 305, Multimedianachrichten 306 mit
Anhängen,
oder Multimediaströme 303 im
Fall der Medienkommentierungswiedergabe. Dagegen enthält die von
dem Medienkommentierungswerkzeug 210 ausgegebene Information
einen oder mehrere der folgenden Kommentare, nämlich Video- und/oder Audiokommentare 302 und
graphische Kommentare 301 im Fall der Medienkommentierungsaufzeichnung
bzw. audio-visuelle Wiedergaben solcher Kommentare auf dem Bildschirm 125 und
den Lautsprechern 126 des Computers im Fall der Medienkommentierungswiedergabe.
-
Die
Wiedergabemaschine 212 ist verantwortlich für die Zerlegung
einer Multimediapräsentation 304,
einer Multimedianachricht 305 oder einer Multimedianachricht 306 mit
Anhängen
in Multimediaströme 303 und
für die
anschließende
Decodierung der Ströme
in Puffer oder wenn nötig
das Erzeugen neuer Puffer, die vom Medieninterpretiermodul 214 an
den Bildschirm 125 oder die Lautsprecher 126 des Computers
ausgegeben werden. Das Medieninterpretiermodul 214 ist
auch verantwortlich für
die Synchronisierung, Zusammenstellung und Mischung der Datenpuffer,
die zu unterschiedlichen Multimediaströmen gehören, beispielsweise für das Einfügen graphischer
Kommentare in Bilder.
-
Der
Interpreter 218 für
Maus- und Tastaturaktionen ist verantwortlich für das Konvertieren von Maus-
und Tastaturereignissen in Ereignisse, die graphische Kommentierungen
der Eingabemedien darstellen. Schließlich sichert das Aufzeichnungsmaschinenmodul 216 sämtliche
eingehende Information, beispielsweise graphische Kommentierungsereignisse
und Livevideo und/oder Mitschnitte, in Kommentardateien, und versieht
jede Information abhängig
von ihrem Auftreten mit einem Zeitstempel.
-
7 zeigt ein Blockdiagramm
einer bevorzugten Ausführungsform
des Multimedia-Strömegenerators 250,
der eine Videoerzeugungsmaschine 256 und eine Multimediaströme-Erzeugungsmaschine 258 enthält.
-
Die
Informationseingabe in den Multimedia-Strömegenerator 250 umfasst
die Medienquellen 110, graphische Kommentare 301 und
Video- und/oder Audiokommentare 302. Die aus dem Multimedia-Strömegenerator 250 ausgegebene
Information enthält
die Multimediaströme 303.
-
Wie
beschrieben ist es wünschenswert,
Multimediapräsentationen
zu erzeugen, auf die die Clients zugreifen können, ohne dass dafür auf ihren Computern
ein eigenes Multimedia-Kommentierungswerkzeug installiert werden
muss, das derzeit zum Wiedergeben der graphischen Kommentare erforderlich
ist. In der Erfindung wird ein Stapel mit Bildern der Multimediapräsentation,
die einen Zeitstempel tragen, mit Hilfe der Diaschau-Präsentationserzeugungsmaschine 256 erzeugt.
Anschließend
wird diese Diaschaupräsentation
mit Hilfe der Multimediaströme-Erzeugungsmaschine 258 in
einen Multimediastrom konvertiert. Der Benutzer, der die Multimediakommentare
erzeugt, trifft die Konvertierungsentscheidung 252 zum
Erzeugen einer Diaschaupräsentation.
Stellt beispielsweise der Benutzer eine Multimediapräsentation
zusammen, die in das WWW gestellt wird und öffentlich über Web-Browser zugänglich ist,
so könnte
die Konvertierungsentscheidung 252 höchstwahrscheinlich bejahend
sein. Stellt der Benutzer eine Multimedianachricht 305, 306 zusammen,
so öffnet
der Multimedia-Strömegenerator
ein Dialogfenster auf dem Computerbildschirm, damit der Benutzer
nach seiner Wahl gefragt wird. Die Konvertierungsentscheidung 252 kann
auch aus einer Datenbank gelesen werden, falls es der Absender der
Nachricht bevorzugt, eine Datenbank mit den Präferenzen und/oder Servicestufen
der Empfänger zu
unterhalten. Es ist eine Mischentscheidung 254 vorhanden,
die der Multimedia-Strömegenerator
treffen muss. Der Benutzer des Systems oder das System selbst können entscheiden,
dass zur Vereinfachung die Anzahl der Multimediaströme 303 reduziert
wird, die eine Multimediapräsentation 304 bilden.
Stammen die Video- und Audiokommentare aus unterschiedlichen Quellen,
so kann die Diaschau-Präsentationserzeugungsmaschine 256 die beiden
Kommentare zu einem Videokommentar mit gemischter Tonspur verbinden,
da Video lediglich eine Diaschaupräsentation mit festgelegter
Bildrate ist. In ähnlicher
Weise kann die gesamte Multimediapräsentation mit graphischen Kommentaren
und Audio- und Videokommentaren in eine zusammengestellte Diaschaupräsentation
mit zugemischter Ton- und Bildinformation konvertiert werden. Wie
im Fall der Konvertierungsentscheidung 252 kann diese Mischentscheidung 254 hinsichtlich
des Mischens vom Benutzer getroffen werden, und zwar mit Hilfe einer Dialogbox,
oder sie kann aus einer Datenbank gelesen werden. Die Auswahl der
Bilder zum Erzeugen der Diabildschau-Präsentation des Multimediakommentars
ist ein gewichtiges Problem. In der bevorzugten Ausführungsform
der Erfindung wird vorgeschlagen, die Bildschirmabzüge der sich ändernden sichtbaren
Daten zu verwenden, die im Medienkommentierungswerkzeug bei den
Aufzeichnungsvorgängen
der Kommentare dargestellt werden. Da jeder graphische Kommentar
einen Zeitstempel trägt, weiß man, welcher
Bildschirmabzug zum Zeitpunkt des Zeichnens eines Markers oder einer
Linie sichtbar ist. Die Abtastrate der sichtbaren Daten, deren Bildschirmabzüge erfasst
werden, hängt
vom kommentierten Multimediainhalt ab. Für Video ist die Abtastrate
beispielsweise die Videoabtastrate. Für 3D-Animationen oder die Animation
irgendeines HTML- oder Office-Dokuments ist die Abtastrate die Rate
der Veränderungen
der Animation, die der Ersteller eines solchen Dokuments festgelegt
hat. Wird eine 3D-Szene oder ein Objekt verändert oder bewegt man sich
im Anzeigefenster des Medienkommentierungswerkzeugs nach oben oder
unten, so wird ein Bildschirmabzug bevorzugt alle 40 Millisekunden
erzeugt. Für
jeden Bildschirmabzug wird wie für
jeden graphischen Kommentar ein Zeitstempel gespeichert. Mit Hilfe
der Bildschirmabzüge
und der graphischen Kommentare kann eine Diaschau-Präsentation
erzeugt werden, indem man den Bildschirmabzügen die entsprechenden Zeichnungen überlagert.
-
8 zeigt ein Flussdiagramm
einer bevorzugten Ausführungsform
der Multimedia-Präsentationserzeugung
durch den Web-Publisher 280, der dazu verwendet wird, den
Namen des Content-Servers zu ermitteln, 282, das Präsentationsskript
zu erzeugen, das die Zusammenstellung, Wechselwirkungen und die
Synchronisierung der Multimediapräsentation 304 der
Multimediaströme
bestimmt, 284, das Präsentationsskript
auf einen Web-Server hochzuladen, 286, und schließlich die
Multimediaströme
auf den Content-Server hochzuladen, 288. Wie bereits angegeben
können
zum Erzeugen des Präsentationsskripts
Beschreibungssprachen wie beispielsweise SMIL oder ASX eingesetzt
werden.
-
9 zeigt ein Flussdiagramm
einer bevorzugten Ausführungsform
der Erzeugung der Multimedianachricht 305 oder der Multimedianachricht 306 mit
Anhängen
mit dem elektronischen Mailer 290.
-
Der
erste Schritt bei der Nachrichtenerzeugung besteht darin, durch
die Content-Server-Entscheidung 291 zu entscheiden, welche
Art von Nachricht gesendet werden soll. Besitzt das Computersystem,
auf dem der elektronische Mailer läuft, einen Content-Server,
so wird die Content-Server-Entscheidung 291 bejaht, und
es werden die folgenden Schritte zum Senden der Multimedianachricht 305 ausgeführt: (i)
Ermitteln des Namens des Content-Servers, 292; (ii) Erzeugen
des Präsentationsskripts,
das die Zusammenstellung, Wechselwirkungen und die Synchronisierung
der Multimediapräsentation
der Multimediaströme
bestimmt, 293; (iii) Erzeugen der E-Mail-Nachricht durch
das Definieren ihres Typs und das Erzeugen des URL-Links, der auf die
Multimediapräsentation
zeigt, 294; (iv) Hochladen der Multimediaströme auf den
Content-Server, 295; und (v) zuletzt das Ermitteln der
Empfängeradressen vom
Benutzer und anschließend
das Senden der Multimedianachricht, 296. Ist kein Content-Server vorhanden
(verneinende Entscheidung der Content-Server-Entscheidung 291),
so werden die folgenden Schritte zum Senden der Multimedianachricht
ausgeführt:
(i) Erzeugen des Präsentationsskripts,
das die Zusammenstellung, Wechselwirkungen und die Synchronisierung
der Multimediapräsentation
der Multimediaströme
bestimmt, 293; (ii) Erzeugen der E-Mail-Nachricht durch das Definieren ihres
Typs, 294; (iii) Anhängen
der Multimediaströme an
die E-Mail-Nachricht, 297; und (iv) zuletzt das Ermitteln
der Empfängeradressen
vom Benutzer und anschließend
das Senden der Multimedianachricht mit Anhängen, 296.