-
Diese
Erfindung beansprucht die Priorität unter 35 USC 119 (e) (1)
der gleichzeitig anhängigen provisorischen
US-Anmeldung Nr. 60/099,951, eingereicht am 11. September 1998.
-
GEBIET DER
ERFINDUNG
-
Die
Erfindung bezieht sich allgemein auf kontinuierliches (Streaming
von) Video durch ein Datennetz, und genauer auf Integrieren von
Standbildern in einen Strom von lebendigen beweglichen Bildern.
-
Ein
Verfahren zum Konvertieren einer visuellen Darstellung in ein digitales
Format der Art, die in der Präambel
von Anspruch 1 definiert ist, ist aus
US 5,751,445 A bekannt.
-
HINTERGRUND
DER ERFINDUNG
-
Viele
Firmen und Bildungsinstitute haben versucht, das Internet zum Verteilen
von Dokumentation für
Seminare, Meetings, Lektionen etc. einschließlich Video zu verwenden. Wer
es versucht hat, weiß,
dass ein Problem die Kosten für
die Nachbearbeitung von Video ist, und dass es unmöglich ist
in der Lage zu sein, das Material in dem Internet zu versenden,
wenn es frisch ist und hohe Aktualität aufweist. Ein Tag normaler
Videoproduktion für
ein Seminar kann 25.000 bis 37.500$ kosten. Auf die Produktion kann
typischerweise in dem Internet von einer Woche bis 14 Tage nach
dem Ereignis zugegriffen werden. Es sind typischerweise Experten
damit befasst, die über
Filmaufnahme, Digitalisierung und Kodierung Bescheid wissen. Gewöhnlich wird
auch ein Experte für
die Erstellung von Webseiten benötigt.
-
Ein
erstes Problem bei der Produktion von Multimedia für das Internet
ist die große
Menge von Werkzeugen, die ein Benutzer zu verwalten hat. Ein zweites
großes
Problem besteht darin, dass es zeitraubend ist. Eine Stunde für Video
benötigt
ungefähr eine
Stunde zum Kodieren. Ein drittes Problem besteht darin, dass falls
der Benutzer wünscht,
synchronisierte schnippende Bilder (von z.B. einem Overhead-Projektor
etc.) zu haben, es eine Menge Arbeit gibt zum Finden der Synchronisationspunkte
und Erstellen der Steuerdateien. Ein viertes Problem besteht darin,
dass die Verwendung von mehreren Kameras mehrere Kameraleute erfordert.
-
Rund
um die Präsentation
oder des Seminar muss es mindestens einen Kameramann und häufig eine
Person, die für
den Ton und die Aufnahme von Standbildern erforderlich ist, geben,
mit einer digitalen Standbildkamera, von Zeichnungen auf z.B. einer weißen Tafel,
einem Notepad oder Overhead. Es wird eine Stoppuhr verwendet, um
Aufzeichnungen aller Standbilder aufzubewahren, wenn sie präsentiert werden,
da es nicht immer möglich
ist herauszufinden, aus nachträglicher
Betrachtung des Films des Sprechers, welche Bilder als JPEG zu zeigen
sind. PowerPoint-Slideshows etc., und andere Computerbasierte Darstellungen
werden häufig
als E-Mail am Tag nach der Präsentation
gesendet, für
eine Konvertierung zu JPEG oder ein anderes geeignetes Format durch
das Produktionsteam. Es ist natürlich
möglich, Standbilder
zur gleichen Zeit aufzunehmen, wie die Bilder präsentiert werden, was geschieht,
wenn externe Darsteller Präsentationen
halten.
-
Die
PowerPoint-Dias werden, wenn sie per E-Mail ankommen, (wie oben
erwähnt),
zu JPEG durch das Produktionsteam konver tiert. Die Dias werden auch
in der Größe geändert, um
in eine HTML-Seite zusammen mit dem Videofenster zu passen.
-
Die
Produktion kontinuierlicher Videos für Bitraten von 28,8K, 56K und
100K benötigt
ein zusätzliches
Fenster für
die reale Information, die auf Dias etc. gezeigt wird, da das Videofenster
sehr klein ist und die Information unlesbar ist.
-
Der
Videofilm wird häufig
mit einer Software wie Adobe Premier editiert. Nach dem Editieren,
falls es geschieht, wird der Kodierer verwendet, um das Video und
Audio zu der richtigen Baud-Rate zu korrigieren und sie in ein kontinuierliches
Format wie ASF (Active Streaming Format) oder RMFF (Real Media File
Format) zu kodieren. Das Kodieren benötigt den gleichen Zeitaufwand
wie es braucht, um den Film zu durchlaufen. Dies ist zeitraubend.
-
Um
in der Lage zu sein, die JPEG-Bilder (z.B. Diashow) zur rechten
Zeit (verglichen mit den Filmereignissen) anzuzeigen, müssen Synchronisationspunkte
(Zeitstempel) in die Stromdatei eingefügt werden. In Real Network
Produkten als auch in Microsoft Netshow sind Werkzeuge verfügbar, um
dies zu tun. Dies erfordert typischerweise einen Experten, obwohl
die zuvor erwähnten
Werkzeuge gute Benutzerschnittstellen aufweisen.
-
Nachdem
all dieses bewerkstelligt wurde, ist es an der Zeit, HTML-Seiten
und Rahmen zu erstellen. Es muss für jedes Bild eine HTML-Seite
geben.
-
Es
ist deshalb angesichts des Vorangehenden wünschenswert, eine Verteilung
einer visuellen Präsentation
unter Verwendung des Internet oder eines anderen Datennetzes bereitzustellen,
ohne die zuvor erwähnten
Nachteile des Standes der Technik.
-
Die
vorliegende Erfindung bietet die Fähigkeit, eine vollständige Multimediaproduktion,
wie etwa ein Seminar, eine Konferenz, einen Vortrag etc. in Echtzeit
unter Verwendung vieler Kameras aufzunehmen. Ein Live-Film des Sprechers
zusammen mit schnippenden Standbildern des Sprechers oder einer
Diashow kann innerhalb des gleichen Videoanzeigebildschirms interaktiv
betrachtet werden. Die vollständige
Produktion kann auf einer Festplatte gespeichert oder zu einem Hostserver
live gesendet werden. Die Information kann auf Nachfrage abgerufen
oder überall
in einem Datennetz, wie etwa dem Internet oder einem Firmenintranet,
live verteilt werden. Es ist auch möglich, die vollständige Darstellung auf
einer CD oder einem anderen tragbaren Medium zu speichern, und/oder
sie als eine E-Mail zu einem PC zu senden.
-
Gemäß der Erfindung
werden die Werkzeuge im Hintergrund automatisch gehandhabt, vor
dem Benutzer abgeschirmt, und die Kodierung geschieht in Echtzeit.
Die Synchronisationspunkte werden gesetzt, wenn das Ereignis tatsächlich geschieht.
In einem Beispiel werden Overhead-Projektor-Plastikdias, Computer-VGA-Grafiken,
Zeichnungen auf einer weißen
Tafel etc. eingefangen und zu JPEG die konvertiert, und die Videokodierung
geschieht in MPEG und wird zusammen mit Ton und Synchronisationspunkten
in einer ASF-Datei für
RTSP-(Real Time Streaming Protocol; siehe RFC 2326, veröffentlicht durch
IETF (www.IETF.org))Streaming gespeichert.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 veranschaulicht
ein Beispielsystem gemäß der Erfindung
für automatisierte
Konvertierung einer visuellen Darstellung in ein digitales Datenformat.
-
2 veranschaulicht
schematisch eine beispielhafte Ausführungsform des Systems von 1.
-
3 veranschaulicht
in einem Flussdiagrammformat beispielhafte Operationen der Synchronisationssektion
von 1
-
4 veranschaulicht
in einem Flussdiagrammformat beispielhafte Operationen des Rundrufservers
von 1 oder des Webservers von 2.
-
5 veranschaulicht
entsprechende Abschnitte einer beispielhaften Ausführungsform
der Standbildsteuervorrichtung von 2.
-
6 veranschaulicht
entsprechende Abschnitte einer beispielhaften Ausführungsform
der Standbild-Fangschaltung und des Konverters von 2.
-
7 veranschaulicht
eine beispielhafte Ausführungsform
der Differenzbestimmungseinrichtung von 6.
-
8 veranschaulicht
beispielhafte Operationen, die durch die beispielhafte Standbild-Steuervorrichtungsausführungsform
von 5 durchgeführt
werden können.
-
9 veranschaulicht
beispielhafte Operationen, die durch die beispielhafte Standbild-Fangschaltungs-
und Konverterausführungsform
von 6 durchgeführt
werden können.
-
10 veranschaulicht
eine Anordnung zum Implementieren von Kameravoreinstellungs-Steuertechniken
gemäß der vorliegenden
Erfindung.
-
11 veranschaulicht
beispielhafte Operationen, die durch die Anordnung von 10 durchgeführt werden
können.
-
12 veranschaulicht
ein Beispiel einer interaktiven visuellen Anzeige, die durch eine
grafische Benutzerschnittstelle (GUI) gemäß der Erfindung bereitgestellt
wird.
-
13 veranschaulicht
beispielhafte Operationen, die durch die beispielhafte Audiosteuerung zum
Speisen der beispielhaften Audiopegel-Grafikanzeige und Handhaben
der Aktivierung einer Eingabequelle durchgeführt werden.
-
14A–14C veranschaulichen beispielhafte Operationen,
die durch die beispielhafte Audiopegel-Grafikanzeigebehandlung der
GUI für Audiopegelrückkopplung
und Aktivierung/Start des Standardmischersystems, das in dem Betriebssystem
installiert ist, durchgeführt
werden.
-
15 veranschaulicht
schematisch eine beispielhafte Modifikation des Systems von 2.
-
16 veranschaulicht
schematisch eine weitere beispielhafte Modifikation des Systems
von 2.
-
17 veranschaulicht
schematisch eine weitere beispielhafte Modifikation des Systems
von 2.
-
18 veranschaulicht
schematisch eine weitere beispielhafte Modifikation des Systems
von 2.
-
DETAILLIERTE
BESCHREIBUNG
-
Wie
in 1 gezeigt, enthält ein beispielhaftes System
gemäß der Erfindung
für automatisierte Konvertierung
einer visuellen Darstellung in ein digitales Datenformat Videokameras 11 und 13,
ein Mikrofon 12, einen optionalen Laptop-Computer 10 und eine
Digitalfelderzeugereinheit 14, die hierin auch als DFP-Einheit
oder DFP-Computer bezeichnet wird. Eine der Videokameras 13 deckt
auch den Sprecher ab und stellt Videoinformation der Live-Videosektion bereit,
und die andere Videokamera 11 deckt die Diashow, das Schaubild,
die weiße
Tafel etc. ab und stellt der Standbildvideosektion entsprechende
Videoinformation bereit. Das Mikrofon stellt der Tonsektion Audio
bereit. In der Beispiel-DFP-Einheit von 1 wird Live-Video
(z.B. in MPEG) in Echtzeit während
der visuellen Präsentation
des Sprechers kodiert, und das Standbildvideo der Diashow etc. wird
in JPEG-Dateien in Echtzeit während
der Präsentation
konvertiert.
-
Eine
Synchronisationssektion 16 von 1 arbeitet
automatisch während
der Präsentation
des Sprechers, um die Standbildvideoinformation von der Diashow,
dem Schaubild etc. mit der Live-Videoinformation von dem Sprecher
zu synchronisieren. Sowohl das Live-Video als auch das Standbildvideo werden
dann durch einen Server zu vielen einzelnen Benutzern über ein
Datennetz, wie etwa z.B. das Internet, ein LAN oder ein Datennetz,
das eine drahtlose Verknüpfung
einschließt,
live ausgestrahlt (streamed).
-
Alternativ
können
das Live-Video und das Standbildvideo in einer Speichereinheit 17 (z.B.
einer Festplatte) für
eine spätere
Wiedergabesendung über
den Server und das Datennetz gespeichert werden. Auch kann die Information
in der Speichereinheit 17 zu tragbaren Speichermedien,
wie etwa Floppy-Disks
oder CDs, für
eine spätere
lokale Wiedergabe durch einzelne Benutzer transferiert werden. Die gespeicherte
Information kann auch als eine E-Mail zu einem Betrachter gesendet
werden.
-
Eine
grafische Benutzerschnittstelle GUI gestattet einem Benutzer, Operationen
des Systems von 1 unter Verwendung eines Monitors
und einer Eingabevorrichtung (z.B. einer Tas tatur, Maus, eines Berührungsbildschirms
etc.), die mit der GUI geeignet gekoppelt ist, zu steuern.
-
Die
Kodierungs-, Konvertierungs- und Synchronisationsabschnitte von 1,
und die GUI können
unter Verwendung eines (oder mehr) geeignet programmierter Datenprozessoren
implementiert werden, wie aus der folgenden Beschreibung offensichtlich
sein wird.
-
2 ist
ein detailliertes Blockdiagramm einer beispielhaften Ausführungsform
des Systems von 1. Eine Videofangschaltungskarte 23 empfängt als
eine Eingabe ein Videosignal von der Standbildkamera 11,
und konvertiert dieses Videosignal in digitale Videodaten, die wiederum
zu der Standbildfangschaltung und Wandler 21 ausgegeben
werden. Ähnlich
empfängt
eine Videofangschaltungskarte 20 als eine Eingabe ein Videosignal
von der Live-Videokamera 13, und erzeugt daraus entsprechende
digitale Videodaten, die wiederum zu dem Kodierer und Streamer 27 ausgegeben
werden. Die Videofangschaltungskarte 23 enthält auch
einen Port zum Empfangen von VGA-Daten,
die von dem Laptop-Computer 10 ausgegeben werden. Videofangschaltungskarten,
wie etwa 20 und 23, sind in der Technik gut bekannt.
-
Die
Audioeingabe- und Audioausgabesektionen können z.B. durch eine konventionelle
Audiokarte, wie etwa eine SOUNDBLASTER PCI Karte, realisiert werden.
Die Audioeingabesektion empfängt
als Eingabe ein Audiosignal von dem Mikrofon 12, und gibt
ein entsprechendes Audiosignal zu dem Kodierer und Streamer 27 aus.
Die Audioausgabesektion empfängt
auch das Audiosignal, das von der Audioeingabesektion ausgegeben
wird, und stellt dieses Signal einem Lautsprecher, z.B. einem Audio-Headset, bereit,
sodass ein Bediener die aufgezeichnete Tonqualität überwachen kann.
-
Die
grafische Benutzerschnittstelle GUI enthält eine Kamerasteuersektion 29,
die einem Benutzer gestattet, die Kameras 11 und 13 über eine
konventionelle serielle Karte 31 zu steuern. Die serielle Karte 31 koppelt
auch eine Benutzerbefehlseingabeeinrichtung, wie etwa einen Berührungsbildschirm, wie
in 2 gezeigt, mit der grafischen Benutzerschnittstelle
GUI.
-
Die
digitalen Videodaten, die von der Videofangschaltungskarte 20 ausgegeben
werden, werden auch zu einem Livebild-Anzeigeabschnitt der grafischen
Schnittstelle GUI eingegeben. Der Livebild-Anzeigeabschnitt der
GUI bewirkt, dass die direkten digitalen Videodaten, die von der
Livebildkamera 13 erhalten werden, einem Benutzer an einem Monitor,
wie etwa dem flachen XVGA-Monitor, der in 2 dargestellt
wird, angezeigt werden. Eine konventionelle Videokarte 24,
die zwischen der GUI und dem Monitor gekoppelt ist, kann die digitalen
Videodaten von der Livebild-Anzeigesektion zu dem Monitor geeignet
verbinden.
-
Die
GUI enthält
auch einen Standbild-Anzeigeabschnitt, der mit dem Ausgang der Videofangschaltungskarte 23 verbunden
ist, um von dort die digitalen Videodaten zu empfangen, die mit
der Standbildvideokamera 11 in Verbindung stehen. Die Standbild-Anzeigesektion
der GUI verwendet die Videokarte 24, um zu bewirken, dass
die digitalen Videodaten, die mit der Standbildkamera 11 in
Verbindung stehen, dem Benutzer über
den Monitor angezeigt werden.
-
Eine
DFP-Anwendungssektion 19 (z.B. eine Softwareanwendung,
die in dem DFP-Computer 14 läuft) enthält einen Standbildfangschaltungs-
und Konverterabschnitt 21, der als Eingabe die digitalen Standbildvideodaten
von der Videofangschaltungskarte 23 empfängt, und
erzeugt daraus als eine Ausgabe Bilddatendateien, wie etwa JPEG
oder GIF-Dateien. Die JPEG- Dateien
als eine Beispielausgabe genommen, repräsentiert jede JPEG-Datei, die
durch den Standbildfangschaltungs- und Konverterabschnitt 21 erzeugt
wird, Einfrieren der digitalen Videodaten, die von der Videofangschaltungskarte 23 empfangen
werden, um in einem gewünschten
Zeitpunkt ein Standbild zu erzeugen, das mit dem Video in Verbindung
steht, das durch die Standbildvideokamera 11 aufgezeichnet
wird. Die GUI enthält
eine Standbild-Steuersektion 25 mit einem Ausgang, der mit
der Standbildfangschaltung und Konverter 21 gekoppelt ist.
Der Standbild-Steuerabschnitt 25 wendet ein geeignetes
Steuersignal auf die Standbildfangschaltung und Konverter 21 an,
wenn die Standbildfangschaltung und Konverter 21 dabei
ist, das nächste
Standbild "zu erfassen" (einzufangen), und
die entsprechende JPEG-Datei zu erstellen. Die serielle Karte, die
die Benutzerbefehlseingabe (z.B. den Berührungsbildschirm) mit der GUI
verbindet, gestattet einem Benutzer, auf die Standbild-Steuersektion 25 zuzugreifen,
und dadurch die Standbild-"Einfang"-Operation der Standbildfangschaltung
und des Konverters 21 zu steuern.
-
Die
DFP-Anwendungssektion enthält
ferner ein Kodierer- und Streamermodul 27, das das digitale Video
empfängt,
das von der Videofangschaltungskarte 20 ausgegeben wird,
und kodiert und komprimiert kontinuierlich diese Daten in einen
digital transferierbaren Strom mit geringer Bandbreite. Die entsprechende
Audioinformation von der Audioeingabesektion wird auch in dem digital
transferierbaren Strom kodiert und komprimiert. Der Kodierungsprozess
wird konventionell auch als Streaming oder Streamingvideo bezeichnet.
Kodierungsmodule, wie etwa bei 27 gezeigt, sind konventionell
in der Technik bekannt. Ein Beispiel ist der NetShow-Kodierer und Streamer,
der konventionell von Microsoft verfügbar ist. In einem Beispiel
kann die Videokodierung in MPEG geschehen. Das Kodierer- und Streamermodul 27 kann
die kodierten Videodaten in eine Dokumentendatei zusammenbauen,
z.B. eine ASF-Datei.
-
Die
ASF-Datei kann von dem Kodierer- und Streamermodul 27 für Live-Streaming
heraus aus der DFP-Einheit 14, und auch für eine Speicherung
bei 171 in der Speichereinheit 17 ausgegeben werden. Das
Kodierer- und Streamermodul 27 kodiert auch das digitalisierte
Audiosignal, das von der Audioeingabesektion empfangen wird. Die
kodierte Videoinformation wird auch von dem Kodierer- und Streamermodul 27 zu
einem Streambild-Anzeigeabschnitt der GUI ausgegeben, wodurch das
Streamingvideo auf dem Monitor über
die Videokarte 24 angezeigt werden kann. Das Kodierer-
und Streamermodul 27 empfängt eine Steuereingabe von
einem Kodierersteuerabschnitt der GUI. Der Kodierersteuerabschnitt
gestattet einem Benutzer, über
die Benutzerbefehlseingabe und serielle Karte 31 Start
und Stopp des Kodierungsprozesses zu steuern. Außerdem stellt die Kodierersteuerung
einen Aufzeichnungszähler
bereit, der den Zeitablauf während
der Kodierung des Videoereignisses verfolgt.
-
Die
Standbild-Steuersektion 25 in der GUI von 2 steuert
die Standbildfangschaltung und Konverter 21, der eine Eingabe
von der Videofangschaltungskarte 23 empfängt. Die
Videofangschaltungskarte 23 verbindet sich mit der Standbildkamera 11,
die verwendet wird, um die Diashow, das Schaubild etc. aufzuzeichnen.
Die Standbildfangschaltung und Konverter 21 kann z.B. JPEG-Dateien
als eine Ausgabe erstellen.
-
Die
Standbildsteuerung 25 kann gemäß der Erfindung automatisiert
werden, um die Standbildfangschaltung und Konverter 21 zu
veranlassen, periodisch ein JPEG-Bild der Standbildvideoquelle zu erstellen,
der JPEG-Bilddatei einen eindeutigen Namen basierend auf der laufenden
Systemzeit zu geben und die Datei bei 173 zu speichern.
Ein Beispieldateiname ist hhmmss.jpg, wobei hh die laufende Stande,
mm die laufende Minute und ss die laufende Sekunde sind. Zusammen
mit der Erstellung der JPEG-Datei wird eine entsprechende Hüllen-HTML- (Hypertext-Auszeichnungssprache)Datei durch
einen HTML- & URL-Generator 26 erstellt
und bei 172 in der Datenspeichereinheit 17 gespeichert. In
einem Beispiel kann die HTML-Datei durch Kopieren einer Vorgabe
aus einem Vorgabeverzeichnis, und Einfügen des zuvor erwähnten Dateinamen hhmmss
in ein Namensfeld der Vorgabe erstellt werden.
-
Der
HTML-Dateiname, hhmmss.htm, wird dann als ein relativer URL (Uniform
Resource Locator) von Generator 26 zu dem Kodierer und
Streamer 27 für
eine Einbeziehung, im Zeitstempel hhmmss, in die kodierten Streamingvideodaten
(z.B. in eine ASF-Datei) gesendet, die durch den Kodierer und Streamer 27 ausgegeben
werden. Dies synchronisiert die Standbildvideoinformation von der
Diashow mit der "Live"-Videoinformation
von dem Sprecher. Außerdem
können
andere Dateien zu dem "Live"-Video synchronisiert werden, wie etwa
Ton, VRML, Java-Skript, Textdateien, Sprache-zu-Text-Dateien und Dateien,
die Übersetzungen
von Sprache-zu-Text-Dateien in andere Sprachen enthalten.
-
Konventionelle
Kodierer- und Streamerprodukte, wie etwa das zuvor erwähnten Produkt
NetShow, sehen Funktionalität
zum Weitergeben von URLs zu dem Kodierer für eine Einbeziehung in die kodierte
Streamingvideodatenausgabe vor. Z.B. stellt die Funktion "SendScript" in NetShow diese
Funktionalität
bereit. SendScript kann den URL in die ASF-Datei einfügen, falls
der URL in der Form eines Script Command Object (Skriptbefehlsobjekt)
bereitgestellt wird, was durch Beschäftigte in dieser Technik leicht
durchgeführt
werden kann. Der NetShow-Kodierer kann dann das Script Command Object
(d.h. den URL) in dem gewünschten
Zeitstempel, hhmmss, einfügen.
-
3 veranschaulicht
die oben beschriebenen beispielhaften Operationen, die z.B. durch
die Komponenten 21, 26 und 27 von 2 durchgeführt werden
können,
um die Synchronisations funktion 16 zu implementieren, die
in 1 schematisch veranschaulicht wird. In 31 erstellt
die Standbildfangschaltung und Konverter 21 eine JPEG-Bilddatei
aus einem Standbildvideobild, das von der Standbildkamera eingefangen
wurde. In 32 wird der JPEG-Datei ein eindeutiger Name (z.B.
hhmmss.jpg) basierend auf der Systemzeit gegeben, in der das Bild
eingefangen wurde (verfügbar
z.B. von dem Aufzeichnungszähler in
dem Kodierersteuerabschnitt der GUI), und die JPEG-Datei wird gespeichert.
In 33 verwendet der HTML- & URL-Generator 26 die empfangene JPEG-Datei,
um eine entsprechende Hüllen-HTML-Datei
zu erstellen. In 34 benennt der Generator 26 die
HTML-Datei (z.B. hhmmss.htm) basierend auf der Systemzeit, in der
das Bild eingefangen wurde, die durch die Eingangsschaltung/Konverter 21 dem
Generator 26 zusammen mit der JPEG-Datei bereitgestellt
werden kann. In 35 sendet der Generator 26 den
HTML-Dateinamen zu dem Kodierer 27 als einen relativen
URL. In 36 empfängt
der Kodierer und Streamer 27 den URL, und bezieht den URL
in seine Ausgabe-ASF-Datei in dem Zeitstempel entsprechend der Systemzeit
ein, auf der der HTML-Dateiname beruht.
-
In
dem Beispiel von 2 wird die Streamingvideoausgabe
(z.B. eine ASF-Datei), die durch den Kodierer und Streamer 27 bereitgestellt
wird, zu einem Webserver eingegeben, der die Streamingvideoausgabe
zu einem gewünschten
Ziel (z.B. einen Webbrowser des Betrachters) über ein geeignetes Datennetz
weiterleiten kann, wobei dadurch eine Live-Sendung des Ereignisses
bereitgestellt wird. Der Webserver kann auch den geeigneten Servernamen und
Verzeichnisnamen dem relativen URL (der typischerweise derartige
Information nicht enthält)
hinzufügen.
Der Webserver ist auch mit der Speichersektion 17 gekoppelt,
um die JPEG-Dokumente, HTML-Dokumente und ASF-Dateien, die darin
gespeichert sind, zu empfangen.
-
Der
Webserver ist mit einer Netzkarte gekoppelt, die dem Webserver Zugang
zu einem Datennetz gibt, z.B. einem Lokalbereichsnetz (LAN) oder
dem Internet. In einer Ausführungsform
kann die Netzkarte eine Ethernet-(PCI)Karte sein, die TCP/IP- und UUCP-Verkehr
auf eine konventionelle Weise behandeln kann.
-
In
einer anderen Ausführungsform
kann ein Modem durch den Webserver genutzt werden, um auf das Datennetz
zuzugreifen.
-
2 veranschaulicht
einen Webbrowser, der mit dem Webserver über das Datennetz und Netzkarte
gekoppelt ist. Beispiele geeigneter Webbrowser enthalten die konventionellen
Netscape- und Internet-Explorer-Browser.
Während
einer Live-Videostreaming-Sendung kann sich ein Betrachter mit dem
Webserver über
das World Wide Web durch Eingeben eines URL in den Webbrowser des
Betrachters verbinden (es wird vermerkt, dass der Webbrowser auch
als Teil der DFP-Einheit selbst bereitgestellt werden könnte). Der
Live-Videostrom wird über
das Web verteilt, wobei das "Live"-Video mit den Standbildern
von der Standbildkamera synchronisiert ist. Sowohl der Live-Videostrom
als auch das Standbildvideobild können auf der gleichen Webseite
gezeigt werden.
-
Nachdem
ein Ereignis (z.B. ein Seminar) aufgezeichnet wurde, kann der Betrachter
die Videoaufzeichnung durch Durchführung einer ähnlichen
Webverbindung wie in dem oben beschriebenen Fall der Live-Sendung
wieder abspielen. Es wird ein URL in den Webbrowser des Betrachters
eingegeben, der den Betrachter mit dem Webserver in dem DFP-Computer
verbindet. Der Webserver wird dann die aufgezeichnete Videoinformation
auf die gleiche Weise streamen, wie sie während der Live-Streamingsendung
ausgegeben würde.
Die Standbildvideobilder sind wie in dem Live-Fall synchronisiert,
und sie ändern
sich in dem ausgegebenen Videostrom in der gleichen relativen Zeit,
wie sie es während
des tatsächlichen
Ereignisses getan haben. Der Betrachter kann entscheiden, wann der
Videostrom zu starten (oder neu zu starten) ist, um das Ereignis
wie gewünscht
zu betrachten, und kann zu einem bestimmten Teil des aufgezeichneten
Ereignisses navigieren, z.B. durch Verwenden einer Schiebersteuerung,
die durch den Webbrowser bereitgestellt wird.
-
Ein
Betrachter hat auch die Option, das Ereignis lokal von einer Platte
oder CD-ROM zu betrachten. Alles was benötigt wird, um ein Ereignis
zu betrachten, das auf einer Platte oder CD-ROM aufgezeichnet ist,
ist ein Webbrowser mit einem konventionellen Videostreaming-Plugin,
wie etwa durch den Internet Explorer unterstützt.
-
Der
Webbrowser enthält
vorzugsweise einen ASF-Player, der als Plugin oder ActiveX-Steuerung ausgeführt wird,
der die ASF-Datei
verarbeitet und das Audio/Video dem Betrachter präsentiert.
Wenn der Player, z.B. ein konventioneller Multimedia-Player, wie etwa
der Microsoft Windows Media Player, auf ein Script Command Object
in der ASF-Datei trifft, interpretiert er das Script Command Object
und führt
es aus. Wenn der Player das Script Command Object als einen URL
identifiziert, gibt er den URL zu dem Browser weiter. Der Browser
führt den
URL aus, als ob er innerhalb eines HTML-Dokumentes eingebettet wäre. Gemäß einer
Ausführungsform
zeigt der URL auf das HTML-Dokument hhmmss.htm, welches wiederum
einen Zeiger zu dem entsprechenden JPEG-Dokument hhmmss.jpg enthält.
-
Falls
die Steuerung des Windows Media Player in einer HTML-Datei eingebettet
ist, die Rahmen verwendet, kann der URL in einem Rahmen gestartet
werden, der durch das Script Command Object spezifiziert wird. Dies
erlaubt der Steuerung des Windows Media Player, den Multimediastrom
in einem Rahmen vorzulegen, während
der Browser Standbilder oder Webseiten in ei nem anderen Rahmen vorlegt.
Falls das Script Command Object einen Rahmen nicht spezifiziert,
dann kann der URL in einem Vorgaberahmen gestartet werden.
-
4 veranschaulicht
beispielhafte Operationen des Webbrowsers und Webservers von 2. Die
Operationen von 4 werden vorteilhafter Weise
während
der Verarbeitung der ASF-Datei
durch den Webbrowser ausgeführt.
Wenn ein URL in 41 durch den ASF-Player erfasst wird (z.B.
in der Form eines Script Command Object), interpretiert der Webbrowser
den URL in 43 für
Serverziel und Protokoll, das zu verwenden ist (z.B. http), verbindet
sich mit dem Webserver und sendet dem Webserver eine Anforderung
nach dem HTML-Dokument. In 44 greift der Webserver auf
das HTML-Dokument vom Speicher 172 zu und extrahiert daraus
den JPEG-Dateinamen. In 45 ruft der Webserver die JPEG-Datei
aus dem Speicher 173 ab und sendet sie dem Browser. In 46 zeigt
der Browser die JPEG-Datei in dem geeigneten Zeitpunkt mit Bezug
auf die Videostreamingpräsentation
an.
-
Während Sendungen
wiederholt werden, ruft der Webserver die gespeicherte ASF-Datei
(die die kodierten/komprimierten "Live"-Videodaten
enthält) aus
dem Speicher 171 ab und leitet sie weiter, und greift auch
auf die gespeicherten HTML-Dokumente zu, und ruft die gespeicherten
JPEG-Dokumente ab und leitet sie weiter, wie oben allgemein mit
Bezug auf die Live-Streamingoperation
beschrieben wird. Der Webbrowser empfängt die ASF-Datei und die JPEG-Dokumente,
und integriert die "Standbild"-Videobilder in den "Live"-Videostrom synchron
unter Verwendung allgemein der gleichen Prozedur, die oben mit Bezug
auf die Live-Streamingoperation erörtert wird.
-
Wie
oben erwähnt,
kann der Standbild-Steuerabschnitt 25 der GUI, entweder
als Reaktion auf eine Benutzereingabe oder automatisch, den Standbildfangschaltungs-
und Konverterab schnitt 21 lenken, ein Standbild einzufangen
und es in das JPEG-Format zu konvertieren. 5 veranschaulicht
entsprechende Abschnitte einer beispielhaften Ausführungsform
der Standbildsteuervorrichtung 25. Die beispielhafte Anordnung
von 5 gestattet, dass die Standbildfangschaltung und
Konverter 21 (siehe 2) entweder
durch Benutzereingabe (d.h. manuell) oder automatisch gesteuert
wird. Ein Selektor 51 empfängt eine Benutzer-(manuelle)Eingabe von
einem Ergreifungsstandbildknopf, der in dem Benutzerbefehlseingabeabschnitt
(z.B. dem Berührungsbildschirm)
vorgesehen ist, und durch einen Benutzer betätigt werden kann, wann immer
der Benutzer wünscht,
ein Standbild von der Standbildkamera einzufangen. Der Selektor 51 hat
einen anderen Eingang mit einem Ausgang 57 eines Verzögerungstimers 52 verbunden.
Der Selektor 51 wird durch ein manuelles/automatisches
Signal gesteuert, das von dem Benutzerbefehl voreingestellt sein kann,
der in die Einstellungs- & und
Assistentensektion 22 der GUI eingegeben wird. Wenn das
manuelle/automatische Signal manuelle Operation anzeigt, verbindet
der Selektor 51 den Ergreifungsstandbildknopfeingang mit
seinem Ausgang 55, und wenn das manuelle/automatische Signal
automatische Operation anzeigt, verbindet der Selektor 51 den
Ausgang 57 vom Timer 52 mit Selektorausgang 55.
Der Selektorausgang 55 ist mit der Standbildfangschaltung
und Konverter 21 gekoppelt, und stellt dazu ein Ergreifungsstandbildsignal
bereit. Das manuelle/automatische Signal ist in 54 auch
mit der Standbildfangschaltung und Konverter 21 gekoppelt.
-
Ein
Verzögerungskalkulator 51 kalkuliert
einen Verzögerungswert,
der in 58 von dem Verzögerungskalkulator 53 in
den Timer 52 vorgeladen wird. Der Verzögerungskalkulator 53 kalkuliert
den gewünschten
Verzögerungswert
als eine Funktion der Bitrate, die in der Live-Videostreamingoperation
verwendet wird, und der Größe der JPEG-Datei,
die durch die Standbildfangschaltung und Konverter 21 erstellt
wird als Reaktion auf das Ergreifungsstandbildsignal in 55.
Die JPEG-Dateigrößeninformation von
der Standbildfangschaltung und Konverter 21 wird in 56 dem
Verzögerungskalkulator 53 bereitgestellt.
-
6 veranschaulicht
entsprechende Abschnitte einer beispielhaften Ausführungsform
der Standbildfangschaltung und Konverter 21 von 2, insbesondere
jene Abschnitte, die sich mit der beispielhaften Ausführungsform
der Standbildsteuervorrichtung von 5 verbinden.
Ein Standbildergreifungs-/Konvertierungsabschnitt 61 empfängt die Ausgabe
der Videofangschaltungskarte 23, und fängt als Reaktion auf die Aktivierung
des Ergreifungsstandbildsignals von der Standbildsteuervorrichtung ein
Bild ein, konvertiert es in das JPEG-Format, und vermerkt die aktuelle
Zeit (z.B. von dem Zähler
in dem Kodierersteuerabschnitt der GUI). Ein Dateierstellerabschnitt 62 empfängt die
JPEG-Daten und die aktuelle Zeitinformation (die die Zeit anzeigt,
in der das Bild eingefangen wurde) von dem Standbildergreifungs-/Konvertierungsabschnitt 61,
und erstellt eine JPEG-Datei als Reaktion auf eine Erstellungsdateieingabe 68.
Wenn der Dateierstellerabschnitt 62 eine JPEG-Datei erstellt,
gibt er die Dateigrößeninformation
zu dem Verzögerungskalkulator 53 von 5 aus.
-
Der
Standbildergreifungs-/Konvertierungsabschnitt 61 stellt
die Pixeldaten, die von der Videofangschaltungskarte 23 empfangen
werden, einer Datenspeichersektion in 65 und 66 bereit.
Jedes Mal, wenn ein Standbild eingefangen wird, werden die Pixeldaten
einer Speichersektion eines aktuellen Bildes 65 bereitgestellt,
deren vorheriger Inhalt dann in eine Speichersektion des letzten
Bildes 66 geladen wird. Auf diese Art und Weise werden
die Pixeldaten, die mit dem aktuellen Standbild und dem zuletzt
eingefangenen vorherigen Standbild (d.h. dem letzten Standbild)
in Verbindung stehen, jeweils in den Datenspeichersektionen 65 und 66 gespeichert.
Eine Differenz bestimmungseinrichtung empfängt die aktuellen und letzten
Bilddaten aus den Speichersektionen 65 und 66,
und bestimmt ein Differenzmaß,
falls vorhanden, zwischen dem aktuellen Standbild und dem letzten
Standbild. Falls die Differenzbestimmungseinrichtung bestimmt, dass
eine Differenz zwischen den zwei Standbildern existiert, dann wird
Information, die diese Differenz anzeigt, einem Schwellenabschnitt 64 bereitgestellt,
der die Differenz mit einem Schwellenwert vergleicht um zu bestimmen,
ob sich die Bilder genug unterscheiden, um Erstellung einer neuen
JPEG-Datei entsprechend dem aktuellen Bild zu rechtfertigen. Falls
die Differenzinformation, die von der Differenzbestimmungseinrichtung 63 empfangen
wird, die Schwelle vom Schwellenabschnitt 64 überschreitet,
dann wird die Ausgabe 69 vom Schwellenabschnitt 64 aktiviert,
wodurch das Erstellungsdateisignal 68 durch eine Operation
eines ODER-Gatters 60 aktiviert wird, das die Schwellenausgabe 69 als
eine Eingabe empfängt.
Das ODER-Gatter 60 empfängt
auch als eine Eingabe das manuelle/automatische Signal von 5,
wodurch der Dateiersteller 62 gelenkt werden kann, eine JPEG-Datei
entweder durch Aktivierung der Schwellenabschnittausgabe 69 oder
durch eine "manuelle" Angabe von dem manuellen/automatische
Signal zu erstellen.
-
7 veranschaulicht
eine beispielhafte Ausführungsform
der Differenzbestimmungseinrichtung 63 von 6.
In dem Beispiel von 7 werden die Pixeldaten entsprechend
dem aktuellen Bild an eine erste exklusive ODER-Schaltung 71 angelegt, und
die Pixeldaten entsprechend dem letzten Bild werden an eine zweite
exklusive ODER-Schaltung 72 angelegt. Jede exklusive ODER-Schaltung
führt eine
Operation von exklusivem ODER für
alle der empfangenen Pixel gemeinsam durch. Die Ausgaben der exklusiven
ODER-Schaltungen 71 und 72 werden zu einer Vergleichsschaltung 73 eingegeben, die
die zwei Ausgaben von exklusivem ODER vergleicht. Das Differenzmaß, das von
der Vergleichsschaltung 73 ausgegeben wird, kann dann an
den Schwellenabschnitt 64 von 6 angelegt
werden.
-
8 veranschaulicht
beispielhafte Operationen der beispielhaften Standbildsteuervorrichtungsanordnung
von 5, und 9 veranschaulicht beispielhafte
Operationen der Standbildfangschaltungs- und Konverteranordnung,
die in 6 und 7 veranschaulicht wird.
-
Bezug
nehmend zuerst auf 8 wird die Ausgabe des Verzögerungstimers 52 in 86 aktiviert, und
es wird danach in 80 bestimmt, ob das manuelle/automatische
Signal manuelle oder automatische Operation anzeigt. Falls manuelle
Operation angezeigt wird, dann koppelt in 81 der Selektor 51 von 5 den
Ergreifungsstandbildknopf mit dem Ergreifungsstandbildeingang der
Standbildfangschaltung und Konverter 21, wobei dadurch
manuelle Steuerung der Ergreifungsstandbildfunktion ermöglicht wird.
Falls in 80 automatische Operation angezeigt wird, dann
koppelt in 82 der Selektor 51 den Ausgang des
Verzögerungstimers 52 mit
dem Ergreifungsstandbildeingang der Standbildfangschaltung und Konverter 21,
wobei dadurch automatische Steuerung der Ergreifungsstandbildfunktion
ermöglicht wird.
In 83 erwartet der Verzögerungskalkulator 53 JPEG-Dateigrößeninformation
von der Standbildfangschaltung und Konverter. Wenn die JPEG-Dateigrößeninformation
in 83 empfangen wurde, berechnet der Verzögerungskalkulator
in 84 einen Verzögerungswert,
z.B. durch Teilen der JPEG-Dateigröße durch die Streamingvideo-Bitrate,
und lädt
den berechneten Verzögerungswert
in den Timer.
-
Als
Reaktion auf das Laden mit dem Verzögerungswert deaktiviert der
Timer seinen Ausgang in 85, und der Timerausgang bleibt
deaktiviert, bis der Timer in 87 abläuft, woraufhin der Timer seinen
Ausgang in 86 erneut aktiviert. Danach können die
oben beschriebenen Prozeduren wiederholt werden.
-
9 veranschaulicht
beispielhafte Operationen der Standbildfangschaltungs- und Konverteranordnung
von 6. In 91 wird zuerst bestimmt, ob der
Ergreifungsstandbildeingang des Standbildergreifungs-/Konvertierungsabschnitts 61 aktiviert
ist. Wenn das Ergreifungsstandbildsignal aktiviert ist, wird in 92 ein
Bild eingefangen und in das JPEG-Format konvertiert. Falls in 93 das
manuelle/automatische Signal "manuelle" Operation anzeigt,
dann erstellt der Dateierstellerabschnitt 62 in 94 eine JPEG-Datei.
Danach wird das Ergreifungsstandbildsignal in 91 erneut überwacht.
-
Falls
das manuelle/automatische Signal in 93 "automatische" Operation anzeigt, dann vergleicht in 95 die
Differenzbestimmungseinrichtung 63 das letzte Bild mit
dem aktuellen Bild. Falls sich das letzte Bild von dem aktuellen
Bild in 96 nicht unterscheidet, dann wird in 91 das
Ergreifungsstandbildsignal überwacht.
Falls sich die Bilder in 96 unterscheiden, dann wird das
Differenzmaß mit
einem Schwellwert TH in 97 verglichen. Falls das Differenzmaß den Schwellwert
in 97 nicht überschreitet,
dann wird in 91 das Ergreifungsstandbildsignal überwacht.
Falls das Differenzmaß in 97 den
Schwellwert überschreitet,
dann erstellt der Dateierstellerabschnitt 62 in 98 eine JPEG-Datei.
-
Nachdem
in 98 die JPEG-Datei erstellt wurde, wird Information,
die die Größe der JPEG-Datei angibt,
in 99 dem Verzögerungskalkulator 53 von 5 bereitgestellt.
Danach wird das Ergreifungsstandbildsignal in 91 überwacht.
-
5, 6, 8 und 9 gemeinsam betrachtend,
kann gesehen werden, dass wann immer eine neue JPEG-Datei erstellt
wird (siehe 98 von 9), die
JPEG-Dateigrößeninformation
dem Verzögerungskalkulator 53 bereitgestellt
wird (siehe 99 von 9 und 83 von 8).
Der Verzögerungskalkulator
berech net den Verzögerungswert
und lädt
ihn in den Verzögerungstimer 52 (siehe 84 von 8), worauf
als Reaktion der Verzögerungstimer
seinen Ausgang deaktiviert, bis die Verzögerungszeit abgelaufen ist
(siehe 85–87 von 8).
Dies stellt sicher, dass automatische Aktivierung des Ergreifungsstandbildsignals 55 nicht
so häufig
auftritt, dass die Einrichtungen des Betrachters mit JPEG-Bildern überlastet
sind.
-
Es
sollte vermerkt werden, dass sich der DFP-Computer von 1 und 2 entfernt
von den Kameras/dem Mikrofon und/oder dem Berührungsbildschirmmonitor befinden
kann, und mit den entfernten Komponenten durch eine geeignete konventionelle
Kommunikationsverknüpfung
verknüpft ist,
die z.B. eine drahtlose Kommunikationsverknüpfung enthalten kann.
-
Konventionelle
Komprimierungsalgorithmen (wie MPEG), die bei Videostreaming verwendet
werden, beruhen typischerweise auf der Tatsache, dass sich in einem
Videobild nicht alles geändert
hat, und derartige Algorithmen versuchen deshalb, nur Änderungen
in dem Bild zu übertragen.
Dies kann einfach geschehen, falls sich die Kameraposition sehr
wenig ändert.
In einer live visuellen Präsentation
sind jedoch Änderungen
in der Kameraposition typischerweise ziemlich wünschenswert, da falls sich
die Kameraposition während
der gesamten visuellen Präsentation
nicht wesentlich ändert,
es nicht möglich sein
kann, alle sichtbaren Ereignisse einzufangen, und die Produktion
kann danach sehr langweilig aussehen. Entsprechend nutzt die vorliegende
Erfindung Kameravoreinstellungen, um die Videokodierung zu vereinfachen,
wenn Änderungen
in der Kameraposition auftreten.
-
Wenn
der Kodierer 27 von 2 arbeitet, kann
der Benutzer eine voreingestellte Kameraposition unter Verwendung
der Kamerasteuersektion 29 und der seriellen Karte 31 (z.B.
RS-232), die die
Kamera steuert, sich zu der gewünschten
Posi tion zu bewegen, auswählen.
An Stelle einer Verarbeitung der gesamten Videoinformation, die
durch die Kamera während
der Bewegung zu der gewünschten
Position aufgenommen wird, greift jedoch das System von 2,
von dem Einstellungs- und Assistentenblock 22, auf vorbestimmte
Videoinformation zu, die das visuelle Erscheinen darstellt, von
dem erwartet wird, dass es der Videokamera dargestellt wird, wenn die
Videokamera die voreingestellte Position erreicht. Somit beseitigt
die vorliegende Erfindung die Notwendigkeit einer Verarbeitung einer
großen
Menge von Videoinformation, während
sich die Kamera zu der gewünschten
Position bewegt. 10 veranschaulicht eine beispielhafte
Implementierung der oben beschriebenen Verwendung vorbestimmter
Videoinformation entsprechend voreingestellten Kamerapositionen.
In 10 empfängt
die Kamerasteuervorrichtung 29 (siehe 2)
von der Benutzerbefehlseingabe einen voreingestellten Auswahlbefehl, um
die Live-Videokamera zu einer voreingestellten Position zu bewegen.
In 106 legt die Kamerasteuervorrichtung 29 voreingestellte
Information von dem voreingestellten Auswahlbefehl an die Datenspeichersektion 105 in
der Einstellungs- und Assistentensektion 22 der GUI an.
In dem Datenspeicherabschnitt 105 werden die verschiedenen
voreingestellten Kamerapositionen und entsprechende Videoinformation
gegenüber
verschiedenen voreingestellten Indizes indiziert, von denen eine
von dem Benutzer in jedem voreingestellten Auswahlbefehl empfangen wird.
Z.B. entsprechen Kamerapositionsinformation, Position 1, und die
Videoinformation, Video 1, dem voreingestellten Index, Voreinstellung
1. Die Kamerapositionsinformation kann vorteilhafter Weise auch andere
voreingestellte Kamerasteuerinformation enthalten, z.B. Helligkeitskontrast
etc.
-
Als
Reaktion auf den voreingestellten Index, der in 106 von
der Kamerasteuervorrichtung 29 empfangen wird, gibt die
Datenspeichersektion 105 (in 108) die entsprechende
Kamerapositionsinformation zu der Kamerasteuervorrichtung 29 aus,
und gibt auch (in 107) die entsprechende Videoinformation
zu einem Eingang eines Selektors 101 aus, dessen anderer
Eingang gekoppelt wird (in 104), um Videoinformation von
der Videofangschaltungskarte 20 (oder 23) zu empfangen.
-
Als
Reaktion auf Empfang der Kamerapositionsinformation von der Datenspeichersektion 105 kann
die Kamerasteuervorrichtung 29 ein Steuersignal in 102 ausgeben,
um den Selektor 101 zu veranlassen, in 107 die
Videoinformation von der Datenspeichersektion 105 mit einem
Ausgang 103 von Selektor 101 zu koppeln, dessen
Ausgang 103 mit dem Kodierer 27 (oder Standbildfangschaltung
und Konverter 21) gekoppelt ist. Als Reaktion auf Empfang der
Kamerapositionsinformation von der Datenspeichersektion 105 gibt
die Kamerasteuervorrichtung 29 auch geeignete Kamerasteuersignale
aus, um die ausgewählte
Kamera zu der gewünschten
voreingestellten Position zu bewegen. Wenn die Kamera die voreingestellte
Position erreicht, kann die Kamerasteuervorrichtung 29 das
Steuersignal 102 verwenden, um den Selektoreingang 104 mit
den Selektorausgang 103 zu koppeln.
-
Um
viele mögliche
Eingabevideoquellen zu berücksichtigen,
wie etwa die Kamera 11 und den Computer 10, der über die
Videofangschaltungskarte 23 verfügbar ist, und die Kamera 13,
die über
die Videofangschaltungskarte 20 verfügbar ist, kann der voreingestellte
Auswahlbefehl, der durch den Benutzer bereitgestellt wird, eine
ausgewählte
Eingabevideoquelle anzeigen. Diese ausgewählte Eingabeinformation kann
dann auf den Datenspeicherabschnitt 105 als Teil der voreingestellten
Information angewendet werden, sodass auf Voreinstellungen, die
mit der ausgewählten
Eingabequelle in Verbindung stehen, zugegriffen werden kann.
-
11 veranschaulicht
beispielhafte Operationen der Anordnung von 10. In 110 speichert der
Benutzer die ge wünschte
Kameravoreinstellungsinformation, einschließlich der voreingestellten Indizes
(z.B. Voreinstellung1, Voreinstellung2 etc.) und der entsprechenden
Kameraposition und Videoinformation, unter Verwendung der Benutzerbefehlseingabe
und des Monitors. Wenn die ausgewählte Kamera, über Kamerasteuerung 29,
zu der gewünschten
Position (wie durch den Benutzer interaktiv visuell überwacht)
bewegt wurde, werden der voreingestellte Index und die entsprechende
Kamerapositionsinformation (von Kamerasteuerung 29) und
Videoinformation (von der Videokarte 20) in der Datenspeichersektion 105 gespeichert.
Eine Beispielprozedur zum Herstellen und Speichern von Kameravoreinstellungen
wird nachstehend in Bezug auf die grafische Benutzerschnittstelle
GUI detaillierter beschrieben.
-
Nachdem
die voreingestellten Indizes, die Kamerapositionsinformation und
Videoinformation in 110 gespeichert wurden, erwartet die
Kamerasteuervorrichtung 29 in 112 einen Voreinstellungsauswahlbefehl
von dem Benutzer. Wenn ein Voreinstellungsbefehl in 112 empfangen
wird, werden die entsprechende Videoinformation und Kamerapositionsinformation
in 113 abgerufen. In 114 wird die Videoinformation
auf den Kodierer angewendet, und die Kamerasteuervorrichtung 29 gibt
geeignete Steuersignale aus, um die Live-Kamera zu der gewünschten
voreingestellten Information zu bewegen. Danach wird in 112 auf
den nächsten
Voreinstellungsauswahlbefehl gewartet.
-
13 veranschaulicht,
wie die Audiosteuerung 250 von 2 den Audio-VU-Pegel überwacht und
Signale zu der grafischen Anzeige eines VU-Instrumentes 251 triggert,
das in 2 gezeigt wird. Der Audiopegel wird gegenüber einem
Bereichsparameter (252 und 254) verglichen, und
ein Signal wird generiert, wenn eine Änderung entdeckt wird (253). Bezug
nehmend auch auf 14A–14C berechnet
die grafische Anzeige die Menge von Blöcken, die anzuzeigen sind,
und ändert
die Farben der Blöcke,
die eine gewisse Grenze überschreiten
(siehe 270 und 271 in 14A).
Diese Art von Anzeige ist in Audioeinrichtungen wie Stereoabspielgeräten etc.
ziemlich üblich,
und sollte durch einen beliebigen Benutzer gut verstanden werden.
Der Benutzer hat die Möglichkeit,
auf einen Standardsystemmischer von der GUI zuzugreifen (siehe 259 in 14B), um die Lautstärke zu reduzieren oder anzuheben
etc. 14C zeigt in 255–258,
wie ein Benutzer die Eingabeaudioquelle über die GUI auswählen und ändern kann.
-
12 veranschaulicht,
wie die grafische Benutzerschnittstelle GUI in Kombination mit z.B.
einem Berührungsbildschirm
(oder einer Anzeige-/Mauskombination) verwendet werden kann, um verschiedene
Aspekte des Prozesses zum Aufzeichnen eines Ereignisses, wie etwa
eines Seminars, zu steuern. 12 zeigt
einen Überblick
verschiedener Bilder, die dem Benutzer über den Berührungsbildschirm oder eine
andere Anzeige präsentiert
werden, wobei die Bilder verschiedenen Steuerfunktionen entsprechen,
die durch die GUI bereitgestellt werden. Somit können die nachstehend beschriebenen
beispielhaften Steueroperationen durch einen Benutzer über den
Berührungsbildschirm
(oder eine Anzeige-/Mauskombination) und die GUI durchgeführt werden.
-
In
dem Prozess zum Voreinstellen der Kameras wird ein Kamerasteuerschalter 10 zuerst
verwendet, um entweder die Live-Videokamera 13 oder die Standbildvideokamera 11 zu
aktivieren. Die Kameraübersetzungssteuerung
in 8 und die Kamerazoomsteuerung in 9 können dann
wie gewünscht
berührt (oder
angeklickt werden), um auf die aktivierte Kamera zu zielen und sie
zu zoomen. Die Ansicht, die aus dem Zielen und Zoomen der aktivierten
Kamera resultiert, kann in entweder dem Vorschauabschnitt 3 (für die Live-Kamera)
oder dem Vorschauabschnitt 5 (für die Standbildkamera) beobachtet
werden. Wenn die resultierende Ansicht befriedigend ist, kann die entsprechende
Kameraposition als eine voreingestellte Kameraposition gewählt werden,
indem entweder Knopf 11 (für die Live-Kamera) oder Knopf 12 (für die Standbildkamera)
gedrückt
wird.
-
Die
Ansichten entsprechend sechs unterschiedlichen Kameravoreinstellungen
können
in 1 (Live-Kameravoreinstellungen) und 2 (Standbildkameravoreinstellungen)
angezeigt werden. Beliebige der Voreinstellungen können für die entsprechende Kamera
durch Drücken
der gewünschten
Ansicht in 1 oder 2 ausgewählt werden.
-
Der
gewünschte
Audiopegel kann unter Verwendung des Tonsteuerknopfes 13 eingestellt
werden.
-
Der
Videostreamingprozess kann durch Drücken eines Startknopfes gestartet
werden, der in einem Kodierersteuerabschnitt 4 vorgesehen
ist. Das gestreamte Bild kann in 3 angezeigt werden. Der
Kodierersteuerabschnitt 4 stellt auch einen Laufzähler/Takt
bereit, der dem Benutzer die Zeitdauer anzeigt, die während der
Kodierungssitzung abgelaufen ist.
-
Ein
Bild von der Standbildkamera kann durch Drücken des Ergreifungsstandbildknopfes 6 eingefangen
werden. Das letzte Bild, das von der Standbildkamera ergriffen wird,
wird in 7 angezeigt.
-
Da
der Vorschauabschnitt 3, der mit der Live-Kamera 13 in
Verbindung steht, nicht zum Anzeigen sowohl des tatsächlichen
Live-Bildes von der Kamera als auch des gestreamten Bildes, das
von dem Kodierer 27 ausgegeben wird (das gestreamte Bild ist
um mehrere Sekunden hinter dem tatsächlichen Live-Bild verzögert) fähig ist,
ist ein externer Monitor 200 (siehe 2) vorgesehen,
sodass eine Ansicht des tatsächlichen
Live-Bildes von Kamera 13 jederzeit verfügbar ist.
-
15 veranschaulicht
schematisch eine beispielhafte Modifikation des Systems von 2, wobei
eine drahtlose Verknüpfung
den DFP-Computer 14 mit den Videokameras 11 und 13 und
der Audioquelle 12 koppelt. In diesem Beispiel sind die
Videokameras 11 und 13 und die Audioquelle 12 in 151 in
einem Funktransceiver 153 gekoppelt, der sich entfernt
von dem Computer 14 von 2 befindet. Der
Funktransceiver 153 kann konventionelle Techniken verwenden,
um die empfangenen Video- und
Audiosignale über
eine Funkverknüpfung 154 zu
einem weiteren Funktransceiver 155 zu übertragen. Der Funktransceiver 155 kann
konventionelle Techniken verwenden, um die Video- und Audiosignale in 151A zu
den Videofangschaltungskarten 20 und 23 und dem
Audioeingang des Computers 14 auszugeben. In diesem Beispiel
kann der Computer 14 anderweitig allgemein auf die gleiche
Art und Weise wie oben beschrieben arbeiten.
-
Der
Funktransceiver 155, der sich zusammen mit dem Computer 14 befinden
kann, empfängt Kamerasteuersignale
in 152. Die Kamerasteuersignale werden durch die Kamerasteuersektion 29 über die
serielle Karte von 2 bereitgestellt, wie oben allgemein
beschrieben wird. Der Funktransceiver 155 kann konventionelle
Techniken verwenden, um die Kamerasteuersignale über die Funkverknüpfung 154 zu
dem Funktransceiver 153 zu übertragen. In 152A gibt
der Funktransceiver 153 die Kamerasteuersignale zu den
Kameras 11 und 13 zum Steuern der Kameras auf
allgemein die gleiche Art und Weise aus, wie oben mit Bezug auf 2 beschrieben.
-
Die
Funktransceiver 153 und 155, und die entsprechende
Funkverknüpfung 154 können als
ein analoges FM-Funknetz (z.B. um die Frequenz 2,500 MHz herum)
für Funkübertragungen über kürzere Strecken,
wie etwa innerhalb eines Raumes oder eines Vorlesungssaals, vorgesehen
werden. Mit der veranschaulichten Verbindung der Kameras und der Audioquelle
mit dem Funktrans ceiver 153 kann das Video (zusammen mit
Audio) zu dem Computer 14 in voller Bewegung übertragen
werden.
-
16 veranschaulicht
schematisch eine andere beispielhafte Modifikation des Systems von 2,
wobei die Video- und Audiosignale entfernt von dem Kodierer und
Streamer 27 und Standbildfangschaltung und Konverter 21 kodiert
werden, und die kodierte Information über eine drahtlose Kommunikationsverknüpfung übertragen
wird. Auch wird in dem Beispiel von 16 die
drahtlose Kommunikationsverknüpfung
verwendet, um Benutzerkamerasteuereingaben und Voreinstellungsauswahlen
der Anordnung von 10 bereitzustellen. In 16 wird
Videoinformation von den Videofangschaltungskarten 20 und 23 unter
Verwendung jeweiliger MPEG-Kodierer kodiert, deren Ausgänge 162 und 163 mit
einem Funktransceiver 165 gekoppelt sind. Auch wird in 16 der
Audioeingang von 2 als mit einem Audiokodierer
gekoppelt gezeigt, dessen Ausgang 161 mit dem Funktransceiver 165 gekoppelt
ist.
-
Der
Funktransceiver 165 kann konventionelle Techniken verwenden,
um die kodierten Audio- und Videodaten über eine Funkverknüpfung 167 zu einem
weiteren Funktransceiver 166 zu übertragen, der konventionelle
Techniken verwendet, um die kodierten Audiodaten, kodierten Live-Videodaten
und kodierten Standbildvideodaten jeweils in Ausgängen 161A, 162A und 163A auszugeben.
Die kodierten Audio- und Live-Videodaten in 161A und 162A können dem
Kodierer und Streamer 27 von 2 direkt bereitgestellt
werden, um in eine ASF-Datei aufgebaut zu werden. Die kodierte Standbildvideoinformation 163A wird
zu einer I-Rahmen-Extraktionseinrichtung 168 angelegt,
die die MPEG-I-Rahmen aus der kodierten Standbildvideoinformation
extrahiert. Die extrahierten I-Rahmen werden der Standbildfangschaltung
und Konverter 21 von 2 bereitgestellt. Die
Standbildfangschaltung und Konverter 21 kann allgemein
auf die gleiche Art und Weise arbeiten, wie oben mit Bezug auf 2 beschrieben,
derart, dass JPEG-Dateien aus den extrahierten I-Rahmen abgeleitet
werden.
-
Auch
werden in 16 die Kamerasteuereingaben
und Voreinstellungsauswahlen von dem Benutzer (siehe 10)
zu dem Funktransceiver 166 für eine Übertragung über die Funkverknüpfung 167 zu
dem Funktransceiver 165 eingegeben. In 164 stellt
der Funktransceiver 165 die Kamerasteuereingaben und Voreinstellungsauswahlen
der Kamerasteuersektion 29 auf die gleiche allgemeine Weise
bereit, wie in 10 veranschaulicht. Als Reaktion
auf die Eingaben in 164 verbindet sich die Kamerasteuersektion 29 mit
dem Multiplexer 101 und Datenspeicherabschnitt 105 von 10,
wie oben allgemein beschrieben, und verbindet sich auch mit den
Kameras 11 und 13 über die serielle Karte, wie
auch oben allgemein beschrieben wird. Bezüglich der Verbindung der Kamerasteuersektion 29 mit
dem Multiplexer 101 und dem Datenspeicherabschnitt 105 von 10 wird
dies in 16 in den Eingängen zu
den MPEG-Kodierern weiter veranschaulicht, wobei die Eingänge durch
entweder die zugehörige
Videofangschaltungskarte (20 oder 23) oder durch
den Datenspeicherabschnitt 105 angesteuert werden können, wie
in Klammern in den MPEG-Kodierereingängen gezeigt.
-
Wie
aus 2 und 16 gesehen wird, koppelt die
drahtlose Kommunikationsverknüpfung
in 165–167 die
Audio- und Live-Videokodierungsfunktionalität des Kodierers und Streamers 27 mit
der ASF-Dateiaufbaufunktionalität
des Kodierers und Streamers 27. Beispiele der drahtlosen
Kommunikationsverknüpfung
in 165–167 enthalten
ein drahtloses LAN (z.B. bis zu 10 Megabit/Sekunde), oder digitale
Bluetooth-Technologie (z.B. bis zu 2 Megabit/Sekunde), die von Telefonaktiebolaget
L/M Ericsson publ kommerziell verfügbar sind. Unter Verwendung der
zuvor erwähnten
Technologien kann die drahtlose Verknüpfung bis zu einige Kilometer
abdecken. Falls die drahtlose Kommunika tionsverknüpfung gemäß Mobiltelefon-
und Kommunikationssystemen dritter Generation innerhalb von UMTS,
mit einer Geschwindigkeit bis zu 2 Megabit/Sekunde bereitgestellt
wird, dann kann sich der Bereich der Kommunikationsverknüpfung 165–167 so
weit wie gewünscht erstrecken.
-
17 veranschaulicht
schematisch eine andere Beispielmodifikation des Systems von 2, wobei
GSM-(globales System für
mobile Kommunikationen)Funktechniken verwendet werden, um Standbildvideo-
und Audioinformation zu übertragen, aber
Live-Video nicht übertragen
wird. In diesem Beispiel ist der Audioeingang von 2 mit
einem Audiokodierer gekoppelt, dessen Ausgang 171 mit einem Funktransceiver
(z.B. einem GSM-Funktransceiver) 174 gekoppelt
ist. Die Standbildfangschaltung und Konverter 21 von 2 ist
in 172 auch mit dem Funktransceiver 174 gekoppelt.
Der Funktransceiver 174 verwendet konventionelle GSM-Techniken,
um das kodierte Audio und die JPEG-Dateien (empfangen in 172 von
der Standbildfangschaltung und Konverter 21) über eine
GSM-Funkverknüpfung 175 zu einem
weiteren GSM-Funktransceiver 176 zu übertragen. Der Funktransceiver 176 verwendet
konventionelle GSM-Techniken, um das kodierte Audio dem Kodierer
und Streamer 27 (was in eine ASF-Datei aufzubauen ist)
in 171A bereitzustellen, und um dem HTML- und URL-Generator 26 in 172A die
JPEG-Dateien bereitzustellen. Wie aus 2 und 17 gesehen
wird, sind die Audio-Kodierungsfunktionalität und die ASF-Dateiaufbaufunktionalität von Kodierer und
Streamer 27 über
die drahtlose Verknüpfung
in 174–176 gekoppelt.
-
Der
Funktransceiver 176 empfängt in 173 Kamerasteuersignale
von dem Kamerasteuerabschnitt 29 von 2 über die
serielle Karte von 2, und überträgt diese Kamerasteuersignale über die
Funkkommunikationsverknüpfung 175 zu dem
Funktransceiver 174, der in 173A die Kamerasteuersignale
zu der Standbildvideokamera 11 weiterleitet.
-
18 veranschaulicht
schematisch eine andere Beispielmodifikation des Systems von 2, wobei
die Anwendung des Viewers (z.B. ASF-Player in dem Webbrowser von 2)
mit dem DFP-Computer 14 von 2 über eine
drahtlose Kommunikationsverknüpfung
gekoppelt ist. In dem Beispiel von 18 ist
der Webserver von 2 in 181 mit einer konventionellen
Funkschnittstelle 183 gekoppelt, die konventionelle Techniken
verwendet, um das Streamingvideo über eine Funkschnittstelle 185 zu
einem Funktransceiver 184 zu übertragen. In 181A stellt
der Funktransceiver 184 das Streamingvideo (wie über Funkverknüpfung 185 empfangen)
der Betrachteranwendung zur Verfügung.
Somit können
in 18 die Betrachteranwendung und der Webserver wie
oben allgemein beschrieben kommunizieren, aber über die konventionelle drahtlose
Kommunikationsverknüpfung
in 183–185.
-
In 182 kann
der Funktransceiver 184 von der Betrachteranwendung eine
Anforderung empfangen, Daten ohne das Live-Video zu streamen, derart,
dass nur die Audio- und die Standbildvideoinformation übertragen
werden. Der Funktransceiver 184 verwendet konventionelle
Techniken, um diese Anforderung über
die Funkverknüpfung 185 zu
der Funkschnittstelle 183 zu übertragen, die wiederum diese Anforderung
in 182A zu dem Webserver weiterleitet. Als Reaktion auf
derartige Anforderungen sendet der Webserver nur die kodierte Audio-
und JPEG-Information. Eine derartige Operationen ist besonders wünschenswert,
wenn die drahtlose Kommunikationsverknüpfung in 183–185 eine
Verknüpfung
relativ geringer Bandbreite ist. Falls andererseits UMTS verwendet
wird, um die drahtlose Verknüpfung
in 183–185 zu
implementieren, dann kann die vollständige Ausgabe vom Kodierer
und Streamer 27 (Live-Video, Standbildvideo und Audio) über die
drahtlose Verknüpfung
auf allgemein die gleiche Weise übertragen
werden, als ob eine drahtgebundene Verknüpfung verwendet würde.
-
Die
Funkschnittstelle 183 von 18 kann ein
Funktransceiver sein, der sich zusammen mit dem Computer 14 von 2 befindet.
In einer anderen Ausführungsform
repräsentiert
die Funkschnittstelle 183 einen Abschnitt eines konventionellen drahtlosen
Kommunikationsnetzes, das mit dem Webserver (in 181, 182A) über ein
geeignetes Gateway gekoppelt ist.
-
Einem
Fachmann wird offensichtlich sein, dass die DFP-Computerausführungsformen,
die oben beschrieben werden, unter Verwendung von einem oder mehr
geeigneten PCs oder Desktop-Computerarbeitsstationen implementiert
werden können, z.B.
einem Wintel-basierten 300 MHz Doppelprozessor PC.
-
Einem
Fachmann wird offensichtlich sein, dass die oben beschriebenen Merkmale
der vorliegenden Erfindung den Prozess zum Konvertieren einer visuellen
Präsentation
in ein digitales Format für eine Übertragung
durch ein Datennetz stark vereinfachen. Jedermann, nicht nur Experten,
kann ein System gemäß der Erfindung
verwenden, um z.B. eine Internet-Multimediaproduktion bei geringen
Kosten zu erstellen.