-
Hintergrund der Erfindung
-
1. Technisches Gebiet
-
Die Erfindung betrifft eine Vorrichtung
und ein Verfahren zur Verwendung von sphärischen Einzelbildern oder
hoch aufgelösten
ebenen Bildern, um eine bewegte Fahrt durch das Bild bereitzustellen,
die seitens eines Benutzers die Empfindung eines Erlebnisses einer
Videopräsentation
hervorruft. Die Erfindung ermöglicht
eine Vielzahl vorbestimmter Wege, die präzise in wiederholbarer Weise
verfolgt werden können.
Das Ziel dieser Erfindung ist es, anstelle einer Manipulation eines
Gegenstandes die dem Benutzer gezeigte Ansicht zu steuern, wobei
der Blickwinkel die Daten sind und ein Computermonitor die Hardware
bildet. Die Erfindung löst ein
grundlegendes Problem bei der Übertragung
von geordneten bzw. sequentiellen Bildern (d. h. Video) über Verbindungen
mit schmaler Bandbreite unter Verwendung einer Folge von Bewegungsbefehlen
für das
sphärische
Einzelbild oder hoch aufgelöste
ebene Bild, um ein Video der Umgebung oder des Gegenstandes zu imitieren.
Zusätzlich
ermöglicht
es die betreffende Erfindung dem Benutzer, jederzeit die Blickrichtung
zu steuern und den Blick in irgendeine gewünschte Richtung zu richten,
wodurch dem interaktiven Fernsehen eine neue Dimension verliehen
wird, nämlich
eine personalisierte Steuerung dessen, was betrachtet wird.
-
2. Stand der
Technik
-
Im US-Patent 5,185,667, das auf demselben Übertragungsempfänger wie
diese Offenbarung übertragen
wurde, ist dokumentiert, wie mit einem verfeinerten Transformationsalgorithmus
ein sich bewegendes Videobild, geschwenkt, gekippt, gedreht und
vergrößert werden
kann. Bei diesem Verfahren wird ein bewegtes Video oder ein fotografisches
Einzelbild erfaßt,
die mit der Linsenoptik in Verbindung stehende Verzerrung entfernt
und ein Teil des Bildes, der von Interesse ist, basierend auf den
Wünschen
der Bedienperson bezüglich eines
Schwenkens, Kippens, Drehens und einer Vergrößerung rekonstruiert. Eine
Anwendung der in diesem Patent offenbarten Entzerrungstechnik ist
die Entzerrung halbkugelförmiger
Bilder. Die Erfassung und Entzerrung halbkugelförmiger Bilder ist detaillierter
im US-Patent 5,185,667 offen bart. Die Fähigkeit, diese Bilder gleichzeitig
zu verteilen und es mehreren Benutzern zu ermöglichen, unabhängig die
Bilder in irgendeiner gewünschten
Richtung zu betrachten, ist im US-Patent 5,384,588 dokumentiert
und patentiert, das auf denselben Übertragungsempfänger wie
diese Offenbarung übertragen
wurde.
-
Andere Stammanmeldungen, die zu verschiedenen
Teilen der nachfolgend in Einzelheiten beschriebenen Erfindung in
Bezug stehen, umfassen die US-Anmeldung mit der Seriennummer 08/516,629,
angemeldet am 15. August 1995 (WO-A-97/01241, offengelegt am 09.01.1997)
mit dem Titel "Method
and Apparatus for the Interactive Display of Any Portion of a Spherical
Image" von Laban
Phelps Jackson, Alexis S. Pecoraro, Peter Hansen, Martin L. Bauer
und H. Lee Martin, die eine Continuation-In-Part der Seriennummer
08/494,599, angemeldet am 23. Juni 1995 mit dem Titel "Method and Apparatus
for Simultaneous Capture of a Spherical Image" von Danny A. McCall und H. Lee Martin
ist, die eine Continuation-In-Part
der US-Anmeldung mit der Seriennummer 01/386,912 ist, die am 8.
Februar 1995 eingereicht wurde, die eine Continuation der US-Anmeldung
mit der Seriennummer 08/339,663 ist, die am 11. November 1994 angemeldet
wurde, die eine Continuation der US-Anmeldung mit der Seriennummer
08/189,585 ist, die am 31. Januar 1994 angemeldet wurde (jetzt US-Patent
Nr. 5,384,588), die eine Continuation-In-Part der US-Anmeldung mit
der Seriennummer 07/699,366 ist, die am 13. Mai 1991 angemeldet
wurde (jetzt US-Patent Nr. 5,185,667). Diese Anmeldung ist auch
eine Continuation-In-Part der US-Anmeldung mit der Seriennummer
08/373,446, die am 17. Januar 1995 angemeldet wurde, die eine Continuation-In-Part
der US-Anmeldung
mit der Seriennummer 08/189,585 ist, die am 31. Januar 1994 angemeldet
wurde (jetzt US-Patent Nr. 5,384,588).
-
Videobilder, wie sie in jedem der
obigen Patente beschrieben sind, auf die Bezug genommen wurde, erfordern
ungefähr
30 Vollbilder pro Sekunde, damit sie als ein Echtzeitvideobild erscheinen.
Nachteiliger Weise besteht ein Problem bei Echtzeitvideoraten in
der großen
Menge an Speicher und der hohen Verarbeitungsgeschwindigkeit, die
erforderlich ist, um diese Bilder anzuzeigen. Alternativ muß der Benutzer,
falls er einen Echtzeitvideoclip von einer entfernten Quelle über ein
Modem herunterladen möchte
(beispielsweise einem Schwarzes-Brett-System oder einem globalen Netz von
Computern), über
ein Hochgeschwindigkeitsmodem mit einer großen Bandbreite (beispielsweise
eine ISDN-Leitung mit einem Minimum von 128 kps oder ein T1 oder
T3) in Verbindung mit einem relativ leistungsfähigen Computer verfügen, um
diese Bilder herunterzuladen und sie in Echtzeit wiederzugeben.
Da die meisten Be nutzer jedoch nicht über Hochgeschwindigkeitsmodems oder
relativ leistungsfähige
Computer verfügen,
ohne auf eine geeignete Bandbreite, um Echtzeitvideos zu behandeln,
einzugehen, stellt dies für
die meisten Benutzer einen Nachteil dar. Auch mit einer Komprimierung der
Videodaten konnten keine guten Ergebnisse erzielt werden.
-
Andere Übertragungstechniken für Bilder
beinhalten die Übertragung
einzelner Einzelbilder nacheinander. Dies spart zwar Bandbreite,
ist jedoch auch nicht aufregender als das Ansehen einer Lichtbildpräsentation,
wobei eine andere Person den Lichtbildprojektor bedient. Die Ursache
dafür liegt
darin, daß dem
Betrachter ein uninteressantes statisches zweidimensionales Bild
präsentiert
wird.
-
Auf einem anderen Gebiet, auf dem
Anstrengungen unternommen werden, der Roboterindustrie, ist eine
Technik bekannt, die als "Lehre/Playback" ("Teach/Playback") bekannt ist. Der "Lehr"-Modus einer "Lehre/Playback"-Technik betrifft
das Aufzeichnen einer Reihe von Bewegungen einer benutzergesteuerten
Vorrichtung. Später
werden im "Playback"-Modus die aufgezeichneten
Bewegungen für
nachfolgende Zwecke wieder abgespielt. Ein Beispiel für die "Lehre/Playback"-Technik ist die
Automobilindustrie, in der eine einen Roboter bedienende Person
ein Robotersystem "lehrt", wie eine komplexe
Reihe von Aufgaben, die verschiedene Manipulationen umfassen, auszuführen ist.
Beispielsweise kann das Robotersystem gelehrt werden, wie Abschnitte
eines Blechs eines Fahrzeugkörpers
an einen Fahrzeugrahmen zu schweißen sind. Im "Playback"-Modus folgt das
Robotersystem wiederholt seinen gespeicherten Befehlen und schweißt gemäß seinen Befehlen
Rumpfbleche an die Rahmen. Die "Lehre/Playback"-Technik zum Programmieren
manipulierbarer Systeme hat jedoch ihre Nachteile. Beispielsweise
sind Systeme, die nach einer "Lehre/Playback"-Technik arbeiten,
darauf beschränkt
nur die aufgezeichneten Befehle auszuführen. Eine Änderung beim Playback eines aufgezeichneten
Satzes von Befehlen ist unbekannt. Die einzige Weise die Arbeitsschritte
der Steuerungsvorrichtung zu ändern,
ist ihren Befehlssatz umzuprogrammieren, oder hier das System "umzulernen".
-
Gegenstände der
Erfindung
-
Demgemäß ist es ein Gegenstand der
vorliegenden Erfindung, einem Benutzer einen Eindruck zu verschaffen,
der Video zu sein scheint, bei dem jedoch sphärische Einzelbilder mit geordneten
Befehlen als ihre Befehlsdatei verwendet werden.
-
Es ist ein weiterer Gegenstand der
vorliegenden Erfindung diesen Bildeindruck unter Verwendung von digitalen
Dateien, die mit anderen Dateien gebündelt werden können, so
bereitzustellen, daß sie
einen multimedialen Eindruck darstellen.
-
Es ist ein weiterer Gegenstand der
vorliegenden Erfindung einen Eindruck eines fortdauernden Betrachtens
durch Dekomprimieren des nächsten
zu betrachtenden Bildes (und von Audiodateien, die zu hören sind)
bereitzustellen, während
ein momentanes Bild gezeigt wird und eine momentane Audiodatei abgespielt wird.
-
Es ist ein weiterer Gegenstand der
vorliegenden Erfindung es dem Benutzer zu ermöglichen, die "Video"-Folge zu jedem Zeitpunkt
zu unterbrechen und die Steuerung der Betrachtungsrichtung und der
Vergrößerung zu übernehmen.
-
Es ist eine weitere Aufgabe der vorliegenden
Erfindung zu ermöglichen,
daß sich
die für
diese Betrachtungserfahrung erforderlichen Daten an einem entfernten
Ort befinden und über
Telekommunikationsnetze, einschließlich von zumindest Lokalbereichsnetzen,
Weitbereichsnetzen, Globalbereichsnetzen, Satellitennetzen und anderen
verwandten Netzen durch Herunterladen per Satellit, Herunterladen über ein
Modem, einem Herunterladen über
Rundfunk oder mit einem anderen geeigneten Mittel zum Herunterladen
gleichzeitig zu einem oder zu mehreren Benutzern (oder sequentiell
oder nach Anforderung) heruntergeladen werden können.
-
Es ist ein weiterer Gegenstand der
Erfindung, die Möglichkeit
bereitzustellen, das Bild über
eine einfache Benutzerschnittstelle zu vergrößern, zu schwenken, zu kippen,
zu zoomen und zu drehen.
-
Es ist ein weiterer Gegenstand der
Erfindung, die Möglichkeit
eines Schwenkens, Kippens, Zoomens und Drehens mit einfachen Eingaben
bereitzustellen, die durch einen ungeübten Benutzer durch Standardeingabemittel,
einschließlich
von Joy-Sticks, Tastatur, Mäusen,
Touch-Pads oder äquivalenten
Mitteln ausgeführt werden.
-
Es ist eine weitere Aufgabe der vorliegenden
Erfindung, gleichzeitig einer Mehrzahl von Benutzern durch gemeinsame
heruntergeladene oder gesendete Informationen einen multimedialen
Eindruck anzuzeigen, die insgesamt zur selben Zeit geordnet sind
oder durch den Be nutzer in beliebige verschiedene durch die Benutzer
aus einer unendlichen Anzahl ausgewählte Richtungen gesteuert werden.
-
Diese und andere Gegenstände der
vorliegenden Erfindung werden bei einer Berücksichtigung der Zeichnungen
und der begleitenden Beschreibung verständlich werden.
-
Abriß der Erfindung
-
Eine erfindungsgemäße Vorrichtung
ist in Anspruch 1 definiert.
-
Die Erfindung betrifft den Aufbau
eines sichtbaren Bildes, von dem zu einem gegebenen Zeitpunkt in einer
einhüllenden
Betrachtungsumgebung nur ein Teil angezeigt wird. Bei der Ausführung eines
vorbestimmten Befehlssatzes wird einem Betrachter eine bewegte Fahrt
durch ein halbkugelförmiges/kugelförmiges Bildes
präsentiert.
Zu jedem Zeitpunkt kann der Betrachter die Steuerung der Fahrt des
angezeigten Bildes übernehmen
und das Bild selbständig
erkunden. Durch Verwenden eines hoch aufgelösten statischen Bildes wird die
Anzeige eines hoch qualitativen Videobildes mit Echtzeitvideoraten
(30 Vollbilder pro Sekunde) erreicht. Das Ergebnis wird mit nur
einem Bruchteil der Daten erreicht, die notwendig sind, um dasselbe
Ergebnis im Vergleich dazu mit komprimierten Videodaten zu erreichen.
Während
eine Videosequenz von 10 Sekunden Dauer 300 separate Bilder erfordert,
erfordert die vorliegende Erfindung nur ein Bild mit einer begrenzten
Anzahl von Abfolgebefehlen, um die Präsentation ablaufen zu lassen.
-
Das omnidirektionale Betrachtungssystem
erzeugt ohne sich bewegende Teile in einem sphärischen digitalisierten Foto
oder in einer Folge von digitalen Bildern (digitales Video) oder
einer Teilmenge davon ein Äquivalent
zum Schwenken, Kippen und Zoomen. Mit dieser Erfindung können ebenso
Teile eines hoch aufgelösten
Bildes geschwenkt, gekippt und vergrößert werden, indem nur jene
Teile des Bildes, die momentan für
den Benutzer von Interesse sind, gezeigt werden.
-
Die geringe Datenkapazität, die für diese
Darstellungsform erforderlich ist, resultiert aus der fundamentalen
Datenquelle, die ein Einzelbild umfaßt, das durch seine Bewegung
durch einfache ASCII-Textbefehle, die automatisch im laufenden Programm übersetzt
werden, zeitlich sequentialisiert wird. Gemäß einer bevorzugten Ausführungsform
wird die ASCII- Befehlsdatei
durch die Aufzeichnung einer Ansicht eines angezeigten Bildes durch
eine Bedienperson erzeugt. Gemäß einer
alternativen Ausführungsform
führt die
Bedienperson Befehle einer Textdatei direkt zu, die später das
Betrachten des Einzelbildes steuert.
-
Das offenbarte System beinhaltet
ein Mittel zum Empfangen einer digitalen Datei, die aus zwei halbkugelförmigen Fischaugenbildern
oder einem einzigen hoch aufgelösten
digitalisierten Bild gebildet ist, zum Empfangen einer zweiten Befehlsdatei,
die aus der Folge der Betrachtungsrichtungen besteht, die verwendet werden,
um das Einzelbild zu animieren, um ihm die Empfindung eines Videos
zu verleihen, zum Transferieren eines Teils des Bildes basierend
auf Befehlsdateiarbeitsschritten oder Benutzerbefehlen und zum Herstellen einer
kontinuierlichen Folge von Ausgabebildern, die für ein Betrachten in einer korrekten
Perspektive vorliegen. Die Sammlung von Befehlen, die verwendet
wurden, um zu steuern, was ein Betrachter am Anfang sieht, werden
in einer Befehlsfolgedatendatei gespeichert. Ein Benutzer kann die
Anzeigesteuerung mit den in der Befehlsfolgedatendatei gespeicherten
Befehlen verlassen und wenn dies beendet ist, die Steuerung an die
Befehlsfolgedatendatei zurückgeben.
-
Die resultierende Anzeige liefert
einen Eindruck einer Videobildfolge, obwohl die Quelldaten nur aus einer
digitalisierten Einzelfotografie gebildet sein können. In einer bevorzugten
Ausführungsform
wird das übertragene
Bild durch eine Kombination von zwei fotografischen Fischaugenbildern
produziert, die einen sphärischen
bzw. kugelförmigen
Datensatz liefern, aus dem das als Folge angeordnete Betrachtungsfeld
zu extrahieren ist. Diese Bilddaten werden mit einer Befehlsdatei
erweitert, die die Folge der anzuzeigenden Bilder aus der Bilddatei
in solch einer Weise bestimmt, daß der Ausgabeanzeige das Erscheinungsbild
eines Videobildes verliehen wird. Diese hereinkommenden Datendateien,
Bilder und Befehle werden in einem elektronischen Speicherpuffer
erfaßt
und die Bilddatei wird zur Anzeige so übertragen, wie dies durch die
Befehlsdatei oder durch den Benutzer, falls die Befehlsdatei unterbrochen
ist, angeordnet ist. Die Bildtransformation wird rechnungsmäßig durch
einen für
viele Personalcomputersysteme üblichen
Mikroprozessor ausgeführt.
Zusätzlich
können
damit verbundene Rechenvorrichtungen einschließlich von Co-Prozessoren, dafür reservierten
Computern, ASICs und Äquivalenten
davon verwendet werden. Die Anzeige des als Folge angeordneten Bildes
wird in einem Fenster oder auf einem gängigen Computermonitor ausgeführt. Zusätzlich können die
Anzeigesysteme LCDs, CRTs, Überkopfprojektionsvorrichtungen,
Projektionsbildschirmanzeigen und Äquivalente davon umfassen.
Der durch das Verfahren und die Vorrichtung gelieferte Eindruck
kann durch die Einbeziehung von Audio verstärkt werden, um zu ermöglichen,
daß die
resultierende Ausgabe auf einem "Multimedien"-Personalcomputer ähnlich der von standardmäßigem Fernsehen
ist.
-
Ein Teil des erfaßten Bildes, der einen Bereich
von Interesse enthält,
wird in ein perspektivisches korrektes Bild durch ein Bildverarbeitungscomputermittel übertragen
und durch die Befehlsdatei oder durch einen direkten Eingriff des
Benutzers in einer Folge angeordnet. Der Bildverarbeitungscomputer
liefert unter Verwendung eines orthogonalen Satzes von Transformationsalgorithmen
eine direkte Abbildung des Bildbereichs von Interesse in ein korrigiertes
Bild. Die Orientierung der Betrachtung wird durch ein Befehlssignal
bestimmt, das entweder von einer Bedienperson oder durch eine mit
einem Computer in eine Reihenfolge gebrachte Eingabe erzeugt wird.
-
Kurze Beschreibung der
Zeichnungen
-
1 zeigt
ein schematisches Blockdiagramm der vorliegenden Erfindung, das
die hauptsächlichen Komponenten
veranschaulicht.
-
2 zeigt
die Benutzerschnittstelle für
die Benutzersteuerung der Blickrichtung und Vergrößerung.
-
3 zeigt
die Befehlsdatei für
eine einfache Folge.
-
4 zeigt
eine typische Folge, wie sie von der Befehlsdatei von 3 gesehen werden könnte.
-
5 zeigt
die Folge der 3 und 4 in einem halbkugelförmigen Bild.
-
6 zeigt
die Projektion eines Betrachtungsrechtecks auf einem dreidimensionalen
Bild, wie es vom Ort eines Betrachters projiziert wird.
-
Detaillierte
Beschreibung
-
Die Prinzipien der vorliegenden Erfindung
werden mit Bezug auf 1 verständlich.
Eine Fischaugen- oder Weitwinkellinse 1 erfaßt ein halbkugelförmiges oder
Weitwinkelbild. Die Linse 1 fokussiert das erfaßte Bild auf
die Kamera 2. Die Kamera 2 ist umfassender in
der parallelen US-Anmeldung mit der Seriennummer 08/494,599 mit
dem Titel "Methods
and Apparatus for Simultaneous Capture of a Spherical Image" offenbart. Die Typen
der verwendeten Kameras werden gewählt aus der Gruppe bestehend
zumindest aus Standbildkameras mit einem eingelegten Film oder digitaler
Bilderfassung, Filmkameras mit einem eingelegten Film oder mit digitaler
Bilderfassung, das digitale KodakTM Bilderfassungssystem,
Video, CID zur linearen Abtastung, CCD oder CMOS APS Kameraarrays
oder andere äquivalente
Bilderfassungsvorrichtungen. Die zwei allgemeinen Typen verfügbarer Kameras
sind durch die Kameras 2a und 2b dargestellt.
Die Kamera 2a ist eine chemische Kamera, in die ein Film
eingelegt, belichtet und der später
entwickelt wird. Kamera 2b ist eine Kamera mit digitaler
Bilderfassung, die umfassender in der US-Anmeldung mit Seriennummer
08/494,599 mit Anmeldetag vom 23. Juni 1995, auf die oben Bezug
genommen wurde, erläutert
ist. Das Fotostativ 4 trägt die Kamera 2, womit
eine stabile Bilderfassungsplattform zur Verfügung steht. Wenn zwei Kameras
Rücken-an-Rücken verwendet
werden (wie umfassend in der US-Anmeldung
mit Seriennummer 08/494,599, auf die oben Bezug genommen wurde,
beschrieben ist), trägt
das Fotostativ 4 die zwei Kameras in einer Beziehung Rücken-an-Rücken. Das
Kamerapaar erfaßt
die Umgebung in zwei einander ergänzenden bzw. zusammenpassenden
Halbkugeln. Der resultierende belichtete Film wird dann bearbeitet
und durch Scannen 5 in eine digitale Datendatei 6 der
gesamten Umgebung digitalisiert.
-
Vorzugsweise beträgt die Auflösung einer Bilddatei zumindest
2000 Pixel auf 2000 Pixel. Während Auflösungen von
512 × 512
für langsamere
Computer und Übertragungsmedien
entwickelt wurden, werden große
Bildgrößen bevorzugt.
Eine standardmäßige komprimierte
Bilddatei von 128 KB kann im Speicher auf dekomprimiert 2 Megs dekomprimiert
werden. Größere Dateien
benötigen
eine längere
Zeit zum Herunterladen und für
eine Bearbeitung. Jedoch werden größere Dateigrößen bevorzugt,
da sie eine höhere
Auflösung und
Farbtiefe bieten.
-
Die Befehlsfolgedatendatei 7 speichert
Befehle, die die Ansicht, wie sie auf dem Monitor eines Benutzers
angezeigt wird, steuern. Eine Befehlsfolgedatendatei 7 speichert
auch Befehle, mit welchen neue Bilddateien abgerufen werden können und
Multimedien (z. B. Videoclips) und Tondateien abgespielt werden
können. Die
Kombination dieser drei Gruppen von Befehlen ermöglicht einen vollständigen multimedialen
Eindruck. Die Befehlsfolgedatendatei kann eine Datei, die im RAM
oder ROM einer Computervorrichtung, auf einem Festplattenlaufwerk,
einem Band, einer CD-ROM gespeichert ist, in ein ASIC festverdrahtet
ist und Äquivalente
davon sein. Zusätzlich
kann die Bilddatendatei eine Datei, die im RAM oder ROM einer Computervorrichtung,
auf einer Festplatte, einem Band, einer CD-ROM gespeichert ist,
in ein ASIC festverdrahtet ist und Äquivalente davon sein.
-
Bezugnehmend auf 1 werden die Bilddatendatei 6 und
die Befehlsfolgedatendatei 7 dann zu einen Personalcomputer 10 eines
Benutzers verteilt. Vorzugsweise ist der Computer 10 zumindest
ein Intel 486i/66 oder ein Äquivalent
mit 8 MB RAM und wobei auf diesem Windows 95 von Microsoft
läuft.
Verbesserte Response-Zeiten werden mit Aufrüstungen der Hardware erreicht.
Beispielsweise würde
die Verwendung eines Computers der PentiumTM Klasse
die Response-Zeit verbessern. Das Verteilungsmittel beinhaltet eine Verteilung
durch einen CD-ROM 8 oder über ein Kommunikationsnetz 9.
Das Kommunikationsnetz beinhaltet zumindest Lokalbereichsnetze,
Weitbereichsnetze, Globalbereichsnetze unter Verwendung eines verdrillten Paares
oder von ISDN-Leitungen und Satellitennetzen. Die verschiedenen
Arten zum Herunterladen von Bilddatendateien 6 und Befehlsfolgedatendateien 7 beinhalten
ein Herunterladen über
Satellit, ein Herunterladen über
ein Modem (einschließlich
von Bulletin-Boards und dem Internet) und Herunterladen über Rundfunk.
-
Alternativ können die Dateien über Client-/Serveranordnungen
verfügbar
sein, wobei die gesamte Verarbeitung am Ort des Servers stattfindet
mit einer resultierenden Anzeige am Ort des Client. Diesbezüglich müssen die
Dateien 6 und 7 nicht direkt auf den Computer
eines Benutzers geladen werden, sondern vielmehr in einen zentralen
Server. Diesbezüglich
kann der Computer des Benutzers auf den Server durch irgendeines der
oben beschriebenen Kommunikationsnetze zugreifen.
-
Wenn sowohl die Bilddatendatei 6 als
auch die Befehlsfolgedatendatei 7 für eine Verwendung durch den
Computer 10 verfügbar
sind, führt
der Computer 10 die Anordnungsschritte, die in der Befehlsfolgedatendatei 7 detailliert
sind, auf das Bild aus, das in der Bilddatendatei 6 gespeichert
ist. Wenn die Bilddatendatei ein halbkugelförmiges Bild enthält (oder
irgendein Bild, das auf Grund der Linsenoptik Verzerrungen beinhaltet),
führt der
Computer 10 eine mathematische Transformation aus, um die
optische Verzerrung von dem verzerrten Bild zu entfernen. Die mathematische
Transformation ist umfassend im US-Patent 5,185,667 beschrieben.
Die Verwendung der mathematischen Transformation korrigiert die
Verzerrung und Perspektive wunschgemäß mit der Befehlsfolgedatendatei 7.
Das resultierende ebene Bild wird auf dem Monitor 11 angezeigt,
womit ein Eindruck vermittelt wird, der mit Video vergleichbar ist,
obwohl die Daten aus einem statischen Bild bereitgestellt werden.
Der Benutzer kann die Steuerung des angezeigten Bildes übernehmen,
um die Bilddatei 6 umfassender zu untersuchen. Der Benutzer
gibt einen Befehl über
eine der verschiedenen Bildeingabevor richtungen, wie etwa eine Maus 12,
Tastatur 13, oder eine andere Computereingabevorrichtung
ein, um die Ausführung
der Befehlsfolgedatendatei 7 zu unterbrechen. Beispiele
eines Befehls, der anzeigt, daß der
Benutzer das Bild selbst betrachten möchte, können Maus-Klicks, das Drücken der Leertaste, das Bewegen
der Maus oder eines Trackballs oder Äquivalente davon sein. Der
Benutzer ist nun in der Lage in irgendeine Richtung in der Bilddatei
zu blicken, womit ein interaktiver Betrachtungseindruck bereitgestellt
wird. Alternativ kann die Ausgabe des Computers 10 auf
einem Videoband, einer Festplatte, einer CD-ROM, einem RAM, ROM
oder Äquivalenten
davon zur Speicherung aufgezeichnet werden und später betrachtet
werden.
-
2 zeigt
eine Benutzerschnittstelle 15, so wie diese durch den Benutzer
wahrgenommen wird, sobald er angezeigt hat, daß er das Bild für sich alleine
betrachten möchte.
Die Schnittstelle 15 kann über den gesamten Bildschirm
des Monitors 11 in einer durchscheinenden Weise angezeigt
werden. Alternativ kann die Schnittstelle 15 deutlich kleiner
und durchscheinend oder undurchsichtig sein. Wie bei mit Fenstern
arbeitenden Umgebungen, kann die Schnittstelle 15 mit Hilfe
von Standardbewegungstechniken (einschließlich eines Greifens eines
dargestellten Griffs des Bildes oder durch eine Reihe von Maus-Klicks
oder Tastenbetätigungen)
wegbewegt werden.
-
Die Position des Cursors 14 wird
durch die Bewegung der Maus 12 durch den Betrachter (oder
durch einen Trackball, ein Touch-Pad oder eine andere Zeigeeinrichtung
oder eine Tastatureingabe) gesteuert. Wenn sich der Cursor 14 um
die Schnittstelle 15 bewegt, ändert der Cursor 14 seine
Form, die durch seine Position relativ zur Mitte der Schnittstelle 15 bestimmt
ist. Wenn der Cursor 14 sich innerhalb oder Außerhalb
eines der Oktanten 15a–15h befindet,
nimmt der Cursor die Form einer Hand an, wie durch die Hand 14 angezeigt
ist. Bewegt sich der Cursor umher, kann sich die Orientierung des
Handsymbols so ändern,
daß es
immer von der Mitte der Schnittstelle 15 wegzeigt, wie
durch die Hände
in jedem der Oktanten 15a–15h dargestellt ist. Äquivalente
Zeigecursors einschließlich
von Pfeilen, Dreiecken, Balken, sich bewegenden Symbolen und Äquivalenten
davon können
verwendet werden. Wenn sich der Cursor im Inneren der Regionen 16a oder 16b,
die sich in der Mitte der Schnittstelle 15 befinden, befindet,
verändert
sich das dargestellte Symbol des Cursors zu einem Vergrößerungsglas 17.
-
Wenn die Steuerungstaste der Maus
gedrückt
wird, verschiebt sich die Bildrichtung in die Richtung, in die mit
der Hand gezeigt wird, und mit einer Geschwindigkeit, die mit der
Entfernung der Hand von der Mitte der Anzeige verbunden ist. In
der Mitte der Anzeige verändert
sich das Handsymbol in ein Vergrößerungsglas 17,
das es ermöglicht
heran zu zoomen (wenn sich der Cursor in der oberen Region der Mitte 16a der
Schnittstelle 15 befindet) und heraus zu zoomen (wenn sich
der Cursor in der unteren Region 16b der Mitte der Schnittstelle 15 befindet),
was es dem Benutzer ermöglicht,
die Vergrößerungs-
oder Skalierungseigenschaften der momentanen Ansicht zu steuern.
Es können äquivalente
Zoom-Cursors einschließlich
von Pfeilen, Dreiecken, Balken, sich bewegenden Symbolen und Äquivalenten
davon verwendet werden. Unter der Steuerung des Benutzers vermittelt
das System den Eindruck eine virtuelle Videokamera in der Umgebung,
die in der Bilddatendatei 6 gespeichert ist, in irgendeine
gewünschte
Richtung zu richten.
-
3 zeigt
die Befehlsdatendatei
7 für eine einfache Folge. Ein
Anfangssatz implementierter Befehle umfaßt START, MOVE, ZOOM, PAUSE,
LAUNCH und END. Mit diesen einfachen Befehlen kann eine Fahrt durch
den Einzelbilddatensatz erzeugt und eine zwingende Folge generiert
werden. Die grundlegenden Befehle und eine kurze Beschreibung ihres
Zwecks sind im folgenden angegeben.
| START: | Beginnt
die Folge Schwenken, Kippen und Vergrößerung aus einem Speicher. |
| MOVE: | Bewegt
das Bild in einer bestimmten Zeit an einen neuen Ort. |
| ZOOM: | Vergrößert das
Bild in einer bestimmten Zeit auf eine neue Vergrößerung. |
| PAUSE: | Wartet
vor einer Fortsetzung während
einer spezifizierten Zeitdauer. |
| LAUNCH: | Startet
eine neue Datei, d. h. entweder einen Ton, ein neues Bild oder eine
andere Datenform (Textfenster, Video, anderes), um die Sequenz fortzusetzen. |
| END: | Beendet
die Fehlsausführung
in der Befehlsfolgedatendatei 7. |
-
In einer alternativen Ausführungsform
können
andere Befehlsfolgedatendateien aus anderen Befehlsfolgedateien
heraus gestartet werden. Auch kann aus einer anderen Befehlsfolgedatei
eine Sprungeigenschaft gestartet werden, um von einem Abschnitt
zu einem anderen zu springen. Dies kann in einer Editorumgebung implementiert
sein.
-
Die Befehlsdatei wird mit einem Softwareentwicklungswerkzeug
erzeugt, das der oben in Verbindung mit 2 beschriebenen Schnittstelle ähnlich sein
kann, jedoch zusätzliche
Ent wicklerwerkzeuge aufweist. Diese zusätzlichen Entwicklerwerkzeuge
können
eine Aufzeichnungsbeginnfunktion, Aufzeichnungsstoppfunktionen,
Aufzeichnungswiederaufnahmefunktionen, Start einer neuen Datei,
Verbinden einer neuen Bilddatei mit einem Abschnitt der angezeigten
Bilder umfassen. Um eine Befehlsfolgedatendatei 7 zu erzeugen,
beginnt der Entwickler eine Aufzeichnungsfunktion, ruft eine gewünschte Bilddatendatei 6 auf,
bewegt sich durch die Bilddatendatei und hält die Aufzeichnungsfunktion
an oder stoppt sie. Das System speichert die durch den Entwickler
eingegebenen Befehle als die Befehlsfolgedatendatei 7.
Falls dies gewünscht
wird, kann die Befehlsfolgedatendatei 7 mit einfachen Texteditierungswerkzeugen
editiert werden. Befehlsdateien können aus einer Reihe von Befehlen
entwickelt werden, die eine ähnliche
Intention haben, jedoch bezüglich
ihres Namens von den hier aufgelisteten verschieden sind.
-
Die in 3 gezeigte
Befehlsfolge zeigt durch einen Entwickler aufgezeichnete oder eingegebene
Befehle. Wenn diese Befehle ausgeführt werden, produzieren sie
eine visuelle und Audio-Fahrt eines Bildschirms. Bei diesem Beispiel
betrifft die Datei LOBBY.BUB ein Bild einer Hoteleingangshalle.
Die Datei ROOM.BOB betrifft eine Bilddatei eines von der Hoteleingangshalle
entfernten Raumes. Die Datei WELCOME.WAV betrifft eine Audio-Einführung, die
zur Datei LOBBY.BOB in Beziehung steht. Hier betrifft WELCOME.WAV
einen Audio-Clip, mit dem ein Benutzer in der Eingangshalle eines
Hotels Willkommen geheißen wird.
Beim Ausführen
der in 3 aufgelisteten
Befehlsfolge zeigt der Monitor 11 ein Bild der Hotellobby,
das für
drei Sekunden gehalten wird, wie im Schritt 3A gezeigt
ist. Eine Einführungstondatei
mit dem Titel "Welcome" wird dann gestartet,
wie durch Schritt 3B gezeigt ist. Ein zwei Sekunden dauerndes
Schwenken durch den Raum vom Startpunkt nach rechts läuft über 70° ab, wie
im Schritt 3C gezeigt ist. Im Schritt 3D wird
während
einer Zeitspanne von 4 Sekunden ein Zoomen, um die Bildgröße zu verdoppeln,
mit dem Start eines weiteren Bildes, vorgenommen, das dann, wie
in dem Schritt 3E gezeigt ist, erscheint. Die hinter der ROOM.BOB-Datei
spezifizierten Felder zeigen an, wo sich das angezeigte Rechteck
auf dem neuen Bild befinden soll.
-
Betrachtet man insbesondere die Datenfelder,
die den jeweiligen Befehl begleiten, hat jedes der Felder PAN, TILT,
ZOOM und TIME spezielle Bereiche, die in Beziehung zur angezeigten
oder abgespielten Information stehen. Die Kombination der Felder
beschreibt, welcher Teil des Bildes angezeigt werden soll. Das Feld PAN
steht in Beziehung dazu, wie weit links oder rechts der Totlage
sich der anzuzeigende Bildabschnitt befindet. Das Feld PAN wird
in Grad von –180° bis +180° gemessen,
wobei 0° direkt
voraus ist. Direkt hinter dem Beobachter wird als –180° oder +180° bezeichnet,
wobei die positiven Gradzahlen um die rechte Seite des Betrachters
zunehmen. TILT steht in Beziehung dazu, um welche Gradzahlen nach
oben und nach unten von der Mittellinie des Bildes sich die Anzeige ändern sollte.
TILT erstreckt sich von –90°, d. h. direkt
nach unten, bis +90°,
d. h. direkt nach oben. ZOOM steht im Bezug zum Vergrößerungsgrad,
der für
einen bestimmten Bildabschnitt gewünscht wird. Im vorliegenden
Fall ist das ZOOM-Feld von 3A 1,1. Das bedeutet, daß der Vergrößerungsgrad
das 1,1fache einer Standardvergrößerung ist.
Schließlich
steht das Feld TIME in Bezug dazu, wieviel Zeit zugeteilt wird,
um von der vorherigen Anzeige zur momentanen Anzeige überzugehen.
Beispielsweise zeigt der Schritt 3C an, daß der angezeigte
Abschnitt mit einem positiven Kippen von 10°, einem Zoom von 1,1 in einer
Zeit von 2 Sekunden zu 70° nach
rechts schwenken sollte. Alternative Darstellungen einschließlich von
Radiant, Gradienten und äquivalenten
Zählsystemen
können
verwendet werden.
-
4 zeigt
ein Anzeigerechteck 41, das sich über ein Bild 40 bewegt.
Das Bild 40 ist eine virtuelle Darstellung des entzerrten
halbkugelförmigen
Bildes, das mit einer Weitwinkellinse erfaßt wurde. Das Fortbewegen des
Rechtecks 41 über
den Kreis 40 von 4 zeigt
eine typische Folge, wie sie aus der Befehlsdatei von 3 gesehen werden könnte. Der
Kreis 40 stellt den gesamten kugelförmigen Bilddatensatz der Eingangshalle
dar, wobei das Rechteck 42 den momentan entzerrten und
angezeigten Abschnitt des Bildes zeigt. Wenn die Schritte 3C und 3D ausgeführt werden,
bewegt sich das angezeigte Rechteck von den Koordinaten der Bildebene
des Rechtecks 41 zu den Koordinaten der Bildebene des Rechtecks 42 und
zu den Koordinaten der Bildebene des Rechtecks 43. Der
Kreis 40 ist ein virtuelles Bild, das im Speicher des Computers 10 erzeugt wird.
Die Nummern 3A bis 3B betreffen die Ansichten,
die durch die Befehlsdatei gesteuert werden.
-
Jedoch, da das Entzerren eines gesamten
Bildes, wie es in 4 gezeigt
ist, die Speichererfordernisse des Systems des Betrachters belasten
kann, muß nur
der momentan betrachtete Abschnitt entzerrt werden. Diese Technik
ist in weiteren Einzelheiten im US-Patent Nr. 5,185,667 offenbart.
Die 5 stellt ein Anzeigerechteck 51 in
einer halbkugelförmigen
Bilddatei 50 dar, ohne daß die Entzerrungstechnik angewandt
wurde. Der Unterschied ist, daß das
Anzeigerechteck 51 immer noch Anzeichen der sphärischen
Verzerrung zeigt, die im sphärischen
Bild enthalten sind.
-
6 zeigt
eine sphärische
Darstellung eines Bildes 60, das einen Betrachtungsort 62 umgibt,
der auf das Betrachtungsrechteck 61 blickt, wenn sich das
Betrachtungsrechteck unter der Steuerung der Befehlsfolgedatendatei 7 oder
des Betrachters bewegt.
-
Um einen Eindruck von Video über Kommunikationskanäle mit schmaler
Bandbreite (Telefonmodem) bereitzustellen, wurden zahlreiche Kompressionstechniken
entwickelt. Selbst die beste dieser heute verfügbaren Techniken leidet unter
geringer Bildqualität,
geringer Bildgröße und dem
Erfordernis eines kontinuierlichen Datenstroms von der Quelle zum
Benutzer. Die vorliegende Erfindung spricht diese Gesichtspunkte
für eine breite
Klasse von Videosequenzen an, die ein Blicken in verschiedene Richtungen
von einem einzigen Aussichtspunkt in einer statischen Umgebung betreffen
(ein Freilandpanorama, das Innere eines Fahrzeugs, das Innere eines
Raums, etc.). Diese Umgebungen könne
in einer Videopräsentation
durch Sequenzieren bzw. in einer Reihenfolge Anordnen von Winkel-
und Vergrößerungsbefehlen,
welche die Präsentation
lenken, so betrachtet werden, als ob eine Kamera Videodaten an demselben
Ort erfaßt
hätte.
-
Die resultierende Bildsequenz weist
eine hohe Qualität
auf, da sie von einem hoch aufgelösten Standbild ausgeht. Die
Bildgröße kann
groß oder
klein sein, ohne die Größe der Daten
zu beeinflussen, die benötigt wird,
um die Präsentation
zu gestalten. Die Daten können
in einer Batch-Form verteilt werden, wenn die Folge aus einer Standbilddatendatei
erzeugt wird und ihre Dauer durch die Befehlsfolge und nicht durch
die Bandbreite oder die verfügbare
Speichergröße, um den
Datenstrom aufrechtzuerhalten, bestimmt wird. Ein Vorteil des Übertragens
der multimedialen Dateien als eine komprimierte Gruppe von Dateien
in einem Batch ist, daß keine
kontinuierliche Verbindung zwischen dem Computer 10 und
den Kommunikationsnetzen aufrechterhalten werden muß. In dieser
Beziehung werden weniger Systemressourcen verwendet, da die Dateien
nicht kontinuierlich heruntergeladen werden müssen. Vorzugsweise dekomprimiert
und formatiert der Computer 10 die nächste zur Anzeige vorgesehene
Bilddatei während
ein Betrachter ein Bild betrachtet.
-
Die allgemein verfügbare Bandbreite,
um digitale Information zu verteilen, ist momentan durch verdrillte
Zweidahtleitungssysteme auf ungefähr 28,8 kbs beschränkt und
wird bei zukünftigen
Verfahren unter Verwendung von Faseroptiken, Satellitenübertragung,
Kabelmodems, etc. und damit verbundenen Übertragungssystemen ansteigen.
Die vorliegende Erfin dung stellt ein Mittel und eine Vorrichtung
bereit, um die Verteilung von fesselnden Videoeindrücken für bestimmte
Anwendungen über
momentan verfügbare
Netze zu behandeln.
-
Aus der vorhergehenden Beschreibung
ist oder sollte leicht erkennbar sein, daß das beschriebene Betriebsverfahren
und -vorrichtungen einem Benutzer ermöglicht, einen vollkommen eingebetteten
geführten
und ungeführten
Eindruck zu erhalten und daß das
offenbarte System die beabsichtigten Ziele erreicht. Selbstverständlich betrifft
die vorhergehende Beschreibung bevorzugte Ausführungsformen der Erfindung
und es können
zahlreiche Änderungen
und Abwandlungen vorgenommen werden, ohne vom Umfang der Erfindung,
die durch die beigefügten
Ansprüche
definiert ist, abzuweichen.