DE69922705T2

DE69922705T2 - System zur numerischen erfassung und aufnahme von panoramabildern.

Info

Publication number: DE69922705T2
Application number: DE69922705T
Authority: DE
Inventors: Scott Gilbert; David Kaiman; C. Michael PARK; C. David RIPLEY
Original assignee: Imove Inc
Current assignee: Imove Inc
Priority date: 1999-05-12
Filing date: 1999-07-15
Publication date: 2005-12-08
Anticipated expiration: 2019-07-16
Also published as: CA2372110A1; JP2002544742A; IL146362A0; AU5213299A; EP1204933A1; DE69922705D1; US6323858B1; EP1204933A4; EP1204933B1; WO2000070486A1; ATE285092T1; CA2372110C

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft die Fotographie und insbesondere ein System zur digitalen Erfassung und Aufzeichnung von Panoramabildern.
Hintergrund der Erfindung
Ein Panoramabild ist ein Bild mit einem breiten Sichtfeld. Ein Panoramabild kann ein Sichtfeld bis zu einer vollständigen Kugeloberfläche umfassen, das heißt 360 Grad in der horizontalen Richtung und 180 Grad in der vertikalen Richtung.
Panoramabilder können unter Verwendung mathematischer Modelle von einem Computer generiert werden oder können durch Verbinden einer Zahl von photographisch erfaßten Bildern hergestellt werden. Die Zahl der Bilder, die zur Herstellung eines Panoramas miteinander verbunden werden müssen, wird durch das Sichtfeld jedes der Bilder bestimmt, die miteinander verbunden werden. Beispielsweise kann mit einer Fischaugenlinse ein sehr breites Sichtfeld erfaßt werden und es müssen lediglich eine geringe Zahl von Bildern, wie beispielsweise zwei, zur Herstellung eines kugelförmigen Panoramas verbunden werden.
Zum Zusammenfügen der Ränder der Bilder und zum Verbinden einer Anzahl von Bildern zur Herstellung eines Panoramas stehen Computerprogramme zur Verfügung. Beispielsweise wird in den US-Patenten 5,023,925 und 5,703,604 ein System zur Erfassung von Bildern, zur Verbindung der Bilder zu Panoramen und zur Ansicht ausgewählter Abschnitte der Panoramabilder beschrieben. Ein System zur Erfassung von Bildern unter Verwendung einer Mehrlinsenkamera wird von Dodeca, L.L.C. aus Portland, Oregon kommerziell vertrieben. Beim Dodecasystem werden die Bilder unter Verwendung des herkömmlichen NTSC-Videostandards auf einem Videoband aufgezeichnet.
In der anhängigen US-Patentanmeldung mit der Seriennummer 09/310,715 des Anmelders mit Anmeldedatum vom 12. Mai 1999, dem jetzigen US-Patent 6,337,683, wird beschrieben, wie eine Reihe von Panoramabildern in einen Panoramafilm verwandelt werden kann, mit dem eine Bewegung durch einen 3-dimensionalen Raum simuliert wird. Zur Herstellung eines Panoramafilmes müssen Bilder erfaßt, aufgezeichnet und verbunden werden. Das System des Stands der Technik zur Erfassung und Speicherung bildet eine Reihe von zur Verbindung in Panoramen geeigneten Bildern ab, die unter Verwendung des herkömmlichen NTSC-Videoformats erfaßt und gespeichert wurden. Die analogen Signale im NTSC-Format werden dann später in digitale Signale umgewandelt.
Beim NTSC-Videoformat werden sich überlappende Felder verwendet. Falls die Bilder unter Verwendung des NTSC-Formats mit Überlappung vor einem Verbinden erfaßt und gespeichert werden, muß die Überlappung beseitigt werden. Dies kann mit Hilfe einer Vielzahl von Techniken erreicht werden. Werden beispielsweise Bilder mit 60 überlappenden Feldern pro Sekunde erfaßt, kann jedes zweite Bild ausgelassen werden kann, so daß 30 sich nichtüberlappende Digitalbilder pro Sekunde erhalten werden. Alternativ können jeweils zwei benachbarte sich überlappende Felder zu einem Digitalbild ohne Überlappung kombiniert werden. Jedoch gehen unabhängig davon, wie die Überlappung beseitigt wird, Daten verloren oder werden unerwünschte Zwischenbildartefakte in die resultierenden Bilder ohne Überlappung eingefügt.
In der US-A-5023725 werden eine Dodeca-hedral-Umgebungsphotographie und ein auf einem pentagonalen Format basierendes Projektionssystem offenbart. Dieses System umfaßt ein digitales Bilderfassungssystem mit einer Erfassungseinheit, die gleichzeitig mehrere überlappende Bilder erfaßt, einen Computer, in dem die Bildinformationen gespeichert werden, und ein Steuerungsmittel zur Steuerung der Wiedergabe gespeicherter Daten.
US-A-5708469 offenbart eine Multipositionskameravorrichtung und ein Verfahren für ein drei-dimensionales computergesteuertes Kamerasystem.
US-A-5235198 offenbart einen Flächenbildsensor der Bauart mit Zwischenzeilen-Transfer, der in einem nicht-überlappenden Modus arbeitet.
US-A-5355450 offenbart einen Mediencomposer zum Editieren von Quellmaterial.
US-A-55329616 offenbart ein Grafiksystem, bei dem graphische Bilder zur Speicherung in einem Speicher komprimiert werden können.
Bei der vorliegenden Erfindung werden die durch das NTSC-Format verursachten Probleme durch Erfassen und Speichern der ursprünglichen Bilder unter Verwendung einer digitalen progressiven Vollbildtechnologie (ohne Überlappung) beseitigt. Da bei der vorliegenden Erfindung zu Beginn Bilder unter Verwendung einer digitalen progressiven Vollbildtechnologie erfaßt werden, kann gemäß der vorliegenden Erfindung eine Folge aus mit erfaßten und aufgezeichneten Bildern hergestellten Panoramen als ein Panoramafilm angezeigt werden, der zuverlässig eine rasche Bewegung durch einen mehrdimensionalen Raum wiedergibt.
Es ist bekannt, daß eine kubische Darstellung eine besonders wirkungsvolle Technik zur Wiedergabe eines Panoramas darstellt. Das daß das Speichern von sechs Bildern, die kollektiv ein gesamtes sphärisches Panorama wiedergeben, ist bezüglich der zur Speicherung eines derartigen Panoramas erforderlichen Speichermenge besonders wirksam. Gemäß einer Ausführungsform der vorliegenden Erfindung wird eine Bilderfassungsvorrichtung bereitgestellt, die inhärent aus der einer kubischen Darstellung inhärenten Speichereffizienz Vorteile zieht.
Abriß der vorliegenden Erfindung
Dementsprechend wird gemäß der vorliegenden Erfindung eine digitale Bilderfassungseinheit mit den Merkmalen gemäß Anspruch 1 bereitgestellt.
Gemäß der vorliegenden Erfindung wird ein sehr flexibles digitales System zur Erfassung und Speicherung von Panoramabildern unter Verwendung einer progressiven Abtastungstechnologie (ohne Überlappung) bereitgestellt. Das System umfaßt eine digitale Bildeingabevorrichtung und einen zugeordneten Steuerungscomputer. Da die Bilderfassungsvorrichtung digital ist, kann sie mit Hilfe von Software im Steuerungscomputer einfach und flexibel gesteuert werden.
Bei einer bevorzugten Ausführungsform umfaßt die Bildeingabevorrichtung sechs auf den sechs Flächen eines Würfels angeordnete Linsen. Während das Bildeingabesystem andere Linsenanordnungen umfassen kann, ist die Verwendung von sechs Linsen in einer würfelförmigen Formation für ein System optimal, das zur Erfassung eines sphärischen Panoramas verwendet wird. Die sechs Linsen fokussieren gleichzeitig verschiedene Bilder auf sechs CCDs (ladungsgekoppelte Bausteine). Die Bildeingabevorrichtung umfaßt auch einen einge betteten Kontroller und eine Datenkompressionsschaltung. Mit dem eingebetteten Kontroller wird die Belichtungszeit der CCDs gesteuert (d.h. die effektive Aperturgeschwindigkeit und Verschlußgeschwindigkeit) und werden Bilddaten von den CCDs gelesen. Die von den CCDs gelesenen Bilddaten werden komprimiert, gemultiplext und zum Steuerungscomputer gesendet. Der Steuerungscomputer speichert die Daten in Vollbildern, von welchen jedes ein Bild von jeder der sechs Linsen enthält. Jedes Vollbild umfaßt sechs Bilder, die gleichzeitig aufgezeichnet wurden, und beliebige zugehörige Informationen, wie beispielsweise Audiospuren, Textinformationen oder Umgebungsinformationen, wie beispielsweise GPS-(globales Positionierungssystem)-Daten oder künstliche Horizontdaten. Der Steuerungscomputer umfaßt eine Nutzerschnittstelle, die es einem Nutzer ermöglicht, Steuerungsinformationen, wie beispielsweise die Vollbildgeschwindigkeit, das Kompressionsverhältnis, die Verstärkung, etc. zu bestimmen. Der Steuerungscomputer sendet die Steuerungsinformationen zum eingebetteten Kontroller, der wiederum die CCDs und die Kompressionsschaltung steuert. Die Bilder können vom Steuerungscomputer zu einer Echtzeitbetrachtungsvorrichtung gesendet werden, so daß ein Nutzer bestimmen kann, ob korrekte Bilder erfaßt wurden. Die auf dem Steuerungscomputer gespeicherten Bilder werden später zu Panoramen verbunden und in Panoramafilme verarbeitet.
Kurzbeschreibung der Figuren
1A ist ein Gesamtdiagramm des Systems einschließlich der Bildeingabevorrichtung und des Steuerungscomputers.
1B ist eine Draufsicht der Bildeingabevorrichtung.
2 ist ein elektrisches Blockdiagramm der Schaltung in der Bildeingabevorrichtung.
3A ist ein Diagramm einer Bildschirmanzeige, die zeigt, wie ein Nutzer Steuerungsdaten eingibt.
3B ist ein Programmablaufdiagramm der vom Steuerungscomputer durchgeführten Arbeitsschritte.
4A zeigt ein Schlüsselbild (d.h. ein Panoramabild) mit einem Sichtfenster und zugeordneten Tonspuren.
4B ist ein Blockdiagramm, das die Hauptkomponenten der bevorzugten Ausführungsform zeigt.
5A – 5E zeigen eine Reihe von durch die verschiedenen Komponenten im in 4B gezeigten System durchgeführten Arbeitsschritten.
6A zeigt eine Folge von Vollbildern, die einen Panoramafilm bilden.
6B zeigt die den Vollbildern eines Panoramafilms zugeordnete Tonspur.
7 ist ein Diagramm einer Datei, die einen Pan-Film enthält, der aus einer Reihe von Panoramen besteht, die als eine Reihe von komprimierten Schlüsselbildern gespeichert sind, und einen Dateiindex zur Sequenzsteuerung der Wiedergabe der Schlüsselbilder.
8 ist ein Blockdiagramm eines Programms zur Eingabe von Hotspots in einen Pan-Film.
9A ist ein Blockdiagramm eines Systems zur Wiedergabe eines 3-D-Panoramafilms.
9B ist ein Blockdiagramm einer Echtzeitbetrachtungseinheit.
10 ist ein Ablaufdiagramm des Programms zur Betrachtung eines eine Folge von Panoramen enthaltenden 3-D-Filmes gemäß der vorliegenden Erfindung.
11 ist ein Diagramm, das die Audioinformation und andere mit jedem Schlüsselbild verbundene Steuerungsinformationen zeigt.
Beschreibung der Anhänge
Anhang A ist ein abgedruckter Computercode zur Wiedergewinnung von Bildern und zum Korrigieren der Perspektive von Bildern in einem Pan-Film.
Anhang B ist ein Beispiel einer Verbindungs-Steuerungsdatei für einen Pan-Film.
Anhang C ist ein Computerpseudocode zur Verbindung von Filmsequenzen zur Herstellung eines Pan-Filmes.
Beschreibung der bevorzugten Ausführungs
Ein Gesamtdiagramm einer bevorzugten Ausführungsform der Erfindung ist in 1 gezeigt. Dort ist eine digitale Bilderfassungsvorrichtung 10 gezeigt, die mit einem Steuerungscomputer 20 mittels eines Kabels 10c verbunden ist. Die Bilderfassungseinheit 10 umfaßt sechs Linsen 41a bis 41f, die auf den sechs Seitenflächen eines kubusförmigen Vollbilds 10a angeordnet sind. 1b ist eine Draufsicht der Bilderfassungsvorrichtung 10, die einige der Linsen 41a bis 41f zeigt, die in 1a nicht zu erkennen sind. Der Würfel 10a ist auf einem Griffstück 10b montiert.
In 2 ist ein Blockdiagramm der elektronischen Komponenten im Inneren der Bilderfassungsvorrichtung 10gezeigt. Dort befinden sich sechs CCD-Vorrichtungen 43a bis 43f wobei jeweils eine jeder der Linsen 41a bis 41f zugeordnet ist. Jede Linse 41 projiziert ein Bild auf die zugeordnete CCD-Vorrichtung 43. Jede Linse 41 umfaßt ein Sichtfeld mit 135 Grad. Somit weisen die verschiedenen Bilder eine bestimmte Überlappung auf, um sicherzustellen, daß die Bilder zu einem vollständigen Panorama verbunden werden können, ohne Flächen auszulassen. Das Sichtfeld der Linsen wird so gewählt, daß eine für ein wirksames Verbinden ausreichende Überlappung sichergestellt ist, ohne daß so viel Überlappung vorgesehen wird, daß Speicherplatz nutzlos verbraucht wird.
Der Ausgang jeder CCD 43 wird zu einem Analog/Digital-Wandler 44 und dann zu einer FIFO-(ferst-in-ferst-out)-Puffer-Speichervorrichtung 45 geführt. Die vom CCD Array 43 erfaßten Bilder liegen in der Form eines progressiven Abtastbildes vor, d.h. es besteht keine Überlappung. Für jeweils zwei Linsen wird ein JPEG-Kompressionschip 46 vorgesehen. Bei spielsweise die Ausgänge des FIFO 45a und FIFO 45b werden zum Kompressionschip 46h geleitet. Der Ausgang des Kompressionschips 46 wird zu den FIFO-Puffer-Speichern 46 und dann zum Computerbus 10c geleitet.
Bei den Linsen 41 und den CCD-Arrays 43 handelt es sich um ähnliche Komponenten wie sie in kommerziell erhältlichen Digitalkameras angetroffen werden. Auch bei den JPEG-Kompressionschips 44, den A/D-Wandlern 44, den FIFO-Speichern 45 und 47 und dem eingebetteten Kontroller 48 handelt es sich ebenfalls um kommerziell erhältliche Komponenten. Beispielsweise sind derartige Komponenten von Zulieferern, wie beispielsweise der Zoran Corporation oder Atmel Corporation erhältlich.
Ein eingebetteter Kontroller 48 steuert den Betrieb der verschiedenen in 2 gezeigten Komponenten. Steuerungsleitungen führen von jeder Vorrichtung in 2 zum eingebetteten Kontroller 48. Diese Steuerungsleitungen sind in 2 mit gepunkteten Linien 48a gekennzeichnet. Während in 2 zur Vereinfachung und Klarheit der Darstellung lediglich eine gepunktete Linie 48a gezeigt ist, ist jedoch verständlich, daß die gepunktete Linie 48 eine Steuerungsleitung vom Kontroller 48 zu jeder der Komponenten darstellt. Darüber hinaus geben die Leitungen 48a sowohl Steuerungs- als auch Zeitgabesignalleitungen wieder.
Bei einer bevorzugten Ausführungsform handelt es sich bei der Verbindung zwischen der Bilderfassungseinheit 10 und dem Rechner 20 (und vom Computer 20 zur Echtzeitbetrachtungsvorrichtung 30, die nachfolgend beschrieben wird), um einen seriellen „HOTlink" Bus. Derartige Verbindungen sind von Zulieferern wie beispielsweise der Cypress Semiconductor Corp. oder Dataforth Corporation, einem Unternehmen der Burr-Brow Company, kommerziell erhältlich. Alternativ können andere Typen von Hochgeschwindigkeitsverbindungen verwendet werden. Beispielsweise könnte es sich bei der Verbindung um eine Standard-SCSI-Verbindung handeln. Wie in 2 in weiteren Einzelheiten gezeigt ist, umfaßt die Verbindung 10c zwischen der Bilderfassungseinheit 10 und dem Steuerungscomputer 20 sowohl einen HOTlink Bus 48c, der Bilddaten überträgt, als auch um einen herkömmlichen seriellen Bus 48b, der Steuerungsinformationen überträgt.
Bei dem Steuerungscomputer 20 handelt es sich um eine herkömmliche Art eines Personal Computers mit einem Windows NT Betriebssystem. Das Windows NT Betriebssystem wird von der Microsoft Corporation aus Redmond, Washington vertrieben. Ein Anwendungspro gramm empfängt ein Eingangssignal von einem Nutzer und sendet Steuerungssignale vom Steuerungscomputer 20 zur Bilderfassungseinheit 10. Diese Signale können auf einem getrennten seriellen BUS 48b gesendet werden.
Von einem Nutzer können die folgenden Steuerungspunkte definiert werden:

1) Vollbildgeschwindigkeit: Vollbilder können mit entweder 15 oder 30 Vollbildern pro Sekunde erfaßt werden. Schnelle Bewegungen können mit einer höheren Vollbildgeschwindigkeit besser gezeigt werden, wobei jedoch mehr Speicherplatz verbraucht wird.
2) Verschlußsteuerung: Die Verschlußsteuerung kann entweder automatisch oder manuell erfolgen. Im automatischen Modus kann die Einstellung des Verschlusses entweder durch Erfassung des Lichtpegels an allen CCD-Arrays und Bestimmung einer mittleren Einstellung oder durch Auswählen eines CCD-Arrays und Einstellen einer anderen basierend auf der Lichtstärke an dieser einen Linse eingestellt werden. Die zulässigen Einstellungen sind die folgenden Automatisch: alle Sensoren werden gemittelt Automatisch: Steuerung durch den vorderen Sensor Automatisch: Steuerung durch den rechten Sensor Automatisch: Steuerung durch den linken Sensor Automatisch: Steuerung durch den hinteren Sensor Automatisch: Steuerung durch den oberen Sensor Automatisch: Steuerung durch den unterseitigen Sensor Manuell: 1/10000 Sekunde Manuell: 1/4000 Sekunde Manuell: 1/2000 Sekunde Manuell: 1/1000 Sekunde Manuell: 1/500 Sekunde Manuell: 1/250 Sekunde Manuell: 1/125 Sekunde Manuell: 1/60 Sekunde Manuell: 1/30 Sekunde
3) Verstärkungspegel: Falls gewünscht, kann das Eingangssignal verstärkt werden, um den Blickkontrast im Bild zu erhöhen. Die zulässigen Einstellungen sind Normal- und Zusatzverstärkung.
4) Kompressionsverhältnis: Mit dem Kompressionschip 46 kann ein veränderlicher Kompressionsbetrag auf die Signale angewandt werden. Eine geringere Kompression führt zu Bildern mit höherer Qualität, erfordert jedoch mehr Speicherplatz. Die zulässigen Einstellungen sind minimal, niedrig, mittel, hoch und maximal.

In 3A ist der dem Nutzer auf dem Computer 20 gezeigte Bildschirm dargestellt, mit dem der Nutzer die verschiedenen Parameter einstellen kann. Jeder Parameter umfaßt ein Pulldownmenü, so daß der Nutzer die geeigneten Einstellungen auswählen kann. Derartige Pulldownmenüs sind von herkömmlicher An. Auf der rechten Seite des in 3A gezeigten Bildschirms befindet sich eine Zahl zusätzlicher „Knöpfe", die der Bedienperson die Steuerung des Systems ermöglichen. Unten auf der Anzeige befinden sich Balken zur Anzeige, wieviel Plattenspeicher verwendet wurde, und zur Anzeige der Auslastung des Systems. Derartige Balken sind von herkömmlicher Art.
3B zeigt ein Blockdiagramm des Programms im Computer 20. In diesen gibt es verschiedene unabhängige Aufgaben, die auf einer Multitaskingbasis ablaufen. Die für die vorliegende Erfindung relevanten zwei Aufgaben sind in 3B gezeigt. Es können jedoch auch andere ablaufen. Eine Aufgabenerfassung und Steuerung ist durch Block 33 gekennzeichnet.
Wenn Daten von der Bildeingabevorrichtung 10 empfangen werden (angegeben durch Block 34a), können die Daten zu einer Echtzeitbetrachtungsvorrichtung gesendet werden, wie durch Block 34b gekennzeichnet ist, und können andere Daten, wie beispielsweise Text, Audio, GPS-(Global Positioning System)-Daten oder Kontrollinformationen zu den Bildern hinzugefügt werden, wie durch Block 34c angegeben ist, und werden die Bilder und zugeordneten Daten gespeichert, wie durch Block 34d angegeben ist. Textdaten wären lediglich Worte oder Figuren, die angezeigt werden, wenn das zugehörige Bild betrachtet wird. Audio- und Steuerungsinformationen werden nachfolgend beschrieben. GPS-Daten sind Daten, die den Ort zeigen, an dem ein Bild erfaßt wurde. Derartige Daten können automatisch mit kommerziell erhältlichen GPS-Vorrichtungen erfaßt werden.
Das System führt auch periodisch Überprüfungen bezüglich neuer Nutzereingaben durch, wie durch Block 35a angegeben ist. Wenn eine neue Eingabe empfangen wird, werden geeignete Befehle erzeugt und zum eingebetteten Kontroller 48 über einen seriellen Bus 48b gesendet. Die Struktur der Befehle und der Transfer von Befehlsinformationen zwischen dem Computer 20 und dem Kontroller 48 sind von herkömmlicher Art.
Um eine Bewegung durch einen mehrdimensionalen Raum zu simulieren, muß zunächst eine Reihe von Panoramabildern erfaßt werden, müssen die Panoramabilder als Vollbilder gespeichert werden und muß dann das geeignete Betrachtungsfenster aus den gewählten Vollbildern in einer geeigneten Folge angezeigt werden.
Ein Panoramabild liefert Daten bezüglich dessen, was in einer beliebigen Richtung von einem bestimmten Raumpunkt aus sichtbar ist. Zu einem bestimmten Zeitpunkt kann ein Betrachter bzw. Benutzer nur in eine Richtung blicken. Die Richtung oder der Betrachtungspunkt eines Betrachters bzw. Benutzers bestimmt das „Sichtfenster", d.h. den Teil eines Panoramabildes, der zu einem bestimmten Zeitpunkt auf einen Bildschirm projiziert wird. 4A zeigt ein Schlüsselbild (d.h. ein Panoramabild) bzw. ein Panorama 3a. Das Panorama 3a umfaßt ein Sichtfenster 3D, das einem Teil des Panoramas 3a entspricht. Das Panorama 3a weist eine dazu zugeordnete Zahl von Tonspuren 3c auf. Man beachte, daß zur Vereinfachung und Klarheit der Darstellung in 4A kein Versuch unternommen wurde, darzustellen, daß bezüglich der Perspektive ein Unterschied zwischen dem, was in einem Sichtfenster angezeigt wird, und dem, was in einem flachen Ausschnitt eines rechtwinkligen sphärischen Panoramas gespeichert ist, besteht, wie allgemein bekannt ist.
4B ist ein Gesamtdiagramm eines Systems, bei dem die bevorzugte Ausführungsform der Erfindung verwendet wird. Bilder werden von einer Bilderfassungseinheit 10 erfaßt. Die Bilder werden zu einem Computer 20 gesendet, der die Bilder speichert. Der Computer 20 steuert auch die Bilderfassungseinheit 10. Falls dies gewünscht wird, können die Bilder mit Hilfe einer Echtzeitbetrachtungseinrichtung 30 angesehen werden. Die Bilder werden vom Computer 20 zu einem Offline-Computer 21 übertragen. Der Computer 21 verbindet die Bilder zu Panoramen, überträgt die Bilder in ein equirechteckiges Format, fügt weitere Informationen zu den Bildern hinzu, komprimiert die Panoramen und verbindet die Panoramen zu einem Pan-Film. Schließlich kann der Pan-Film auf der Betrachtungseinrichtung 22 angesehen werden.
Die durch die Einheiten in 4 durchgeführten Arbeitsschritte sind in 5A, 5B, 5C, 5D und 5E gezeigt. Wie in 5A, Block 11a, gezeigt ist, erfaßt die Kameraeinheit 10 eine Zahl einzelner Betrachtungsbilder. Wie durch Block 11b gezeigt ist, werden diese Bilder komprimiert und zu einem Computer 20 gesendet. Vom Computer 20 wird die Bilderfassungseinheit 10, so wie zuvor erläutert, aktiviert, um die Bilder zu erfassen, wie durch Block 20a angegeben ist. Dieser empfängt dann die Bilder, wie durch Block 20b angegeben ist, und speichert sie.
Die gespeicherten Bilder werden manuell zum Offline-Computer 21 übertragen, der zur Durchführung der in 5C gezeigten Arbeitsschritte programmiert ist. Als erstes werden die Bilder dekomprimiert, wie durch Block 20a gezeigt ist, so daß sie bearbeitet werden können. Als nächstes werden die einzelnen Ansichtbilder zu einem Panorama verbunden und in das equirechteckige Format übertragen, wie durch Block 21b angegeben ist. Die sechs empfangenen Bilder (beispielsweise bei jedem 1/30-tel einer Sekunde, falls die Bilderfassungseinheit mit 30 Vollbildern pro Sekunde arbeitet) werden verbunden und in das equirechteckige Format übertragen, um ein Panorama zu ergeben, wie durch Schritt 21b in 5C angegeben ist.
Als nächstes werden Brennpunkte, die Unterbrechungspunkte in einer Folge von Bildern und in Tonspuren angeben, hinzugefügt, wie durch Block 21c angegeben ist. Schließlich werden die Bilder komprimiert, wie durch Block 21d angegeben ist, und zusammen mit einer Indexdatei gespeichert, wie durch Block 21e angegeben ist. Jedes Panorama wird als ein „Schlüsselbild" bezeichnet. Eine Reihe von in einer Folge angezeigten Schlüsselbildern wird als ein PAN-Film bezeichnet. Wird ein PAN-Film angezeigt, kann ein Betrachter zu einem bestimmten Zeitpunkt lediglich das beobachten, was sich im Sichtfenster des jeweiligen Bildes befindet.
Zur Betrachtung der PAN-Filme wird ein Betrachtungsprogramm im Betrachtungscomputer 22 verwendet. Die Betrachtungsvorrichtung 22 zeigt nacheinander eine Reihe von Bildern, d.h. eine Reihe von Schlüsselbildern, an. Die Betrachtungsvorrichtung 22 bestimmt für jedes angezeigte Schlüsselbild ein geeignetes Sichtfenster, wie durch Block 22a angegeben ist. Der Teil des Schlüsselbildes, der dem Sichtfenster entspricht, wird dann dekomprimiert und ange zeigt, wie durch Block 22b angegeben ist. Wie durch Block 22c angegeben ist, wird der Ton abgespielt und werden Brennpunkte angezeigt, falls dies zweckmäßig ist.
Falls gewünscht, können Bilder zur Echtzeitbetrachtungsvorrichtung 30 in der Form ihrer Erfassung gesendet werden. Die von der Echtzeitbetrachtungsvorrichtung 30 ausgeführten Schritte sind in 5E gezeigt. Nachdem die Bilder empfangen wurden, wie durch Block 23a angegeben ist, werden sie dekomprimiert, wie durch Block 23b angegeben ist. Schließlich werden die Bilder angezeigt, wie durch Block 23c angegeben ist.
Man beachte, daß die durch die Blöcke 20a, 20b, 21a bis 21e, 22a, 22b und 22c angegebenen Arbeitsschritte mit Hilfe von Computerprogrammen realisiert sind, die die gezeigten Funktionen ausführen. Computerprogramme sind in den Anhängen A, B, C und D angegeben.
6A gibt eine Folge bzw. Reihe von Panoramabildern in einem PAN-Film wieder bzw. veranschaulicht diese. Jeder Pfeil in 6 gibt ein Schlüsselbild wieder. Zu einem beliebigen bestimmten Zeitpunkt ist für einen Nutzer bzw. Beobachter lediglich ein Teil (d.h. das Sichtfenster) eines Schlüsselbildes sichtbar. Die Richtung jedes Pfeils gibt die Blickrichtung wieder, d.h. das Sichtfenster bzw. den Teil des Schlüsselbildes, der zur Betrachtung auf einen Schirm projiziert ist. Die Pfeile in 6A sollen ein bestimmtes „Sichtfenster" jedes Schlüsselbildes wiedergeben. Wie durch die Änderung der Richtung der Pfeile im mit dem Buchstaben E bezeichneten Bereich der 6A angegeben ist, kann ein Betrachter mit dem Ablauf des PAN-Filmes seine Blickrichtung ändern. Man beachte, daß ein Nutzer sich bei der Betrachtung eines Panoramas zur Oberseite oder Unterseite des Bildschirms richten kann und somit Bilder betrachten kann, die sich zusätzlich zu den in 4A durch die Pfeile gezeigten horizontalen Richtungen in einem Kreis mit 360 Grad von der Oberseite zur Unterseite befinden.
Die Bildfolge beginnt an dem mit dem Buchstaben A bezeichneten Punkt bzw. Schlüsselbild und die Folge bewegt sich zum mit dem Buchstaben B bezeichneten Punkt bzw. Schlüsselbild. An diesem Punkt kann der Betrachter wählen, sich entweder zum Punkt C fortzubewegen oder zum Punkt D. Die Auswahl kann durch "Klicken" auf einen gekennzeichneten „Brennpunkt" im mit B gekennzeichneten Panorama getroffen werden oder kann abhängig von einigen anderen Kriterien oder einer Handlung des Nutzers getroffen werden. Ein wichtiger Punkt besteht darin, daß am Verzweigungsspunkt B die Blickrichtung (die durch die Rich tung der Pfeile angegeben ist), unabhängig davon, welcher Weg für die weitere Bewegung gewählt wird, dieselbe bleibt. Hinter dem Verzweigungspunkt ist die Betrachtung vom ersten Vollbild auf beiden Wegen fast identisch. Mit fortschreitender Zeit und je mehr sich der Betrachter vom Verzweigungspunkt wegbewegt, um so mehr ändert sich allmählich die Betrachtung. Dies ist der Effekt, den eine Person beim Erreichen eines Gabelungspunktes eines Weges erfährt. Beim ersten Schritt der Person auf dem Verzweigungsweg bleibt das Sichtfeld der Person praktisch identisch.
Man beachte, daß die Pfeile am Verzweigungspunkt B nicht in die Richtung des zum Punkt D führenden Weges zeigen. Normalerweise würde ein Betrachter in die Richtung eines Verzweigungspunktes blicken, wenn er sich dazu entscheidet, sich in die Richtung des Verzweigungspunktes zu bewegen. Somit würde ein in die Richtung der in 6A gezeigten Pfeile blickender Betrachter normalerweise seinen Weg eher zum Punkt C fortsetzten, als den Weg zu Punkt D wählen.
Folgen von Schlüsselbildern können entweder an Verzweigungspunkten, wie beispielsweise am Verzweigungspunkt B, miteinander verbunden sein, oder es kann sich alternativ ein Verzweigungspunkt am Ende einer Folge von Schlüsselbildern befinden. Das bedeutet, daß sich ein Verzweigungspunkt am Endbild einer Folge von Schlüsselbildern befinden kann. Ein derartiger Verzweigungspunkt könnte zwei alternative Sequenzen umfassen, wovon eine von einem Nutzer durch Klicken auf einen der beiden Brennpunkte gewählt werden kann. Alternativ kann sich am Ende einer Folge von Schlüsselbildern ein impliziter Verzweigungspunkt befinden. An einem derartigen impliziten Verzweigungspunkt würde ohne irgendeine Handlung des Nutzers eine neue Folge von Vollbildern vom System gewählt.
Es existiert ein Verhältnis von 1:1 von Schlüsselbildern zu möglichen Nutzerpositionen. Somit besteht eine Korrelation zwischen der Vollbildgeschwindigkeit und der Bewegungsgeschwindigkeit des Nutzers. Bewegt sich der Nutzer durch die Umgebung, ist jedes angezeigte Vollbild ein neues Schlüsselbild. Je höher die Vollbildgeschwindigkeit für einen gegebenen Vollbildabstand ist, um so schneller bewegt sich der Benutzer. Bei einer festen Vollbildgeschwindigkeit kann die Bewegungsgeschwindigkeit des Nutzers durch den relativen Abstand der Schlüsselbilder diktiert werden. Je näher die Schlüsselbilder beieinander sind, um so langsamer bewegt sich der Nutzer. Beispielsweise sollten bei einer Bewegungsgeschwindigkeit von ungefähr 5 Meilen pro Stunde und einer Wiederabspielgeschwindigkeit der Vollbilder von 15 Vollbildern pro Sekunde einzelne Panoramabilder mit Schrittwerten von ungefähr 6 Zoll erfaßt werden. Die Berechung ist wie folgt: (5 Meilen/Stunde*63,360 Zoll/Meile)/(3600 Sek./Stunde*Nollbilder/6) = 6 Zoll pro Vollbild. Beim Anzeigen des Filmes kann die Bewegungsgeschwindigkeit durch Überspringen einiger Vollbilder erhöht werden (beispielsweise wird die Bewegungsgeschwindigkeit verdoppelt, falls jedes zweite Vollbild übersprungen wird). Das Überspringen von Vollbildern reduziert die Geschwindigkeit, mit der die Vollbilder zum Betrachter gesendet werden müssen und reduziert somit die erforderliche Bandbreite.
Zusätzlich zum Abstand zwischen den Schlüsselbildern, um unterschiedliche Bewegungsgeschwindigkeiten zu erreichen, kann die Orientierung einzelner Schlüsselbilder eingestellt werden, um einen gewünschten Bewegungseffekt zu erreichen, wie beispielsweise Ausblenden (Gate), Schlummer (Slumber), Schaukeln (Waddle), Kriechen (Crawl), Überspringen (Skip), etc. Die Orientierung eines Schlüsselbildes ist als die voreingestellte Ansicht (oder der Brennpunkt) des Nutzers im Panoramabild definiert, falls kein anderer Betrachtungspunkt speziell ausgewählt wird.
Die durch die Pan-Filme gelieferte visuelle Wirkung kann von Ton begleitet sein. 6B gibt an, daß jedes Schlüsselbild eine oder mehrere zugeordnete digitale Tonspuren umfassen kann. Die digitalen Tonspuren sind in 6B durch die gepunktete Linie gekennzeichnet, die jedem der Pfeile zugeordnet ist. Wie in 11 gezeigt ist und nachfolgend beschrieben wird, können jedem Schlüsselbild mehrere unterschiedliche Tonspuren zugeordnet sein.
Der durch den Block 21b gekennzeichnete Verbindungsarbeitsschritt wird mittels des Programms im Computer 21 durchgeführt. Im allgemeinen werden die einzelnen Bilder beim Verbindungsarbeitsschritt zu einem Panoramabild durch Ermitteln der besten möglichen Passung zwischen den verschiedenen einzelnen Bildern verbunden. Der Prozeß zur Verbindung von Bildern zu einem Panoramabild ist bekannt. Beispielsweise im US-Patent 5,694,531 wird ein Verbinden von Polygonen zu einem Panorama beschrieben, das einen geringen Fehler der Quadratwurzel aus dem Integral der Quadrate aufweist. Ein Computerprogramm, mit dem die sechs Bilder der Linsen 41a bis 41f der Kamera 20 zu einem Panorama verbunden werden können, ist im Anhang D angegeben.
Nachdem der Verbindungsarbeitschritt abgeschlossen ist, liegt bei jedem verbundenen Bild ein Panoramabild (das als Panorama bezeichnet wird) und bei jedem Panorama ein Vollbild eines Pan-Films vor. Vor dem Speichern werden die verbundenen Bilder komprimiert, so daß sie eine handhabbare Dateigröße aufweisen. Ein kommerziell erhältliches Kompressionsprogramm, das als „Indeo" bekannt ist, wird zur Komprimierung der Bilder verwendet. Das Indeo-Programm wurde von der Intel Corporation entwickelt' und vertrieben. Das Indeo-Kompressionsprogramm bietet einen Betriebsmodus, bei dem keine Zwischenvollbildkompression verwendet wird. Der Modus ohne Zwischenvollbildkompression des Indeo-Programms wird bei der vorliegenden Ausführungsform der Erfindung verwendet. Da keine Zwischenbildkomprimierung auftritt, kann in Vorwärts- oder Rückwärtsrichtung auf die Schlüsselbilder zugegriffen werden und können diese in Vorwärts- oder Rückwärtsrichtung betrachtet werden. Darüber hinaus wird nur der für ein bestimmtes Sichtfenster erforderliche Teil eines Panoramas dekomprimiert, wodurch Zeit- und Rechenressourcen gespart werden.

Die komprimierten Panoramabilder werden in Dateien auf Computerplatten, Band oder Kompaktdisks (CDs) gespeichert. Jede Datei umfaßt einen Anfangsblock und einen Index, wie in 7 gezeigt ist. Der Anfangsblock umfaßt Informationen, wie beispielsweise die folgenden:

Dateityp Etikett:
Dateigröße:	(Gesamtzahl der in der Datei verwendeten Bytes)
Indexgröße:	(Zahl der Einträge im Vollbildindex)
Maximale Vollbildgröße:	(Gesamtzahl der vom größten komprimierten Vollbild verwendete Bytes)
Codec:	(zur Komprimierung von Vollbildern verwendeter Codec)

Nach dem Dateianfangsblock wird ein Vollbildindex vorgesehen (siehe 7). Jeder Vollbildindex zeigt auf den Ort des zugeordneten Vollbildes, wie durch die Pfeile in 7 gezeigt ist. Somit können einzelne Vollbilder in jeder beliebigen Reihenfolge gelesen werden, indem ihr Ort aus dem Vollbildindex erhalten wird.
Der Indexierungsmechanismus wäre nicht notwendig, falls die Schlüsselbilder immer in der Reihenfolge der Vollbilder verwendet würden. Jedoch können bei der vorliegenden Erfindung die Schlüsselbilder, die den PAN-Film enthalten, vom System entweder in Vorwärts- oder in Rückwärtsrichtung abgespielt werden. Somit muß das System in der Lage sein, einzelne Vollbilder schnell in jeder beliebigen Reihenfolge zu lokalisieren. Des weiteren ist es wün schenswert, daß das System in der Lage ist, ein Schlüsselbild mit nur einem einzigen Plattenzugriff zu lokalisieren. Man betrachte die Situation, in der sich der Nutzer mit einer schnellen Fortbewegungsgeschwindigkeit (um die Bewegungsgeschwindigkeit zu erhöhen, werden einige Schlüsselbilder übersprungen) „rückwärts" bewegt (in der zur Plattenspeicherung der Schlüsselbilder entgegengesetzten Richtung). Ohne ein Schlüsselbildverzeichnis müßte die Platte in einer „umgekehrt-linearen" Weise durchsucht werden, um das nächste geeignete Schlüsselbild zu finden und zu laden. Mit einem Schlüsselbildverzeichnis wird der nächste Ort eines Schlüsselbildes unmittelbar lokalisiert und mit einem einzigen Zugriff auf die Platte geladen (unter der Annahme, daß das Verzeichnis selbst im RAM-Speicher gespeichert ist).
Wie in 4A angegeben ist, kann ein Betrachter von einer Bildsequenz zu einer anderen Bildsequenz abzweigen. Dies wird durch den Verzweigungspunkt B in 4a angegeben. Durch die Verzweigung verändert ein Nutzer effektiv die Richtung der simulierten Bewegung. Ein Nutzer gibt den Wunsch einer Richtungsänderung durch „Klicken" auf einen sichtbaren „Brennpunkt" oder durch anderweitiges Aktivieren eines verborgenen Brennpunktes an. Ein sichtbarer Brennpunkt kann durch jede Art eines sichtbaren Zeichens gekennzeichnet werden, das in einem Betrachtungsfenster sichtbar ist. Beispielsweise kann ein Brennpunkt durch einen hellen, roten Punkt im Betrachtungsfenster gekennzeichnet sein. Alternativ kann ein Brennpunkt dadurch gekennzeichnet sein, daß der Cursor seine Form ändert, wenn er sich über dem Brennpunkt befindet.
Man beachte, daß nicht alle in einem beliebigen Panorama sichtbaren, visuell erkennbaren alternativen Pfade tatsächlich als eine Verzweigung für einen PAN-Film verfügbar sind. Beispielsweise können an einer Straßenkreuzung Verzweigungen an nicht allen sichtbaren Straßen vorgesehen sein. Es muß jedoch Sorge getragen werden, daß sichergestellt ist, daß für einen Betrachter die tatsächlich zur Verfügung stehenden Verzweigungspunkte gekennzeichnet werden.
Bei einer Wiedergabegeschwindigkeit von 30 Vollbildern pro Sekunde müßte ein Nutzer für eine Betrachtungsvorrichtung sehr „schnell" sein, (d.h. tatsächlich wäre es für einen Betrachter praktisch unmöglich) um einen Brennpunkt, der auf einem einzelnen Vollbild erscheint, zu sehen und auf diesen zu klicken. Ohne einen frühzeitigen Hinweis wäre es für den Betrachter sehr schwierig, tatsächlich eine bestimmte Handlung zur Aktivierung einer Verzweigung während eines speziellen einzelnen Vollbildes auszuführen, da beim normalen Betrieb ein bestimmtes Vollbild nur für ungefähr 1/30tel einer Sekunde angezeigt wird. Zur Erhöhung der Wirksamkeit und Nutzerfreundlichkeit, muß einem Nutzer ein früher Hinweis bezüglich einer bevorstehenden, eine Handlung des Nutzers erfordernden Verzweigungsmöglichkeit gegeben werden. Ein Brennpunkt in einem Pan-Film muß für einen Betrachter in einer relativ großen Anzahl von Schlüsselbildern sichtbar sein. Beispielsweise könnte ein Brennpunkt in den 30, einem Verzweigungspunkt vorhergehenden Schlüsselbildern sichtbar sein (oder Nachfolgenden bei einer Operation in umgekehrter Richtung).
Brennpunkte werden in der in 8 gezeigten Weise in einen Pan-Film eingefügt. Die Brennpunkte werden in die Schlüsselbilder mit Hilfe eines Computers 21 eingefügt, bevor die Vollbilder komprimiert werden, wie durch die Blöcke 21c und 21d in 5C angegeben ist. Man beachte, daß Brennpunkte in einen Pan-Film eingefügt werden können, indem das ursprüngliche Panoramabild so geändert wird, daß es den Brennpunkt umfaßt oder alternativ durch Bereitstellen eines Überlagerungsbildes, das das Brennpunktbild enthält. Falls eine Überlagerung verwendet wird, muß das Überlagerungsbild zur selben Zeit wie das ursprüngliche Bild projiziert werden. Wie mit Block 87a angezeigt ist, muß zuerst bestimmt werden, um wieviel im voraus der Nutzer gewarnt werden soll. Falls ein Brennpunkt eine bestimmte Größe zu dem Zeitpunkt aufweisen soll, zu dem eine Handlung erforderlich ist, ist er bei einer Betrachtung im voraus (d.h. aus der Entfernung) viel kleiner. Wie durch Block 87b angegeben ist, muß der Bereich ausgewählt werden, an dem sich der Brennpunkt befinden soll, um Brennpunkte in einen Pan-Film einzufügen. Im allgemeinen wird dies in einer Ansicht erfolgen, in der man in die Richtung blickt, in der die Verzweigung auftreten wird. Der Brennpunkt wird dann durch Modifizieren der Bilder in das Panorama eingefügt.
Ein Brennpunkt kann durch einen hell gefärbten Umriß gekennzeichnet sein, der dem Bereich überlagert wird. Die Fläche im Umriß kann etwas dunkler oder heller sein. Das Ziel besteht darin, den Bereich hervorzuheben, ohne das Bild selbst zu verdunkeln. Verschiedene andere alternative Hinweise können ebenfalls verwendet werden.
Falls beispielsweise ein Brennpunkt in 30 Vollbildern zu sehen ist, kann er in jedes Vollbild eingefügt werden, wobei mit einer kleinen Punktgröße im ersten der 30 Vollbilder begonnen und mit der größten Punktgröße im 30. Vollbild beendet wird. Alternativ kann eine Interpolation verwendet werden. Der Brennpunkt mit der korrekten Größe wird für den ersten, mittle ren und letzten der 30 Vollbilder konzipiert und für die dazwischen liegenden Vollbilder wird eine Interpolation verwendet.
Der Prozeß wird wiederholt, wie durch die Blöcke 87d und 87e angegeben ist, bis das Schlüsselbild am Verzweigungspunkt erreicht ist. Schließlich wird der Prozeß aus der vom Verzweigungspunkt entgegengesetzten Richtung wiederholt, so daß der Verzweigungspunkt sichtbar ist, wenn der Pan-Film in der umgekehrten Richtung gezeigt wird.
Die Veränderungen der einzelnen Schlüsselbilder können manuell mit einem herkömmlichen Bildeditor vorgenommen werden oder der Prozeß kann mit einem gerade für diesen Zweck konzipierten Programm automatisiert werden.
Um einen nicht notwendigen Eingriff des Nutzers zu vermeiden, können „verborgene" Brennpunkte hinzugefügt werden, um mehrere Pan-Filme miteinander zu verbinden. Bei einem verborgenen Brennpunkt handelt es sich um einen solchen, der nicht manuell vom Nutzer ausgewählt werden muß. Wenn der Nutzer sich bei einem verborgenem Brennpunkt in ein bestimmtes, einen verborgenen Brennpunkt umfassendes Schlüsselbild „bewegt" und nicht in die allgemeine Richtung des Brennpunktes „blickt", reagiert das System basierend auf der impliziten Auswahl des Brennpunktes durch den Nutzer und der Nutzer wird durch den Brennpunkt geführt auf den Weg geschickt.
9A ist ein Blockdiagramm der Betrachtungsvorrichtung 22 mit der Pan-Filme abgespielt bzw. angezeigt werden. Die Hauptkomponenten der Betrachtungsvorrichtung 22 sind eine CD-Plattenlesevorrichtung 80, ein Computer 81, eine Anzeige 82, eine Tastatur 84 und eine Maus 84. Der Computer 81 liest Schlüsselbilder von der Platte 80 und zeigt das Sichtfenster jedes Schlüsselbildes auf der Anzeige 82 an. Die Bedienperson bzw. der Nutzer verwendet die Maus 85 zur Kennzeichnung einer Blickrichtung. Die Blickrichtung bestimmt ein Sichtfenster, das auf der Anzeige 82 durch den Computer 81 angezeigt wird. Ein Programm, in dem die Blöcke 22a bis 22c implementiert sind (in 3D gezeigt), wird im Computer 81 gespeichert und von diesem ausgeführt.
9B ist ein Blockdiagramm der Echtzeitbetrachtungsvorrichtung 30. Als eine Option können die von der Kamera 10 aufgenommenen Bilder in Echtzeit betrachtet werden. Die Bilder werden vom Computer 21 zur Betrachtungsvorrichtung 22 in Echtzeit übertragen. Der Trans fer erfolgt mit Hilfe eines HOTlink-Busses zu einer HOTlink-Karte 86a. Die Bilder werden von der Karte 86a zum RAM-Speicher 86b und dann zur Dekomprimierungskarte 86c bewegt, welche die Dekomprimierung durchführt. Von der Dekomprimierungsbaugruppe 86c bewegen sich die Bilder zurück zum Speicher und dann zur CPU 86d, welche die Bilder in der notwendigen Weise kombiniert bzw. verbindet und zur Videokarte 86e überträgt, von der sie auf dem Monitor 86f anzeigt werden. Die Betrachtungsvorrichtung 30 wird über eine herkömmliche Maus 86m und eine Tastatur 86k gesteuert.
10 ist ein Blockdiagramm eines Programms zur Anzeige von Pan-Filmen. Das im Blockdiagramm von 10 gezeigte Programm wird vom Computer 81 in 9a ausgeführt. Der Prozeß beginnt beim Block 91 mit einer Benutzereingabe. Der Benutzer muß einen Startort angeben. (Am Anfang des Prozesses wäre dies normalerweise das erste Vollbild im Film). Der Nutzer muß auch eine Bewegungsrichtung, die Geschwindigkeit und die Blickrichtung bestimmen. Wie durch die Blöcke 92, 92a, 92b und 92c angegeben ist, bestimmt das System die entsprechenden Pan-Vollbilddaten und liest diese darauffolgend. Wie durch die Blöcke 96 und 96a angegeben ist, bestimmt das System den Teil des Pan-Vollbildes, das sich im gewählten Sichtfenster befindet und dieser Teil des Vollbildes wird dekomprimiert. Wie durch die Blöcke 97 und 97a angegeben ist, wird das Bild zurückprojiziert, um eine perspektivische Ansicht zu erhalten. Falls die Brennpunkte nicht auf den momentanen Schlüsselbildern angeordnet wurden, sondern in einer getrennten Datei enthalten sind, wird die Brennpunkt-Bildsymbolik auf das Bild überlagert. Schließlich wird, wie durch den Block 98 angegeben ist, der Teil des Bildes, der das Sichtfenster bildet, auf den Bildschirm projiziert.
Bei der Bewegung des Nutzers wird das nächste erforderliche Schlüsselbild mittels der momentanen Position und der Bewegungsrichtung des Nutzers bestimmt. Der Ort dieses Schlüsselbildes in der Bilddatei wird über das Dateiindexverzeichnis bestimmt. Die Schlüsselbilder werden in den RAM-Speicher geladen, dekomprimiert und der Reihe nach angezeigt. Um die Leistungsfähigkeit zu erhöhen, müssen nur die Teile des Sichtfensters (abhängig vom momentanen Blick des Nutzers) des Schlüsselbilds in den RAM geladen werden. Falls zur Vereinfachung der Programmierung das gesamte Schlüsselbilds in den Speicher geladen wird, müssen nur die Teile des Sichtfensters des Schlüsselbildes dekomprimiert werden. Falls das gesamte Schlüsselbild als ein Ganzes komprimiert ist, ist ein eine „lokale Dekomprimierung" unterstützender Dekomprimierer wie z.B. Intel Indeo wirksamer. Um den Teil des Panoramas zu bestimmen, der notwendig ist, um eine bestimmte Ansicht anzuzeigen, wird jede Eckkoor dinate der jeweiligen Betrachtungsebene (Anzeigefenster) in Panoramakoordinaten umgewandelt. Die resultierenden Panoramakoordinaten geben nicht notwendigerweise ein Rechteck wieder, so daß das Begrenzungsrechteck dieser Panoramadaten benötigt wird, um eine perspektivische Ansicht mit einer gegebenen Betrachtungsorientierung abzuleiten.
Sobald die Ecken des gewünschten Begrenzungsrechtecks bestimmt sind, wird das Indeo-Dekomprimierungsprogramm instruiert, lediglich den Teil des Schlüsselbildes zu dekomprimieren, der für das spezielle Sichtfenster notwendig ist. Um dies auszuführen, muß das Programm die Video-For-Windows-Funktion ICSetState vor einem Dekomprimieren des Vollbilds aufrufen. Der C-Code dafür ist wie folgt:
Falls die zur Speicherung des Pan-Vollbilds verwendete Projektion so ist, daß eine Diskontinuität bei den Pixeln bezüglich der sphärischen Koordinaten besteht, die sie wiedergeben, kann der notwendige lokale Bereich aus der Kombination mehrerer kontinuierlicher Bereich bestehen. Für eine vollkommen zylindrische/kugelförmige equirechteckige Projektion (die um 0 Grad zentriert ist) gibt der linke Pixelrand -180 Grad und der rechte Pixelrand 180 Grad wieder. In sphärischen Koordinaten ist -180 Grad dasselbe wie 180 Grad. Somit geben die diskontinuierlichen linken/rechten Pixel einen kontinuierlichen „automatischen Zeilenumbruch" (wrap-around) in sphärischen Koordinaten wieder.
Die Mathematik zu Bestimmung des Teils des für ein bestimmtes Betrachtungsfenster benötigten Ursprungsschlüsselbildpanoramas hängt von der zur Speicherung des Panoramas verwendeten Projektion ab. Wahlweise kann der Betrachter das nächste Schlüsselbild, das geladen werden muß, vorhersagen (abhängig von der Richtung der Bewegung des Nutzers und der Geschwindigkeit) und es vorladen, um die Leistungsfähigkeit zu steigern. Für eine equirechteckige Projektion eines vollständigen sphärischen Panoramabildes sind die Gleichungen zur Bestimmung des erforderlichen Teils wie folgt, wobei:
Kleinbuchstaben Skalarvariablen, fettgedruckte Kleinbuchstaben Vektoren und fettgedruckte Großbuchstaben Matrizen sind.
Der Panoramapunkt (s, t) wird von irgendeinem perspektivischen Ebenenpunkt (u, v) abgeleitet.
Die perspektivische Ebene weist eine Brennweite I vom Zentrum der Projektion auf.
Zusätzlich kann die perspektivische Ebene willkürlich über eine gegebene Blickorientierung, insbesondere mit Heading, Pitch und Bank (h, p, b) gedreht werden.
Jeder beliebige Punkt in der perspektivischen Ebene ist durch den folgenden 3D-Vektor bestimmt: w = <u, v, l>
Die Drehungen werden unter Verwendung eines Standardmatrixvektorproduktes durchgeführt. Die drei Heading, Pitch und Bank berücksichtigenden Matrizen sind wie folgt:
Der Vektor w wird unter Verwendung der obigen Matrizen gedreht, um w' zu erhalten mit w' = H·P·B·w
Der letzte Schritt besteht in der Konvertierung von rechtwinkligen in sphärische Koordinaten. Werden die drei Komponenten des Vektors w' als x, y, z bezeichnet, ist die Umwandlung: s = atan2(x, z) t = atan2(y, sqrt(x·x + z·z))
Man beachte, daß atan2(a, b) eine Standard-C-Funktion ist, die atan(a/b) sehr ähnlich ist, wobei atan2 jedoch die verschiedenen Fälle, die auftreten, wenn a oder b negativ ist oder b null ist, korrekt behandelt.
Wahlweise kann der Betrachter das nächste Schlüsselbild, das geladen werden muß (abhängig von der Bewegungsrichtung des Nutzers und der Geschwindigkeit) vorhersagen und dieses Schlüsselbild vorladen, um die Leistungsfähigkeit zu erhöhen.
Aufgrund des 1:1-Verhältnises der Schlüsselbilder zu den möglichen Positionen des Nutzers, besteht eine exakte Korrelation zwischen der Vollbildgeschwindigkeit und der Bewegungsgeschwindigkeit des Nutzers. Falls sich der Nutzer momentan durch die Umgebung bewegt, ist jedes angezeigte Vollbild ein neues Schlüsselbild, so daß die Vollbildgeschwindigkeit um so höher ist, je schneller sich der Nutzer bewegt. Aus diesem Grund wird die Vollbildgeschwindigkeit während der Bewegung des Nutzers „beschränkt", um das Problem einer übermäßigen Bewegungsgeschwindigkeit des Nutzers zu beseitigen. Um eine glatte Bewegung beizubehalten, wird die Vollbildgeschwindigkeit nicht unter Standardvideo-Vollbildgeschwindigkeiten (15 Vollbilder/sek.) erniedrigt. Die Vollbildgeschwindigkeit wird nicht erhöht, um den relativen Abstand der Schlüsselbilder bei einer handhabbaren Entfernung zu halten. Je höher die Vollbildgeschwindigkeit ist, um so enger müssen die Schlüsselbilder beieinander liegen, um dieselbe Bewegungsgeschwindigkeit des Nutzers zu erzielen. Der Betrachter kann wahlweise Schlüsselbilder überspringen, um die Bewegungsgeschwindigkeit des Nutzers durch die Umgebung zu erhöhen. Je mehr Schlüsselbilder übersprungen werden, um so schneller bewegt sich der Nutzer. Falls keine Schlüsselbilder übersprungen werden, bewegt sich der Nutzer mit der geringsten möglichen Geschwindigkeit (unter der Annahme einer konstanten Vollbildgeschwindigkeit).
Mit dem System können Pan-Filmsegmente verbunden werden, um ein Verzweigen zu ermöglichen und damit einem von einem Nutzer gewählten Weg folgen zu können. Mehrere lineare (eindimensionale) Pan-Filme können miteinander zur Erzeugung eines „Graphen" aus Pan-Filmen verbunden werden (siehe Anhang B). Für jeden Pan-Film kann das Ende eines Segmentes dem Beginn eines „nächsten" Pan-Filmes zugeordnet sein. Diese Zuordnung (in Verbindung mit der Länge der einzelnen Pan-Filme) bildet die Grundlage für die Form des Graphen. Um glatte Übergänge zu erreichen, muß das „letzte" Vollbild im „ersten" Pan-Film dasselbe sein, wie (oder ein Vollbild davon entfernt) das „erste" Vollbild des „nächsten" Pan-Films. Zusätzlich zur Positionskorrektheit müssen die relativen Betrachtungsorientierungen der verbindenden Vollbilder bekannt sein. Falls beispielsweise das „letzte" Vollbild des „ersten" Pan-Films nach „Norden" gerichtet ist und das „erste" Vollbild des „nächsten" Pan-Filmes nach „Osten" gerichtet ist, muß die Betrachtungssoftware vor dieser Orientierungsän derung gewarnt werden. Ohne diese Information gäbe es beim Übergang zwischen den beiden Pan-Filmen ein „Umschnappen" um 90 Grad. Diese Graphik-Information kann insgesamt in einer getrennten Datei gespeichert sein (in Text- oder Binärform).
Bei der jedem Vollbild eines Pan-Filmes zugeordneten Audio-Information muß die Tatsache berücksichtigt werden, daß ein Betrachter eines Pan-Filmes eine ziemlich umfassende Kontrolle darüber hat, was auf dem Bildschirm wiedergegeben wird. Zusätzlich zur Möglichkeit Verzeigungspunkte auszuwählen, hat der Nutzer die Wahl, die Blickrichtung zu ändern oder anzuhalten und zurückzusetzen. Bei der jedem Schlüsselbild zugeordneten Audioinformation muß diese Flexibilität berücksichtigt werden.
Wie in 11 veranschaulicht ist, umfaßt die zusammen mit jedem Schlüsselbild gespeicherte Information fünf mit A, B, C, D und E bezeichnete Audio-Spuren und Steuerungsinformation. 11 zeigt acht Schlüsselbilder Fa bis Fi, wovon jedes fünf zugeordnete Audio-Spuren und ein Kontrollfeld aufweist. Die Audio-Spur A ist die Spur, die abgespielt wird, wenn sich der Pan-Film in normaler Richtung mit normaler Geschwindigkeit von 30 Vollbildern pro Sekunde vorwärts bewegt. Die Audio-Spur B ist die Spur, die abgespielt wird, wenn der Pan-Film in Rückwärtsrichtung gezeigt wird. Die Audio-Spur C ist die Audio-Spur, die abgespielt wird, wenn sich der Film mit halber Geschwindigkeit vorwärts bewegt. Die Audio-Spur D ist die Spur, die abgespielt wird, wenn der Film mit halber Geschwindigkeit in Rückwärtsrichtung abgespielt wird. Schließlich handelt es sich bei der Audio-Spur E um die Spur, die wiederholt abgespielt wird, wenn der Film bei einem Vollbild angehalten wird. Selbstverständlich könnte eine Vielzahl anderer Audio-Spuren für eine Verwendung bei einer Vielzahl anderer Situationen hinzugefügt werden. Beispielweise können Spuren auf Audio-Clips oder andere Audio-Spuren hinweisen.
Die mit jedem Vollbild aufgezeichnete Steuerungsinformation dient zur Steuerung bestimmter spezieller Effekte. Beispielsweise kann dem Programm durch die Steuerungsinformation auf einem Vollbild mitgeteilt werden, das Abspielen der Audio-Spuren des darauffolgenden Vollbilds fortzusetzen, selbst wenn der Nutzer den Film an einem bestimmten Vollbild angehalten hat. Beim Abspielen der Tonspur des jeweiligen Vollbildes wird die Steuerungsinformation auf diesem Vollbild abgefragt, um zu bestimmen, was als nächstes zu tun ist. Welcher Ton zu einem bestimmten Zeitpunkt abgespielt wird, wird durch eine Kombination der Steuerungsinformation auf dem speziellen Vollbild, das betrachtet wird, und der zu diesem Zeitpunkt vom Betrachter vorgenommenen Handlung bestimmt. Vom Standpunkt der Programmierung werden die jeder Spur zugeordneten Befehle dekomprimiert und gelesen, wenn das Betrachtungsfenster für das zugeordnete Vollbild dekomprimiert und gelesen wird. Wenn ein spezielles Betrachtungsfenster angezeigt wird (oder kurz davor), werden die im Steuerungsfeld gespeicherten Befehle gelesen und ausgeführt, so daß der entsprechende Ton dekomprimiert und abgespielt werden kann, wenn das Betrachtungsfenster angezeigt wird.
Beispielsweise könnte die Steuerungsinformation die folgenden Arten von Befehlen liefern:
Anhalten dieser Audio-Spur, falls der Nutzer den Pan-Film hier anhält (Systemeinstellung). Falls dies nicht eingestellt ist, wird das Tonfrequenzband in derselben Richtung weiter abgespielt, bis das Tonfrequenzband für diese Spur endet.
Beginnen oder Fortsetzen des Abspielens dieser Audio-Spur, falls der Nutzer den Pan-Film in der Vorwärtsrichtung betrachtet (Systemeinstellung).
Beginnen oder Fortsetzen des Abspielens dieser Audio-Spur rückwärts, falls der Benutzer den Pan-Film in Rückwärtsrichtung betrachtet. (Man beachte, daß dieselbe Audio-Information beim Rückwärtsabspielen verzerrt sein kann).
Beginnen dieser Audio-Spur, wenn sich die Bildvollbilder bewegen und in einer Rückwärtsrichtung abgespielt werden. Dies ermöglicht das Abspielen eines hochqualitativen Tonfrequenzbandes bei Rückwärtsbetrachtung.
Fortsetzen der Audio-Spur aus/auf einer anderen Dateistruktur (sehr wahrscheinlich ist eine Verzweigung aufgetreten), Modifizieren der Lautstärke. Dies wird zum Ausblenden einer Audio-Spur, die vorher abgespielt wurde, verwendet.
Anhalten aller Audio-Spuren.
Anhalten dieser Audio-Spur, falls der Benutzer das Wiederabspielen des Pan-Films verlangsamt.
Beginnen der Audio-Datei X, wobei X eine herkömmliche, vom Pan-Film getrennte Audio-Datei ist.
Eine große Zahl anderer Befehle kann je nach Wunsch vom Entwickler eines bestimmten Films implementiert werden.
Die Audio-Information kann beim Aufzeichnen der Anfangsbilder mit einem normalen Rekorder oder getrennt davon aufgezeichnet werden. Die Audio-Daten werden mittels des Computers 21 mit den Schlüsselbildern verknüpft. Dies kann manuell auf einer Vollbild-für-Vollbild-Basis ausgeführt werden oder der Prozeß kann automatisiert sein. Wenn der Ton mit den Schlüsselbildern verknüpft wird, wird die geeignete Steuerungsinformation hinzugefügt.
In den beigefügten Anhängen sind Computerprogramme angegeben, in welchen verschiedene Aspekte der vorliegenden Erfindung implementiert sind. Diese Programme sind so konzipiert, daß sie auf einem herkömmlichen Betriebssystem, wie beispielsweise dem von der Microsoft Corporation vertriebenen Windows-Betriebssystem laufen.
Mit dem im Anhang A angegebenen Programm werden Vollbilder für eine Bewegung wiedergewonnen, wird die Perspektive gemäß bekannter Gleichungen korrigiert und werden dann die Bilder des Films der Reihe nach angezeigt.
Beim Anhang B handelt es sich um ein Beispiel einer Verknüpfungssteuerungsdatei für die Vollbilder eines Pan-Films. Beim Anhang C handelt es sich um einen Pseudo-Code, der zeigt, wie Bildsequenzen zur Herstellung eines Pan-Films verbunden werden.
Die bei der vorliegenden Erfindung verwendete Digitaltechnik erleichtert die Aufrüstung des Systems bei Verfügbarkeit schnellerer Komponenten und Komponenten mit höherer Auflösung. Beispielsweise haben die bei der vorliegenden Erfindung verwendeten, kommerziell erhältlichen CCD-Sensoren eine Auflösung von 500 × 500 Pixel pro Zoll. Bald werden CCD-Arrays mit einer Auflösung von 750 × 750 Pixel pro Zoll verfügbar sein und bald darauf CCD-Arrays mit Auflösungen von 1000 × 1000 Pixel pro Zoll. Aufgrund der Architektur der vorliegenden Erfindung ist es sehr einfach, das vorliegende CCD-Array durch ein Array höherer Auflösung zu ersetzen, sobald derartige Arrays verfügbar sind.
Eine große Vielzahl alternativer Ausführungsformen ist möglich, ohne die Idee und den Umfang der Erfindung zu verlassen. Beispielsweise muß die Erfassungsgeschwindigkeit (d.h. die Vollbildgeschwindigkeit) der Linsen 41a bis 41f und der zugeordneten CCD-Arrays auf keinen Fall auf dieselbe Vollbildgeschwindigkeit eingestellt sein. Falls sich beispielsweise die Ansicht für die Linse 41 nicht rasch ändert, könnte diese Linse auf eine sehr niedrige Vollbildgeschwindigkeit eingestellt werden, wie beispielsweise ein Vollbild pro Sekunde, während die anderen Linsen auf eine Vollbildgeschwindigkeit von 30 Vollbildern pro Sekunde eingestellt werden. Die Vollbildgeschwindigkeit jeder Linse wird durch den eingebetteten Kontroller 48 gesteuert und bei dieser Ausführungsform würde der eingebettete Kontroller 48 die Vollbildgeschwindigkeit lediglich in Reaktion auf Befehle vom Computer 20 für jede Linse unabhängig steuern.
Während die Erfindung hier anhand einer Ausführungsform zur Herstellung von Panoramafilmen beschrieben wurde, ist verständlich, daß die erfindungsgemäße Digitalkamera auch zur Erfassung einzelner Panoramabilder verwendet werden kann. Falls man beispielsweise an einer Panoramaansicht einer bestimmten Szene interessiert wäre, würde der Computer dazu instruiert werden, sechs zeitgleiche Bilder, d.h. mit jeder Linse eines, zu erfassen. Die sechs Bilder würden dann zu einem Panorama verbunden. Jede Linse würde
Bei einer weiteren alternativen Ausführungsform wird anstelle eines Dekomprimierens nur des Teils eines Vollbildes, der für ein spezielles Betrachtungsfenster notwendig ist, ausreichende Computerleistung bereitgestellt, so daß das gesamte Vollbild dekomprimiert werden kann und dann lediglich der für das Betrachtungsfenster notwendige Teil des Vollbildes angezeigt wird. Falls ausreichende Computerleistung und Übertragungsbandbreite verfügbar sind, kann auf die Komprimierungsbauelemente in der Erfassungseinheit verzichtet werden.
Bei noch weiteren alternativen Ausführungsformen könnte für die Verbindungen zwischen einigen oder allen Einheiten eine drahtlose Technologie anstelle der bei der hier beschriebenen bevorzugten Ausführungsform verwendeten Technologie verwendet werden. Während bei der gezeigten Ausführungsform CCD-Technologie zur Abtastung der Bilder verwendet wird, können auch alternative Arten von Abtastungstechnologien verwendet werden. Während bei der gezeigten Ausführungsform lediglich zwei Vollbildgeschwindigkeiten wählbar sind, können bei alternativen Ausführungsformen auch verschiedene oder zusätzliche Vollbildgeschwindigkeiten verwendet werden.
Die parallel anhängige US-Patentanmeldung mit der Nummer 09/310,715 mit Anmeldedatum vom 12. Mai 1999 ist nunmehr das US-Patent 6,337,683.

Claims

Digitales Bilderfassungssystem, umfassend: eine Bilderfassungseinheit 10 mit der gleichzeitig eine Mehrzahl von überlappenden Bildern erfaßt wird; Berechnungsmittel (20, 21), die mit der Bilderfassungseinheit (10) mittels einer Datenerfassungsverbindung (48c) zum Übertragen von Bildern von der Bilderfassungseinheit (10) zum Rechnermittel (20, 21) verbunden sind, wobei das Berechnungsmittel (20, 21) so betrieben werden kann, daß die Bilder zu einem Panoramafilm verbunden werden können, dadurch gekennzeichnet, daß: die Bilderfassungseinheit (10) eine digitale Bilderfassungseinheit (10) ist, mit der die digitalen Bilder unter Verwendung einer nicht überlappenden progressiven Abtastung erfaßt werden; die digitale Bilderfassungseinheit (10) ein Kompressionsmittel (46, 49) zur Kompression an der digitalen Bilderfassungseinheit (10) von progressiven Abtastungsdigitalbildern umfaßt, die von der digitalen Bilderfassungseinheit (10) erzeugt werden, und das Berechnungsmittel (20, 21) einen Steuerungscomputer (20) umfaßt, der von der digitalen Bilderfassungseinheit entfernt angeordnet und mit der digitalen Bilderfassungseinheit (10) mittels einer Steuerungsverbindung (48b) verbunden ist, wodurch Steuerungssignale zur digitalen Bilderfassungseinheit (10) zur Fernsteuerung des Kompressionsmittels (46, 48) der digitalen Bilderfassungseinheit (10) gesendet werden.
System nach Anspruch 1, wobei die digitale Bilderfassungseinheit (10) sechs Linsen (41a bis 41f) umfaßt, die auf sechs Flächen eines Würfels (10a) angeordnet sind, und die digitale Bilderfassungseinheit (10) eine sphärische Raumdarstellung erfaßt.
System nach Anspruch 2, wobei jede der Linsen (41a bis 41f) ein Sichtfeld von 120° umfaßt.
System nach Anspruch 2 oder 3, wobei die digitale Bilderfassungseinheit (10) Bildsensoren (43a bis 43f) umfaßt, die jeder Linse (41a bis 41f) zugeordnet sind, wobei die Bildsensoren (43a bis 43f) CCDs (ladungsgekoppelte Bausteine) sind.
System nach Anspruch 4, wobei das Kompressionsmittel der digitalen Bilderfassungseinheit (10) Bildkompressionsschaltungen (46h bis 46j) umfaßt, die mit Ausgängen der Bildsensoren (43a bis 43f) zur Kompression der progressiven Abtastungsdigitalbilder gekoppelt sind, wobei die Bildkompressionsschaltungen (46h bis 46j) eine JPEG-Kompression verwenden.
System nach Anspruch 5, wobei der bei der JPEG-Kompression verwendete Kompressionsumfang gesteuert werden kann.
System nach Anspruch 5 oder 6, wobei das digitale Bilderfassungsmittel (10) einen FIFO (First In First Out)-Speicher (45a bis 45f) zwischen jedem Bildsensor (43a bis 43f) und der zugeordneten Bildkompressionsschaltung (46h bis 46j) umfaßt.
System nach einem der Ansprüche 5 bis 7, wobei die Bilderfassungseinheit (10) und der Steuerungscomputer (20) mit Hilfe eines seriellen Hochgeschwindigkeitsbuses (10c) verbunden sind.
System nach Anspruch 8, wobei die digitale Bilderfassungseinheit (10) FIFO-Speicher (47h bis 47j) zwischen den Bildkompressionsschaltungen (46h bis 46j) und dem seriellen Hochgeschwindigkeitsbus (10c) umfaßt.
System nach einem der vorhergehenden Ansprüche, wobei der Steuerungscomputer (20) digitale Speicher (20b) zur Speicherung digitaler Bilder umfaßt.
System nach einem der vorgehenden Ansprüche, wobei der Steuerungscomputer (20) eine Nutzereingabe empfängt und die Nutzereingabe zumindest eine aus der Gruppe von Nutzereingaben bestehend aus einer Rahmengeschwindigkeit, Shutter-Steuerung, einem Verstärkungspegel und einer Kompression umfaßt und der Steuerungscomputer (20) ein Steuerungssignal zur Steuerung der Kompression der Bilder durch das Kompressionsmittel (46, 48) der digitalen Bilderfassungseinheit (10) gemäß den Nutzereingaben erzeugt.
System nach Anspruch 11, wobei die digitale Bilderfassungseinheit (10) einen eingebetteten Controller (48) zum Empfang der Steuerungssignale und zur entsprechenden Steuerung der Kompression der digitalen Bilder umfaßt.
System nach Anspruch 11 oder 12, wobei die Nutzereingabe von einer Anzeige des Panoramafilms eingegeben wird.