DE69025002T2 - Audiovisuelle Kompilierung in einem Datenverarbeitungsgerät - Google Patents

Description

• Diese Erfindung bezieht sich auf audiovisuelle Kompilierung in Datenverarbeitungsgeräten, welche die computerunterstützte Erzeugung von audiovisuellen Darstellungen ermöglichen und die softwareunterstützte Benutzerschnittstelle zu verbessern suchen, um einem Personalcomputer Erzeugung und Anzeige einer integrierten audiovisuellen Darstellung zu ermöglichen.
• Während Personalcomputer (PCs) die Verarbeitungsfähigkeit verbesserten, wurden zahlreiche Anwendungsprogramme entwickelt, welche Erstellung und Anzeige von audiovisuellen Darstellungen ermöglichen. Mitte der 80er Jahre vermarktete die IBM Corporation ein PC Anwendungsprogramm, das sogenannte "PC Storyboard", mit dem es möglich war, Farbdarstellungen auf einem PC vorzubereiten und anzuzeigen. Die PC Storyboard Software bestand aus vier Programmsegmenten. Ein erstes Segment, der sogenannte "Picture Maker", ermöglichte Erstellung und Änderung von bildlichen Darstellungen in Grafiken mittlerer Auflösung. Der Picture Maker enthielt Befehle, um Texte zu schreiben, Figuren zu zeichnen, Diagramme zu erzeugen und Abbildungen aus Bildern auszuschneiden und einzufügen. Ein zweites segment, der "Picture Taker", wurde benutzt, um Bilder aus anderen Darstellungen, die sich in anderen PC Anwendungsprogrammen befinden, zu erfassen. Der "Story Editorul, ein drittes Segment, ermöglichte es dem PC Benutzer, Bilder in Darstellungen (Stories) zu organisieren. Dieses lieferte die Auswahl aus einer Vielzahl von Bild-in-Bild-Übergangsverfahren, mit denen es möglich war, ein Bild in einem anderen aufzulösen. Variablen wie Anzeigezeiten, Farben und Art der Entwicklung, d.h. als Ganzbild oder als eine Reihe von Teilbildern, wurden ebenfalls durch diese Software möglich. Das Storyboard enthielt auch ein Segment "Story Tell", das die Darstellung von Geschichten (Stories), die aus anderen Software-Segmenten zusammengestellt wurden, ermöglichte.
• Obwohl das Storyboard zu seiner Zeit ein annehmbares Produkt für den PC war, fehlten ihm eine Menge Fähigkeiten. Es war im wesentlichen ein visueller Darstellungsassembler und Präsentator; es fehlten einige bedeutende Fähigkeiten, um die Audiodarstellung zu montieren; eine Audiodarstellung mit visueller Darstellung zu synchronisieren; um während der Darstellung Befehle einzufügen, welche logische und datenverarbeitende Dialoge zwischen dem Betrachter und dem PC ermöglichen; usw.
• In der letzten Zeit besteht aufgrund der steigenden Nachfrage nach Fenstern, Pulldown-Menüs, fortgeschrittenen Cursorauswahltechniken und anderen anzeigeorientierten Techniken Bedarf an Benutzerschnittstelleneinrichtungen. Diese ermöglichen es einem PC Benutzer, mit der Software eines PCS verbunden zu werden und diese weitgehend über cursorgesteuerte Bildschirmauswahl zu steuern. Die wesentliche Fähigkeit, Farbdarstellungssysteme mit synchronisierter Audiodarstellung, wurden, nach Kenntnis des Erfinders, auf dem PC Markt nicht zur Verfügung gestellt.
• Außer dem PC Storyboard lieferte ein anderer Stand der Technik audiovisuelle, computerunterstützte Darstellungsmöglichkeiten. In der US Patentschrift 4,712,180 von Fujiyama et al wurde zum Beispiel ein computerunterstütztes Unterrichtssystem beschrieben, in dem Audio- und Pädagogik-Informationen kompiliert werden, um ein Aufzeichnungsmedium mit einem integrierten Darstellungsmodus zu erzeugen. Es werden zahlreiche Ausführungsbeispiele zur Integration von Audio- und Nichtaudiokomponenten zu Darstellungszwecken beschrieben. In der US Patentschrift 4,645,459 von Graf et al wird die Benutzung von einer Bilderbibliothek beschrieben, um eine Qualitätsverbesserung bei den "real-world" Bildern für die Bilddarstellung am Computer zu erzielen. Lemelson beschreibt in der US Patentschrift 4,646,172 ein Videopräsentationssystem, in dem Audio- und Videosegmente kombiniert werden, um eine integrierte Darstellung zu erzeugen. Keine der obengenannten Referenzen liefert eine benutzerfreundliche Schnittstelle, die direkte und einfache Verfahren zur Kompilierung von Darstellungen ermöglicht.
• In der US Patentschrift 4,746,994 von Ettlinger wird ein Editiersystem beschrieben, in dem ausgewählte Filmsegmente unabhängig von Bild-, Soundtrackquellen und zeitlicher Abstimmung eingeschnitten werden können. Das System liefert eine graphisch angeordnete Darstellung des Skripts von der Arbeit, die editiert wird und ermöglicht so dem Cutter, Segmente von verschiedenen "Takes" in der Vorschau zu sehen und seine Auswahl zu treffen. Dieses System geht erheblich mehr verschiedene Probleme an als jenes, das in computerunterstützten, audiovisuellen Darstellungen angetroffen wird.
• EP-A-239884 beschreibt ein interaktives Videozusammensetzungs- und Darstellungssystem, das Spezifikation und Ausführung von unabhängigen Multimedia-Aufgaben entlang einer Synchronisierungszeitleitung erlaubt, indem vorzugsweise eine Tabellenkalkulationsmatrix verwendet wird.
• Die vorliegende Erfindung liefert ein Verfahren, um eine synchronisierte audiovisuelle Darstellung in einem Datenverarbeitungsgerät zu erstellen und auszuführen, das audiovisuelle Ein-/Ausgänge hat, wobei das Verfahren die Speicherung einer Vielzahl von visuellen Bildern enthält und dadurch gekennzeichnet wird, daß eine Tabelle angezeigt wird, die einen Audio-Soundtrack zusammen mit entsprechenden Zeitangaben darstellt und Synchronisierungskennungen in ausgewählten Zeitangaben eingibt; ein Befehl zur Anzeige von ausgewählten, gespeicherten visuellen Bildern eingegeben wird, wobei dieser Befehl mit einer Synchronisierungskennung in der Audio-Soundtracktabelle verbunden wird; und die audiovisuelle Darstellung ausgeführt wird, indem der Audio-Soundtrack wiedergegeben wird und auf die Erkennung einer in der Tabelle befindlichen Synchronisierungskennung reagiert, wobei der Befehl aufgerufen wird, der mit der Synchronisierungskennung verbunden ist, um das ausgewählte, gespeicherte, visuelle Bild anzuzeigen.
• Eine solche Anordnung ist bestimmt, um ein computerunterstütztes, audiovisuelles Assemblierungs- und Darstellungssystem bereitzustellen, das auf effiziente Weise visuelle Darstellungen mit synchronisierten Audiodarstellungen zeigt.
• Anhand eines Beispiels wird nachstehend eine Benutzer-/PC- Schnittstelle beschrieben, welche Erstellung und Ausführung einer synchronisierten, audiovisuellen Story am PC ermöglicht. Die Schnittstelle ermöglicht anfangs die Speicherung von einer Vielzahl von visuellen Bildern und anschließend die Erstellung einer Audiodarstellung, die Kennungen und Zeitangaben enthält, von denen einige zu Synchronisierungszwecken benutzt werden. Es werden Mittel im Computer bereitgestellt, die auf eine Kennung reagieren, um einen zuvor bestimmten Befehl nach dem Erscheinen einer Kennung in der Audiodarstellung auszuführen. Das Computer-/Softwaresystem wird dann die Audiodarstellung ausführen, wobei diese Ausführung die Anzeige von visuellen Bildern nach dem Auftreten von Kennungen und Zeitangaben veranlaßt.
• Dieses enthält ein verbessertes, tabellenunterstütztes Verfassersystem, das ebenfalls ausgelegt ist, um sowohl die obenerwähnten Audiodarstellungen als auch die visuellen Darstellungen vorzubereiten. Das System verläßt sich auf spaltenweise Darstellungen in Tabellenform, wobei jede Spalte eine separate Steuerfunktion, einen Kommentar oder andere freie Formanweisungen angibt, die sich auf die audiovisuelle Darstellung beziehen. Diese Kombination ermöglicht die interaktive Verarbeitung mit einem Anwender während der Darstellung und ist angepaßt, um in einem PC zu laufen und liefert ein audiovisuelles, synchronisiertes Darstellungssystem für einen PC, wobei intelligente Schnittstellen auf dem PC Bildschirm einem Anwender ermöglichen, das System problemlos zu benutzen.
• Die vorliegende Erfindung wird außerdem anhand von Beispielen mit Bezug auf ein Ausführungsbeispiel beschrieben, wie dieses in den beiliegenden Zeichnungen dargestellt ist, in denen
• Fig. 1 eine Darstellung der verwendeten Software-Segmente zeigt;
• Fig. 2 einen Bildschirm mit der verwendeten Bibliothekstabelle zeigt;
• Fig. 3 einen Bildschirm mit der verwendeten Bibliotheksanwendungstabelle zeigt;
• Fig. 4 Menüs zeigt, die angezeigt werden, wenn entweder Aufforderungs- oder Verarbeitungsaktionen aus der "Menüzeile" eines Bildschirms mit Bibliotheksanwendungstabelle ausgewählt werden;
• Fig. 5 Menüs zeigt, die angezeigt werden, wenn entweder Editier- oder Abfrageaktionen aus der "Menüzeile" eines Bildschirms mit Bibliotheksanwendungstabelle ausgewählt werden;
• Fig. 6 Menüs zeigt, die angezeigt werden, wenn entweder Drucken, Beenden oder Hilfe aus der "Menüzeile" eines Bildschirms mit Bibliotheksanwendungstabelle ausgewählt werden;
• Fig. 7 eine Bildschirmdarstellung von einer Erste- Ebene-Bibliothekstabelle zeigt, die verschiedene Anwendungen zeigt, die in dem audiovisuellen System verfügbar sind;
• Fig. 8 eine Anzeige von einer "Stückliste" zeigt, die auf dem Bildschirm erscheint, wenn eine der Anwendungen, die in Fig. 7 abgebildet ist, ausgewählt wird;
• Fig. 9 eine andere "Stückliste" zeigt, die auf dem Bildschirm angezeigt wird und die Verwendung der Bezugsadressierung darstellt;
• Fig. 10 einen Bildschirm mit der Audio-Editor-Tabelle zeigt;
• Fig. 11 Menüs zeigt, die erscheinen, wenn entweder Aufforderungs-, Audio-, oder Editierangaben aus der "Menüzeile" von Fig. 10 ausgewählt werden;
• Fig. 12 Menüs zeigt, die erscheinen, wenn entweder Misch-, Steuer- oder Druckangaben aus der "Menüzeile" von Fig. 10 ausgewählt werden;
• Fig. 13 Menüs zeigt, die erscheinen, wenn entweder Datei, Beenden oder Hilfe aus der "Menüzeile" von Fig. 10 ausgewählt werden;
• Fig. 14 eine Audio-Editor-Tabelle zeigt, die kompiliert wurde, um ein Tonstück zu präsentieren;
• Fig. 15 und 16 High-Level-Flußdiagramme zeigen, die hilfreich sind, um die Interaktionen Anwender/System zu verstehen, die notwendig sind, um die Tabelle aus Fig. 14 zu erzeugen;
• Fig. 17 einen Bildschirm mit einer verwendeten Story- Editor-Tabelle zeigt;
• Fig. 18 den Bildschirm von Fig. 17 mit den 5 Spalten, die in der Story-Editor-Tabelle in der äußersten rechten Spalte liegen und durch zusätzliche Kategoriespalten ersetzt werden;
• Figs. 19-27 die Art der Menüzeile am Bildschirm angeben, die für jede Spalte der Story-Editor-Tabelle aus Fig. 14 erscheint;
• Figs. 28-35 die Art der Sound-Menüzeile angeben, die für jede Spalte der Story-Editor-Tabelle aus Fig. 14 erscheint;
• Fig. 36 Menüs zeigt, die erscheinen, wenn entweder die Aufforderungs- oder die Aktionen "Erzählen" aus der "Menüzeile" der Story-Editor-Tabelle ausgewählt werden;
• Fig. 37 Menüs zeigt, die erscheinen, wenn entweder die Editier- oder Betrachteraktionen aus der "Menüzeile" der Story-Editor-Tabelle ausgewählt werden;
• Fig. 38 Menüs zeigt, die erscheinen, wenn entweder Drukken oder Datei aus der "Menüzeile" der Story- Editor-Tabelle ausgewählt werden;
• Fig. 39 Menüs zeigt, die erscheinen, wenn entweder Beenden oder Hilfe aus der "Menüzeile" der Story- Editor-Tabelle ausgewählt werden;
• Fig. 40 Aufforderungstabellen zeigt, die erscheinen, wenn die Aufforderungsangabe mit dem Cursor aus der Story-Editor-Tabelle ausgewählt werden;
• Fig. 41 AVA (audiovisuelle Verfassersprache) Funktionen zeigt, die erscheinen, wenn die AVA Funktionszeile in Fig. 40 ausgewählt wird;
• Fig. 42 die AVA Befehle zeigt, die erscheinen, wenn die AVA Befehlszeile in Fig. 40 ausgewählt wird;
• Fig. 43 einen Story-Editor-Ausdruck zeigt, der eine audiovisuelle Darstellung liefert.
• Es sollte zu Anfang klar sein, daß die Erfindung entweder aus Soft- oder Firmware konfiguriert werden kann, von denen jede so konzipiert ist, daß diese in einem PC laufen kann, zum Beispiel dem IBM PS/2. Wie bekannt ist, sind die meisten modernen PC gebaut, um eine Busstruktur mit PC/Subassembler-Kommunikationen zu benutzen, die im Hauptsystem über dem Bus oder den Bussen stattfinden. Auf charakteristische Weise werden ein grafikfähiger PC mit einer arithmetisch/logischen Einheit, Direktzugriffsspeicher, verschiedenen Laufwerken zur Speicherung von Daten, die ohne weiteres verfügbar sind, einem Farbmonitor und einer Tastatur geliefert. Die Anzeige ist angepaßt, um ein Bild oder Bilder zusammen mit einem Cursor (oder mehreren Cursor) zu zeigen, der (oder die) es dem Anwender ermöglichen, verschiedene Software-Subroutinen auszuwählen. Die gesamte vorerwähnte Struktur ist konventionell gestaltet. In der nachfolgenden Beschreibung wird angenommen, daß Kenntnisse von ihrer Funktion bekannt sind.
• Es wird nun auf Fig. 1 Bezug genommen, in der die sechs wichtigsten Software-Segemente der Erfindung schematisch dargestellt sind. Das Gesamtprogramm enthält einen Bibliothekseditor, Bildeditor, Digitalisierungseditor, Konvertierungseditor, Audio-Editor, und einen Story-Editor. Im Verlauf der Beschreibung wird auf Digitalisierungs- und Konvertierungseditor nur kurz Bezug genommen, während die anderen ausführlich erörtert werden.
• Kurz gesagt, der Bibliothekseditor verwaltet den Abruf, die Verarbeitung und das Speichern von audiovisuellen "Objekten" (d.h. ein "objekt" ist ein Bild, eine Audio-Datei oder eine Story, das zur Herstellung einer audiovisuellen Darstellung benutzt wird). Der Bildeditor wird primär benutzt, um Text einzufügen und Grafiken in Bilder zu zeichnen; um spezielle Feldarten zu definieren, zum Beispiel Eingabe- oder Cursorauslösungsfelder, und um andere Bildmanipulationen, zum Beispiel das Neuformatieren oder das Drehen von Bildern durchzuführen. Der Digitalisierungseditor wird benutzt, um Eingabebilder aus der Videokamera (analog) in computerdigitale Form zu konvertieren. Diese Bilder werden anschließend als Dateien im PC gespeichert, wo diese zur Benutzung in der audiovisuellen Operation zur Verfügung stehen. Der Konvertierungseditor wird benutzt, um Bilder zu verändern, die von Scannern oder anderen Bilddigitalisierungsgeräten erfaßt wurden und diese in eine Form zu konvertieren, die in dem audiovisuellen Gerät dieser Erfindung benutzt werden kann. Der Audio-Editor ermöglicht die Aufzeichnung (Digitalisierung) und das Editieren des Sounds. Dieser ermöglicht ebenfalls das Einfügen von Zeitsignalen und anderen Signalen, die später verwendet werden, um die Darstellung der Story zu steuern. Der Story-Editor setzt audiovisueile Darstellungen (Stories genannt) zusammen und zieht alle Daten aus der Tastatur, den Dateien und den verschiedenen Editoren zusammen, um eine komplette, synchronisierte, audiovisueile Darstellung vorzustellen.
Bibliothekseditor
• Jedesmal, wenn das Software-System aus dieser Erfindung anfangs betrieben wird, wird der Bibliothekseditor automatisch als erster Editor aufgerufen, auf den zugegriffen wird. Der Bibliothekseditor liefert Zugriffsinformationen auf alle Objekte innerhalb der Software-Segmente und deren Pfade. Der Anwender wählt ein besonderes audiovisuelles Objekt aus, um damit zu arbeiten (zum Beispiel ein Bild oder eine Story) und wählt anschließend die Art der Verarbeitung aus, die an dem Objekt durchzuführen ist (zum Beispiel Editieren, Digitalisieren, Konvertieren, usw.). Durch diese Auswahl wird automatisch festgelegt, welcher der anderen Editoren aufgerufen werden muß. Die anderen Editoren werden vielmehr nach Objekt und ausgewählter Aufgabe aufgerufen als über einen expliziten Editornamen. Das ausgewählte Objekt wird für den aufgerufenen Editor automatisch zu dem Zeitpunkt abgerufen, an dem der Editor aktiviert wird, so daß das Objekt benutzt werden kann, sobald der Editor online ist.
• Am Ende der Verarbeitung durch den jeweiligen Editor kehrt die Steuerung zum Bibliothekseditor zurück, wobei nun jede Objektänderung auf der Festplatte gesichert wird. Sobald diese zurück im Bibliothekseditor ist, kann der Anwender jedes andere Objekt oder jede andere Objektverarbeitung auswählen oder andere Operationen durchführen. Normalerweise wird dadurch die Bewegung zu und von den Editoren über den Bibliothekseditor geleitet. Der Bibliothekseditor ist im wesentlichen das "Hauptmenü", von wo zu allen vorkommenden Objekteditoren verzweigt wird.
• Alle Objekte, zum Beispiel Bilder, Stories und Audio-Dateien sind in der Anzeige des Bibliothekseditors aufgeführt. Es wird daran erinnert, daß es diese Objektlisten sind, die von dem System verwendet werden, um den Aufrufverschiedener Objekteditoren zu veranlassen, und es sind die Pfade zu den Objekten, die in diesen Listen angegeben sind, die verwendet werden, um die Objekte zum Ort des Abrufs und der Speicherung zu steuern. Obgleich die Bibliothek innerhalb des Bibliothekseditors Informationen über verschiedene Verzeichnisse und Objekte (z.B. Art, Name, Beschreibung und Pfad) enthält, sind die Verzeichnisse oder Objekte selbst dort nicht enthalten. Es handelt sich im wesentlichen um einen Index, der auf ein Objekt zeigt, wo immer sich dieses Objekt innerhalb des Systems befindet.
• Der Begriff "Anwendung" wird nachstehend benutzt und bedeutet, sich auf eine Sammlung von Objekten zu beziehen, die in der Bibliothek auf eine Weise gruppiert sind, die für den Anwender sinnvoll ist. Eine Anwendung kann aus einer Reihe von Objekten bestehen, die für eine Produktpräsentation, ein Werbebrief oder eine andere audiovisuelle Darstellung gebräuchlich ist. Die Anwendung wird einen Namen haben, der ebenfalls aufgelistet wird und über den der Zugriff erfolgt. Jede Anwendung wird außerdem eine Sekundärliste haben, die in dieser integriert ist, welche, zusätzlich zur Angabe der besonderen Anwendung, alle verschiedenen Objekte auflistet, die Teil der Anwendung sind (d.h. eine "Stückliste" für die Anwendung).
• In der nachfolgenden Erörterung werden eine Vielzahl von Bildschirmen beschrieben, welche die wichtigsten Interaktionsmodi zwischen Anwender und System ermöglichen. Jeder Bildschirm verfügt über eine Tabelle, Fenster, Pulldown-Menüs, Cursor oder eine Kombination davon, die für das Informationsfeedback vom System zum Anwender und umgekehrt sorgt. Bildschirme werden im allgemeinen mit einer Vielzahl von Cursorarten bereitgestellt (z.B. hervorgehobene Balken, Unterstreichungen, Betonungsmarkierungen, usw.), damit der Anwender erkennen kann, welcher Teil eines Bildschirms eine Eingabe ermöglicht. Einige Cursorarten bewegen sich automatisch auf dem Bildschirm (z.B. während ein Software-Segment "abläuft"), oder werden durch den Anwender mittels Maus, per Tastendruck (z.B. Pfeile nach rechts, links, oben, unten, Tabulatortaste, Leerschrittaste, usw.) oder mittels anderen Einrichtungen zur Cursorsteuerung bewegt.
• Es wird nun auf Fig. 2 Bezug genommen, in der eine Bildschirmdarstellung eines Erste-Ebene-Bibliothekseditors, die sog. "Bibliothekstabelle", dargestellt wird. Diese Tabellenliste, die verschiedenen Anwendungen und die entsprechenden Namen sind im Bibliothekseditor enthalten. Dieser bildet das Verzeichnis mit der höchsten Ebene in allen untergeordneten Verzeichnissen, die sich auf die verschiedenen aufgeführten Anwendungen beziehen. Eine Menüzeile 10 erscheint in Zeile 1 des Bildschirms und enthält eine Anzahl von Aktionsangaben. Durch das Setzen eines Cursors auf irgendeine der aufgeführten Aktionsangaben wird ein Pulldown-Menü mit einer Liste aufgerufen, welche die verfügbaren Funktionen aufführt, die zu der ausgewählten Aktion gehören.
• In Zeile 3 am Bildschirm gibt der Begriff "Bibliothek" an, daß auf diesen Bildschirm durch Eingeben des Wortes "Bibliothek" und der zugehörigen Bezeichnung zugegriffen werden kann. Da der Bibliothekseditor Hunderte von aufgeführten Anwendungen enthalten kann, versorgt die Kombination von "Bibliothek" und einem Anwendungsnamen das System mit der Eingabe, die erforderlich ist, um den korrekten Bibliotheksbildschirm zu identifizieren. Es wird angenommen, daß der PC mit einem Platten-Betriebssystem (DOS) arbeitet, wobei jede Bibliothek physisch ein DOS-Verzeichnis darstellt.
• Die Bibliothekstabelle von Fig. 2 enthält eine Vielzahl von Spalten. Die äußerste linke Spalte (FR) wird entweder ein F oder ein R in der angrenzenden Zeile enthalten. F gibt an, daß die Anwendung in der aktuell angeschlossenen Datei resident ist. R gibt an, daß sich die angegebene Datei in einer anderen Datei befindet, die zur Zeit nicht angeschlossen ist. Die nächste Spalte "Art" definiert die Art der Datei, die in der Zeile angegeben ist. In den meisten Fällen ist die Angabe die "Anwendung". Die nächste Spalte (D:) gibt an, wenn ein D in einer Zeile vorhanden ist, daß die Datei sich in einem Laufwerk befindet, das derzeit nicht online ist. Die Namensspalte gibt den Namen an, welcher der Anwendung zugewiesen wurde und die Kommentarspalte enthält einige beschreibende Kommentare zu der Datei sowie eine Pfadangabe wenn ein R in der äußersten linken Spalte vorhanden ist.
• Fig. 7 zeigt ein Beispiel einer Bibliothekstabelle, in der einige dieser Spalten ausgefüllt sind. Es ist zu bemerken, daß alle aufgelisteten Dateien Anwendungsdateien sind; daß die letzten beiden Anwendungsdateien in Laufwerk e untergebracht sind, (die nicht online ist); daß die Namen der Dateien wie angegeben sind; und daß die folgenden Kommentare kurz den Gegenstand jeder Anwendung beschreiben. Demo 1 präsentiert zum Beispiel die "aktuelle Produktzeile" als eine audiovisuelle Darstellung.
• Jede Zeile innerhalb einer Bibliothekstabelle gibt den Namen an und gibt einen Überblick über die Inhalte der Anwendung. Um die Inhalte von einer Anwendung in detaillierter Form zu erhalten, muß auf die "Anwendungstabelle" zugegriffen werden, die zu der besonderen Anwendung gehört. Bei dieser Aktion wird eine "Stückliste" gezeigt, in der alle Objekte aufgelistet sind, die zu der Anwendung gehören.
• Eine Anwendungstabelle kann ausgewählt werden, indem der Cursor auf die Zeile in der Bibliothekstabelle gesetzt wird, wo dieser in der Menüzeile 10 erscheint und eine Verarbeitungsaktion auswählt, die durchzuführen ist (z.B. Editieren). Wenn eine Anwendung ausgewählt wird, ruft das System eine vorhandene Anwendung aus der Datei auf (oder ermöglicht die Erstellung einer neuen Datei, wenn dies gewünscht wird) und zeigt dann den Bildschirm mit der entsprechenden Anwendungstabelle an, in der alle Bilder, Stories, Audio-Dateien, usw. aufgelistet sind, die zu der Anwendung gehören.
• Mit Bezug auf Fig. 3 wird eine repräsentative Anwendungstabelle gezeigt. Diese Tabelle zeigt, wie vorerwähnt, Inhalte einer spezifischen Anwendung an. Wie die Bibliothekstabelle enthält die Anwendungstabelle in ihrer ersten Zeile eine "Menüzeile" 10, die eine Anzahl von angegebenen Aktionen enthält, die bei Aufruf die Anzeige von detaillierten Pulldown- Menüs veranlassen. In der dritten Zeile ist die Angabe "Anwendung" zusammen mit dem Namen der Anwendung enthalten. In der äußersten linken Spalte (FR) ist angegeben, ob das in der Zeile aufgeführte Objekt in dieser Anwendung physisch resident ist. Ein F gibt an, daß das Objekt in Anwendungsdatei resident ist. Wenn ein R (für "Referenz") angezeigt wird, bedeutet dies, daß das aufgeführte Objekt in dieser Anwendungsdatei physisch nicht resident ist. Ein Hinweis, wo dieses Objekt derzeit gespeichert ist, befindet sich in der äußersten rechten Spalte der Tabelle (d.h. D: Referenz). Es gibt eine eingefügte Pfadinformation, die auf die Stelle zeigt, wo das Objekt gespeichert ist. Eine Leerstelle in der FR Spalte bedeutet, daß es sich bei der Zeile ausschließlich um eine Kommentarzeile handelt.
• Die Spalte "Art" gibt an, ob das Objekt ein Bild, eine Audio- Datei, eine Story oder ein anderes Objekt ist. Die Spalte "Name" enthält einen Namen, den der Anwender diesem Objekt zugeordnet hat. Die Spalte rechts von der Spalte "Name" enthält Kommentare, die etwas über das Objekt aussagen, um dem Anwender zu ermöglichen, dessen Inhalt abzurufen. In Fig. 8 wird zum Beispiel eine exemplarische Anwendungstabelle mit drei Bildobjekten dargestellt, und zwar zwei Audio-Objekte und ein Story-Objekt. Jedes Bildobjekt hat einen zugeordneten Namen (z.B. "Modell 1), mit dem die Objektdatei identifiziert werden kann. Ein Kommentar zu jedem aufgeführten Objekt sagt etwas über das Objekt aus.
• Von einem Bildschirm mit Anwendungstabelle wird auf die Objekteditoren zugegriffen. Ein Cursor (ohne Abbildung) ist auf dem Bildschirm vorhanden und kann mit Hilfe des Anwenders von Zeile zu Zeile wandern und von Seite zu Seite rollen. Um ein vorhandenes Objekt zu verarbeiten, wird der Cursor auf die Zeile mit dem entsprechenden Objekt gesetzt und eine Aktion aus der Menüzeile aufgerufen. Ein Pulldown-Menü wird angezeigt, das die verfügbaren Funktionen mit Aktionsklassifizierung auflistet. Wenn dann ein Cursor in der Nähe eine Funktion (z.B. "Datei editieren") gesetzt wird und eine Auswahl getroffen wird, wird auf das richtige Editorprogrammsegment zugegriffen. Mit der Aktion "Datei editieren" wird zum Beispiel der Audio-Editor für ein Audio-Objekt, der Bildeditor für ein Bildobjekt und der Story-Editor für ein Story-Objekt aufgerufen.
• In den Figs. 4-6 sind die Pulldown-Menüs (und die zugehörigen Funktionen), die aus dem Aufruf einer Aktion oder von mehreren Aktionen aus der Menüzeile 10 resultieren, dargestellt. Wie Fig. 4 zeigt, befindet sich eine Cursoranzeige in der Promptaufforderung in der Menüzeile 10 und durch eine Anwenderauslösung eines zur Promptaufforderung gehörenden Tastenanschlags (zum Beispiel durch Eingabe von P) erscheint das Pulldown-Menü 12 auf dem Bildschirm. Dieses Pulldown-Menü zeigt die verfügbaren Eingaben, die in der Spalte "Art" in einer ausgewählten Zeile in einer Anwendungstabelle durchgeführt werden können, an und ermöglicht deren Durchführung.
• Indem der Cursor auf die Verarbeitungsaufforderung in der Menüzeile gesetzt wird, wird das Pulldown-Menü 14 angezeigt. Wenn der Cursor dann nahe der Zeile "Datei editieren" plaziert wird, und die Tasten ALT und E von dem Anwender gedrückt werden, wird ein geeigneter Editor - wie oben beschrieben - ausgewählt. Dies ermöglicht dann, daß das besondere Objekt, das in der Anwendungstabelle aufgelistet ist, durch eines der Editorprogrammsegmente entsprechend geändert wird. Die Zeile "Programmlauf" bezieht sich insbesondere auf ein aufgeführtes Story-Objekt. Die verbleibenden aufgeführten Aktionen, die im Pulldown-Menü 14 abgebildet sind, sind ohne weiteres verständlich.
• In Fig. 5 werden die Pulldown-Menüs zum Editieren und zur Abfrage gezeigt. In Fig. 6 sind die Pulldown-Menüs Drucken, Beenden und Hilfe abgebildet. Jede der Zeilen in jedem der Pulldown-Menüs definiert eine besondere Aufgabe, die nach der richtigen Positionierung eines Cursors und nach Auswahl der Aufgabe möglich wird. Indem zum Beispiel im Pulldown-Menü "Editieren" ein Cursor nahe der Zeile "rückgängig machen" plaziert wird, entfernt der Anwender durch Betätigen der "Enter" Taste die letzte editierte Änderung, die sich auf den Bildschirm mit der Anwendungstabelle auswirkte, zum Beispiel eine Einfügung oder eine Bewegung.
• Es wird nun Bezug auf Fig. 9 genommen, die eine Anwendungstabelle zeigt, die eine Anzahl von Objekten mit Verweisen enthält, die dort aufgeführt sind. Wie zuvor erwähnt, ermöglichen es die Verweise, daß Objekte einer Anwendung zugeordnet werden können, ohne daß diese physisch im gleichen Verzeichnis resident sind. Es wird zum Beispiel angenommen, daß ein Anwender die gesamte Audio-Musik, die in einer einzelnen Anwendung/einem einzelnen Verzeichnis, zum Beipsiel MYAUDIO, gespeichert ist, behält. Dies ist reizvoll, da sich die gesamte Musik an einem Platz befindet, was für Zugriff, Wartung und Sicherung praktisch ist. Wenn jetzt für verschiedene Vorführungsanwendungen verschiedene Musikstücke gewünscht werden, gibt es eine Anzahl von möglichen Annäherungen, um Vorführung und Musik miteinander zu verbinden. Die Musik könnte physisch in die verschiedenen Verzeichnisse kopiert werden. Dies wäre nicht akzeptabel, da viele Doppelspeicherungen und zahlreiche Kopien erforderlich wären. Oder aber, die verschiedenen Vorführungsstories könnten spezifische Pfadinformationen mit jeder Anweisung "Wiedergabe" plazieren. Dies würde Doppelspeicherungen vermeiden, da die Vorführungsanwendungen noch die Original-Audio-Versionen nutzten. Wenn jedoch irgendein Software-Pfadwechsel in der MYAUDIO-Datei (z.B. wenn diese in einem anderen Laufwerk plaziert wurde) durchgeführt werden muß, müssen alle Pfadeingaben in Anweisungen "Wiedergabe", die sich auf die Musik beziehen, gesucht und geändert werden.
• Die Referenzen in dieser Erfindungsarbeit umgehen diese Nachteile, indem einem Objekt erlaubt wird, in einer Anwendung aufgeführt zu werden, als wenn es dort physisch vorhanden wäre. Die Pfadinformation wird in der äußersten rechten Spalte der Anwendungstabelle geliefert und richtet den Zugriff auf die Anwendung und die Datei, wo sich das Objekt derzeit physisch befindet. In Fig. 9 werden Beispiele von Referenzpfaden gezeigt. Das Referenzobjekt, SKILAUFEN ist als Bildobjekt aufgeführt. Dies ermöglicht eine Anweisung "Anzeige" in einer Story-Ausarbeitung aus dieser Anwendung, um SKILAUFEN als einen Objektnamen zu benutzen, ohne daß eine besondere Pfadbezeichnung - exakt wie diese für ein Objekt erfolgt, das physisch in dieser Anwendung gespeichert ist, zum Beispiel die Datei INTRO 1 - erforderlich ist. Während der Laufzeit der Story, wenn eine Anweisung "Wiedergabe" auf SKILAUFEN trifft, veranlaßt das Programm automatisch den Pfad "e:BILDER4" nach dem Bildobjekt SKILAUFEN zu suchen. Da SKILAUFEN sowohl wiedergegeben als auch editiert werden kann, wird dadurch die aktuell physische Datei ständig aus der Referenzanwendung/dem Referenzverzeichnis e:BILDER 4 abgerufen und in dieser/diesem gespeichert. Somit muß nur eine Pfadbezeichnung für SKILAUFEN beibehalten werden -- diejenige, die sich in der Objektzeile in der Anwendungstabelle befindet --, wo SKILAUFEN derzeit resident ist.
• Wenn Anwendungen, auf die Bezug genommen wird, alle online resident sind, liegt der Vorteil bei der Referenzprozedur darin, daß Doppelspeicherung nicht erforderlich ist -- es muß nur eine Kopie von einem Objekt behalten werden, und andere Anwendungen außerhalb von derjenigen, die das Objekt besitzt, kann darauf zugreifen, indem darauf gezeigt wird (darauf Bezug genommen wird). Ein weiterer Vorteil ist, daß diese Pfadreferenzen nicht für jedes Objekt wiederholt einzugeben und auszuteilen sind. Jede Anwendung benötigt gerade eine Referenz (Pfadbezeichnung) pro Referenzobjekt. Somit ermöglicht dies, daß auf eine Objektkopie von allen zugegriffen werden kann.
• Sobald ein Anwender alle Objekte komplett zusammengestellt hat, die erforderlich sind, um eine audiovisuelle Darstellung zu erzeugen, muß die nächste Aktion zur Zusammenstellung des Audio-Teils der Darstellung durchgeführt werden. Dies geschieht im Audio-Editor.
AUDIO-EDITOR
• Der Audio-Editor wird benutzt, um den Sound aufzunehmen, zu digitalisieren und zu editieren. Alle Arbeiten, die mit dem Audio-Editor durchzuführen sind, erfolgen mit Hilfe einer Tabelle mit Spalten, die auf dem PC Bildschirm angezeigt werden und in Fig. 10 abgebildet sind. Der Sound wird in Zeitzeilen, die um eine Sekunde inkrementiert werden, verarbeitet. Für jede Soundzeile wird ein Lautstärkepegel angegeben. Jede Zeile kann ebenfalls Kommentare für Anmerkungen, Soundsteuerungen zur Lautstärkeeinstellung und Kennzeichnungen zur Story-Synchronisierung enthalten. Es ist ebenfalls möglich, in der Tabelle Kommentarzeilen ohne einen begleitenden Sound zu haben. Solche Kommentarzeilen können benutzt werden, um komplette Audio-Skripts zu dokumentieren. Editieraktionen wie Kopieren, Heben, Ausschneiden, Einfügen und Löschen ermöglichen es mittels Software-Steuerungen, die Audiodarstellung zu schneiden, aufzuzeichnen und einzuschneiden. Ein Zoom in Zehntelsekunden erleichtert das Feineditieren (wenn dies gewünscht wird) sehr.
• Wie bei zuvor erwähnten Tabellenbildschirmen enthält die Audio-Editor-Tabelle aus Fig. 10 eine Menüzeile 20, die verwendet wird, um die verschiedenen Pulldown-Menüs und zugehörigen Subroutinen aufzurufen. Der Name des aktuellen Audio-Objekts, das sich in Verarbeitung befindet, wird nach der Audio-A-Kennzeichnung angezeigt. Audio-B liefert einen zweiten Audio-Kanal und zeigt, sofern in Gebrauch, den Namen des Audio-Objekts B an. Während der Operation der Audio-Editor-Tabelle wird ein Hintergrundfarbcursor 22 benutzt, um mit Hilfe des Anwenders, der über die Tastatur die entsprechenden Eingaben vornimmt, das Rollen (nach oben und nach unten) zu ermöglichen. Während der Wiedergabe und der Aufzeichnung dehnt sich der Cursor 22 über die gesamte Breite der Tabelle aus und hält mit der Zeile in der Zeilenbasis Schritt, da Musik aufgezeichnet oder wiedergegebem wird. Zu anderen Zeiten wird während der Operation nur ein Teil des Cursors 22 benutzt, um die besondere Spalte anzugeben, welche die Eingabe durch den Anwender ermöglicht.
• In der Audio-Editor-Tabelle enthält die äußerste linke Spalte "Wiedergabezeit" eine Reihe von Nummern von 0000 bis 9999, um darzustellen, welche Sekunde des Sounds angegeben wird. Die Sekunden werden für alle Soundzeilen fortlaufend numeriert. Somit veranlaßt jede Sound-Einfügung oder -Löschung eine entsprechende Neunumerierung der Spalte. Die Spalte zeigt die Anzahl der aufgewendeten Sekunden von Beginn bis zum Ende der Wiedergabezeit an und liefert insbesondere eine Anzeige von jeder einzelnen Sekunde. Eine Zeile ohne zugehörigen Sound ist ausschließlich eine "Kommentarzeile" und im Feld mit der Wiedergabezeit werden 3 Trennungsstriche angezeigt.
• Das "Sound" Spaltenfeld enthält eine Vielzahl von Quadraten, die von links nach rechts verlaufen und den Lautstärkepegel dieser Soundsekunde angeben. Jedes Quadrat repräsentiert einen zusätzlichen Lautstärkepegel. In Fig. 14 finden sich Beispiele von diesen Quadraten in der Soundspalte. Die nächste Spalte ("Synch Kennung") akzeptiert eine Kennung, die angepaßt ist, damit auf diese in der Story-Editor-Tabelle (die nachstehend beschrieben wird) als zu synchronisierender Audio-Punkt Bezug genommen werden kann. Eine Synch-Kennung kann im wesentlichen ein fest fixierter, zu synchronisierender Audio-Punkt sein; im Gegensatz zu Zeitwerten, die relativer sind, da sich diese jedesmal ändern können, wenn der Sound eines Audio-Objekts eingefügt oder gelöscht wurde. Es ist zu bemerken, daß nicht alle Synch-Kennungen zur Systemsynchronisierung dienen, sondern einfach als Anforderungszeichen verwendet werden, um dem Anwender das Einfügen eines anderen Sounds oder eines anderen Materials in die Audio-Spur zu ermöglichen.
• Die Kommentarspalte wird benutzt, um Musikstücke, Musikgruppen, Musikhöhepunkte zu identifizieren und Sprachteile oder geschriebene Skripts einzugeben. Da der Cursor 22 in der Audio-Editor-Tabelle gleichzeitig mit der zeilenweise Musikwiedergabe nach unten rollt, weiß der Anwender dadurch, wann mit der Einfügung von Sprache-über-Textteilen zu beginnen ist. Zusätzlich wird das Skript erhellt, da der Cursor 22 nach unten rollt.
• Die äußersten rechten Spalten in der Audio-Editor-Tabelle ermöglichen die Steuerung von Soundvolumen und Zeitdauer. Die Spalte "Verfahren" akzeptiert nur die Eingabe "Volumen". Ein Anwender kann dies über die Tasten eingeben oder aus der Anforderungsliste (siehe Fig. 11) auswählen. Während der Audio- Wiedergabe ermöglicht diese Spalte eine Volumenänderung gemäß den Parametern, die in den beiden Spalten rechts (Volumen und Zeit) angegeben sind. Wie in Fig. 11 dargestellt ist (äußerster linker Teil) kann das Soundvolumen von null Prozent bis 100 Prozent variiert werden, und die Zeit, die benötigt wird, um sich zwischen den Volumen zu bewegen, wird von der Zeitmenge in der Spalte "Zeit" angegeben. Eine Volumenänderung kann somit sofort auftreten (null Sekunden), oder es kann bis zu zehn Sekunden dauern, um von einem zum anderen Volumen zu wechseln. Die Volumeneinstellungen beeinflußen nicht permanent den digitalisierten Sound, es sei denn, der Anwender hat dies so ausgewählt. In diesem Fall ruft der Anwender die Aktion "Mischen" aus der Menüzeile 20 auf und wählt außerdem die darunterliegende Liste "Permanentes Sound-Mischen" aus.
• Der Bildschirm der Audio-Editor-Tabelle kann in obere und untere Abschnitte aufgeteilt werden, wenn eine Doppelansicht der Audio-Objekte A und B (ohne Abbildung) eingestellt ist. Der obere Abschnitt rollt Audio-Objekt A und der untere Abschnitt rollt Audio-Objekt B. Der aktive Cursor kann mittels einer Cursor-Zweistellungsaktion zwischen den beiden Abschnitten vor- und zurückbewegt werden. Wenn der aktive Cursor in einem Abschnitt des geteilten Bildschirms erhellt ist, hat der andere Abschnitt (das andere Objekt) einen "Echo-Cursor" der synchron verläuft. Wenn das Objekt mit dem aktiven Cursor durch einfache Bewegung des Cursors gerollt wird oder durch Ausführung einer Aktion wie zum Beispiel Wiedergabe, Aufzeichnen, Einfügen, usw. wird der Cursor des anderen Bildschirms normalerweise synchron gerollt. Dies dient dazu, daß der Anwender, der diese Bildschirme sieht, die beiden Audio-Objekte zu Synchronisierungs- und Steuerzwecken mischen kann.
• Es wird nun auf die Figs. 11, 12 und 13 Bezug genommen, in denen die Pulldown-Menüs, die zu den Aktionen in der Menüzeile 20 gehören, kurz betrachtet werden. Die Anforderungsaktion wurde oben unter der Audio-Aktion beschrieben. Ein Pulldown- Menü zeigt eine Vielzahl von Wiedergabebefehlen an, welche die Wiedergabe entweder von einem ganzen Tonstück oder einem Teil des Stückes, das Wiederholen eines Stückes oder eines spezifischen Zeitsegments von einem Stück ermöglichen. Der Wiedergabebefehl veranlaßt zum Beispiel die Wiedergabe eines Audio-Objekts, das an der aktuellen Cursor-Stelle in der Audio-Tabelle beginnt. So wie die Wiedergabe fortschreitet, hält der erhellte Cursor mit der Zeile durch die Audio-Tabelle Schritt. Zeilen, zu denen kein Sound gehört (ausschließlich Kommentarzeilen) werden übersprungen. Die Wiedergabe wird fortgesetzt bis entweder die ESC Taste gedrückt oder die letzte Zeile der Audio-Tabelle erreicht ist. Die nochmalige Aufzeichnungseingabe in die Audio-Aktion im Pulldown-Menü ermöglicht zusätzliche Aufzeichnungen, die von Audio-Objekten erstellt werden.
• Editieraktionen, wie in dem zugehörigen Pulldown-Menü angegeben, ermöglichen eine Stornierung der letzten Eingabe (rückgängig machen), die sich auf die Audio-Tabelle auswirkt. Für die Funktionen Kopieren, Heben und Ausschneiden wird ein Puffer benitigt, um zeitweise das Material zu speichern, das während der Verarbeitung gemäß der gewünschten Funktion geändert wird. Der Befehl "Ausschneiden" nimmt zum Beispiel Material aus einem Teil der Tabelle und setzt diesen in einen anderen Teil der Tabelle. Bei dem Befehl "Heben" wird der zu "hebende" Block in den Puffer gesetzt und aus der Audio-Tabelle gelöscht.
• Die restlichen Funktionen, die in den Figs. 12 und 13 dargestellt sind, werden benutzt, um die Änderung der Eingaben in der Audio-Editor-Tabelle zu ermöglichen, um so ein kontinuierliches Audio-Objekt zu erstellen, welches entweder alleine oder mit einer Story kombiniert als eine integrierte Darstellung wiedergegeben werden kann.
• Wie in Fig. 12 gezeigt wird, ermöglichen die Aktionen Mischen, Steuern und Drucken in der Menüzeile 20 verschiedene Mischfunktionen, die zwischen den Soundquellen A und B ausgeführt werden; ermöglichen, daß mit Bezug auf das Sound-Volumen und die Sound-Balance die verschiedenen Steuerungen "manipuliert" werden; und ermöglichen den Ausdruck der gesamten Audio-Editor-Tabelle oder von Teilen davon. In Fig. 13 ermöglichen die Aktionen Datei, Beenden bzw. Hilfe das Schreiben auf Platte von einer oder mehreren ausgewählten Audio-Tabellen; das Beenden des Programms nach bestimmten Bedingungen und den Zugriff auf Hilfe-Subroutinen, welche es dem Anwender ermöglichen, angetroffene Probleme zu überwinden.
AUDIO-VERFASSER
• Es wird nun auf die Figs. 14, 15 und 16 Bezug genommen, und die Vorbereitung einer Audio-Editor-Tabelle für eine aktuelle Darstellung beschrieben. Wie in dem Flußdiagramm der Figs. 15 und 16 gezeigt wird, tritt der Anwender anfangs in den Bibliothekseditor ein; wählt eine Anwendung und anschließend ein Audio-Objekt aus. Die Verarbeitungsaktion in der Menüzeile wird dann ausgewählt und das zugehörige Pulldown-Menü erscheint mit der angegebenen Funktion "Datei editieren". Diese Funktion wird ausgewählt und veranlaßt, daß die Audio-Editiertabelle angzeigt wird. In diesem Stadium wählt der Anwender die Sound- Quelle (entweder Kanal A oder B) aus, setzt den Cursor auf den Audio-Objekt-Namen in der Tabelle und ruft die Audio-Menüzeile auf und deren zugehuriges Pulldown-Menü erscheint auf dem Bildschirm (siehe Fig. 11). Der Cursor wird anschließend auf "Wiedergabe von Anfang an" gesetzt, die Tasten "Alt" und "G" werden gedrückt, und die Wiedergabe des Audio-Objekts beginnt.
• Zu Beginn der Audio-Objekt-Wiedergabe ist die Audio-Editor-Tabelle die leere Tabelle aus Fig. 10. Während das Abspielen des Audio-Objekts beginnt, beginnt der Cursor 22 auf einer sekundenweisen Basis auf der Tabelle nach unten zu rollen. Die Musik spielt dann, indem Sekunde um Sekunde inkrementiert wird, wobei die Sekunden aufeinanderfolgend markiert werden und die Volumenangaben zu dem Sound werden in der Soundspalte eingefügt.
• Die obengenannten Aktionen werden in der Audio-Tabelle vermerkt, siehe Fig. 14, in der ein Beispiel von einer aktuellen Darstellung gezeigt wird. Wo kein Sound vorhanden ist, werden drei Trennstriche in die Spalte "Wiedergabezeit" eingesetzt. (Um der Kürze willen, wurden einige der Sekundenangaben aus der Tabelle von Fig. 14 entfernt.) Die ausgewählte Musik, die wiederzugeben ist, ist "Anchors Away". Diese wird für die Dauer von 22 Sekunden als Einführung zu einem Kommentar wiedergegeben. In der 20 Sekunden Zeitzeile erfolgt eine Einfügung in die Sound-Steuerungsspalten, um anzugeben, daß das Volumen über einen Zeitraum von 2 Sekunden um 20 % abnehmen muß. Die Wiedergabe wird dann mit dem 20 % Pegel bis zum Ende des Stückes oder zu einem früheren Zeitpunkt (z.B. 42. Sekunde) fortgesetzt.
• Am Ende des Tonstückes bewegt der Anwender den Cursor zu dem Punkt, wo der Hintergrundkommentar einzusetzen ist. Der Text kann anschließend in den Kommentarbereich eingegeben oder direkt aufgezeichnet werden. Zusätzlich können Synch-Kennungen in die Spalte "Synch-Kennungen" zum Zwecke von Anwenderaufforderungen eingefügt werden, oder um ein Steuersignal für eine Story-Editor-Tabelle (wie unten beschrieben) bereitzustellen. In Fig. 14 wird in der 34. Sekunde gewünscht, eine spezifische "Anzeige" zu veranlassen aufzutreten, um diese mit dem eingefügten Kommentar zu synchronisieren. Somit wird eine Synch- Kennung NORD eingefügt, auf die dann von der Story-Editor-Tabelle als Steuerfunktion Bezug genommen werden kann. Die restlichen Synch-Kennungen sind Aufforderungen für den Anwender um zu wissen, wann bestimmte Aktionen während des Ablaufs der Audio-Tabelle stattfinden werden. Der Begriff "Fleet" ist das Stichwort, um mit der Aufzeichnung der ersten Kommentarzeile zu beginnen, die in der Kommentarspalte abgebildet ist. Die nachfolgende Kennung "Shore Party" ermöglicht es dem Anwender zu wissen, daß ein Bild von einer Gruppe Matrosen an diesem Punkt während der Darstellung gezeigt wird.
• Wie in den Figs. 15 und 16 gezeigt wird, können - sobald die Synch-Kennungen eingefügt sind - die Volumenbefehle ebenfalls eingefügt werden, und der Hintergrundkommentar wird im Audio- Bereich B aufgezeichnet. Später können dann die Audiobereiche A und B gemischt werden, um eine einzelne Audio-Aufzeichnung zu erstellen, und die Synch-Kennungen und Volumenbefehle werden gegebenenfalls geändert, um die korrekte Soundbalance zwischen Hintergrundmusik und Hintergrundkommentar zu veranlassen.
STORY-EDITOR
• Der Story-Editor wird benutzt, um audiovisuelle Darstellungen (d.h. eine Story) zusammenzustellen. Eine Story definiert Seguenz und Anzeige von Bildern und die Synchronisierung der Audio-Bereiche. Die Eingabe von Daten über die Tastatur und die Ausgabe von Daten am Bildschirm und in Dateien werden auch von dem Story-Editor kontrolliert. Um eine Story aufzubauen, benutzt der Story-Editor eine Verfassersprache, AVA genannt, (audiovisuelle Verfassersprache) und eine Spezifikationstabelle, die derjenigen sehr ähnlich ist, die mit dem PC Storyboard benutzt wird. Die AVA Sprache ergänzt die Erfindung um eine interaktive und datenverarbeitende Fähigkeit, die in dem PC Storyboard nicht verfügbar war. Die AVA Sprache hält insgesamt etwa 60 Befehle verfügbar. Eine Liste mit den AVA Anweisungen, Funktionen und Befehlen wird in den Figs. 40, 41 und 42 dargestellt. Es ist zu bemerken, daß die AVA Sprache weitgehend auf REXX (Restructured, Extended Executor) basiert, einer Befehlssprache, die in IBM Erzeugnissen eingesetzt wird. Diese Sprache wird in "System Product Interpreter Reference", Second Edition, Dec. 1984, IBM publication number SC245239-1 definiert.
• Wenn Bilder in der Story angezeigt werden, kann entweder das ganze Bild auf einmal oder nur ein Teil angezeigt werden. Spezifikationen von Zeitabläufen steuern in der Story, wie lang der Übergang von einem Bild zum anderen ist und wie lange die Synchronisierung zwischen Bildern und Audio-Bereichen dauert. Die Synchronisierung stammt von dem Audio-Editor, auf den der Story-Editor antwortet. Zu Prüf zwecken können Stories während der Laufzeit für das Auftreten eines Ereignisses eingestellt werden, z.B. ein Anwender löst ein Cursor-Feld aus. Solche Felder werden in Bildern definiert (zum Beispiel in solchen um Bildsymbole oder Schlüsseiwörter) und resultieren in einer besonderen Angabe, wenn diese mit einem Cursor oder Maus während der Laufzeit der Story ausgewählt werden. In diesem Modus kann ein Bildschirm mit Bildsymbolen zur Auswahl angezeigt werden. Nachdem der Anwender geantwortet hat, kann die Story bestimmen, welches Bildsymbol ausgewählt wurde und dann entsprechend handeln (d.h. verzweigen).
• Es wird nun Bezug auf Fig. 17 genommen, in der eine Story-Editor-Tabelle (Nr. 1) dargestellt ist. In Fig. 18 wird die Story-Editor-Tablle Nr. 2 dargestellt, und es ist zu bemerken, daß sich nur die äußersten rechten Spalten von denen in Tabelle 1 unterscheiden. Im wesentlichen besteht die Story-Editor-Tabelle aus 11 Spalten; es können jedoch nur 7 Spalten in einem Bildschirm gezeigt werden, da die verbleibenden vier Spalten auf einen zweiten Bildschirm (Fig. 18) verbannt werden müssen.
• Jeder Spalte der Story-Editor-Tabelle wurde eine voreingestellte Anzahl von Zeichenpositionen zugeordnet. Normalerweise ist die Eingabe von Daten in eine Spalte auf die voreingestellte Anzahl von zugeordneten Zeichenpositionen beschränkt. Wenn eine Eingabe mit einer größeren Anzahl von Zeichen versucht wurde, werden "zu alte" Zeichen weder angezeigt nocht akzeptiert. Wenn es wünschenswert erscheint, eine Anweisung oder einen Kommentar einzugeben, die bzw. der die Anzahl von verfügbaren Zeichenpositionen in irgendeiner Spalte überschreitet, wird durch die Einfügung eines Schrägstrichs, der von einem Stemzeichen gefolgt wird, in den ersten beiden Zeichenpositionen einer Zeile alle nachfolgenden Spaltenbegrenzungen an Zeichen überwunden und ermöglicht die Eingabe von Text über die gesamte Zeilenlänge.
• Um die Bewegung zwischen Spalten zu erleichtern, werden Tab- Codes in der ersten Zeichenposition von jeder Spalte gesetzt, so daß durch Drücken einer Tab-Taste, der Cursor um eine Zeile in einer Tabelle aus der ersten Zeichenposition von einer Spalte in die erste Zeichenposition der nächsten Spalte inkrementiert wird, usw. Wenn sich jedoch der Cursor in der ersten Zeichenposition der äußersten rechten Spalte (Größe) der Tabelle befindet, die in Fig. 17 dargestellt ist, und die Tab- Taste gedrückt wird, wird die Tabelle, die in Fig. 18 dargestellt ist, automatisch anstelle der Tabelle von Fig. 17 angezeigt. Es ist zu bemerken, daß die beiden äußersten linken Spalten beider Tabellen identisch sind.
• Die Story-Editor-Tabellen, die in Figs. 17 und 18 gezeigt werden, benutzen einen Cursor, der durch eine hell blinkende Untersteichung dargestellt wird, die unter einer Zeichenposition erscheint, in der sich der Cursor aktuell befindet. Außerdem füllt ein Farbstreifen den Hintergrund des Feldes innerhalb einer Zeile aus, die adressiert wird. In vielen Fällen sind eine Spalte und ein Feld synonym. Wenn sich der Cursor zum Beispiel in der Spalte "Zeit" befindet, hat nur das Feld in der aktuellen Zeile einen Hintergrundfarbstreifen. Wenn die aktuelle Zeile eine AVA Anweisungszeile ist, erstreckt sich der Hintergrundfarbstreifen über die gesamte Farbzeile, d.h. über alle Spalten, da es eine solche Anweisung ermöglicht, sich über die ganze Zeile in einer ununterbrochenen Kette auszudehnen.
• Wie oben angegeben, benutzt die Story-Editor-Tabelle einen in zwei Abschnitte unterteilten Bildschirm, da die Story-Tabelle zu breit ist, um in einem einzelnen Bildschirm zu erscheinen. Der Bildschirm, der in Fig. 17 dargestellt ist, ist derjenige, der normalerweise angezeigt wird. Die vier Spalten auf der rechten Seite, die in Fig. 18 dargestellt sind, werden benutzt, wenn mit Anzeigekoordinaten von Teilbildern gearbeitet wird. Wenn die Tabelle von Fig. 17 angezeigt wird, und der Cursor sich in der äußersten rechten Spalte (Spalte GRÖSSE) befindet, wird der Cursor durch das Betätigen der Tab-Taste veranlaßt, sich in die Anfangszeichenposition der nächsten Spalte in der Story-Tabelle (BILD, X, Y) zu begeben und der Bildschirm gleichzeitig zur Änderung veranlaßt, um die in Fig. 18 dargestellte Tabelle anzuzeigen, wie dies oben angegeben ist. Die Aktion geschieht ebenfalls, wenn sich an die letzte Zeicheneingabe in der Spalte "Größe" eine Betätigung der rechten Pfeiltaste anschließt, was dazu führt, daß die nächste Spalte bereit für die Dateneingabe eingeordnet wird.
• Jedesmal, wenn die Story-Tabelle angezeigt wird, ist die Tabelle zur Eingabe bereit. Somit wird, wo immer der Cursor in dem Augenblick positioniert wird, durch die Betätigung einer Zeichentaste in der Tastatur veranlaßt, daß Zeichen an dieser Stelle eingefügt werden. Die äußerste linke Spalte (Anweisung) wird ein Befehl oder mehrere Befehle aus der AVA Sprache enthalten. Wenn die Zeile eine Bildschirmzeile ist, werden die Befehle im allgemeinen Ansicht, Ausschneiden, Löschen oder Farbe sein. Wenn die Zeile, die in die Tabelle eingefügt wird, eine Audio-Zeile ist, wird der Befehl im allgemeinen Wiedergabe lauten. Diese Befehle können in Fig. 42 zusammen mit den anderen AVA Befehlen zur Nutzung im System verfügbar gehalten werden. Wenn ein Befehl, gefolgt vom Namen eines Bildes, in die Spalte "Anweisung" eingefügt wird, ist es dieses Bild, das per Befehl angezeigt wird. Der Befehl Löschen veranlaßt, daß der Bildschirm gelöscht wird, und der Befehl Ausschneiden, der von einem Bildnamen gefolgt wird, veranlaßt, daß ein Bild über ein zuvor gezeigtes Bild gelegt wird. Der Befehl Wiedergabe für eine Sound-Zeile veranlaßt, daß ein Audio-Objekt, dessen Name dem Befehl folgt, wiedergegeben wird.
• Im oberen Bereich der Spalten in den Story-Editor-Tabellen gibt es zwei Zeilen: die eine trägt die Bezeichnung "Bildschirm" und die andere die Bezeichnung "Sound". In Abhängigkeit des besonderen Befehls in der Spalte "Anweisung" wird die eine oder die andere der Bildschirm- oder der Soundzeilen aktiviert. Wenn eine Anweisung zur Wiedergabe in der Spalte "Anweisung" existiert, ist somit die Sound-Zeile aktiv, während, wenn eine Anweisung zur Ansicht in der Spalte "Anweisung" vorhanden ist, die Bildschirmzeile für die Zeile aktiv ist, für die der Befehl zur Ansicht gesetzt wird.
• Für Zeilen, für die Bildschirmanweisungen vorhanden sind, bestimmt die Spalte "Verfahren" die Überblendungstechnik, die benutzt wird, um das Bild, auf das in der aktuellen Zeile Bezug genommen wird, auf den Bildschirm zu bringen. Eine Eingabe in diesem Feld und in den restlichen Feldern in der Story-Editor-Tabelle kann über die Tastatur erfolgen, gedreht werden oder aus der Pulldown-Liste, die in Fig. 19 abgebildet ist, ausgewählt werden. Wie aus einer Übersicht aus den zahlreichen Anzeigeverfahren ersichtlich ist, ist eine Vielzahl von Techniken verfügbar, um ein Bild zu veranlassen, auf dem Bildschirm zu erscheinen oder von dort zu verschwinden. Das Prüfverfahren beinhaltet zum Beispiel, daß das aktuelle Bild in einer Reihe von Zufalisboxen in einer speziellen Speicherorganisation auf den Bildschirm gebracht wird. Das Explosionsverfahren sorgt dafür, daß das aktuelle Bild gleichzeitig in vier Richtungen, usw. aufgerollt wird.
• Die Spalte DIR bestimmt die Richtung eines Überblendungsverfahrens, z.B. nach oben, unten, rechts, links, usw. (Siehe Fig. 20). Die nächste Spalte auf der rechten Seite, d.h. Zeile, liefert eine Farbzeile zusammen mit einem ankommenden Rand des aktuellen Bilds, um dieses von dem vorherigen Bild zu trennen, das überlagert wurde oder vom Bildschirm verschwunden ist. Mit dieser Eingabe kann die Farbe dieser Zeile ausgewählt werden. Die Spalte Eingabe der "Zeit" bestimmt die Zeit, die das Überblendungsverfahren vom Beginn der Anzeige bis zum Abschluß benötigt. Die Zeitwerte, die ausgewählt werden können, sind in Fig. 22 abgebildet, und variieren von sofort bis 8 Sekunden.
• Die Spalte für die Eingabe "Warten" bestimmt die Zeit, die nach Abschluß einer aktuellen Überblendung gewartet werden muß, bis zur nächsten Story-Zeile vorgerückt wird. Bei den Werten kann es sich um einen Zeitwert (in Sekunden und Zehntelsekunden), eine Audio-Synchronisierungskennung oder eine Zeitangabe, den Begriff "Eingabe", der das Warten auf Antworten zu den Eingaben erfordert, ein vom Anwender ausgelöstes Eingabesignal, usw. handeln. Die hier möglichen Eingaben sind in Fig. 23 abgebildet. Der Begriff "Taste" führt zu einem Verarbeitungsstop, nachdem die Überblendung abgeschlossen ist und gewartet wird, bis eine Taste (aursor oder irgendeine andere Taste) gedrückt wird. Ein eingesetzter Zeitwert veranlaßt den Verarbeitungsstop für diese spezifische Zeitlänge. Sobald die eingesetzte Zeit abgelaufen ist, wird die Verarbeitung automatisch in der nächsten Story-Zeile fortgesetzt. Wenn A oder B am Anfang einer Eingabe "Warten" steht, bedeutet dies, daß auf eine Audio-Synchronisierungsstelle entweder in Kanal A oder Kanal B zu warten ist. Wenn A oder B von einer Nummer gefolgt wird, dann ist die Audio-Synchronisierungsstelle ein Zeitwert mit vielen Sekunden oder Zehntelsekunden in der Audio-Datei. Der Zeitwert wird unmittelbar am Anfang der Audio-Datei gemessen und nicht dort, wo die Audio-Wiedergabe gestartet wird. Wenn A oder B am Anfang der Eingabe "Warten" von einer Zeicheneingabe anstelle von einem Zahlenwert gefolgt wird, dann wird die Eingabe als Audio-Synch-Kennung interpretiert. Während der Laufzeit werden diese Kennungen mit den Zeitwerten des Story-Editors gleichgesetzt. Das Warten auf eine Audio- Synch-Kennung ist somit mit dem Warten auf eine explizite Audio-Zeit identisch, ausgenommen, wenn der Anwender die Annehmlichkeit hat, eine Kennungsreferenz zu nutzen anstatt zu versuchen, sich an einen besonderen Zeitwert zu erinnern. Eine Eingabe von "A Horn" bedeutet zum Beispiel, daß gewartet werden muß, bis die Synch-Stelle in der Audio-Datei mit dem Namen "Horn" erreicht ist. Diese Spalte ermöglicht es, daß der visuelle Teil der Darstellung sehr genau mit der Audio-Darstellung synchronisiert wird.
• Die nächste Spalte, d.h. Größe, bestimmt, ob sich das Überblendungsverfahren für das Bildobjekt, das in der aktuellen Zeile genannt wird, über den gesamten Bildschirm oder nur über einen Teil des Bildschirms erstrecken soll. Wie in Fig. 24 gezeigt wird, können zwei Möglichkeiten ausgewählt werden, d.h. ganz oder teilweise. Wenn teilweise gewählt wird, dann müssen die Eingaben in einer der drei äußersten rechten Spalten in Fig. 18 oder in mehreren dieser Spalten erfolgen. Die Spalte "Bild X, Y" bestimmt, wo sich die obere linke Ecke des teilweise angezeigten Bereichs befindet, die von dem aktuellen Bild kommt. Eine X, Y Eingabe wie 20, 30 würde zum Beispiel die obere linke Ecke der Teilansicht in eine Position bringen, die 20% des Bildschirms vom linken Rand und 30 % nach unten vom oberen Rand einnimmt. Eingaben in die Spalten WDTH (Breite), HGHT (Höhe) funktionieren genau auf die gleiche Weise wie für die Bildkoordinaten X, Y. Der Unterschied ist der, daß diese Koordinaten die Breite bzw. die Höhe des Teilbereichs definieren. Eine Eingabe wie 30, 40 definiert zum Beispiel einen Teilbereich, der eine Breite von 30 % der Bildschirmgröße und eine Höhe von 40 % der Bildschirmgröße hat. Diese Abmessungen sind zur oberen linken Ecke des Teilbereichs, der in der Spalte "Bild X, Y" definiert wurde, relativ. Die Bildschirmspalten x,Y funktionieren auf die gleiche Weise wie für die Bildkoordinaten X, Y. Der Unterschied ist hier jedoch, daß diese Koordinaten die obere linke Ecke definieren, wo der Teilbereich aktuell am Bildschirm angezeigt wird. Eine Eingabe wie 80, 60 definiert zum Beispiel einen Teilzielbereich, der seine obere linke Ecke, die X Koordinate in einer Position von 80 % der Breite (vom linken Rand) und seine obere linke Ecke, die Y Koordinate in einer Position von 60 % der Höhe vom oberen Bildschirmbereich nach unten hat.
• Wie nun aus einer Bildschirmzeile ersichtlich ist, ermöglichen die Eingaben in die Spalten der Story-Editor-Tabelle, daß das Verfahren zur Darstellung eines Bildes ganz definiert wird, einschließlich dem Verfahren für Darstellung und Überblendung, der Dauer der Darstellung, usw. Wo eine Sound-Zeile vorhanden ist, ermöglichen es ähnliche Eingaben, daß ein Sound-Objekt entsprechend editiert wird.
• Bei einer Sound-Zeile hat die Spalte "Verfahren" drei Möglichkeiten: Einblenden, Fading und Ausbienden (siehe Fig. 28). Der Begriff "Fading" blendet den Sound zu Beginn ein und am Ende aus. "Einblenden" steuert genau den Anfangsteil des Sounds und "Ausbienden" steuert den Schlußteil des Sounds. Die Spalte "Kanal" ermöglicht die Auswahl von einem der Kanäle, A oder B (siehe Fig. 29). Die Spalte "Volumen" ermöglicht es, daß eine Eingabe (Fig. 30) eingefügt wird (für eine Wiedergabeanweisung), um den Lautstärkepegel für die jeweilige Wiedergabe zu setzen. Die Eingabe "Zeit" (für Sound-Zeilen) bestimmt die Zeit, welche das Audio-Überblendungsverfahren benötigt, um das Fading, Ein- und Ausbienden durchzuführen. Wie Fig. 31 zeigt, sind eine Reihe von Einstellungen für diese Darstellungsverfahren verfügbar. Eine Eingabe in die Spalte "Warten" definiert die Zeit, welche die Verarbeitung nach Abschluß einer aktuellen Wiedergabeanweisung warten muß, bis diese in die nächste Story-Zeile vorrückt. Bei diesen Werten kann es sich um einen Zeitwert, in Sekunden, usw., eine Audio-Synchronisierungsstelle, den Begriff EINGABE (der das Warten auf Antworten zu den Eingaben verlangt), den Begriff TRIGGER, der das Warten auf die Auslösung eines Cursorfelds, usw. definiert, handeln. Die Funktionen in der Spalte "Warten" sind für Sound- und Bildschirmzeilen ähnlich und funktionieren wie dies für die Bildschirmzeilen beschrieben wurde.
• Die Eingabe in die Spalte "Größe" bestimmt, ob die Wiedergabe einer Audio-Datei von ganz am Anfang bis ganz am Schluß der Datei (voll) zu erfolgen hat, oder ob die Wiedergabe an anderen Stellen in der Datei (Teil), (siehe Fig. 33) beginnen und enden soll.
• Die Eingabe in die Spalte "Sound-Anfang" legt nur eine Wiedergabeanweisung an, zum Beispiel WIEDERGABE, die von dem Namen eines Audio-Objekts gefolgt wird. Diese ermöglicht es, den spezifischen Anfangspunkt zu bezeichnen - einer der anders als der Beginn der Audio-Datei sein kann. Die Eingabe kann eine Synch-Kennung einer Audio-Datei oder eine Zeiteingabe in Sekunden und Zehntelsekunden sein. Die Eingabe des "Sound-Endes" funktioniert genau auf die gleiche Weise wie bei Sound-Anfang, mit der Ausnahme, daß angegeben wird, wo die Audio-Datei die Wiedergabe stopen muß. Dies wird in den Figs. 34 und 35 gezeigt.
• Es wird nun auf die Figs. 36-39 Bezug genommen. Die verschiedenen Menüzeilen, die zu der Story-Editor-Tabelle gehören, werden kurz erörtert. Viele dieser Funktionen sind mit denjenigen identisch, die in der Audio-Editor-Tabelle verwendet werden. Die Aufforderungsaktion wurde oben bereits erwähnt und wird hier nicht weiter beschrieben. Die Aktion "Erzählen" (Fig. 36) ist ein Befehl, der beginnt, eine Story zu erzählen und der an der aktuellen Cursor-Stelle in der Story-Tabelle beginnt. Das Erzählen wird im allgemeinen fortgesetzt, bis die letzte Zeile der Story, eine Stop-Anweisung oder ein Programmstop erreicht ist, oder die ESC Taste gedrückt wird. Sobald die Aktion "Erzählen" eine erste Bildschirmzeile erreicht hat, sucht diese in der Story-Tabelle nach oben, bis diese auf eine Anweisung zur Ansicht oder zum Ausschneiden trifft, die einen dazugehörigen Bildnamen hat. Dadurch wird die Anzeige des Anfangsbilds geliefert, so daß die Anzeige der Bildschirmzeile, in der "Erzählen" resident ist, durchgeführt werden kann, unabhangig davon, welches Bild-in-Bild-Übergangsverfahen aktuell in dieser Zeile wirksam ist. Als nächstes bestimmt "Erzählen", welches Bild für die aktuelle Zeile anzuzeigen ist. Wenn die aktuelle Zeile, die Bildschirmanweisung einen expliziten Dateinamen oder einen variablen Namen hat, dann wird dieser benutzt. Wenn dies nicht der Fall ist, dann wird das gleiche Bild, das für die Anfangsanzeige benutzt wird, die Anzeige für diese Zeile. Die Aktion "Erzählen" wird anschließend fortgesetzt, indem den Story-Zeilen nach unten gefolgt wird und die Befehle so ausgeführt werden, wie diese vorgefunden werden. Die restlichen Aktionen aus "Erzählen" von Fig. 36 sind ohne weiteres verständlich und werden hier nicht weiter beschrieben.
• Mit den Editieraktionen (siehe Fig. 37) ist es möglich, eine eingegebene Story-Zeile entsprechend den Anweisungen des Anwenders zu ändern, zu kopieren, usw. Die Befehle zur Aktion "Ansicht" ermöglichen die Auswahl von verschiedenen Teilen entweder aus einem Quellbild oder aus einem Zielbild, um dieses zu ändern oder liefern die Fähigkeit, das Bild zu verändern, während der Ton gehört oder das Bild mit dem Ton editiert wird.
• Die Aktionen Drucken, Datei, Beenden und Hilfe, die in den Figs. 38 und 39 dargestellt sind, sind weitere Aktionen, die dem Anwender zur Verfügung stehen, um die angegebenen Funktionen auszuführen.
• Die Figs. 40, 41 und 42 zeigen - wie vorerwähnt - die verschiedenen Tabellenaufforderungen, die bei Erstellung einer Story-Tabelle hilfreich sind. Wie in Figs. 41 und 42 gezeigt wird, steht eine Vielfalt verschiedener Funktionen und Befehlen zur Einfügung in die Story-Tabelle zur Verfügung, um die logische und arithmetische Verarbeitung zu ermöglichen, die während der Wiedergabe einer Story auftritt. Beim Einsetzen in die Story ermöglichen diese Funktionen und Befehle ein wechselweises Vorgehen, so daß die Reaktion eines Anwenders auf einen Teil der Story abgewartet wird, bevor dieser seine Darstellung weiterverarbeitet, verzweigt oder ansonsten verändert.
STORY-VERFASSER
• Es wird nun Bezug auf Fig. 43 genommen, in der eine Story-Tabelle dargestellt ist, welche zusammen mit der Audio-Tabelle, die in Fig. 14 abgebildet ist, die Darstellung einer synchronisierten audio-visuellen Darstellung ermöglicht. Merke: Die Kommentare werden in die Zeilen 1-3 und 16-18 eingesetzt, wobei es mit "/*" den Kommentaren ermöglicht wird, die Spaltentrennungslinien zu überschreiben.
• Die Story beginnt in Zeile 11 der Story-Datei und zeigt ein Bild mit dem Namen "Intro". Die Spalteneinfügungen in Zeile 11 geben an, daß das Bild mit Fading eingeblendet wird, das von rechts nach links auftritt, wobei das Fading 0,5 Sekunden bis zu seinem Auftreten benötigt. Das ganze Bild mit dem Titel "Intro" wird dargestellt.
• In Zeile 12 wird ein Befehl zum Laden des Bildes "Matrosen" ausgeführt und anschließend wird in Zeile 13 der Befehl "Warten" gefunden, wo auf das Betätigen einer Taste gewartet wird. Nachdem der Anwender eine Taste betätigt hat, bewegt sich der Cursor zu Zeile 19 und veranlaßt sofort, daß die Wiedergabe von der Retail 1 Audio-Datei von Kanal A mit 100 % Volumen beginnt. Die "A 2" Eingabe in der Spalte "Dann warten" gibt an, daß eine Audio-Synchronisierungsstelle von 2 Sekunden in der Retail 1 Audio-Datei als die Zeit zu benutzen ist, um den Cursor in Fig. 43 zu Zeile 20 zu bewegen und den nächsten Befehl auszuführen.
• In der Synchronisierungsstelle A 2 bewegt sich der Cursor zu Zeile 20, und das System führt den Befehl "ALLBLACK zeigen" aus, wobei das Bild mittels Fading auf den Bildschirm gebracht wird, das in einem 2-Sekunden-Intervall (siehe Zeitspalte) auftritt (siehe Spalte "Zeit"). Das ALLBLACK Bild wird für die Dauer von 0,5 Sekunden festgehalten und der Cursor fährt dann fort, um in Zeile 21 zu rollen. Dort wird der Befehl "Ansicht" "navyhat" ausgeführt, indem eine Prüfung der Darstellung erfolgt, um das Bild mit einer Sekunde darzustellen und zu warten, bis der Cursor zu Zeile 22 rollt. Der Befehl "Matrosen anzeigen" sorgt dafür, daß das Bild "Matrosen" mittels einer Explosionsdarstellung angezeigt wird, wobei das Bild aus vertikaler Richtung in die Mitte kommt. Eine rote, verbreiterte Zeile, die zu dem Bild gehört, wird durch Eingabe in die Spalte "Zeile" ausgeführt, und die Eingabe "6" in die Spalte "Zeit" bedeutet, daß es sechs Sekunden dauert, bis das ganze Bild entwickelt ist. Das Bild "Matrosen" bleibt bestehen, bis die 21. Sekunde der Zeit von dem Audio-Kanal A ("A 21" Eingabe in der Spalte "Dann warten") abgetastet ist.
• Die Story-Editor-Zeilen 23-36 werden, wie abgebildet, verarbeitet. In Zeile 27 wird der Bildschirm gelöscht, indem eine Streifendarstellung verwendet wird, die über 0,8 Sekunden auftritt. Anschließend zeigt die Eingabe in der Spalte "Dann warten" von A NORD an, daß nur nach Auftreten der NORD Synchronisierungskennung aus der Retail 1 Audio-Datei, die in Fig. 14 dargestellt ist, die Darstellung fortgesetzt werden darf. Nachdem die Synchronisierungskennung abgetastet wurde, wird anschließend ein Logo gezeigt (siehe Zeile 29), das eine Teilansicht benutzt, wie dies in den vier äußersten rechten Spalten der Story-Datei definiert wird. Die Darstellung endet wie in den Zeilen 30-32 definiert.
• Es kann somit festgestellt werden, daß durch die Benutzung der Audio-Editor-Tabelle und der Story-Editor-Tabelle ein Benutzer in der Lage ist, eine synchronisierte, audiovisuelle Darstellung aufzubauen. Dann, während der Laufzeit, arbeitet der PC, um nacheinander auf die Anweisungen in Verbindung mit der Wiedergabe der Audio-Datei zuzugreifen, um die Story zu präsentieren.

Claims (8)

1. Ein Verfahren, um eine synchronisierte audiovisuelle Darstellung in einem Datenverarbeitungsgerät zu erstellen und auszuführen, das audiovisuelle Ein-/Ausgänge hat, wobei das Verfahren die Speicherung einer Vielzahl von visuellen Bildern enthält;

und dadurch gekennzeichnet wird, daß

eine Tabelle angezeigt wird, die einen Audio-Soundtrack zusammen mit entsprechenden Zeitangaben darstellt und Synchronisierungskennungen in ausgewählten Zeitangaben eingibt;

ein Befehl zur Anzeige von ausgewählten, gespeicherten visuellen Bildern eingegeben wird, wobei dieser Befehl mit einer Synchronisierungskennung in der Audio-Soundtracktabelle verbunden wird; und

die audiovisuelle Darstellung ausgeführt wird, indem der Audio-Soundtrack wiedergegeben wird und auf die Erkennung einer in der Tabelle befindlichen Synchronisierungskennung reagiert, wobei der Befehl aufgerufen wird, der mit der Synchronisierungskennung verbunden ist, um das ausgewählte, gespeicherte, visuelle Bild anzuzeigen.

2. Ein Verfahren wie in Anspruch 1 angemeldet, das außerdem die Eingabe von Volumensteuerungsbefehlen in die Tabelle enthält, um Volumenänderungen im Audio-Soundtrack zu ermöglichen.

3. Ein Verfahren wie in Anspruch 1 oder 2 angemeldet, wobei die Tabelle mit einer Liste von zulässigen Aktionen geliefert wird, die in der audiovisuellen Darstellung durchführbar sind und nur eine aufgelistete, zugelassene Aktion in der Lage ist, auf eine vom Anwender getroffene Auswahl zu reagieren.

4. Ein Verfahren wie in irgendeinem vorhergehenden Anspruch angemeldet, das außerdem Schritte enthält, um

den Audio-Soundtrack wiederzugeben;

und die kontinuierlichen Sound-Angaben des Audio-Soundtracks entlang einer Dimension des Editor-Bildschirms zusammen mit einzelnen Angaben zur Wiedergabezeit anzuzeigen.

5. Ein Verfahren wie in Anspruch 4 angemeldet, das außerdem erzählenden Text in der Nähe der Sound-Angaben und der Angaben zur Wiedergabezeit im Bildschirm einfügt, wenn die Erzählung aktuell vorkommt.

6. Ein Verfahren wie in irgendeinem vorhergehenden Anspruch angemeldet, das außerdem einen Befehl in die Tabelle einfügt, um die weitere Verarbeitung zu verzögern, bis der Anwender antwortet.

7. Ein Verfahren wie in Anspruch 6 angemeldet, das außerdem einen Befehl einfügt, um eine Non-Screen-, Non-Audio-Verarbeitung durchzuführen und bis zu dessen Abschluß zu warten, bevor weitere Befehle verarbeitet werden.

8. Ein Verfahren wie in irgendeinem vorhergehenden Anspruch angemeldet, das außerdem enthält: die Anzeige einer tabellarischen Darstellung der audiovisuellen Präsentation, eine Spalte für Befehlsanweisungen, Spalten für visuelle Darstellungsfunktionsangaben und Spalten für Synchroniserungskennungen und Zeitangaben; wobei es dem Anwender ermöglicht wird, die Befehlsanweisungen, Synchronisierungskennungen und Zeitangaben einzufügen und die visuellen Darstellungsfunktionen auszuwählen und einzufügen; wobei während der Ausführung der audiovisuellen Darstellung die visuellen Bilder gemäß den Funktionsangaben, den Zeitangaben und den Synchronisierungskennungen, die in die tabellarische Darstellung eingefügt wurden, präsentiert werden.