DE19624151A1 - Videopräsentationssystem - Google Patents

Description

HINTERGRUND DER ERFINDUNG (1) Gebiet der Erfindung

Die vorliegende Erfindung bezieht sich auf ein Video­ präsentationssystem, und im besonderen auf ein Videopräsen­ tationssystem, das auf ein interaktives Multimediasystem angewendet wird, bei dem ein Nutzer ein Objekt in einem Videobild, das auf einer Videodisplayeinheit angezeigt wird, direkt behandeln kann, um eine Aktion zu verursachen, wie ein Anzeigen von Daten bezüglich des Objektes auf dem Bild­ schirm oder ein Umschalten zu einer anderen Szene.

Als Resultat der jüngsten Verbesserung und Entwicklung von Eingabe/Ausgabe-Vorrichtungen und von Software auf Video- und Audiobasis expandiert der Markt der Multimedia- Anwendungen rapide, und ferner hat ein zunehmender Wunsch nach Verbesserung der Funktion und Leistung solcher Anwen­ dungen bestanden.

(2) Beschreibung der verwandten Technik

Videomedien, die bei herkömmlichen Multimedia-Anwendun­ gen verwendet werden, sehen im allgemeinen ein interaktives Merkmal für ein stehendes Bild vor, wodurch, wenn ein gewis­ ser Teil auf einem Anzeigeschirm spezifiziert wird, Daten bezüglich des spezifizierten Teils angezeigt werden oder ein Umschalten auf einen anderen Bildschirm erfolgt. Bei einem Bewegungsvideobild sind jedoch Videomedien gegenüber dem direkten Behandeln durch den Nutzer im allgemeinen unemp­ findlich und dienen lediglich als Komponente zum Reproduzie­ ren von Videodaten wie sie gegeben sind.

Es ist nicht unmöglich gewesen, Videomedien ein inter­ aktives Merkmal zu verleihen; um jedoch Synchronisation zwischen Videoreproduktion und nutzeroperationsempfindlicher Interaktivität zu erreichen, das heißt, um eine Erkennung bezüglich dessen zu gestatten, welcher Teil in einem repro­ duzierten Videobild behandelt worden ist, bestehen die einzigen verfügbaren Optionen darin, entweder einen Zeitüberwachungsprozeß einzusetzen oder für jeden der Videorahmen Interaktivität festzulegen.

Das Verfahren, das einen Zeitüberwachungsprozeß erfor­ dert, übt jedoch einen schlechten Einfluß auf die Leistung der Videoreproduktion bezüglich des Zeitlagenprozesses oder dergleichen aus, und das Verfahren zum festlegen von Inter­ aktivität für jeden der Videorahmen erfordert einen riesigen Umfang von Einstellinformationen, wodurch der Kapazität der Speichervorrichtung schwere Einschränkungen auferlegt wer­ den. Mit den herkömmlichen Verfahren werden deshalb, selbst wenn ein Versuch unternommen wird, eine Vollbewegungsvideo­ reproduktion mit einer Rate von 30 Rahmen pro Sekunde mit einer Nutzeroperation bezüglich eines Objektes, das sich in einem Videobild bewegt, zu synchronisieren, die zentrale Verarbeitungseinheit oder der Speicher schwer belastet, wodurch das Problem aufgeworfen wird, daß zum Beispiel ein Bewegungsvideo nicht reproduziert werden kann.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist eine Aufgabe der vorliegenden Erfindung, ein Videopräsentationssystem vorzusehen, in dem die Last auf einer zentralen Verarbeitungseinheit oder einem Speicher nicht groß ist und das die Anzeige von Daten bezüglich des Objektes auf dem Bildschirm oder ein Umschalten auf eine andere Szene gestattet, wenn ein Objekt in einem reprodu­ zierten Videobild behandelt wird.

Um die obige Aufgabe zu erfüllen, ist ein Videopräsen­ tationssystem vorgesehen, mit einem Videotreiber-/-verarbei­ tungsmittel zum Ausführen eines Prozesses zum Anzeigen von Videodaten an einer Videodisplayeinheit, einer Koordinaten­ spezifizierungsvorrichtung, die durch einen Nutzer verwendet wird, um ein Operationssubjekt wie z. B. ein Objekt in einem Videobild zu spezifizieren, und einem Präsentationssteuer-/- verarbeitungsmittel zum Ausführen von Prozessen, die ein Umschalten auf eine Szene bezüglich des Operationssubjektes umfassen, das durch die Koordinatenspezifizierungsvorrich­ tung spezifiziert wurde. Das Videopräsentationssystem umfaßt ferner ein Videooperationsinformationshaltemittel zum Halten von Operationssubjektinformationen, die Operationssubjekte definieren, die durch den Nutzer auf Videobildern, die den Videodaten entsprechen, zu behandeln sind, und ein Videoope­ rationsinformationsverarbeitungsmittel zum Suchen der Opera­ tionssubjektinformationen für ein Operationssubjekt, das durch den Nutzer behandelt wurde, auf der Basis einer Rah­ menposition der Videodaten, die durch das Videotreiber-/- verarbeitungsmittel gegenwärtig reproduziert werden, und von Bildschirmkoordinaten des Operationssubjektes, die durch die Koordinatenspezifizierungsvorrichtung spezifiziert sind, um dadurch das Operationssubjekt zu detektieren, das durch den Nutzer behandelt wurde.

Die obigen und andere Ziele, Merkmale und Vorteile der vorliegenden Erfindung gehen aus der folgenden Beschreibung zusammen mit den beiliegenden Zeichnungen hervor, die bevor­ zugte Ausführungsformen der vorliegenden Erfindung als Beispiel zeigen.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Diagramm, das die theoretische Konfigu­ ration eines Präsentationssystems gemäß der vorliegenden Erfindung zeigt;

Fig. 2 ist ein Diagramm, das die Konfiguration eines Präsentationssystems gemäß einer Ausführungsform der vorlie­ genden Erfindung zeigt;

Fig. 3 ist eine Darstellung, die die Schnittstellen­ funktionen einer operationsinformationsverarbeitenden DLL zeigt;

Fig. 4 ist ein Flußdiagramm, das den Ablauf eines Weg­ informationssuchprozesses zeigt;

Fig. 5 ist ein Diagramm, das ein Verfahren zum Erhalten von Kontureninformationen durch lineare Interpolation zeigt; und

Fig. 6 ist ein Diagramm, das die Datenstruktur von Videooperationsinformationen zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Unter Bezugnahme auf eine Zeichnung wird zuerst ein Überblick über die vorliegende Erfindung gegeben.

Fig. 1 zeigt die theoretische Konfiguration eines Prä­ sentationssystems gemäß der vorliegenden Erfindung.

Das Präsentationssystem, das es einem Nutzer gestattet, ein Operationssubjekt zu behandeln, wie z. B. ein Objekt in einem Videobild, um auf eine Szene bezüglich des Operations­ subjektes umzuschalten, umfaßt eine Videodisplayeinheit 1 zum Ausgeben eines Videobildes an einen Bereich auf ihrem Bildschirm, eine Koordinatenspezifizierungsvorrichtung 2 zum Ausgeben von Bildschirmkoordinaten eines Operationspunktes, wenn die Operation durch den Nutzer auf dein Bildschirm der Videodisplayeinheit 1 ausgeführt wird, ein Videotreiber-/- verarbeitungsmittel 3 zum Ausführen eines Prozesses zum Laden von Videodaten 7, die an die Videodisplayeinheit 1 auszugeben sind, oder zum Starten, Stoppen, Umkehren oder schnellen Vorlauf der Reproduktion der Videodaten, und ein Präsentationssteuer-/-verarbeitungsmittel 4 zum Ausführen eines Prozesses zum Reproduzieren der Videodaten oder Inter­ pretieren der Nutzeroperation, um Szenen umzuschalten, gemäß dem Inhalt der Präsentation; zusätzlich zu diesen Elementen umfaßt die vorliegende Erfindung ferner ein Videooperati­ onsinformationsverarbeitungsmittel 5 und ein Videooperati­ onsinformationshaltemittel 6. Das Videooperationsinformati­ onsverarbeitungsmittel 5 detektiert das Operationssubjekt, das durch den Nutzer behandelt wurde, gemäß einer Rahmen­ position von Videodaten, die durch das Videotreiber-/-verar­ beitungsmittel 3 gegenwärtig reproduziert werden, und den Bildschirmkoordinaten des Operationssubjektes, die durch die Koordinatenspezifizierungsvorrichtung 2 spezifiziert sind. Das Videooperationsinformationshaltemittel 6 hält Operati­ onssubjektinformationen über Namen reproduzierter Videodaten und Operationssubjekte in den Videodaten.

Bei einem reproduzierten Videobild, das in einem Bereich auf dem Bildschirm der Videodisplayeinheit 1 ange­ zeigt wird, meldet die Koordinatenspezifizierungsvorrichtung 2, wenn der Nutzer ein gewisses Operationssubjekt in dem Videobild unter Verwendung der Koordinatenspezifizierungs­ vorrichtung 2 selektiert, dem Prasentationssteuer-/-verar­ beitungsmittel 4 die Koordinaten auf dem Bildschirm der Videodisplayeinheit 1, wo die Selektionsoperation durch den Nutzer erfolgt ist. Das Präsentationssteuer-/-verarbeitungs­ mittel 4 fordert von dem Videotreiber-/-verarbeitungsmittel 3 die Rahmenposition eines gegenwärtig reproduzierten Video­ bildes an und erhält die Rahmenposition. Auf der Basis der vorher erhaltenen Bildschirmkoordinaten und der Rahmenposi­ tion fordert dann das Präsentationssteuer-/-verarbeitungs­ mittel 4 den Erhalt eines Identifikators des behandelten Subjektes von dem Videooperationsinformationsverarbeitungs­ mittel 5 an. Zu dieser Zeit kann dem Videooperationsinforma­ tionsverarbeitungsmittel 5 ein Zeitintervallidentifikator, der spezifiziert, welcher Szene in den Videodaten das gegen­ wärtig reproduzierte Videobild entspricht, zusammen mit den Bildschirmkoordinaten und der Rahmenposition mitgeteilt werden. In diesem Fall kann der Suchbereich für das Operati­ onssubjekt nur auf die betreffende Szene beschränkt werden, wodurch eine Hochgeschwindigkeitsoperation möglich ist.

Das Videooperationsinformationsverarbeitungsmittel 5 prüft Operationssubjektinformationen, die in jenen Zeit­ intervallinformationen in dem Videooperationsinformations­ haltemittel 6 aufgezeichnet sind und durch den Zeitinter­ vallidentifikator spezifiziert sind. Falls bei gewissen Operationssubjektinformationen die gemeldete Rahmenposition in den Bereich zwischen dem Rahmen der ersten Weginformatio­ nen und jenem der letzten Weginformationen fallen, werden Kontureninformationen bezüglich des Operationssubjektes an der betreffenden Rahmenposition von den aufgezeichneten Weginformationen erhalten, und falls diese Kontureninforma­ tionen die gemeldeten Bildschirmkoordinaten enthalten, wird ein Identifikator des Operationssubjektes erhalten und zu dem Präsentationssteuer-/-verarbeitungsmittel 4 zurückgesen­ det.

Der so zurückgesendete Operationssubjektidentifikator und der Identifikator des gegenwärtigen Zeitintervalls können spezifizieren, in bezug auf welches Operationssubjekt in welcher Szene die Selektionsoperation vorgenommen worden ist, und daher findet das Präsentationssteuer-/-verarbei­ tungsmittel 4 auf der Basis dieser Informationen einen Prozeß, der mit jenem Operationssubjekt in der betreffenden Szene verbunden ist, und führt ihn aus. Falls der damit verbundene Prozeß im Umschalten auf eine andere Szene besteht, wird der Rahmenbereich für die Szene, auf die zu schalten ist, spezifiziert, um die Videoreproduktion durch das Videotreiber-/-verarbeitungsmittel 3 auszuführen, und falls der damit verbundene Prozeß eine andere Aufgabe spezi­ fiziert, wird die aufgezeichnete Aufgabe ausgeführt.

Somit wird, wenn eine Selektionsoperation bezüglich eines Operationssubjektes in einem reproduzierten Videobild vorgenommen wird, der mit diesem Operationssubjekt verbun­ dene Prozeß aufgerufen und ausgeführt.

Folgendes ist eine Beschreibung einer Ausführungsform gemäß der vorliegenden Erfindung, die zum Beispiel auf ein Präsentationssystem angewendet wird, wodurch es dem Nutzer möglich ist, sich im virtuellen Realitätsmodus innerhalb eines Gebäudes umherzubewegen. Für solch eine Anwendung der Erfindung können Videodaten von verschiedenen Punkten in einem Gebäude unter Verwendung einer Videokamera im voraus erhalten und gespeichert werden, so daß die Daten bezüglich verschiedener Szenen in dem Gebäude voneinander unterschie­ den werden können, und das Präsentationssystem kann ein interaktives System sein, das zum Beispiel, wenn der Nutzer eine Selektionsoperation bezüglich einer Tür in einem gegen­ wärtig reproduzierten Videobild vornimmt, ein Umschalten von Szenen ausführt, um Videodaten zu reproduzieren, die das Öffnen der Tür und den Raum hinter der Tür zeigen, oder Informationen bezüglich der Tür anzeigt, wie zum Beispiel die Modellnummer, das Material, Abmessungen und ähnliche Daten der selektierten Tür.

Fig. 2 zeigt die Konfiguration eines Präsentations­ systems gemäß der Ausführungsform der vorliegenden Erfin­ dung.

In Fig. 2 bezeichnet Bezugszahl 11 ein Display zum Anzeigen eines Videobildes auf seinem Bildschirm, und 12 bezeichnet eine Maus zum Detektieren der Bildschirmkoordina­ ten eines Punktes einer Selektionsoperation, die durch den Nutzer auf dem Bildschirm des Displays 11, das Videodaten reproduziert, ausgeführt wird. Ein Videotreiber 13 lädt Daten aus einer Videodatei und zeigt die Daten auf dem Display 11 an. Ein Präsentationssteuerskript/Interpreter 14 umfaßt ein Steuerskript, das die Präsentationsfolge beschreibt, und einen Interpreter zum Ausführen des Skripts. Eine operationsinformationsverarbeitende DLL (dynamische Verbindungsbibliothek) 15 detektiert ein selektiertes Operationssubjekt auf der Basis der Zeit, die einem gegenwärtig reproduzierten Bild zugeordnet ist, das heißt, eine Rahmenposition, durch die Bildschirmkoordinateninformationen, die von der Maus 12 ausgegeben wurden. Bezugszahl 16 bezeichnet einen Speicher, in dem ein Operationsinformationsaggregat 16a geladen ist, das angibt, welche Subjekte in welchen Szenen erscheinen und auch welche Bewegungen die Subjekte vollziehen. Bezugszahl 17 bezeichnet eine Videodatei zum Beispiel mit AVI-(audio­ visuellem verschachtelten)-Format, die Videodaten von tat­ sächlichen Bildern enthält.

In dem Steuerskript des Präsentationssteuerskripts/ Interpreters 14 ist ein Prozeß beschrieben, der auszuführen ist, wenn Bildschirmkoordinaten von der Maus 12 als Resultat einer Nutzeroperation eingegeben werden. Während der Nutzer zum Beispiel einen Korridor in einem Gebäude entlangschrei­ tet, kann er die Gabelung von rechten und linken Durchgängen erreichen. Das Steuerskript beschreibt fallabhängige Stories, wodurch die Szene umgeschaltet wird, um die Szene des Wendens nach rechts und Entlangschreitens des rechten Durchganges zu zeigen, wenn die rechte Ecke mit der Maus 12 selektiert wird, oder die Szene umgeschaltet wird, um die Szene des Wendens nach links und Entlangschreitens des linken Durchganges zu zeigen, wenn die linke Ecke selektiert wird.

Das Präsentationssteuerskript/Interpreter 14 führt die folgenden drei Prozesse aus:
Wenn eine Nutzeroperation erfolgt, werden Bildschirm­ koordinaten von der Maus 12 zugeführt. Zu dieser Zeit erfragt das Steuerskript/Interpreter von dem Videotreiber 13, welcher Videobildrahmen gerade reproduziert wird, und erhält von dem Videotreiber 13 eine gegenwärtige Rahmennum­ mer.

Unter Verwendung eines Satzes der Rahmennummer, die von dem Videotreiber 13 erhalten wurde, und der Bildschirmkoor­ dinaten ruft das Steuerskript/Interpreter die operations­ informationsverarbeitende DLL 15 zum Verarbeiten der Opera­ tionsinformationen auf und erhält einen Namen, der ein Subjekt identifiziert, welches das selektierte Operations­ subjekt ist, das heißt, einen Identifikator.

Das Steuerskript/Interpreter sucht nach einer Bedingung gemäß dem Identifikator des Subjekts, der von der operati­ onsverarbeitenden DLL 15 zurückgesendet wurde, und nach der gegenwärtigen Szene und führt ein Skript aus, das zu der Bedingung paßt.

Die operationsinformationsverarbeitende DLL 15 hat die folgenden neun Basisschnittstellen zum Verarbeiten der Videooperationsinformationen:
HIDF FAR PASCAL _export MIDRV_LoadIDF(LPCSTR lpszIdfFile- Name);
viod FAR PASCAL _export MIDRV_PurgeIDF(HIDF hIDF);
LPCSTR FAR PASCAL _export MIDRV_GetVideoFileName(HIDF hIDF);
int FAR PASCAL _export MIDRV_FindScene(HIDF hIDF, LPCSTR sceneName);
LPCSTR FAR PASCAL _export MIDRV_GetName(HIDF hIDF, int sceneIndex);
LONG FAR PASCAL _export MIDRV_GetStartTime(HIDF hIDF, int sceneIndex);
LONG FAR PASCAL _export MIDRV_GetEndTime(HIDF hIDF, int sceneIndex);
int FAR PASCAL _export MIDRV_GetNumberOfScenes(HIDF hIDF);
LPCSTR FAR PASCAL _export MIDRV_PickXY(HIDF hIDF, int sceneIndex, LONG time, int x, int y);
"LoadIDF" ist eine Funktion zum Lesen einer Datei, in der Videooperationsinformationen definiert sind, und zum Laden des Inhaltes der Datei in den Speicher 16, bei der das Argument der Dateiname ist und der zurückgesendete Wert ein Zeiger ist, der auf das Operationsinformationsaggregat 16a hinweist. "PurgeIDF" ist eine Funktion zum Entfernen des geladenen Operationsinformationsaggregats 16a aus dem Spei­ cher 16, und das Argument ist ein Zeiger, der auf das Opera­ tionsinformationsaggregat 16a hinweist. Die Funktion "GetVideoFileName" ist eine Schnittstelle zum Erhalten des Namens einer Videodatendatei, die durch den Videotreiber 13 zu reproduzieren ist, von dem Operationsinformationsaggregat 16a als Argument. Die Funktion "FindScene" ist eine Schnitt­ stelle zum Durchsuchen des Operationsinformationsaggregats 16a als Argument nach einer Szene mit dem Namen "sceneName", das heißt, nach einem Zeitintervall, und zum Zurücksenden seiner Identifikationsnummer. Die Funktion "GetName" ist eine Schnittstelle zum Erhalten des Zeitintervallnamens (scene name) auf der Basis der Identifikationsnummer des Zeitintervalls in dem Operationsinformationsaggregat 16a. Die Funktionen "GetStartTime" und "GetEndTime" sind Schnittstel­ len zum Erhalten einer Startrahmennummer bzw. einer Endrah­ mennummer auf der Basis der Identifikationsnummer des Zeit­ intervalls in dem Operationsinformationsaggregat 16a. Die Funktion "GetNumberOfScene" ist eine Schnittstelle zum Bestimmen dessen, wie viele Szenen in einer Videodatendatei gesetzt sind, das heißt, der Anzahl von Zeitintervallen in dem Operationsinformationsaggregat 16a. Die Funktion "PickXY" ist eine Schnittstelle zum Erhalten des Namens des
Subjektes (behandelten Subjektes), das eine Kontur hat, die die XY-Koordinaten enthält, auf der Basis des Zeitintervall­ namens der gegenwärtig reproduzierten Szene, der Rahmennum­ mer und der Bildschirmkoordinaten des Operationspunktes.

Die zuvor genannten verschiedenen Funktionen von Schnittstellen zwischen dem Präsentationssteuerskript/ Interpreter 14 und der operationsinformationsverarbeitenden DLL 15 können wie folgt zusammengefaßt werden:

Fig. 3 zeigt schematisch die Schnittstellenfunktionen der operationsinformationsverarbeitenden DLL.

Die Funktion "CONSTRUCT" dient dazu, das Operations­ informationsaggregat 16a in dem Speicher 16 zu konstruieren, indem eine Videooperationsdatei bezüglich der operations­ informationsverarbeitenden DLL 15 von dem Präsentationssteu­ erskript/Interpreter 14 spezifiziert wird, und der Identifi­ kator (Zeiger oder Handler) zum Verweisen im Speicher 16 auf das Operationsinformationsaggregat 16a, das in dem Speicher 16 geladen wurde, wird zum Präsentationssteuerskript/ Interpreter 14 zurückgesendet.

Die Funktion "DESTROY" dient zum Entfernen des Operati­ onsinformationsaggregats 16a aus dem Speicher 16, so daß der Speicherraum wiederverwendbar sein kann, bei der das Opera­ tionsinformationsaggregat 16a in dem Speicher 16 unter Verwendung des Identifikators, der zu der Zeit der Konstruk­ tion zurückgesendet wurde, gelöscht wird.

Die Funktion "ACQUIRE VIDEO DATA" dient zum Erhalten der Videodatendatei, die in den Videooperationsinformationen in dem Speicher 16 spezifiziert ist, indem die Videooperati­ onsinformationen in dem Operationsinformationsaggregat 16a spezifiziert werden, und der Identifikator (Dateiname) der Videodatendatei wird zurückgesendet.

Die Funktion "ACQUIRE TIME INTERVAL RANGE" dient zum Suchen der Zeitintervallinformationen, die in dem Operati­ onsinformationsaggregat 16a gesetzt sind, um zu den Zeit­ intervallinformationen zu passen, indem die Videooperati­ onsinformationen des Operationsinformationsaggregats 16a und der Zeitintervallidentifikator, der der Name einer Szene ist, die in dem Videobild eingestellt ist, spezifiziert werden, und die Positionen des Startrahmens und des Endrah­ mens des entsprechenden Zeitintervalls werden zurückgesen­ det.

Die Funktion "SEARCH FOR PATH INFORMATION" dient zum Zurücksenden des Subjektidentifikators von Operations­ subjektinformationen, die angeben, welches Subjekt durch den Nutzer bearbeitet worden ist, indem die Videooperations­ informationen des Operationsinformationsaggregats 16a, der Identifikator der Zeitintervallinformationen, die Rahmen­ position, bei der die Nutzeroperation erfolgte, und die Bildschirmkoordinaten, die durch die Maus 12 identifiziert wurden, spezifiziert werden.

Diese Schnittstellenfunktionen ermöglichen es der ope­ rationsinformationsverarbeitenden DLL 15, minimal notwendige Funktionen vorzusehen, um zu reproduzierende Videodaten zu erhalten, Videoszenen umzuschalten und eine Nutzeroperation auf dem Videobild zu verarbeiten.

Folgendes ist eine Beschreibung eines Prozesses in der operationsinformationsverarbeitenden DLL 15 zum Identifizie­ ren des Namens, der ein Subjekt bezeichnet, das der Nutzer auf dem Videobildschirm angeklickt hat, das heißt, eines Subjektidentifikators.

Fig. 4 zeigt den Ablauf eines Weginformationssuchpro­ zesses.

Bei dem Weginformationssuchprozeß führt zuerst das Prä­ sentationssteuerskript/Interpreter 14 der operationsinforma­ tionsverarbeitenden DLL 15 Argumente zu, die ein Zeitinter­ vall r enthalten, das eine gegenwärtig reproduzierte Szene spezifiziert, eine Rahmenposition f, die von dem Videotrei­ ber 13 erhalten wurde, und X- und Y-Koordinaten x, y, die durch die Maus 12 gegeben sind, zusammen mit den Videoopera­ tionsinformationen, die spezifizieren, welche Videodaten gegenwärtig reproduziert werden (Schritt S1). Um einen Schleifenprozeß als Initialisierung zum Suchen nach allen Subjekten in dem Zeitintervall r auszuführen, wird die Anzahl n0 von Subjekten, die in dem Zeitintervall r aufge­ zeichnet sind, eingestellt, und Operationssubjektinformatio­ nen i werden auf "O" gesetzt (Schritt S2). Dann wird die Anzahl n0 von Subjekten mit den Operationssubjektinformatio­ nen i verglichen (Schritt S3). Falls i < n0 erfüllt ist, wird die i-te Operationssubjektinformation als i0 gesetzt (Schritt S4), und die Rahmenposition der ersten Weginforma­ tionen in i0 und die Rahmenposition der letzten Weginforma­ tionen in i0 werden als "Start" bzw. "Ende" gesetzt (Schritt S5). Dann wird bestimmt, ob die Rahmenposition f, nach der gesucht wird, zwischen der Rahmenposition der ersten Weg­ informationen und der Rahmenposition der letzten Weginforma­ tionen existiert oder nicht (Schritt S6). Falls die Rahmen­ position f nicht zwischen der Rahmenposition der ersten Weginformationen und jener der letzten Weginformationen existiert, wird i inkrementiert, so daß der Prozeß an den nachfolgenden Operationssubjektinformationen ausgeführt werden kann (Schritt S7), und der Ablauf kehrt zu Schritt S3 zurück.

Falls andererseits die Rahmenposition f zwischen der Rahmenposition der ersten Weginformationen und jener der letzten Weginformationen existiert, werden die Weginforma­ tionen, die der Rahmenposition f unmittelbar vorausgehen, und die Weginformationen, die derselben unmittelbar folgen, als "prev" bzw. "next" gesetzt (Schritt S8), wird die Kontur von i0 (bei diesem Beispiel wird angenommen, daß die Kontur des Subjektes ein Rechteck ist) bei f auf der Basis von "prev" und "next" berechnet, und bei diesem Rechteck werden die X-Koordinate der linken Seite, die X-Koordinate der rechten Seite, die Y-Koordinate der oberen Seite und die Y-Koordinate der unteren Seite als "links", "rechts", "oben" bzw. "unten" gesetzt (Schritt S9). Das Verfahren zum Erhal­ ten der Kontur wird später beschrieben. Nachfolgend wird bestimmt, ob die Bildschirmkoordinaten x, y, die durch die Maus 12 lokalisiert wurden, in den Bereich des Rechtecks fallen oder nicht (Schritt S10). Falls die Bildschirmkoordi­ naten x, y, die durch die Maus 12 identifiziert wurden, in dem Rechteck enthalten sind, wird der Name des Subjekts i0 in den Operationssubjektinformationen zurückgesendet, und falls die Bildschirmkoordinaten in dem Rechteck nicht exi­ stieren, kehrt der Ablauf zu Schritt S7 zurück, um einen Vergleich mit den nächsten Operationssubjektinformationen vorzunehmen. Falls bei Schritt S3 i = n0 erfüllt ist, bedeu­ tet dies, daß keine passenden Operationssubjektinformationen vorhanden sind, und als Resultat der Bereichssuche bezüglich aller Operationssubjektinformationen in dem betreffenden Zeitintervall wird beurteilt, daß das mit der Maus selek­ tierte Operationssubjekt nicht als Operationssubjektinforma­ tionen aufgezeichnet ist; deshalb wird eine Nullzeichenkette zurückgesendet.

Es erfolgt eine Beschreibung eines Beispiels zum Berechnen von Konturinformationen auf der Basis der Weg­ informationen, die das Operationssubjekt an Rahmenpositionen vor und nach der Rahmenposition definieren, die lokalisiert worden ist.

Fig. 5 zeigt ein Verfahren zum Erhalten von Kontur­ informationen durch lineare Interpolation.

In Fig. 5 enthält ein Videodisplaybereich, der mit 21 gekennzeichnet ist, gewöhnlich mehrere Operationssubjekte; der Einfachheit der Darstellung halber wird jedoch angenom­ men, daß nur ein Subjekt in dem Videodisplaybereich 21 vorhanden ist. Die Kontur dieses Operationssubjektes ist in jeder der Übergangsphasen der Bewegung des Subjektes zum Beispiel als rechteckige Form definiert. Da sich die Posi­ tion und Größe des Subjekts in dem Videodisplaybereich 21 mit der Zeit verändern, ist für das Subjekt bei einer Über­ gangsphase seiner Bewegung eine Kontur definiert, die zu der Bewegung paßt. Fig. 5 zeigt eine Veränderung der Kontur eines Subjektes, das bei Rahmenpositionen P1, P2 und P3 in einer gewissen Szene von Videodaten Übergangsphasen der Bewegung hat, und die Konturen an diesen Rahmenpositionen sind mit C1, C2 bzw. C3 gekennzeichnet. Die Konturen C1, C2 und C3 sind in den jeweiligen Weginformationen definiert, die die Operationssubjektinformationen bilden.

Wenn durch den Nutzer an einer gewissen Rahmenposition PT die Maus betätigt wird, werden die Übergangsphasenrahmen vor und nach diesem Rahmen, bei dem gezeigten Beispiel die Rahmen an den Rahmenpositionen P2 und P3, die der Rahmen­ position PT vorausgehen bzw. folgen, lokalisiert, und die Konturen C2 und C3 werden aus den Weginformationen erhalten, die den jeweiligen Rahmen zugeordnet sind. In dem Fall, wenn die Kontur die Form eines Rechtecks hat, sind die Informa­ tionen bezüglich der Konturen C2 und C3 zum Beispiel durch X-Koordinaten der rechten und linken Seiten des Rechtecks und Y-Koordinaten der oberen und unteren Seiten des Recht­ ecks definiert. Aus diesen Koordinaten können die Koordina­ ten der vier Ecken von jeder der Konturen C2 und C3 erhalten werden; deshalb ist jedes Paar der entsprechenden Ecken durch eine gerade Linie verbunden, und eine Kontur, die durch die vier Punkte gebildet wird, die bei der Rahmenposi­ tion PT auf den jeweiligen geraden Linien liegen, wird als interpolierte Kontur CI abgeleitet. Durch Vornehmen einer Bestimmung bezüglich dessen, ob die Bildschirmkoordinaten in die durch lineare Interpolation so erhaltene interpolierte Kontur CI fallen oder nicht, ist es möglich, das durch den Nutzer spezifizierte Operationssubjekt zu identifizieren.

Schließlich wird die Datenstruktur der Videooperati­ onsinformationen erläutert, die das Operationsinformati­ onsaggregat 16a bilden.

Fig. 6 zeigt die Datenstruktur der Videooperations­ informationen.

Die Videooperationsinformationen enthalten einen Video­ datenidentifikator, der Videodaten spezifiziert, die mit diesen Informationen verbunden sind, das heißt, den Namen einer AVI-Datei (AVIFileName), die Anzahl von Szenen, die in diesen Videooperationsinformationen aufgezeichnet sind, das heißt, die Anzahl von Zeitintervallen (NumScenes), und eine Liste oder Anordnung von Zeitintervallinformationen zum Verwalten der Informationen bezüglich der Zeitintervalle, die in diesen Videodaten eingestellt sind.

Jede Zeitintervallinformation enthält einen Zeitinter­ vallidentifikator (SceneName) zum Unterscheiden dieses Zeitintervalls von anderen Zeitintervallen, eine Rahmennum­ mer (StartFrame), die den Start dieses Zeitintervalls spezi­ fiziert, eine Rahmennummer (EndFrame), die das Ende dieses Zeitintervalls spezifiziert, die Anzahl (NumSubject) von Operationssubjektinformationen, die in diesem Zeitintervall aufgezeichnet sind, und eine Liste oder Anordnung von Opera­ tionssubjektinformationen zum Verwalten der Informationen bezüglich der Operationssubjekte in diesem Zeitintervall, die gegenüber der Nutzeroperation empfindlich sind.

Jede Operationssubjektinformation enthält einen Identi­ fikator (SubjectName), der das betreffende Subjekt spezifi­ ziert, die Anzahl (NumNode) von Weginformationen, die in diesem Subjekt enthalten sind, und eine Liste oder Anordnung von Weginformationen, die beschreiben, wie das Subjekt in den Videodaten mit der Zeit seine Position verändert.

Jede Weginformation enthält eine Rahmennummer (Frame), die eine Zeitposition angibt, die spezifiziert, welche Rahmenpositionsinformation in der Bewegung des Subjektes diese Weginformation beschreibt, und Konturinformationen, die die Kontur des Subjektes an dieser Rahmenposition beschreiben, das heißt, eine Liste oder Anordnung, die die Koordinate der linken Seite (Left), die Koordinate der oberen Seite (Top), die Koordinate der rechten Seite (Right) und die Koordinate der unteren Seite (Bottom) des Rechtecks enthält, die das Subjekt in diesem Rahmen belegt. Obwohl die Kontur bei diesem Beispiel eine rechteckige Form hat, kann sie alternativ als irgendein anderes Polygon definiert sein. In dem Fall, wenn die Kontur die Form eines anderen Polygons als die eines Rechtecks hat, sind die Konturinformationen in Form einer Liste oder Anordnung enthalten, die die Koordina­ ten der Eckpunkte des Polygons umfaßt.

Somit brauchen die Operationssubjektinformationen nicht bezüglich jedes Rahmens von Videodaten festgelegt zu werden und können für jede Übergangsphase der Bewegung des Subjek­ tes festgelegt werden, wodurch die Informationsmenge, die der Videooperation zugeordnet ist, reduziert wird, so daß eine schnellere Ereignisverarbeitung möglich ist.

Obwohl die obige Ausführungsform die lineare Interpola­ tion als Verfahren zum Erhalten von Konturinformationen an einer Rahmenposition verwendet, für die keine Weginformatio­ nen definiert sind, kann alternativ ein anderes Interpolati­ onsverfahren verwendet werden. Ferner ist in der obigen Ausführungsform der Fall beschrieben, wenn die Zeitinter­ vallinformationen in den Videodaten für jede Szene festge­ legt sind, um eine Unterscheidung zwischen den Szenen zu gestatten, aber die Zeitintervallinformationen sind keine wesentlichen Informationen, da eine Rahmenposition in den Videodaten durch die Rahmennummer allein spezifiziert werden kann.

Wie oben beschrieben, hat die vorliegende Erfindung solch eine Konstruktion, daß die Rahmenposition von Videoda­ ten, die durch das Videotreiber-/-verarbeitungsmittel gegen­ wärtig reproduziert werden, und die Bildschirmkoordinaten eines Operationssubjektes, die durch die Koordinatenspezifi­ zierungsvorrichtung spezifiziert sind, erhalten werden, das Objekt oder das Operationssubjekt lediglich auf der Basis der Rahmenposition und der Bildschirmkoordinaten detektiert wird, und potentielle Subjekte, die durch den Nutzer zu spezifizieren sind, als separate Daten in Zuordnung zu Rahmenpositionen der Videodaten gespeichert sind. Daher kann ein Operationssubjekt in Videodaten mit einer ihm zugeordne­ ten Aktion verbunden werden, ohne Bewegungsvideodaten über­ haupt abwandeln zu müssen, wodurch die Verbindung mit ver­ schiedenen Präsentationssystemen erleichtert wird.

Wenn ein Operationssubjekt detektiert wird, kann ein Zeitintervall spezifiziert werden, das bezüglich jeder Szene definiert ist, in welchem Fall nur das Zeitintervall lokali­ siert zu werden braucht, wodurch ein Umschalten von Szenen in denselben Videodaten mit hoher Effektivität und hoher Geschwindigkeit möglich ist. Die Operationssubjektinforma­ tionen in dem Videooperationsinformationshaltemittel müssen nur für jede Übergangsphase der Bewegung des Subjektes festgelegt werden, und undefinierte Operationssubjektinfor­ mationen an einer Rahmenposition zwischen den Übergangspha­ sen können durch Interpolieren der Operationssubjektinforma­ tionen an Rahmenpositionen vor und nach der betreffenden Rahmenposition erhalten werden. Somit kann der Umfang von Informationen drastisch reduziert werden, da die Festlegung für jeden Videorahmen unnötig ist, und das System wird ohne große Belastung angewendet, selbst wenn die Operations­ subjektinformationen in den Speicher geladen werden. Da das Videooperationsinformationsverarbeitungsmittel ferner keine Abhängigkeit von einem spezifischen Videodatenformat oder dem Videotreiber/-verarbeitungsmittel aufweist, ist es äußerst unabhängig und kann leicht mit verschiedenen Anwen­ dungen verbunden werden.

Obiges wird nur als Erläuterung der Prinzipien der vor­ liegenden Erfindung angesehen. Da Fachleute ohne weiteres auf zahlreiche Abwandlungen und Veränderungen kommen werden, wird ferner nicht gewünscht, die Erfindung auf die exakte Konstruktion und gezeigte und beschriebene Anwendungen zu begrenzen, und daher können alle geeigneten Abwandlungen und Äquivalente als in den Schutzumfang der Erfindung in den beigefügten Ansprüchen fallend und als ihre Äquivalente betrachtet werden.

Claims (4)

1. Videopräsentationssystem mit einem Videotreiber-/- verarbeitungsmittel zum Ausführen eines Prozesses zum Anzeigen von Videodaten an einer Videodisplayeinheit, einer Koordinatenspezifizierungsvorrichtung, die durch einen Nutzer verwendet wird, um ein Operationssubjekt wie z. B. ein Objekt in einem Videobild zu spezifizieren, und einem Präsentationssteuer-/-verarbeitungsmittel zum Ausführen von Prozessen, die ein Umschalten auf eine Szene bezüglich des Operationssubjektes umfassen, das durch die Koordinaten­ spezifizierungsvorrichtung spezifiziert wurde, welches Videopräsentationssystem umfaßt:
ein Videooperationsinformationshaltemittel zum Halten von Operationssubjektinformationen, die Operations­ subjekte definieren, die durch den Nutzer auf Videobildern, die Videodaten entsprechen, zu behandeln sind; und
ein Videooperationsinformationsverarbeitungsmittel zum Suchen der Operationssubjektinformationen für ein Opera­ tionssubjekt, das durch den Nutzer behandelt wurde, auf der Basis einer Rahmenposition der Videodaten, die durch das Videotreiber-/-verarbeitungsmittel gegenwärtig reproduziert werden, und von Bildschirmkoordinaten des Operationssubjek­ tes, die durch die Koordinatenspezifizierungsvorrichtung spezifiziert sind, um dadurch das Operationssubjekt zu detektieren, das durch den Nutzer behandelt wurde.

2. Videopräsentationssystem nach Anspruch 1, bei dem das Videooperationsinformationsverarbeitungsmittel ein Mittel enthält zum Laden des Inhaltes einer Datei, die Videodaten, die zu präsentieren sind, und Nutzeroperati­ onsinformationen, die den Videodaten zugeordnet sind, spei­ chert, in das Videooperationsinformationshaltemittel, und zum Entfernen der geladenen Informationen, ein Mittel zum Erhalten von Informationen, die Videodaten spezifizieren, die durch das Videotreiber-/-verarbeitungsmittel zu reprodu­ zieren sind, von dem Videooperationsinformationshaltemittel, und ein Mittel zum Identifizieren eines Operationssubjektes, das durch eine Nutzeroperation auf einem Videobild spezifi­ ziert worden ist, durch Analysieren der Operationssubjekt­ informationen, die durch das Videooperationsinformations­ haltemittel gehalten werden, auf der Basis der Bildschirm­ koordinaten, die durch die Koordinatenspezifizierungsvor­ richtung spezifiziert sind, und der Rahmenposition des Videobildes, das durch das Videotreiber-/-verarbeitungsmit­ tel gegenwärtig reproduziert wird, und zum Erhalten eines Namens des Operationssubjektes.

3. Videopräsentationssystem nach Anspruch 2, bei dem das Videooperationsinformationsverarbeitungsmittel ferner ein Mittel enthält zum Erhalten, von dem Videooperations­ informationshaltemittel, von Informationen bezüglich eines Zeitintervalls, das eine Zeitposition innerhalb der Video­ daten einer Szene angibt, die einen Rahmen der Videodaten enthält, die durch das Videotreiber-/-verarbeitungsmittel gegenwärtig reproduziert werden.

4. Videopräsentationssystem nach Anspruch 1, bei dem die Videooperationsinformationen, die durch das Videoopera­ tionsinformationshaltemittel gehalten werden, einen Video­ datenidentifikator enthalten, der Videodaten spezifiziert, und eine Liste oder Anordnung von Zeitintervallinformationen zum Verwalten von Informationen, die jedes der Intervalle definieren, die durch Unterteilen der Videodaten erhalten werden; die Zeitintervallinformationen einen Zeitintervall­ identifikator enthalten, zum Unterscheiden eines Zeitinter­ valls von ihnen von anderen Zeitintervallen, Rahmenpositio­ nen, die Start bzw. Ende des Zeitintervalls in den Video­ daten angeben, und eine Liste oder Anordnung von Operations­ subjektinformationen zum Verwalten von Informationen über Operationssubjekte, die durch den Nutzer in dem Zeitinter­ vall zu behandeln sind, und kontinuierliche, sich zeitlich verändernde Bewegungen der Subjekte auf Videobildern in dem Zeitintervall; die Operationssubjektinformationen einen Identifikator enthalten, zum Spezifizieren in den Videodaten eines Operationssubjektes, das in den Operationssubjekt­ informationen beschrieben ist, und eine Liste oder Anordnung von Weginformationen zum Verwalten von Informationen über Konturen des Operationssubjektes zu gewissen Zeitpunkten in den Videodaten; und die Weginformationen eine darin beschriebene Rahmenposition enthalten, und eine Liste oder Anordnung von Konturinformationen, die Eckpunkte eines Polygons enthalten, die eine Kontur eines Bereiches reprä­ sentieren, den das Operationssubjekt in dem Videobild an der Rahmenposition belegt.