DE60036288T2

DE60036288T2 - Dynamisches bildsuch-informations-aufzeichnungsgerät und dynamische bildsuchvorrichtung

Info

Publication number: DE60036288T2
Application number: DE60036288T
Authority: DE
Inventors: Shuichi Chiba-shi WATANABE
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-06-30
Filing date: 2000-06-29
Publication date: 2008-05-29
Anticipated expiration: 2020-06-30
Also published as: EP1195692B1; US7092040B1; JP2004104836A; JP4462922B2; EP1835421A2; EP1195692A4; JP4027662B2; US7884884B2; ES2288859T3; EP1195692A1; CN1371502A; US20060164560A1; KR20020019482A; EP1835421A3; CN1371502B; KR100486047B1; DE60036288D1; WO2001003005A1

Description

Technisches Gebiet
Die Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen von Informationen zum Wiedergewinnen eines Bewegtbildes (eine Bewegtbild-Wiedergewinnungsinformations-Erzeugungsvorrichtung) und eine Vorrichtung zum Wiedergewinnen eines Bewegtbildes (eine Bewegtbild-Wiedergewinnungsvorrichtung) und insbesondere auf eine Bewegtbild-Wiedergewinnungsinformations-Erzeugungsvorrichtung und eine Bewegtbild-Wiedergewinnungsvorrichtung, die in der Lage sind, eine gewünschte Szene unter mehreren Szenen, die ein Bewegtbild bilden, effizient wiederzugewinnen und zu entnehmen.
Stand der Technik
Mit der Verbesserung der Leistung eines Computers, der Verwirklichung einer Speichervorrichtung mit großer Kapazität, der Erweiterung einer Kommunikationsinfrastruktur und anderen Fortschritten kam ein Dienst oder dergleichen in weit verbreiteten Gebrauch, der eine Datenbank einer großen Menge von Bildern wartet und ein erforderliches Bild liefert, wenn eine Notwendigkeit entsteht. Da eine Technologie zum Digitalisieren eines Bildes Fortschritte gezeigt hat, kann eine Person eine Datenbank von Bewegtbildern aufbauen.
Wenn eine Datenbank von Bewegtbildern aufgebaut wurde, dann wird, wie ein gewünschtes Bild aus dieser wiederzugewinnen ist, zu einem Problem. Die Erfindung bezieht sich auf eine Verbesserung einer solchen Technologie zum Wiedergewinnen eines Bewegtbildes.
Der Begriff "Bewegtbild", der in der Patentbeschreibung verwendet wird, umfasst sowohl Typen von Bewegtbilddaten, die nicht verarbeitet sind und aus RGB-Signalen (Signalen von Rot, Grün und Blau) bestehen, als auch Bewegtbilddaten, die digitalisiert und gemäß einem Bewegtbild-Kompressionsformat wie z. B. in MPEG (Moving Picture Experts Group) oder dergleichen codiert sind.
Der Begriff "Szene" bedeutet eine Bestandteilseinheit eines Bewegtbildes mit aufeinander folgenden mehreren Bildrahmen und beispielsweise eines Bewegtbildes, das in einer einmaligen Aufnahme vom Beginn bis zum Ende einer Aufzeichnung erhalten wird, oder eines Bewegtbildes, für das eine Bearbeitung beendet wurde, wobei eine Länge des Bewegtbildes mit zwei Bearbeitungspunkten an beiden Enden davon unterteilt ist. Ein Bearbeitungspunkt umfasst in einem Fall Spezialeffekte wie z. B. Ausblenden und eine Auflösung. Ferner kann eine Szene mehrere Szenen umfassen.
Der Begriff "Szenenwechselpunkt" bedeutet eine Position auf der Zeitachse, in der zwei Szenen dazwischen umgeschaltet werden, wobei ein Vorderrahmen, direkt nachdem eine Szene umgeschaltet wird, als "Szenenwechselrahmen" bezeichnet wird.
Der Begriff "Schlüsselrahmen" bedeutet einen Unterscheidungsrahmen, der bei der Wiedergewinnung oder dergleichen verwendet wird und eine Szene oder alles eines Bewegtbildes darstellt.
Bewegtbilddaten sind "Inhalte", die aus Bildinformationen bestehen, die sich entlang der Zeitachse ändern. Bewegtbilddaten werden zu einem Wiedergewinnungsobjekt in der Gesamtheit. Daher besteht das einfachste Verfahren zur Wiedergewinnung eines gewünschten Bewegtbildes darin, ein gewünschtes Bewegtbild auszuwählen, in dem alles von einem Bewegtbild gesehen wird. Es dauert jedoch Zeit, alles eines Bewegtbildes zu sehen. Wenn die Anzahl von in einer Datenbank registrierten Bewegtbildern zunimmt, dauert es daher eine extrem lange Zeit, um ein gewünschtes Bewegtbild wiederzugewinnen. Folglich ist dieses Verfahren unrealistisch.
In einem im Allgemeinen übernommenen Verfahren für die effiziente Wiedergewinnung eines Bewegtbildes werden verschiedene Arten von Informationen zur Wiedergewinnung (Wiedergewinnungsinformationen), die Inhalte von jeweiligen Bewegtbildern darstellen, vorbereitet, so dass sie zur Verwendung bei der Wiedergewinnung der jeweiligen Bewegtbilder zur Verfügung stehen, und die Wiedergewinnung wird auf der Basis der Wiedergewinnungsinformationen durchgeführt.
Informationen, die als Wiedergewinnungsinformationen verwendet werden, umfassen Informationen, die an ein Bild angehängt sind (angehängte Informationen), Informationen, die Charakteristiken eines Bildes ausdrücken (Charakteristikinformationen), und Informationen, die einen Umriss eines Bildes ausdrücken (Umrissinformationen). Die angehängten Informationen umfassen einen Titel oder einen Beschreibungstext, der in Begleitung eines Bewegtbildes vorbereitet wird. Die Charakteristikinformationen umfassen Informationen, die Charakteristiken eines Bildes ausdrücken, wie z. B. eine Frequenz eines Luminanzwerts, der von einem Bildsignal abgeleitet ist, Bewegungsinformationen zwischen Rahmen oder dergleichen. Die Umrissinformationen umfassen Informationen von Szenenwechselpunkten, Schlüsselrahmen oder dergleichen, die durch Charakteristikinformationen eines Bildes oder eine Eingabe von außen bestimmt werden.
Von den vorstehend beschriebenen Informationen sind die Charakteristikinformationen besonders zweckmäßig und wichtig. Ein Schlüsselrahmen, der ein Bewegtbild darstellt, kann beispielsweise unter Verwendung von Charakteristikinformationen ausgewählt werden. Die Charakteristikinformationen werden leicht digitalisiert, und wenn eine Charakteristik eines gewünschten Bewegtbildes in Form von Charakteristikinformationen digitalisiert wird, kann es leicht sein, ein Bewegtbild mit einer Charakteristik, die mit angeforderten Charakteristikinformationen übereinstimmt, zu extrahieren. In der folgenden Beschreibung bedeutet der Begriff "Wiedergewinnungsinformationen" diese Charakteristikinformationen.
Im Allgemeinen umfasst ein Bewegtbild mehrere Szenen. Wenn ein Wiedergewinner ein Bewegtbild wiedergewinnt, wird die Wiedergewinnung durchgeführt, um einen gewünschten Rahmen oder eine gewünschte Szene, die in einem Bewegtbild oder einem von mehreren Bewegtbildern enthalten ist, die ein Objekt für die Wiedergewinnung sind, aufzufinden. Ein grundlegendes Verfahren zum Auffinden eines gewünschten Rahmens oder einer gewünschten Szene in einem Bewegtbild unter Verwendung von Wiedergewinnungsinformationen besteht darin, einer Prozedur zu folgen, in der Wiedergewinnungsinformationen in Bezug auf Rahmen oder Wiedergewinnungsinformationen in Bezug auf Szenen im Voraus erhalten werden und ein Rahmen oder eine Szene auf der Basis solcher Wiedergewinnungsinformationen ausgewählt wird.
Eine Vorrichtung und ein Prozess sind in der japanischen Patentoffenlegungsschrift Nr. 9-284702 in Verbindung mit diesem Punkt offenbart, in denen eine Gesamtsumme von Bewegungsvektoren jedes Rahmens und eine Kontinuität von mehreren kleinen Bereichen, die einen Rahmen bilden, in einem Rahmen und zwischen Rahmen als Merkmal eines Rahmens für die Erfassung eines Szenenwechselpunkts übernommen werden.
Ferner ist in der japanischen Patentoffenlegungsschrift Nr.7-38842 ein Steuerverfahren in einem Fall, in dem der Mittelwert von Bewegungsvektoren im Betrag und Farbhistogramme von Bildern in jeder Szene als Merkmal der Szene verwendet werden und ein repräsentatives Bild jeder Szene als Bildindex angezeigt wird, offenbart.
Wenn eine Vorrichtung zum Speichern von Informationen zum Wiedergewinnen eines Bewegtbildes (eine Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung) und eine Vorrichtung zum Wiedergewinnen eines Bewegtbildes (eine Bewegtbild-Wiedergewinnungsvorrichtung) hergestellt werden, wobei solche Verfahren des Standes der Technik berücksichtigt werden, sind die Vorrichtungen wie nachstehend gezeigt.
Mit Bezug auf 1 umfasst eine Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung des Standes der Technik, die angenommen wird: einen Analyseabschnitt 601 zum Analysieren von eingegebenen Bewegtbilddaten, um die Daten in Szenen zu unterteilen und Informationen auszugeben, die eine Struktur eines Bewegtbildes wie z. B. Szenenunterteilungspositionen (Szenenwechsel) ausdrücken; einen Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit, der so verbunden ist, dass er eine Ausgabe des Analyseabschnitts 601 und eingegebene Bewegtbilddaten empfängt, und zum Erzeugen und Ausgeben von Zusammenfassungsinformationen eines Bildes wie z. B. eine Gesamtsumme von Bewegungsvektoren, die jedem von Rahmen in einer Szene entsprechen, als Wiedergewinnungsinformationen auf der Basis von Bewegtbild-Strukturinformationen und Bewegtbilddaten, die aus dem Analyseabschnitt 601 ausgegeben werden; einen Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit, der so verbunden ist, dass er eine Ausgabe des Wiedergewinnungsinformations-Erzeugungsabschnitts 602 für eine Rahmeneinheit empfängt, und zum Erzeugen und Ausgeben von Zusammenfassungsinformationen wie z. B. einen Mittelwert von Bewe gungsvektoren im Betrag für alles einer Szene als Wiedergewinnungsinformationen auf der Basis von Zusammenfassungsinformationen einer Rahmeneinheit, die aus dem Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit ausgegeben werden; einen Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild zum Anordnen von Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 601 ausgegeben werden, Wiedergewinnungsinformationen jedes Rahmens, die aus dem Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit ausgegeben werden, und Wiedergewinnungsinformationen für alles einer Szene, die aus dem Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit ausgegeben werden, in einem vorgeschriebenen Format, um Wiedergewinnungsinformationen zu erzeugen und auszugeben, die einem Bewegtbild entsprechen; und einen Speicherabschnitt 605 zum Speichern eines ursprünglichen Bewegtbildes und der Wiedergewinnungsinformationen, die einem Bewegtbild entsprechen und die aus dem Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild ausgegeben werden, in einem Zustand, dass beide miteinander in Beziehung stehen, in einem Speichermedium 606.
Es ist zu beachten, dass ein Rahmen als eine Einheit eines Bewegtbildes betrachtet werden kann, die durch zeitliche Unterteilung des Bewegtbildes erhalten wird. Daher kann ein Rahmen ein Beispiel eines zeitlich unterteilten Blocks genannt werden.
In dieser Patentbeschreibung wird eine Bezeichnung von "Wiedergewinnungsinformationen einer Rahmeneinheit" zum Ausdrücken von Wiedergewinnungsinformationen verwendet, die mit einem Rahmen als Einheit geliefert werden. Ebenso wird eine Bezeichnung von "Wiedergewinnungsinformationen einer Szeneneinheit" zum Ausdrücken von Wiedergewinnungsinformationen, die mit einer Szene als Einheit geliefert werden, verwendet.
Mit Bezug auf 2 umfasst eine Bewegtbild-Wiedergewinnungsvorrichtung des Standes der Technik, die angenommen wird: einen Ausleseabschnitt 701 zum Auslesen von Bewegtbild-Wiedergewinnungsinformationen und Bewegtbilddaten von dem Speichermedium 606; einen Wiedergewinnungsinformations-Managementabschnitt 702 zum Halten von allen Bewegtbild-Wiedergewinnungsinformationen, die vom Ausleseabschnitt 701 geliefert werden, und zum Empfangen einer Anforderung für Wiedergewinnungsinformationen, um Wiedergewinnungsinformationen einer Szeneeinheit und Wiedergewinnungsinformationen einer Rahmeneinheit zusammen mit Strukturinformationen eines Bewegtbildes auszugeben; einen Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit zum Empfangen einer Anforderung für die Wiedergewinnung mit einer Szene als Einheit, um Wiedergewinnungsinformationen einer Szeneneinheit und Bewegtbild-Strukturinformationen vom Wiedergewinnungsinformations-Managementabschnitt 702 anzufordern, und Erfassen einer Szene, die die Wiedergewinnungsanforderung erfüllt, auf der Basis der Wiedergewinnungsinformationen einer Szeneneinheit und der Bewegtbild-Strukturinformationen einer empfangene Szene, um Informationen über die erfasste Szene auszugeben; einen Wiedergewinnungsausführungsabschnitt 704 für eine Rahmeneinheit zum Empfangen einer Anforderung für die Wiedergewinnung mit einem Rahmen als Einheit, um Wiedergewinnungsinformationen einer Rahmeneinheit in einer Szene und Bewegtbild-Strukturinformationen vom Wiedergewinnungsinformations-Managementabschnitt 702 anzufordern, und Erfassen einer Szene oder eines Rahmens, die/der die Wiedergewinnungsanforderung erfüllt, auf der Basis der Wiedergewinnungsinformationen einer Rahmeneinheit in einer Szene und der Bewegtbild-Strukturinformationen, die empfangen werden, um Informationen über die erfasste Szene oder den erfassten Rahmen auszugeben; einen Datenmanagementabschnitt 705 zum Entnehmen und Ausgeben von Bilddaten, die einer erfassten Szene oder einem erfassten Rahmen entsprechen, über den Ausleseabschnitt 701 auf der Basis von Informationen über die erfasste Szene oder Informationen über den erfassten Rahmen, die vom Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit und vom Wiedergewinnungsausführungsabschnitt 704 für eine Rahmeneinheit ausgegeben werden; und einen Wiedergewinnungssteuerabschnitt 706 zum Reagieren auf einen Wiedergewinnungsbefehl, der von einer Bedienperson gegeben wird, um eine Wiedergewinnungsanforderung zum Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit oder Wiedergewinnungssausführungsabschnitt 704 für eine Rahmeneinheit zu liefern, und zum Wiederholen eines Prozesses, der Bewegtbilddaten, die vom Datenmanagementabschnitt 705 geliefert werden, als Wiedergewinnungsergebnis anzeigt, um das Wiedergewinnungsergebnis am Ende der Wiedergewinnung auszugeben.
Die in 1 gezeigte Vorrichtung wird als folgendermaßen arbeitend betrachtet: Wenn Bewegtbilddaten eingegeben werden, unterteilt der Analyseabschnitt 601 Bewegtbilddaten in Szeneneinheiten. Der Analyseabschnitt 601 gibt ferner Bewegtbild-Strukturinformationen aus.
Der Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit erzeugt Zusammenfassungsinformationen, die einem Rahmen in einer Szene entsprechen, auf der Basis von Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 601 ausgegeben werden, und Bewegtbilddaten. Der Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit gibt ferner die so erzeugten Zusammenfassungsinformationen an den Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit und den Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild als Wiedergewinnungsinformationen aus.
Der Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit erzeugt Zusammenfassungsinformationen für alles einer Szene auf der Basis der Zusammenfassungsinformationen einer Rahmeneinheit, die vom Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit geliefert werden. Der Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit liefert ferner die so erzeugten Zusammenfassungsinformationen zum Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild als Wiedergewinnungsinformationen.
Der Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild empfangt Bewegtbild-Strukturinformationen, Wiedergewinnungsinformationen einer Rahmeneinheit und Wiedergewinnungsinformationen für alles einer Szene vom Analyseabschnitt 601, vom Wiedergewinnungsinformations-Erzeugungsabschnitt 602 für eine Rahmeneinheit bzw. vom Wiedergewinnungsinformations-Erzeugungsabschnitt 603 für eine Szeneneinheit und erzeugt Wiedergewinnungsinformationen entsprechend einem Bewegtbild, wobei die Informationen in einem vorgeschriebenen Format angeordnet sind. Der Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild liefert die einem Bewegtbild entsprechenden so erzeugten Wiedergewinnungsinformationen zum Speicherabschnitt 605.
Der Speicherabschnitt 605 speichert ursprüngliche Bewegtbilddaten und die vom Wiedergewinnungsinformations-Erzeugungsabschnitt 604 für ein Bewegtbild gelieferten Wiedergewinnungsinformationen im Speichermedium 606. Zu diesem Zeitpunkt hängt der Speicherabschnitt 605 Informationen, die angeben, dass die Bewegtbilddaten und die Wiedergewinnungsinformationen, die beide dort gespeichert werden sollen, einander entsprechen, an eine oder beide der Bewegtbilddaten und der Wiedergewinnungsinformationen an; oder speichert die Informationen der Entsprechung separat von den Bewegtbilddaten und den Wiedergewinnungsinformationen.
Mit Bezug auf 2 wird angenommen, dass die Wiedergewinnungsvorrichtung des Standes der Technik in der folgenden Weise arbeitet: Am Beginn der Wiedergewinnung gibt eine Bedienperson einen Wiedergewinnungsbefehl an den Wiedergewinnungssteuerabschnitt 706. Der Wiedergewinnungssteuerabschnitt 706 wählt die Wiedergewinnung einer Szeneneinheit oder die Wiedergewinnung einer Rahmeneinheit in Reaktion auf den Wiedergewinnungsbefehl aus.
Es wird angenommen, dass beispielsweise die Wiedergewinnung einer Szene ausgewählt wird. Dann liefert der Wiedergewinnungssteuerabschnitt 706 eine Wiedergewinnungsanforderung zum Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit. Der Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit reagiert auf diese Anforderung zum Anfordern von Wiedergewinnungsinformationen einer Szeneneinheit und Bewegtbild-Strukturinformationen vom Wiedergewinnungsinformations-Managementabschnitt 702 und empfangt die Wiedergewinnungsinformationen einer Szeneneinheit und Bewegtbild-Strukturinformationen, die vom Wiedergewinnungsinformations-Managementabschnitt 702 ausgegeben werden.
Der Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit erfasst eine Szene, die die vom Wiedergewinnungssteuerabschnitt 706 gelieferte Wiedergewinnungsanforderung erfüllt, auf der Basis der Wiedergewinnungsinformationen und der Bewegtbild-Strukturinformationen einer Szeneneinheit. Der Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit gibt Informationen über die erfasste Szene an den Datenmanagementabschnitt 705 aus.
Der Datenmanagementabschnitt 705 liest entsprechende Bilddaten aus dem Speichermedium 606 über den Ausleseabschnitt 701 auf der Basis von Informationen über eine Szene, die vom Wiedergewinnungsausführungsabschnitt 703 für eine Szeneneinheit geliefert werden, aus, um die Bilddaten zum Wiedergewinnungssteuerabschnitt 706 zu liefern.
Der Wiedergewinnungssteuerabschnitt 706 zeigt die Bilddaten an. Die Bedienperson sieht die angezeigten Bilddaten, um eine nächste Wiedergewinnungstaktik zu bestimmen, und gibt einen nächsten Wiedergewinnungsbefehl an den Wiedergewinnungssteuerabschnitt 706. Der ähnliche Prozess wird danach wiederholt.
Ein Bild, das die Bedienperson aus der Datenbank entnehmen will, wird in einer solchen Weise entnommen, und dann endet die Wiedergewinnung. Ein Wiedergewinnungsergebnis wird aus dem Wiedergewinnungssteuerabschnitt 706 ausgegeben.
Im Stand der Technik werden Wiedergewinnungsinformationen einer Szene auf der Basis von Wiedergewinnungsinformationen von Rahmeneinheiten, die in der Szene enthalten sind, erzeugt. Dies liegt am allgemeinen Verständnis, dass die minimale Einheit, die eine Szene bildet, ein Rahmen ist.
Wiedergewinnungsinformationen einer Szene werden auf der Basis von Wiedergewinnungsinformationen von Rahmeneinheiten in einer solchen Weise erzeugt und dann können räumliche Merkmale in jedem Rahmen, die durch Unterteilen des Rahmens in kleine Bereiche erhalten werden (Wiedergewinnungsinformationen eines in Blockeinheiten unterteilten Bildschirms) als Wiedergewinnungsinformationen verwendet werden. Ein Problem wurde jedoch angetroffen, da in einer Vorrichtung des Standes der Technik räumliche Merkmale eines Bildes über eine ganze Szene mit einer Länge auf der Zeitachse nicht bearbeitet werden können. In der Patentbeschreibung werden solche räumlichen Merkmale eines Bildes über eine ganze Szene als "Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit" bezeichnet.
Es soll beispielsweise ein Fall betrachtet werden, in dem eine Szene entnommen wird, die ein Merkmal aufweist, dass ein Objekt in lebhafter Bewegung in einem Mittelabschnitt eines Bildschirms angezeigt wird. Im Stand der Technik konnte eine solche Szene nicht aus Wiedergewinnungsinformationen einer Szeneneinheit entnommen werden, sondern es entstand eine Notwendigkeit für eine Wiedergewinnung unter Verwendung von Wiedergewinnungsinformatio nen, die an jeden von in einer Szene enthaltenen Rahmen angehängt waren. Aus diesem Grund wurde eine solche Wiedergewinnung im Stand der Technik mit sehr geringer Effizienz durchgeführt.
EP 0878767 offenbart ein Bildwiedergewinnungsverfahren und eine Bildwiedergewinnungsvorrichtung, bei denen Merkmale (z. B. mittlere Farbe) aus Eingangsrahmenbildern extrahiert und in eine Merkmalsreihe umgesetzt werden, die zeitlich komprimiert und zur Wiedergewinnung durch Vergleich auf einer Rahmenbasis mit entsprechenden Merkmalen von wiederzugewinnenden Bildern gespeichert wird.
XP 000571334 offenbart ein Verfahren zum Durchsuchen eines Videos nach Rahmenfolgenmerkmalen bei Aufnahmewechseln, wobei eine Aufnahme als einzelner kontinuierlicher Teil eines von einer Kamera erstellten Videos definiert ist und ein Aufnahmewechsel eine Grenze zwischen aufeinander folgenden Aufnahmen ist. Das Merkmal wie z. B. ein Farbmittelwert wird codiert und zum Videodurchsuchen auf einer Rahmenbasis gespeichert.
WO 98/55942 offenbart ein Videoindizierungssystem, das Inhalte von Quellenvideo analysiert und eine Tabelle von Inhalten unter Verwendung von ausgewählten Bildern entwickelt. Videoschnitte von einer Szene zu einer anderen werden erfasst und Schlüsselrahmen werden für die Erzeugung eines visuellen Index ausgewählt, aus dem ein Benutzer eine Rahmenauswahl durchführen kann.
XP 000703541 offenbart ein Verfahren zur räumlich-zeitlichen Indizierung von vektorquantisierten (VQ) Videosequenzen. Rahmen einer VQ-komprimierten Videosequenz werden durch eine Verwendungsabbildung, einen Satz von VQ-Etiketten und einen Satz von Bewegungsvektoren dargestellt. Die Sequenz wird in Aufnahmen unterteilt und jede Aufnahme wird gemäß einem räumlichen Inhalt eines repräsentativen Rahmens, wie komprimiert, und gemäß einem zeitlichen Inhalt wie z. B. Bewegungs- und Kameraoperationen innerhalb der Aufnahme indiziert.
Die Erfindung wurde angesichts des vorstehend erwähnten Problems durchgeführt und es ist eine Aufgabe der Erfindung, eine Bewegtbild-Wiedergewinnungsinformations-Erzeugungsvorrichtung und eine Bewegtbild-Wiedergewin nungsvorrichtung zu schaffen, die in der Lage sind, eine Wiedergewinnung eines Bewegtbildes unter Verwendung eines neuen Index, der ein Merkmal einer Szene mit Korrektheit ausdrückt, effizient durchzuführen.
Offenbarung der Erfindung
Gemäß einem Aspekt der Erfindung wird eine Bewegtbild-Wiedergewinnungsinformations-Erzeugungsvorrichtung geschaffen, die Wiedergewinnungsinformationen zum Wiedergewinnen von Bewegtbilddaten, die aus einer oder mehreren Szenen gebildet sind, die zeitlich in mehrere aufeinander folgende Rahmen geteilt sind, erzeugt, wobei die Vorrichtung umfasst: einen Wiedergewinnungsinformations-Erzeugungsabschnitt zum Erzeugen von Wiedergewinnungsinformationen, die jeder der einen oder mehreren Szenen entsprechen, auf der Basis der Bewegtbilddaten, wobei der Wiedergewinnungsinformations-Erzeugungsabschnitt umfasst: ein erstes Zusammenfassungsinformations-Erzeugungsmittel zum Bilden von mehreren räumlich geteilten Blöcken für jede der Szenen durch zeitliches Teilen der Szene entlang der Zeitachse in mehrere Rahmen, räumliches Teilen aller Rahmen der Szene in derselben Weise in geteilte Blöcke und Kombinieren der geteilten Blöcke in entsprechenden Positionen an jeweiligen der mehreren Rahmen, um den räumlich geteilten Block der Szene zu bilden, um Zusammenfassungsinformationen in Einheiten eines räumlich geteilten Blocks der Szene zu erzeugen, wobei die Wiedergewinnungsinformationen die Zusammenfassungsinformationen umfassen.
Die Zusammenfassungsinformationen werden aus räumlich geteilten Blöcken erzeugt, die durch räumliches Teilen von jeder der Szenen erhalten werden. Diese Zusammenfassungsinformationen wurden in die Erfindung auf dem Fachgebiet zum ersten Mal eingeführt und sind von Informationen verschieden, die nur von einem zeitlich geteilten Block erhalten werden. Diese Zusammenfassungsinformationen werden von einem räumlich geteilten Block erhalten, der nur einen Teil des Bewegtbildes im räumlichen Bereich bildet, sich jedoch über die ganze Szene auf der Zeitachse erstreckt. Daher drücken diese Zusammenfassungsinformationen ein räumliches Merkmal der Szenen über die ganze Szene auf der Zeitachse aus. Unter Verwendung des neuen Index wird eine Wiedergewinnung effizient durchgeführt, wobei mehr Betonung auf ein räumliches Merkmal des teilweisen Bewegtbildes als auf ein zeitliches Merkmal davon gelegt wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein gewünschtes Bild unter Verwendung von Wiedergewinnungsinformationen geliefert, die jeder von einer oder mehreren Szenen entsprechen, die Bewegtbilddaten bilden, wobei die Bewegtbilddaten mit den Wiedergewinnungsinformationen in Beziehung stehen und die Wiedergewinnungsinformationen für jede der Szenen Zusammenfassungsinformationen in Einheiten von räumlich geteilten Blöcken, durch zeitliches Teilen der Szene entlang der Zeitachse in mehrere Rahmen, zeitliches Teilen aller Rahmen der Szene in derselben Weise in geteilte Blöcke und Kombinieren der geteilten Blöcke in entsprechenden Position an jeweiligen der mehreren Rahmen, um einen räumlich geteilten Block der Szene zu bilden, um die Zusammenfassungsinformationen in Einheiten eines räumlich geteilten Blocks der Szene zu erzeugen, umfassen, wobei die Vorrichtung umfasst: ein Informationsmanagementmittel zum Lesen und Managen der Wiedergewinnungsinformationen; und ein erstes Szenenwiedergewinnungsmittel, das mit dem Informationsmanagementmittel verbunden ist und auf eine erste Wiedergewinnungsanforderung zum Wiedergewinnen einer Szene, die die erste Wiedergewinnungsanforderung erfüllt, unter Verwendung der Zusammenfassungsinformationen in Einheiten eines räumlich geteilten Blocks, die in den Wiedergewinnungsinformationen enthalten sind, reagiert.
Kurzbeschreibung der Zeichnungen
1 ist ein schematisches Blockdiagramm einer imaginären Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung des Standes der Technik;
2 ist ein schematisches Blockdiagramm einer imaginären Bewegtbild-Wiedergewinnungsvorrichtung des Standes der Technik;
3 ist ein Blockdiagramm einer Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf eine Ausführungsform der Erfindung;
4 ist eine Darstellung, die einen Prozess zeigt, in dem ein Bewegtbild in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung in Szenen unterteilt wird;
5 ist eine Darstellung, die einen Prozess zeigt, in dem Wiedergewinnungsinformationen einer zeitlich geteilten Blockeinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung erzeugt werden;
6 ist eine Darstellung, die einen Prozess zeigt, in dem Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung erzeugt werden;
7 ist eine Darstellung zum Beschreiben eines Konzepts von Wiedergewinnungsinformationen einer Szeneneinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung;
8 ist eine Darstellung zum Beschreiben eines Konzepts von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung;
9 ist eine Darstellung zum Beschreiben eines Konzepts von Wiedergewinnungsinformationen in einer räumlich geteilten Blockeinheit, ausschließlich Redundanz, in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung;
10 ist ein Blockdiagramm einer Bewegtbild-Wiedergewinnungsvorrichtung in Bezug auf die eine Ausführungsform der Erfindung;
11 ist ein bildhaftes Diagramm, das eine Referenzszene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Szeneneinheits-Wiedergewinnungsinformationen zeigt;
12 ist ein bildhaftes Diagramm, das eine Szene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Szeneneinheits-Wiedergewinnungsinformationen zeigt;
13 ist ein bildhaftes Diagramm, das eine andere Szene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Szeneneinheits-Wiedergewinnungsinformationen zeigt;
14 ist ein bildhaftes Diagramm, das eine Referenzszene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit zeigt;
15 ist ein bildhaftes Diagramm, das eine Szene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit zeigt;
16 ist ein bildhaftes Diagramm, das eine andere Szene in einer Ähnlichkeitswiedergewinnung unter Verwendung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit zeigt;
17 ist eine Darstellung zum Zeigen eines Konzepts der Speicherung von Szeneneinheits-Wiedergewinnungsinformationen und der selektiven Speicherung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung;
18 ist eine Tabelle, die eine Bedeutung eines Werts eines Teilungszahl-Spezifizierungskennzeichens zeigt;
19 ist eine Darstellung, die ein Konzept der Speicherung von Szeneneinheits-Wiedergewinnungsinformationen und der hierarchischen Speicherung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit in der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung in Bezug auf die eine Ausführungsform der Erfindung ausdrückt;
20 ist eine Darstellung, die eine Beispielteilung zeigt, wenn ein Rahmen in 2² Teile geteilt wird;
21 ist eine Darstellung, die eine Beispielteilung zeigt, wenn ein Rahmen in 2³ Teile geteilt wird;
22 ist eine Darstellung, die eine Beispielteilung zeigt, wenn ein Rahmen in 2⁴ Teile geteilt wird;
23 ist eine Darstellung, die eine Beispielteilung zeigt, wenn ein Rahmen in 2⁵ Teile geteilt wird;
24 ist eine Darstellung, die eine Beispielteilung zeigt, wenn ein Rahmen in 2⁶ Teile geteilt wird; und
25 ist eine Darstellung, die eine Bewegtbild-Datenbank zeigt, in der Bewegtbilddaten gespeichert sind, die in Szeneneinheiten unterteilt sind.
Beste Art zur Ausführung der Erfindung
3 zeigt ein Blockdiagramm einer Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 in Bezug auf die Ausführungsform. Mit Bezug auf 3 umfasst die Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40: einen Analyseabschnitt 101 zum Empfangen von Bewegtbilddaten und Analysieren einer Struktur eines Bewegtbildes, um die Daten in Szenen zu unterteilen und Bewegtbild-Strukturinformationen wie z. B. Szenenwechselpunkte auszugeben; einen ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 zum Empfangen der Bewegtbilddaten und der Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 101 ausgegeben werden, und zum Erzeugen und Ausgeben von Zusammenfassungsinformationen von Bilddaten von jedem von Rahmen, die in einer Szene enthalten sind (wobei Zusammenfassungsinformationen mit einem zeitlich geteilten Block Rahmen als Einheit genannt werden), einen zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 zum Empfangen der Bewegtbild-Strukturinformationen, die vom Analyseabschnitt 101 ausgegeben werden, und der Bewegtbilddaten und zum Erzeugen und Ausgeben von Zusammenfassungsinformationen eines räumlich geteilten Blocks, der aus Bilddaten in derselben Position des geteilten Blocks gebildet ist, aller Rahmen in einer Szene als Wiedergewinnungsinformationen von jeder der Szenen; einen dritten Wiedergewinnungsinformations-Erzeugungsabschnitt 104 zum Empfangen der Zusammenfassungsinformationen von jedem der Rahmen (zeitlich geteilte Blöcke) in einer Szene, die aus dem ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 ausgegeben werden, und/oder der Zusammenfassungsinformationen von jedem der räumlich geteilten Blöcke in einer Szene, die aus dem zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 ausgegeben werden, als Eingaben, Erzeugen und Ausgeben von Zusammenfassungsinformationen der ganzen Szene auf der Basis der Zusammenfassungsinformationen vom ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 und/oder der Zusammenfassungsinformationen vom zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103; einen vierten Wiedergewinnungsinformations-Erzeugungsabschnitt 105 zum Anordnen der aus dem ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 ausgegebenen Zusammenfassungsinformationen, der aus dem zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 ausgegebenen Zusammenfassungsinformationen, der aus dem dritten Wiedergewinnungsinformations-Erzeugungsabschnitt 104 ausgegebenen Zusammenfassungsinformationen und der aus dem Analyseabschnitt 101 ausgegebenen Bewegtbild-Strukturinformationen in einem vorgeschriebenen Format, um dadurch dem Bewegtbild entsprechende Wiedergewinnungsinformationen zu erzeugen und auszugeben; und einen Speicherabschnitt 106 zum Empfangen der Wiedergewinnungsinformationen des Bewegtbildes, die aus dem vierten Wiedergewinnungsinformations-Erzeugungsabschnitt 105 ausgegeben werden, und der ursprünglichen Bewegtbilddaten und Speichern von Entsprechungsinformationen zwischen den Wiedergewinnungsinformationen und den ursprünglichen Bewegtbilddaten oder dergleichen, wobei die entsprechenden Informationen oder dergleichen an eine oder beide der Wiedergewinnungsinformationen und der ursprünglichen Bewegtbilddaten angehängt werden, oder der Entsprechungsinformationen oder dergleichen als separate Daten von den Wiedergewinnungsinformationen und dem ursprünglichen Bewegtbild in einem Speichermedium 107.
Bewegtbilddaten, die eine Vorrichtung der Erfindung bearbeitet, können beliebige von ursprünglichen Bildsignalen wie z. B. RGB-Signalen und Bilddaten, die gemäß einem Bewegtbild-Kompressionsformat wie z. B. MPEG (Moving Pic ture Experts Group) oder dergleichen codiert sind, sein. In der Ausführungsform wird der Bequemlichkeit bei der Beschreibung halber angenommen, dass die Bewegtbilddaten codierte Daten sind.
Eine detailliertere Beschreibung von Funktionen von Blöcken, die in 3 gezeigt sind, wird nachstehend gegeben: Der Analyseabschnitt 101 unterteilt ein Bewegtbild in zeitlich kleine Einheiten (Szenen). Für diesen Zweck führt der Analyseabschnitt 101 die Erfassung von Szenenwechselpunkten in Bewegtbilddaten durch. Der Analyseabschnitt 101 erfasst in diesem Beispiel einen Szenenwechselpunkt unter Verwendung von Frequenzinformationen in einem Rahmen in einer Vorhersagebetriebsart von codierten Blöcken, die in codierten Bilddaten enthalten sind.
Mit Bezug auf 4 erfasst der Analyseabschnitt 101 beispielsweise einen ersten Szenenwechselrahmen 130, einen zweiten Szenenwechselrahmen 132, einen dritten Szenenwechselrahmen 134 und einen vierten Szenenwechselrahmen 136 eines Bewegtbildes 120. Dadurch unterteilt der Analyseabschnitt 101 das Bewegtbild 120 in eine erste Szene 140, die aus Bilddaten zwischen dem ersten Szenenwechselrahmen 130 und dem zweiten Szenenwechselrahmen 132 (einschließlich des ersten Szenenwechselrahmens 130) besteht, eine zweite Szene 142, die aus Bilddaten zwischen dem zweiten Szenenwechselrahmen 132 und dem dritten Szenenwechselrahmen 134 (einschließlich des zweiten Szenenwechselrahmens 132) besteht, eine dritte Szene 144, die aus Bilddaten zwischen dem dritten Szenenwechselrahmen 134 und dem vierten Szenenwechselrahmen 136 (einschließlich des dritten Szenenwechselrahmens 134) besteht, und eine vierte Szene 146, die aus Bilddaten vom vierten Szenenwechselrahmen 136 bis zum letzten Rahmen des Bewegtbildes 120 (einschließlich des vierten Szenenwechselrahmens 136) besteht. Das heißt, der Analyseabschnitt 101 unterteilt das Bewegtbild 120 in diesem Beispiel in vier Szenen 140, 142, 144 und 146.
Der Analyseabschnitt 101 besitzt eine Funktion des Ausgebens von Informationen, die Positionen in den Bilddaten am ersten Szenenwechselrahmen 130, zweiten Szenenwechselrahmen 132, dritten Szenenwechselrahmen 134, vierten Szenenwechselrahmen 136 und so weiter ausdrücken, als Bewegtbild-Strukturinformationen.
Mit Bezug auf 5 führt der erste Wiedergewinnungsinformations-Erzeugungsabschnitt 102 den Prozess, wie nachstehend beschrieben, an einer Szene 160 durch, die durch Unterteilen von Bewegtbilddaten auf der Basis von Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 101 ausgegeben werden, erhalten werden, um Zusammenfassungsinformationen von jedem von Rahmen, die in der Szene 160 enthalten sind, vorzubereiten. Es ist zu beachten, dass die Szene 160 Bilddaten von einem Rahmen 162A bis zu einem Rahmen 162N enthält.
Der erste Wiedergewinnungsinformations-Erzeugungsabschnitt 102 erhält Frequenzinformationen 166A bis 166N von Bewegungsvektoren in jeweiligen Rahmen 162A bis 162N. Ferner erhält der erste Wiedergewinnungsinformations-Erzeugungsabschnitt 102 Mittelwerte 168A bis 168N von Bewegungsvektoren in jeweiligen Rahmen 162A bis 162N.
Die so erhaltenen Frequenzinformationen 166 und Mittelwertinformationen 168 bilden hier Zusammenfassungsinformationen 170 von jedem Rahmen. Die Zusammenfassungsinformationen werden als Funktion einer Rahmennummer (d. h. eine Funktion der Zeit) gegeben.
Die Zusammenfassungsinformationen sind Wiedergewinnungsinformationen, die durch Kompression von Informationen erhalten werden, die in jedem der Rahmen, die in der Szene 160 enthalten sind, räumlich verteilt sind. Ein Rahmen ist eine Art von zeitlich geteiltem Block, da ein Rahmen eine Einheit ist, die durch zeitliches Teilen eines Bewegtbildes erhalten wird. Daher kann behauptet werden, dass die Zusammenfassungsinformationen 170 Wiedergewinnungsinformationen einer zeitlich geteilten Blockeinheit sind.
Der zweite Wiedergewinnungsinformations-Erzeugungsabschnitt 103 empfängt die Bewegtbild-Strukturinformationen (Informationen an Szenenwechselpositionen), die vom Analyseabschnitt 101 ausgegeben werden, und die Bewegtbilddaten. Der zweite Wiedergewinnungsinformations-Erzeugungsabschnitt 103 erzeugt Zusammenfassungsinformationen eines räumlich geteilten Blocks unter Verwendung der Bewegtbild-Strukturinformationen und der Bewegtbilddaten in der folgenden Weise.
Es ist zu beachten, dass der räumlich geteilte Block hier ein Block, wie nachstehend beschrieben, ist. Alle Rahmen in einer Szene werden jeweils räumlich in mehrere geteilte Blöcke in derselben Weise geteilt. Alle mehreren geteilten Blöcke in entsprechenden Positionen an allen der jeweiligen Rahmen werden gemeinsam räumlich geteilter Block der Szene genannt. Wenn eine Szene n Rahmen umfasst und jeder Rahmen räumlich in m geteilte Blöcke unterteilt wird, wird daher die Szene in m räumlich geteilte Blöcke geteilt und jeder räumlich geteilte Block umfasst n geteilte Blöcke.
Mit Bezug auf 6 wird im zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 insbesondere der folgende Prozess auf die Szene 160 angewendet. Wie vorher beschrieben, wird angenommen, dass die Szene 160 mehrere Rahmen 162A bis 162N umfasst. Die Rahmen 162A bis 162N sind jeweils in M geteilte Blöcke räumlich geteilt, wobei ein geteilter Block jeden von kleinen Bereichen bedeutet, die erhalten werden, wenn eine Bildebene in mehrere Teile geteilt wird. Der in 6 gezeigte Rahmen 162A ist beispielsweise in mehrere geteilte Blöcke 180A1 bis 180AM geteilt. Dies gilt für jeden der anderen Rahmen 162B bis 162N.
Ein räumlich geteilter Block der Szene 160 ist aus geteilten Blöcken in derselben Position an den mehreren Rahmen 162A bis 162N gebildet. Der räumlich geteilte Block 182-M ist beispielsweise durch eine Sammlung der M-ten geteilten Blöcke von jeweiligen N Rahmen (die Anzahl von Elementen ist gleich N) gebildet. Die anderen räumlich geteilten Blöcke werden in einer ähnlichen Weise gebildet.
Die Zusammenfassungsinformationen 188 werden durch Komprimieren von Informationen, die in der Richtung der Zeitachse verteilt sind, für jeden der so erhaltenen M räumlich geteilten Blöcke erzeugt. Die hierin bezeichneten Zusammenfassungsinformationen 188 sind Zusammenfassungsinformationen jedes räumlich geteilten Blocks und ein Wert einer Funktion einer Position (Koordinaten) in einem Rahmen eines geteilten Blocks, der in jedem der räumlich geteilten Blöcke enthalten ist.
Typischerweise umfassen die Zusammenfassungsinformationen 188 Frequenzinformationen 184 und Mittelwertinformationen 186. Die Frequenzinformationen in einem räumlich geteilten Block in einer Vorhersagebetriebsart jedes codierten Blocks oder Frequenzinformationen in einem räumlich geteilten Block von Bewegungsvektoren in einer Bewegungskompensations-Vorhersagecodierung können als Frequenzinformationen 184 verwendet werden. Die Frequenzinformationen 184A werden beispielsweise von einem räumlich geteilten Block 182-1, obwohl nicht gezeigt, erhalten und Frequenzinformationen 184B werden von einem räumlich geteilten Block 182-2, obwohl nicht gezeigt, erhalten und die anderen Frequenzinformationen werden in einer ähnlichen Weise erhalten; schließlich werden Frequenzinformationen 184M von einem räumlich geteilten Block 182-M erhalten.
Eine Gesamtsumme oder der Mittelwert von Bewegungsvektoren in einem räumlich geteilten Block kann als Mittelwertinformationen 186 verwendet werden. Mittelwertinformationen 186A werden beispielsweise von einem räumlich geteilten Block 182-1, nicht gezeigt, erhalten, Mittelwertinformationen 186B werden von einem räumlich geteilten Block 182-2, nicht gezeigt, erhalten, und die anderen Mittelwertinformationen werden in einer ähnlichen Weise erhalten; schließlich werden Mittelwertinformationen 186M von einem räumlich geteilten Block 182-M erhalten.
Zusätzlich zur Gesamtsumme und zum Mittelwert können als Zusammenfassungsinformationen auch eine Standardabweichung oder dergleichen von Bewegungsvektoren in einem räumlich geteilten Block verwendet werden.
Der dritte Wiedergewinnungsinformations- Erzeugungsabschnitt 104 empfängt Zusammenfassungsinformationen, die aus dem ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 ausgegeben werden, und Zusammenfassungsinformationen, die aus dem zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 ausgegeben werden, und erzeugt und gibt Zusammenfassungsinformationen der ganzen Szene auf der Basis von einer oder beiden der Zusammenfassungsinformationen aus.
Die Zusammenfassungsinformationen der ganzen Szene sind hierin Wiedergewinnungsinformationen, die bei der Wiedergewinnung der Szene verwendet werden. Als Zusammenfassungsinformationen einer ganzen Szene können Frequenzinformationen, der Mittelwert, eine Standardabweichung oder dergleichen von der ganzen Szene in Bezug auf Bewegungsvektoren, Luminanzwerte, Farbunterschiede oder ein ähnlicher Parameter verwendet werden.
In dieser Patentbeschreibung wird eine Bezeichnung von "Wiedergewinnungsinformationen einer zeitlich geteilten Blockeinheit (Rahmeneinheit)" zum Ausdrücken von Wiedergewinnungsinformationen, die mit einem zeitlich geteilten Block (Rahmen) als Einheit geliefert werden, verwendet. Ebenso wird eine Bezeichnung von "Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit" und "Wiedergewinnungsinformationen einer Szeneneinheit" zum Ausdrücken von Wiedergewinnungsinformationen, die mit einem räumlich geteilten Block und einer Szene als Einheit geliefert werden, verwendet.
Der vierte Wiedergewinnungsinformations-Erzeugungsabschnitt 105 ordnet die aus dem ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 ausgegebenen Zusammenfassungsinformationen, die aus dem zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 ausgegebenen Zusammenfassungsinformationen, die aus dem dritten Wiedergewinnungsinformations-Erzeugungsabschnitt 104 ausgegebenen Zusammenfassungsinformationen und Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 101 ausgegeben werden, in einem vorgeschriebenen Format an, um dem Bewegtbild entsprechende Wiedergewinnungsinformationen zu erzeugen und auszugeben und die Wiedergewinnungsinformationen zum Speicherabschnitt 106 zu liefern.
Der Speicherabschnitt 106 empfangt die dem Bewegtbild entsprechenden Wiedergewinnungsinformationen, die aus dem vierten Wiedergewinnungsinformations-Erzeugungsabschnitt 105 ausgegeben werden, und die ursprünglichen Bewegtbilddaten, um nur die Wiedergewinnungsinformationen oder die Wiedergewinnungsinformationen und die Bewegtbilddaten im Speichermedium 107 zu speichern. Zu diesem Zeitpunkt speichert der Speicherabschnitt 106 Informationen, die zeigen, dass die Bewegtbilddaten und die Wiedergewinnungsinformationen einander entsprechen, die an eine oder beide der Bewegtbilddaten und der Wiedergewinnungsinformationen angehängt werden, oder als davon separate Daten.
Informationen eines Betrags einer Bewegung, die auf der Basis von Bewegungsvektoren erhalten werden, die in Bewegungskompensationsvorhersagecodierten Bewegtbilddaten enthalten sind, werden als Wiedergewinnungsinformationen verwendet, die in einer Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 in Bezug auf die vorstehend in Verbindung mit einer Struktur und allgemeinen Operation davon beschriebenen Ausführungsform übernommen werden.
Insbesondere werden Wiedergewinnungsinformationen einer zeitlich geteilten Blockeinheit (Rahmeneinheit) für jeden von Rahmen in einer Szene als Gesamtsumme der Absolutwerte von Bewegungsvektoren in einem ganzen Rahmen erhalten, die von den Bewegungsvektoren erhalten werden, die an jeden von codierten Blöcken angehängt sind. Es ist zu beachten, dass die Wiedergewinnungsinformationen als Mittelwert der Absolutwerte von Bewegungsvektoren anstelle der Gesamtsumme der Absolutwerte von Bewegungsvektoren mit demselben Effekt erhalten werden können. Wenn die Anzahl von codierten Blöcken, die in einem Rahmen enthalten sind, bestimmt wird, kann tatsächlich entweder eine Gesamtsumme oder der Mittelwert der Absolutwerte von Bewegungsvektoren vom anderen leicht erhalten werden.
Eine Gesamtsumme der Absolutwerte von Bewegungsvektoren in jedem von räumlich geteilten Blöcken wird als Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit verwendet. Auch hierbei kann der Mittelwert der Absolutwerte von Bewegungsvektoren anstelle der Gesamtsumme von Bewegungsvektoren verwendet werden. In einem Fall, in dem geteilte Blöcke, die einen räumlich geteilten Block bilden, mit codierten Blöcken übereinstimmen, ist die Anzahl von Bewegungsvektoren, die jedem der geteilten Blöcke entsprechen, 1. In einem Fall, in dem jeder geteilte Block mehrere codierte Blöcke umfasst, ist die Anzahl von Bewegungsvektoren, die jedem der geteilten Blöcke entsprechen, gleich der Anzahl von codierten Blöcken, die in jedem geteilten Block enthalten sind.
Alternativ können Wiedergewinnungsinformationen von jeder räumlich geteilten Blockeinheit eine Gesamtsumme der Absolutwerte von Bewegungsvektoren in jedem räumlich geteilten Block, dividiert durch die Anzahl von geteilten Blöcken (an einem Rahmen), die jeden räumlich geteilten Block bilden, sein. Die Anzahl der geteilten Blöcke ist in diesem Fall gleich der Anzahl von Rahmen, die eine Szene bilden. Ferner können die Wiedergewinnungsinformationen jeder räumlich geteilten Blockeinheit eine Gesamtsumme der Absolutwerte von Bewegungsvektoren in jeder räumlich geteilten Blockeinheit, dividiert durch die Anzahl von codierten Blöcken, die in geteilten Blöcken (an einem Rahmen), die jeden räumlich geteilten Block bilden, enthalten sind, sein.
Wenn eine Gesamtsumme der Absolutwerte von Bewegungsvektoren als Wiedergewinnungsinformationen eines zeitlich geteilten Blocks oder eines räumlich geteilten Blocks übernommen wird, kann eine Gesamtsumme der Absolutwerte aller Bewegungsvektoren, die in einer Szene enthalten sind, berechnet werden. In der Ausführungsform wird die so erhaltene Gesamtsumme als Wiedergewinnungsinformationen einer Szeneneinheit verwendet.
Dann wird eine Beschreibung eines speziellen Beispiels von geteilten Blöcken zur Verwendung beim Erzeugen von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit gegeben. Wie in 7 gezeigt, wird angenommen, dass die Szene 160 aus Rahmen 162A bis 162N konstruiert ist. Die Szeneneinheits-Wiedergewinnungsinformationen I der Szene 160 werden von einer Gesamtsumme der Absolutwerte von Bewegungsvektoren der Rahmen 162A bis 162N erhalten.
Wie in 8 gezeigt, wird angenommen, dass die Rahmen 162A bis 162N jeweils in 2 × 2 geteilte Blöcke geteilt werden. Das heißt, die Rahmen 162A bis 162N werden jeweils in 4 geteilte Blöcke geteilt. Der Rahmen 162A wird beispielsweise in 4 geteilte Blöcke 190A1 bis 190A4 geteilt. Dies gilt für die anderen Rahmen, die nicht gezeigt sind, in einer ähnlichen Weise. Der Rahmen 162B wird beispielsweise in Rahmen 190B11 bis 190B4 geteilt. Wie aus der vorherigen Beschreibung eines räumlich geteilten Blocks zu sehen ist, wird folglich die Szene 160 in 4 räumlich geteilte Blöcke geteilt und Wiedergewinnungsinformationen I₁ bis I₄ von räumlich geteilten Blockeinheiten werden aus einer Gesamtsumme der Absolutwerte von Bewegungsvektoren in den jeweiligen 4 räumlich geteilten Blöcken, alle als reale Zahlen, erhalten.
Als Szenenwiedergewinnungsinformationen für die Szene 160 können folglich {I, I₁, I₂, I₃, I₄}, die durch Anordnen der Wiedergewinnungsinformationen I, I₁, I₂, I₃, I₄ in aufsteigender Reihenfolge erhalten werden, verwendet werden. Die Wiedergewinnungsinformationen müssen nur zusammen mit den ursprünglichen Bilddaten gespeichert werden.
Die vorstehend beschriebenen Wiedergewinnungsinformationen umfassen jedoch Redundanz. In diesem Beispiel bedeutet dies, dass die Szeneneinheits-Wiedergewinnungsinformationen I gleich der Summe von Wiedergewinnungs informationen von räumlich geteilten Blockeinheiten sind. Die Szeneneinheits-Wiedergewinnungsinformationen I können beispielsweise von den Wiedergewinnungsinformationen I₁ bis I₄ von räumlich geteilten Blockeinheiten erhalten werden. Ferner kann eine der Wiedergewinnungsinformationen von räumlich geteilten Blockeinheiten aus den anderen drei der Wiedergewinnungsinformationen I₁ bis I₄ von räumlich geteilten Blockeinheiten und Szeneneinheits-Wiedergewinnungsinformationen I berechnet werden.
In einer Vorrichtung der Ausführungsform wird daher eine Operation derart durchgeführt, dass I₄ nicht in den Wiedergewinnungsinformationen enthalten ist. Überdies wird in einer Vorrichtung der Ausführungsform ein Wert von jeder der Wiedergewinnungsinformationen der räumlich geteilten Blockeinheit als Prozentsatz davon relativ zu den Wiedergewinnungsinformationen einer Szeneneinheit als 100 ohne Verwendung eines Werts eines ursprünglichen Werts von Wiedergewinnungsinformationen jeder räumlich geteilten Blockeinheit wie sie ist gezeigt. Wenn die Verhältnisse der ersten bis dritten Wiedergewinnungsinformationen des räumlich geteilten Blocks zu den Szeneneinheits-Wiedergewinnungsinformationen I als P₁ und P₂ und P₃ angenommen werden, werden Wiedergewinnungsinformationen von räumlich geteilten Blockeinheiten zu diesem Zeitpunkt in einer Weise, wie in 9 gezeigt, erhalten. Das heißt, die Wiedergewinnungsinformationen P₁ des ersten räumlich geteilten Blocks werden aus Wiedergewinnungsinformationen des ersten räumlich geteilten Blocks und der Szeneneinheit berechnet. Die Wiedergewinnungsinformationen P₂ des zweiten räumlich geteilten Blocks werden aus Wiedergewinnungsinformationen des zweiten räumlich geteilten Blocks und der Szeneneinheit berechnet. Die Wiedergewinnungsinformationen P₃ des dritten räumlich geteilten Blocks werden aus Wiedergewinnungsinformationen des dritten räumlich geteilten Blocks und der Szeneneinheit berechnet. Da eine Redundanz entsteht, wenn Wiedergewinnungsinformationen des vierten räumlich geteilten Blocks erhalten werden sollen, werden die Wiedergewinnungsinformationen des vierten räumlich geteilten Blocks nicht erhalten. Das heißt, die Szene 160 wird in 4 räumlich geteilte Blöcke geteilt und nur Wiedergewinnungsinformationen von 3 der 4 Blöcke müssen erhalten werden. Im Allgemeinen wird P_k aus einer Gleichung P_k = 100 × I_k/I erhalten.
Wenn Wiedergewinnungsinformationen von räumlich geteilten Blöcken als Prozentsätze relativ zu den Szeneneinheits-Wiedergewinnungsinformationen als 100 gespeichert werden, können Vorteile, wie nachstehend beschrieben, erreicht werden. Da ein dynamischer Bereich eines Signals zum Speichern von Wiedergewinnungsinformationen eingeschränkt ist, können Wiedergewinnungsinformationen erstens mit mehr Effizienz gespeichert werden. Das heißt, eine zu speichernde Informationsmenge nimmt im Vergleich zu einem Fall, dass sie nicht als Prozentsatz gespeichert werden, ab. Da ein Wert von Wiedergewinnungsinformationen normiert wird, können zweitens an verschiedene Szenen angehängte Wiedergewinnungsinformationen miteinander verglichen werden. Wie bereits beschrieben, kann drittens eine zu speichernde Variable weggelassen werden.
In einer solchen Weise werden Bewegtbild-Wiedergewinnungsinformationen durch den vierten Wiedergewinnungsinformations-Erzeugungsabschnitt 105 erzeugt und im Speichermedium 107 durch den Speicherabschnitt 106 gespeichert.
Eine Beschreibung einer Vorrichtung, die ein Bewegtbild unter Verwendung von Bewegtbilddaten und Wiedergewinnungsinformationen, die im Speichermedium 107 gespeichert sind, mit Hilfe der in 3 gezeigten Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 wiedergewinnt, wird nachstehend gegeben: Mit Bezug auf 10 umfasst eine Bewegtbild-Wiedergewinnungsvorrichtung 50 in Bezug auf die Ausführungsform: einen Ausleseabschnitt 501 zum Lesen von Bewegtbilddaten und Wiedergewinnungsinformationen dafür, die im Speichermedium 107 gespeichert sind; einen Wiedergewinnungsinformations-Managementabschnitt 502 zum Halten der Wiedergewinnungsinformationen eines Bewegtbildes, die vom Ausleseabschnitt 501 ausgelesen werden, um Szeneneinheits-Wiedergewinnungsinformationen, Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit oder Wiedergewinnungsinformationen einer zeitlich geteilten Blockeinheit in Reaktion auf eine Wiedergewinnungsanforderung zusammen mit Bewegtbild-Strukturinformationen auszugeben; einen ersten Wiedergewinnungsausführungsabschnitt 503 zum Ausgeben einer Anforderung an den Wiedergewinnungsinformations-Managementabschnitt 502 in Reaktion auf eine Szeneneinheits-Wiedergewinnungsanforderung, zum Empfangen von Wiedergewinnungsinformationen der ganzen Szene und Bewegtbild-Strukturinformationen vom Wiedergewinnungsinformations-Managementabschnitt 502 und zum Erfassen einer Szene, die die Wiedergewinnungsanforderung für eine Szeneneinheit erfüllt, um Informationen der erfassten Szene auszugeben; einen zweiten Wiedergewinnungsausführungsabschnitt 504 zum Ausgeben einer Anforderung an den Wiedergewinnungsinformations-Managementabschnitt 502 in Reaktion auf eine Wiedergewinnungsanforderung für eine räumlich geteilte Blockeinheit und zum Erfassen einer Szene, die die Wiedergewinnungsanforderung erfüllt, auf der Basis von Zusammenfassungsinformationen von jedem von räumlich geteilten Blöcken in einer Szene und Bewegtbild-Strukturinformationen, die vom Wiedergewinnungsinformations-Managementabschnitt 502 empfangen werden, um Informationen der erfassten Szene auszugeben; einen dritten Wiedergewinnungsausführungsabschnitt 505 zum Ausgeben einer Anforderung an den Wiedergewinnungsinformations-Managementabschnitt 502 in Reaktion auf eine Wiedergewinnungsanforderung für eine zeitlich geteilte Blockeinheit und Erfassen einer Szene oder eines Rahmens, die/der die Wiedergewinnungsanforderung erfüllt, auf der Basis von Zusammenfassungsinformationen von jedem der Rahmen in einer Szene und Bewegtbild-Strukturinformationen, die vom Wiedergewinnungsinformations-Managementabschnitt 502 empfangen werden, um Informationen der erfassten Szene oder des erfassten Rahmens auszugeben; einen Datenmanagementabschnitt 506 zum Halten von Bewegtbildinformationen, die vom Ausleseabschnitt 501 ausgelesen werden, und zum Ausgeben von Bilddaten einer Szene oder eines Rahmens, die auf der Basis eines Wiedergewinnungsergebnisses erfasst werden, das vom ersten Wiedergewinnungsausführungsabschnitt 503, vom zweiten Wiedergewinnungsausführungsabschnitt 504 oder dritten Wiedergewinnungsausführungsabschnitt 505 ausgegeben wird; und einen Wiedergewinnungssteuerabschnitt 507 zum Ausgeben einer Wiedergewinnungsanforderung für eine Szeneneinheit an den ersten Wiedergewinnungsausführungsabschnitt 503, einer Wiedergewinnungsanforderung für eine räumlich geteilte Blockeinheit an den zweiten Wiedergewinnungsausführungsabschnitt 504 oder einer Wiedergewinnungsanforderung für eine zeitlich geteilte Blockeinheit an den dritten Wiedergewinnungsausführungsabschnitt 505 in Reaktion auf die Eingabe eines Wiedergewinnungsbefehls von einer Bedienperson, zum Anzeigen von Bilddaten einer Szene oder eines Rahmens, die vom Datenmanagementabschnitt 506 ausgegeben werden, als Ergebnis und zum Ausgeben eines Wiedergewinnungsergebnisses, wenn eine Wiedergewinnung endet.
Diese Bewegtbild-Wiedergewinnungsvorrichtung 50 arbeitet, wie nachstehend beschrieben: Beim Start der Wiedergewinnung gibt eine Bedienperson einen Wiedergewinnungsbefehl an den Wiedergewinnungssteuerabschnitt 507. Der Wiedergewinnungssteuerabschnitt 507 wählt eine der Wiedergewinnung in Szeneneinheiten, Wiedergewinnung in räumlich geteilten Blockeinheiten oder Wiedergewinnung in zeitlich geteilten Blockeinheiten aus und gibt eine Wiedergewinnungsanforderung an einen entsprechenden des ersten Wiedergewinnungsausführungsabschnitts 503, des zweiten Wiedergewinnungsausführungsabschnitts 504 und des dritten Wiedergewinnungsausführungsabschnitts 505 aus.
Der entsprechende unter dem ersten Wiedergewinnungsausführungsabschnitt 503, dem zweiten Wiedergewinnungsausführungsabschnitt 504 und dem dritten Wiedergewinnungsausführungsabschnitt 505, der die Wiedergewinnungsanforderung vom Wiedergewinnungssteuerabschnitt 507 empfangen hat, erfasst eine Szene oder einen Rahmen, die/der die Wiedergewinnungsanforderung erfüllt, auf der Basis von Bewegtbild-Strukturinformationen, Zusammenfassungsinformationen einer Szeneneinheit, einer räumlich geteilten Blockeinheit oder einer zeitlich geteilten Blockeinheit (Rahmeneinheit), die vom Wiedergewinnungsinformations-Managementabschnitt 502 geliefert werden, um Informationen über die erfasste Szene oder den erfassten Rahmen zum Datenmanagementabschnitt 506 zu liefern.
Der Datenmanagementabschnitt 506 extrahiert Bilddaten einer Szene oder eines Rahmens aus Bewegtbilddaten, wobei das Bild einer Szene oder eines Rahmens Informationen der erfassten Szene oder des erfassten Rahmens, die vom ersten Wiedergewinnungsausführungsabschnitt 503, vom zweiten Wiedergewinnungsausführungsabschnitt 504 oder vom dritten Wiedergewinnungsausführungsabschnitt 505 empfangen wurden, entspricht, um die Bilddaten einer Szene oder eines Rahmens zum Wiedergewinnungssteuerabschnitt 507 zu liefern.
Der Wiedergewinnungssteuerabschnitt 507 zeigt das vom Datenmanagementabschnitt 506 gelieferte Bild an. Die Bedienperson stellt fest, ob das Bild eine gewünschte Szene ist oder nicht, um einen Befehl auszugeben, so dass ein Wiedergewinnungsergebnis, wenn das Bild die gewünschte Szene ist, an den Wiedergewinnungssteuerabschnitt 507 ausgegeben wird. Der Wiedergewinnungssteuerabschnitt 507 gibt das Wiedergewinnungsergebnis in Reaktion auf diesen Befehl aus.
Wenn das vom Wiedergewinnungssteuerabschnitt 507 angezeigte Bild keines ist, das die gewünschte Szene ausdrückt, gibt die Bedienperson einen nächsten Wiedergewinnungsbefehl an den Wiedergewinnungssteuerabschnitt 507. Der Wiedergewinnungssteuerabschnitt 507 führt danach eine ähnliche Operation zur vorstehend beschriebenen durch, um eine Szene als Wiedergewinnungsergebnis anzuzeigen. Die Operation wird wiederholt, bis die Wiedergewinnung endet.
Eine Beschreibung eines konkreten Beispiels einer Bewegtbildwiedergewinnung wird gegeben. In dieser Ausführungsform werden Informationen über einen Betrag einer Bewegung verwendet, die auf der Basis von Bewegungsvektoren erhalten werden, die in Bewegtbilddaten enthalten sind, die einer Bewegungskompensations-Vorhersagecodierung unterzogen werden.
Eine gewünschte Szene oder ein gewünschter Rahmen in einer Szene wird wiedergewonnen, wie nachstehend beschrieben:
Wenn Wiedergewinnungsinformationen in Szeneneinheiten verwendet werden, kann eine Auswahl zwischen einer Szene, die in der Bewegung insgesamt groß ist, und einer Szene, die in der Bewegung insgesamt klein ist, bewirkt werden.
Wenn Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten verwendet werden, kann eine Auswahl beispielsweise zwischen einer Szene mit Bewegungen, die ungleichmäßig in einem Raum über die Szene verteilt sind, und einer Szene mit Bewegungen, die vergleichsweise gleichmäßig in einem Raum über die Szene verteilt sind, bewirkt werden. Ferner kann festgelegt werden, in welchem Abschnitt eines Bildes Bewegungen lokalisiert sind. Die Auswahl kann beispielsweise an einer Szene mit einem Abschnitt (einem aufzunehmenden Subjekt) in lebhafter Bewegung im Mittelteil eines Bildes, einer Szene mit einem Abschnitt in lebhafter Bewegung in der unteren Hälfte eines Bildes (ein Bild mit einem Teil des Himmels) oder dergleichen bewirkt werden.
In der Ausführungsform werden Wiedergewinnungsinformationen mit einem räumlich geteilten Block, die sich im Stand der Technik nicht vorgestellt wurden, als Einheit bei der Wiedergewinnung einer Szene verwendet. Daher wird der folgende Effekt erreicht.
Mit Bezug auf 11 bis 13 wird ein Fall betrachtet, in dem eine Ähnlichkeit zu einer Referenzszene, die in 11(A) gezeigt ist, an einer Szene A, die in 12(A) gezeigt ist, und einer Szene B, die in 13(A) gezeigt ist, berechnet wird. Wenn eine solche Ähnlichkeitsberechnung übernommen wird, kann eine Szene mit einem zur Referenzszene analogen Bewegungsmerkmal erfasst werden. 12 bis 13 zeigen Fälle, in jedem von denen nur Wiedergewinnungsinformationen einer Szeneneinheit verwendet werden.
In den Teilen (B) von 11 bis 13 sind Szeneneinheits-Wiedergewinnungsinformationen für Bilder gezeigt, die in den jeweiligen Teilen (A) der Fig. gezeigt sind. Wie in den Teilen (A) von 11 bis 13 gezeigt, weisen eine Szene A und eine Szene B eine ähnliche Bewegungsintensität in deren Gesamtheit auf. Aus diesem Grund besitzen, wie in den Teilen (B) von 11 bis 13 gezeigt, Szeneneinheits-Wiedergewinnungsinformationen von jeder der Szenen einen ähnlichen Wert. Das heißt, die Szenen A und B werden als beide zur Referenzszene analog festgestellt.
Im Anschluss daran wird mit Bezug auf 14 bis 16 eine Beschreibung eines Merkmals einer Ähnlichkeitswiedergewinnung in einem Fall gegeben, in dem Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten übernommen werden. In den Teilen (A) von 14 und 16 sind eine Referenzszene, Szenen A bzw. B gezeigt. Wie in den Fig. gezeigt, besitzt jeder Rahmen von jeder der Szenen vier geteilte Blöcke. Wiedergewinnungsinformationen P₁, P₂ und P₃ einer räumlich geteilten Blockeinheit werden für räumlich geteilte Blöcke berechnet, die aus jeweils drei unter den vier geteilten Blöcken jeder Szene bestehen. Wie in den Teilen (B) von 14 bis 16 gezeigt, besitzen ferner Wiedergewinnungsinformationen in Szeneneinheiten einer Referenzszene, einer Szene A und B fast denselben Wert.
Wie in den Teilen (C) von 14 bis 16 gezeigt, werden jedoch die folgenden Tatsachen, festgestellt, wenn die Szenen hinsichtlich der Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten miteinander verglichen werden. Das heißt, die Szene A besitzt eine Verteilung, die einer Verteilung von Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit der Referenzszene ähnlicher ist. Dies liegt daran, dass in der Szene B eine Person zur rechten Seite verschoben ist, so dass ungleichmäßige Bewegungen räumlich beobachtet werden. Die Referenzszene und die Szene A weisen beide eine Person fast in der Mitte eines Bildes auf. Während die Szene A als zur Referenzszene analoge Szene erfasst wird, wird die Szene B daher nicht so erfasst. Das heißt, selbst in einem Fall, in dem die Szenen A und B zur Referenzszene in der Bewegung insgesamt analog sind, können die Szenen gemäß dem dazwischen unterschieden werden, ob Bewegungen ungleichmäßig verteilt sind oder nicht.
Wenn Wiedergewinnungsinformationen in Rahmeneinheiten (zeitlich geteilten Blockeinheiten) verwendet werden, kann ferner beispielsweise eine Auswahl zwischen einem Rahmen wie in einer lebhaften Bewegung und einem Rahmen wie im Gegenteil in keiner Bewegung in einer Szene bewirkt werden.
Durch Kombinieren von Wiedergewinnungsinformationen in Szeneneinheiten, Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten und Wiedergewinnungsinformationen in zeitlich geteilten Blockeinheiten kann die Wiedergewinnung einer gewünschten Szene in detaillierterer Weise durchgeführt werden.
Die Bewegtbildwiedergewinnung kann beispielsweise in einer solchen Weise durchgeführt werden, dass Szenen, die insgesamt in der Bewegung groß sind, ausgewählt werden, weniger Szenen mit einem Mittelabschnitt in lebhafter Bewegung ferner ausgewählt werden und ferner weniger Szenen oder Rahmen mit einem Rahmen in besonders lebhafter Bewegung als Schlüsselrahmen entnommen werden.
Wie vorstehend beschrieben, kann gemäß einer Vorrichtung der Ausführungsform ein gewünschtes Szenenbild auf der Basis von bildhaften Merkmalen wie z. B. Bewegungen eines Bildes durch Festlegen von Bedingungen von mehreren Aspekten effizient wiedergewonnen werden. Ferner wird eine zur Wiedergewinnung erforderliche Zeit auch verringert.
Die vorstehend beschriebene Ausführungsform ist nur ein Beispiel zum Ausführen der Erfindung. Verschiedene Modifikationen oder Änderungen der Vorrichtungen können zusätzlich zu der Ausführungsform durchgeführt werden.
In einer Vorrichtung der Ausführungsform findet beispielsweise der Analyseabschnitt 101 automatisch Szenenwechselpunkte durch Signalanalyse an Be wegtbilddaten. Die Erfindung ist jedoch nicht darauf begrenzt, sondern eine andere Prozedur kann übernommen werden, in der beispielsweise eine Bedienperson ein Bewegtbild sieht und eine Struktur des Bewegtbildes auf der Basis ihres persönlichen Blickpunkts analysiert, um ein Kennzeichen an eine Teilungsposition zum Unterteilen des Bewegtbildes in Szenen anzuhängen. Obwohl der Analyseabschnitt 101 Bewegtbilddaten in einer ähnlichen Weise analysiert, wird in diesem Fall das Bewegtbild in Szenen geteilt, die Kennzeichen sehen, die an die Bewegtbilddaten angehängt sind.
In der vorstehend beschriebenen Ausführungsform werden Frequenzinformationen in einem Rahmen von Bewegungsvektoren in der Bewegungskompensations-Vorhersagecodierung als Frequenzinformationen 166 von Zusammenfassungsinformationen eines Rahmens verwendet. In der Erfindung wird jedoch diesem keine Begrenzung auferlegt, sondern Frequenzinformationen in einem Rahmen in einer Vorhersagebetriebsart von jedem von codierten Blöcken können auch als Frequenzinformationen verwendet werden.
Als Zusammenfassungsinformationen kann ferner auch eine Gesamtsumme oder eine Standardabweichung von Bewegungsvektoren im Rahmen oder die mittlere Luminanz oder die mittlere Farbdifferenz im Rahmen, die unter Verwendung eines ursprünglichen Bildsignals oder eines decodierten Bildsignals berechnet wird, zusätzlich zu den vorstehend beschriebenen verwendet werden.
Ein Verfahren und eine Prozedur zur Wiedergewinnung sind nicht auf die hier gezeigten Kombinationen begrenzt. Eine weitere Möglichkeit besteht darin, die Reihenfolge zu ändern, in der auszuwählende Kandidaten selektiert werden. Überdies ändern sich ein Verfahren und eine Prozedur zur Wiedergewinnung ebenso gemäß zu erzeugenden Wiedergewinnungsinformationen.
In einer Vorrichtung der vorstehend beschriebenen Ausführungsform wurde außerdem beispielsweise eine Sammlung über eine Szene von geteilten Blöcken übernommen, die jeweils durch Teilen eines Rahmens in 2 × 2 = 4 Teile als räumlich geteilter Block erhalten werden. Die Anzahl von geteilten Teilen ist nicht auf vier begrenzt. Wie in 17 gezeigt, besteht beispielsweise eine Möglichkeit darin, einen Rahmen in 4 × 4, 8 × 8 oder eine größere Zahl als die letztere zu teilen. In einem Fall einer 4×4-Teilung werden Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit durch Prozentbereiche von P₁ bis P₁₅ ausgedrückt. P₁₆ kann durch Subtrahieren der Summe von Wiedergewinnungsinformationen der anderen räumlich geteilten Blöcke von 100 % erhalten werden. In einem Fall einer 8×8-Teilung werden Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit durch Prozentbereiche von P₁ bis P₆₃ ausgedrückt. P₆₄ kann auch durch Subtrahieren der Summe von Wiedergewinnungsinformationen der anderen räumlich geteilten Blöcke von 100 % erhalten werden.
Überdies kann irgendeines von mehreren Teilungsverfahren, wie z. B. vorstehend beschrieben, selektiv verwendet werden. In diesem Fall werden räumlich geteilte Blöcke jeweils aus geteilten Blöcken konstruiert, die jeweils gemäß der Anzahl von ausgewählten Teilen geteilt werden (die "Auflösung" genannt werden kann), um Wiedergewinnungsinformationen von jedem räumlich geteilten Block zu erhalten. Wenn Wiedergewinnungsinformationen gespeichert werden, wird daneben zusätzlich zu Szeneneinheits-Wiedergewinnungsinformationen und Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten gemäß einer ausgewählten Auflösung ein Teilungszahl-Spezifizierungskennzeichen mit einer in 18 gezeigten Entsprechung zwischen dem Wert davon und der Teilungszahl an die Wiedergewinnungsinformationen angehängt. Wenn das Teilungszahl-Spezifizierungskennzeichen "0" ist, werden Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten {P₁, P₂, P₃] gespeichert; wenn das Teilungszahl-Spezifizierungskennzeichen "1" ist, werden Wiedergewinnungsinformationen von räumlich geteilten Blockeinheiten {P₁, P₂, P₁₅} gespeichert; wenn das Teilungszahl-Spezifizierungskennzeichen "2" ist, werden Wiedergewinnungsinformationen von räumlich geteilten Blockeinheiten {P₁, P₂, ..., P₆₃} gespeichert, und wenn das Teilungszahl-Spezifizierungskennzeichen "3" ist, werden Wiedergewinnungsinformationen von räumlich geteilten Blockeinheiten {P₁, P₂, ..., P₂₅₅} gespeichert.
Indem ermöglicht wird, dass Auflösungen von räumlich geteilten Blöcken in mehreren Weisen spezifiziert werden, entstehen die folgenden Effekte:
In einer Datenbank, in der nur eine vergleichsweise einfache und leichte Wiedergewinnung erforderlich ist, in der eine grobe Verteilung von Bewegungen eines Bewegtbildes, aufwärts oder abwärts oder nach links oder nach rechts, zu kennen erwünscht ist, wird eine kleine Teilungszahl verwendet: wie z. B. 2 × 2.
Eine Speichermenge von Wiedergewinnungsinformationen kann unterdrückt werden.
In einer Datenbank, in der häufig eine Anforderung zum Extrahieren einer in der Bewegung großen Szene in einem speziellen Abschnitt eines Bildes oder zwei Abschnitten, die in diesem voneinander beabstandet sind, entsteht, wird eine vergleichsweise große Teilungszahl verwendet: wie z. B. 8 × 8. Eine hochfunktionale Wiedergewinnung kann verwirklicht werden. Wiedergewinnungsinformationen mit hoher Auflösung umfassen Wiedergewinnungsinformationen mit niedriger Auflösung; daher müssen die Wiedergewinnungsinformationen mit niedriger Auflösung nicht zusätzlich doppelt bereitgestellt werden, selbst wenn die Wiedergewinnungsinformationen mit niedriger Auflösung erforderlich sind.
In der vorstehend beschriebenen Ausführungsform sind die Zahlen von Teilungen in der Längsrichtung und Querrichtung einander gleich wie in den Fällen von 2 × 2, 4 × 4 und 8 × 8 und jede der Zahlen sind 2 zur n-ten Potenz, wobei n eine natürliche Zahl ist. Wenn eine solche Teilungszahl selektiv verwendet wird, kann eine Entsprechung zwischen Wiedergewinnungsinformationen von Datenbanken, die Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit mit jeweiligen verschiedenen Teilungsauflösungen speichern, möglich sein. Ferner können Wiedergewinnungsinformationen mit verschiedenen Teilungsauflösungen auch miteinander verglichen werden.
Wie in 19 gezeigt, kann ferner eine hierarchische Speicherung von Wiedergewinnungsinformationen in räumlich geteilten Blockeinheiten mit jeweiligen mehreren Auflösungsniveaus bewirkt werden. Wiedergewinnungsinformationen einer Szene umfassen beispielsweise Wiedergewinnungsinformationen 200 einer Szeneneinheit, Wiedergewinnungsinformationen 202 in räumlich geteilten Blockeinheiten gemäß einer 2×2-Teilung, Wiedergewinnungsinformationen 204 in räumlich geteilten Blockeinheiten gemäß einer 4×4-Teilung und Wiedergewinnungsinformationen 206 in räumlich geteilten Blockeinheiten gemäß einer 8×8-Teilung.
In der hierarchischen Struktur werden Wiedergewinnungsinformationen einer räumlich geteilten Blockeinheit in einer Ebene mit Wiedergewinnungsinformationen in 4 räumlich geteilten Blockeinheiten einer um eine Stufe höheren Auf lösung ausgedrückt. Selbst in einem Fall, in dem in jeder Ebene eine von Wiedergewinnungsinformationen von vier räumlich geteilten Blockeinheiten nicht gespeichert wird, können daher alle für die Wiedergewinnung erforderlichen Informationen erhalten werden.
Wiedergewinnungsinformationen gemäß dem in 19 gezeigten Beispiel umfassen Wiedergewinnungsinformationen mit derselben Auflösung wie bei der Speicherung von Wiedergewinnungsinformationen mit einem räumlich geteilten Block als Einheit, der durch Teilen eines Rahmens in 8 × 8 Teile gebildet wird, was in 17 gezeigt ist. Gemäß den in 19 gezeigten Wiedergewinnungsinformationen entsteht andererseits ein Vorteil, dass Wiedergewinnungsinformationen mit anderen Auflösungen leicht erhalten werden können.
In der vorstehend beschriebenen Ausführungsform werden alle Rahmen einer Szene in n×n-Anordnungen, wie z. B. 2 × 2, 4 × 4 und 8 × 8, geteilt, um räumlich geteilte Blöcke zu bilden. Gemäß der Erfindung sind jedoch Teilungsverfahren für einen Rahmen nicht auf diese begrenzt. Ein Teilungsverfahren kann beispielsweise übernommen werden, in dem ein Rahmen in Weisen geteilt wird, wie in 20 bis 24 gezeigt, und Wiedergewinnungsinformationen unter Verwendung von so erhaltenen räumlich geteilten Blöcken als Einheiten erzeugt werden. In den in 20 bis 24 gezeigten Beispielen werden alle Rahmen in einer Szene in 2 zur n-ten Potenz (2ⁿ) (n = 2 in 20, n = 3 in 21, n = 4 in 22, n = 5 in 23 und n = 6 in 24) geteilt. Selbst wenn solche Teilungsverfahren verwendet werden, können Wiedergewinnungsinformationen zum Verwirklichen einer ähnlichen Wiedergewinnungsfunktion zu jener, die in einer Vorrichtung der vorstehend beschriebenen Ausführungsform erhalten wird, erzeugt werden.
Durch die Teilungsverfahren für einen Rahmen, wie in 20 bis 24 gezeigt, ist ebenso die Entsprechung zwischen Wiedergewinnungsinformationen mit jeweiligen verschiedenen Auflösungen in ähnlicher Weise zur vorstehend beschriebenen Ausführungsform leicht. Ferner kann ein leichter Vergleich zwischen Wiedergewinnungsinformationen mit jeweiligen verschiedenen Auflösungen bewirkt werden.
Es ist zu beachten, dass in einem in 5 gezeigten Beispiel Zusammenfassungsinformation beispielsweise mit dem Rahmen 162N als einem zeitlich ge teilten Block 164N erhalten werden. Die Erfindung ist jedoch nicht auf ein solches Beispiel begrenzt. Ein zeitlich geteilter Block kann beispielsweise zwei oder mehr Rahmen umfassen. Ferner kann übernommen werden, dass jeder Rahmen unterabgetastet wird, um Unterrahmen zu bilden, so dass ein zeitlich geteilter Block einen oder mehrere Unterrahmen umfasst. Noch ferner kann übernommen werden, dass Rahmen in einer Szene teilweise in einer korrekten Weise entfernt werden und Zusammenfassungsinformationen der restlichen Rahmen verwendet werden.
Es ist zu beachten, dass in den in 6 und 8 gezeigten Beispielen Zusammenfassungsinformation eines räumlich geteilten Blocks unter Verwendung aller der geteilten Blöcke, die im räumlich geteilten Block enthalten sind, erhalten werden. Die Erfindung ist jedoch nicht auf solche Beispiele begrenzt. Es ist nicht notwendigerweise erforderlich, Bilddaten zu verwenden, die allen der geteilten Blöcke in einem räumlich geteilten Block entsprechen, sondern es ist zugelassen, dass die geteilten Blöcke teilweise in einer korrekten Weise entfernt werden oder Bilddaten in jedem geteilten Block teilweise in einer korrekten Weise entfernt werden, um Zusammenfassungsinformationen des räumlich geteilten Blocks zu bilden.
Es ist zu beachten, dass, wenn Wiedergewinnungsinformationen in zeitlich geteilten Blockeinheiten oder in räumlich geteilten Blockeinheiten oder Wiedergewinnungsinformationen in Szeneneinheiten erzeugt werden, die vorstehend mit Bezug auf 5 und 6 beschrieben wurden, um einen Einfluss von Bewegungen einer Kamera, die ein Bewegtbild aufnimmt, auf Bewegungen des Hintergrundes zu entfernen, Wiedergewinnungsinformationen erzeugt werden können, die einen Einfluss auf Grund von Bewegungsvektoren, die den Bewegungen einer Kamera entsprechen, korrigieren.
Überdies sind in der vorstehend beschriebenen Ausführungsform die Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 und die Bewegtbild-Wiedergewinnungsvorrichtung 50 separate Vorrichtungen. Wiedergewinnungsinformationen werden von der Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 zur Bewegtbild-Wiedergewinnungsvorrichtung 50 über das Speichermedium 107 übertragen. Anstelle dieser Konfiguration können beispielsweise Arten von Wiedergewinnungsinformationen, die vom ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102, vom zweiten Wieder gewinnungsinformations-Erzeugungsabschnitt 103 und vom dritten Wiedergewinnungsinformations-Erzeugungsabschnitt 104, die in 3 gezeigt sind, erzeugt werden, direkt zum Wiedergewinnungsinformations-Managementabschnitt 502 von 10 zusammen mit Bewegtbild-Strukturinformationen, die aus dem Analyseabschnitt 101 ausgegeben werden, übertragen werden. Die Wiedergewinnungsverarbeitung ist in diesem Fall eine so genannte Echtzeitwiedergewinnung.
Geteilte Blöcke, die durch Teilen eines Rahmens in der vorstehend beschriebenen Ausführungsform erhalten werden, können mit codierten Blöcken übereinstimmen. Blöcke mit zweckmäßiger Größe können unterschiedlich zu codierten Blöcken neu definiert werden. In der vorstehend beschriebenen Ausführungsform weisen geteilte Blöcke eine symmetrische Form auf und die Anordnung von geteilten Blöcken ist auch symmetrisch. Wenn geteilte Blöcke neu definiert werden, entsteht jedoch keine Notwendigkeit, dass die Form von Blöcken symmetrisch ist. Ferner entsteht auch keine Notwendigkeit, dass die Anordnung von geteilten Blöcken symmetrisch ist. Noch ferner kann eine teilweise Entfernung in einer Bildebene zweckmäßig bewirkt werden. Das heißt, ein Bereich, der in irgendeinem geteilten Block nicht enthalten ist, kann in einer Bildebene vorhanden sein. Überdies können geteilte Blöcke teilweise aufeinander überlappt sein. Das heißt, ein Bereich, der in mehreren geteilten Blöcken enthalten ist, kann in einer Bildebene vorhanden sein.
In der vorstehend beschriebenen Ausführungsform empfängt der dritte Wiedergewinnungsinformations-Erzeugungsabschnitt 104, der in 3 gezeigt ist, Zusammenfassungsinformationen, die vom ersten Wiedergewinnungsinformations-Erzeugungsabschnitt 102 ausgegeben werden, und Zusammenfassungsinformationen, die vom zweiten Wiedergewinnungsinformations-Erzeugungsabschnitt 103 ausgegeben werden, um Zusammenfassungsinformationen einer ganzen Szene zu erzeugen. Die Erfindung ist jedoch nicht auf ein solches Beispiel begrenzt. Der dritte Wiedergewinnungsinformations-Erzeugungsabschnitt 104 kann beispielsweise Zusammenfassungsinformationen einer ganzen Szene direkt aus eingegebenen Bilddaten erzeugen.
Außerdem werden in der vorstehend beschriebenen Ausführungsform verschiedene Arten von Zusammenfassungsinformationen (Wiedergewinnungsinformationen) erhalten, wobei eine Szene physikalisch als Einheit definiert ist. Wie dergewinnungsinformationen müssen jedoch nicht notwendigerweise mit einer Szene als Einheit erhalten werden. Wiedergewinnungsinformationen können beispielsweise mit einer Unterszene, die durch Teilen einer Szene in mehrere Teile erhalten wird, als Einheit erhalten werden. Das heißt, das Wort "Szene" bedeutet auch "Unterszene". Im Gegenteil können Wiedergewinnungsinformationen auch mit einer zusammengesetzten Szene, die aus mehreren Szenen besteht, als Einheit erhalten werden. Das heißt, das Wort "Szene" bedeutet auch "eine Sammlung von mehreren Szenen".
Obwohl Wiedergewinnungsinformationen für einmal Bewegtbilddaten erzeugt werden und gespeichert werden und die Wiedergewinnung in der vorstehend beschriebenen Ausführungsform ausgeführt wird, ist die Erfindung nicht auf ein solches Beispiel begrenzt. Das heißt, ein Fall wird betrachtet, in dem mehrere Bewegtbilddaten als Objekt zur Wiedergewinnung übernommen werden, Wiedergewinnungsinformationen erzeugt und gespeichert werden und eine gewünschte Szene oder ein gewünschter Rahmen unter mehreren Teilen von Bewegtbilddaten wiedergewonnen werden.
Als Beispiel des Falls wird die Wiedergewinnung eines Bewegtbildes aus einer Bilddatenbank, die in 25 gezeigt ist, betrachtet, in der jede von mehreren Szenen als Bewegtbilddaten unabhängig voneinander gespeichert ist. In einem Fall, in dem die Aufnahme eines Bewegtbildes unter Verwendung einer Digitalkamera oder dergleichen durchgeführt wird, die in der Lage ist, ein Bewegtbild aufzunehmen, und die in den letzten Jahren verfügbar war, wird jedes von aufgenommenen Bewegtbildern, d. h. Bewegtbilddaten, die eine Szene einer einmaligen Bildaufzeichnung vom Start bis zum Ende ausdrücken, als Datei unabhängig von den anderen erzeugt. Daher kann die Bilddatenbank, wie in 25 gezeigt, sich leicht vorgestellt werden.
Wiedergewinnungsinformationen werden durch die in 3 gezeigte Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung 40 für eine solche Bilddatenbank erzeugt. Zu diesem Zeitpunkt sind eingegebene Bewegtbilddaten mehrere Teile von Bewegtbilddaten, die in der Datenbank vorhanden sind. Gespeicherte Bilddaten sind bereits in Szenen geteilt (einmal Bewegtbilddaten umfassen nur eine Szene); daher entsteht keine Notwendigkeit für Bewegtbild-Strukturinformationen. Daher entsteht im Analyseabschnitt 101 keine Notwendigkeit für eine Strukturanalyse für ein Bewegtbild. Der erste, der zweite und der dritte Wiedergewinnungsinformations-Erzeugungsabschnitt 102, 103 und 104 erzeugen jeweilige Zusammenfassungsinformationen eines Rahmens (eines zeitlich geteilten Blocks), eines räumlich geteilten Blocks und einer ganzen Szene. Der vierte Wiedergewinnungsinformations-Erzeugungsabschnitt 105 erzeugt Wiedergewinnungsinformationen eines Bewegtbildes, wobei Zusammenfassungsinformationen von den Abschnitten in einem vorgeschriebenen Format angeordnet werden. Der Speicherabschnitt 106 empfängt alle Bewegtbilddaten und jedem der Bewegtbilder entsprechende Wiedergewinnungsinformationen, um Entsprechungsinformationen zwischen allen Bewegtbilddaten und den Wiedergewinnungsinformationen, die an eine oder beide der Bewegtbilddaten und der Wiedergewinnungsinformationen angehängt werden, oder als davon separate Daten im Speichermedium 107 zu speichern. Das Speichermedium 107 kann in einer Datenbank für das ursprüngliche Bild vorgesehen sein. Überdies können alle Wiedergewinnungsinformationen entweder unabhängig von den anderen oder gemeinsam als einer Bilddatenbank entsprechende Wiedergewinnungsinformationen gespeichert werden.
Ferner wird die Wiedergewinnung durch die in 10 gezeigte Bewegtbild-Wiedergewinnungsvorrichtung unter Verwendung einer solchen Bilddatenbank und von erzeugten und gespeicherten Wiedergewinnungsinformationen ausgeführt. Zu diesem Zeitpunkt sind Informationen, die vom Ausleseabschnitt 501 ausgelesen werden und von der Wiedergewinnungsinformations-Managementvorrichtung 502 gemanagt werden, Wiedergewinnungsinformationen, die mehreren Teilen von Bewegtbilddaten entsprechen, die in einer Datenbank vorhanden sind, und es entsteht keine Notwendigkeit für Bewegtbild-Strukturinformationen, die allen Bewegtbilddaten entsprechen. Der erste, der zweite und der dritte Wiedergewinnungsausführungsabschnitt 503, 504 und 505 erfassen eine Szene oder einen Rahmen, die/der eine Wiedergewinnungsanforderung erfüllt, unter Verwendung von entsprechenden Wiedergewinnungsinformationen, um Informationen über die erfasste Szene oder den erfassten Rahmen auszugeben. Der Datenmanagementabschnitt 506 und der Wiedergewinnungssteuerabschnitt 507 arbeiten in einer ähnlichen Weise zur vorstehend beschriebenen Ausführungsform, um ein Wiedergewinnungsergebnis zu erhalten.
Die diesmal offenbarte Ausführungsform sollte in allen Aspekten als Erläuterung und Beispiel, aber nicht als Begrenzung aufgefasst werden. Es ist vor gesehen, dass der Schutzbereich der Erfindung nicht die vorstehend beschriebene Beschreibung ist, sondern durch die Bestimmungen der Ansprüche gezeigt ist.
Industrielle Anwendbarkeit
Wie vorstehend beschrieben, erzeugen eine Bewegtbild-Wiedergewinnungsinformations-Speichervorrichtung und eine Bewegtbild-Wiedergewinnungsvorrichtung in Bezug auf die Erfindung Wiedergewinnungsinformation einer Szene mit einem räumlich geteilten Block, der nicht durch zeitliches Teilen der Szene, sondern durch räumliches Teilen der Szene erhalten wird, als Einheit, um eine Szene auf der Basis der Wiedergewinnungsinformationen wiederzugewinnen; daher sind die Vorrichtungen zur Verwendung in einem System geeignet, in dem eine gewünschte Szene unter Bewegtbildern gemäß einem durch die Szene beobachteten räumlichen Merkmal effizient wiedergewonnen wird.

Claims

Vorrichtung (40) zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen, die Wiedergewinnungsinformationen zum Wiedergewinnen von Bewegtbilddaten erzeugt, die aus einer oder aus mehreren Szenen (140, 142, 144, 146, 160) gebildet sind, die zeitlich in mehrere aufeinander folgende Rahmen unterteilt sind, wobei die Vorrichtung enthält: einen Wiedergewinnungsinformation-Erzeugungsabschnitt (102, 103, 104, 105) zum Erzeugen von Wiedergewinnungsinformationen, die jeder der einen oder der mehreren Szenen entsprechen, anhand der Bewegtbilddaten, wobei der Wiedergewinnungsinformation-Erzeugungsabschnitt (102, 103, 104, 105) enthält: ein erstes Zusammenfassungsinformation-Erzeugungsmittel (103) zum Bilden mehrerer räumlich geteilter Blöcke für jede der Szenen durch zeitliches Unterteilen der Zone auf der Zeitachse in mehrere Rahmen, durch räumliches Teilen aller Rahmen der Szene auf gleiche Weise in geteilte Blöcke und durch Kombinieren der geteilten Blöcke an entsprechenden Positionen an entsprechenden der mehreren Rahmen, um einen solchen räumlich geteilten Block der Szene (140, 142, 144, 146, 160) zu bilden, um Zusammenfassungsinformationen (188) in Einheiten eines räumlich geteilten Blocks der Szene zu erzeugen, wobei die Wiedergewinnungsinformationen die Zusammenfassungsinformationen enthalten.
Vorrichtung zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen nach Anspruch 1, wobei die Szenen (140, 142, 144, 146, 160) durch Unterteilen aufeinander folgender Bewegtbilddaten auf der Zeitachse erhalten werden, wobei die Vorrichtung ferner enthält: einen Bewegtbild-Strukturinformations-Ausgabeabschnitt (101) zum Ausgeben von Bewegtbild-Strukturinformationen, die Positionen jeder der Szenen in den Bewegtbilddaten angeben, wobei der Wiedergewinnungsinformation-Erzeugungsabschnitt (102, 103, 104, 105) Wiedergewinnungsinformationen, die jeder der Szenen (140, 142, 144, 146, 160) entsprechen, anhand der Bewegtbild-Strukturinformationen und der Bewegtbilddaten erzeugt.
Vorrichtung zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen nach Anspruch 1, wobei das erste Zusammenfassungsinformation-Erzeugungsmittel (103) alle Rahmen in einer Szene (140, 142, 144, 146, 160) in eine vorgegebene Anzahl von Teilen in jeder von zwei räumlich definierten Richtungen räumlich teilt.
Vorrichtung zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen nach Anspruch 1, wobei das erste Zusammenfassungsinformations-Erzeugungsmittel (103) alle Rahmen in einer Szene (140, 142, 144, 146, 160) in 2ⁿ Teile teilt, wobei n eine vorgegebene Zahl ist.
Vorrichtung zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen nach einem der Ansprüche 1, 3 und 4, wobei der Wiedergewinnungsinformation-Erzeugungsabschnitt (102, 103, 104, 105) ferner enthält: ein zweites Zusammenfassungsinformations-Erzeugungsmittel (102) zum zeitlichen Unterteilen jeder der Szenen (140, 142, 144, 146, 160), um die mehreren Rahmen als zeitlich unterteilte Blöcke zu bilden, die räumlich eine Bildgröße der Szene haben, und zum Erzeugen von Zusammenfassungsinformationen in Einheiten eines zeitlich unterteilten Blocks.
Vorrichtung zum Erzeugen von Bewegtbild-Wiedergewinnungsinformationen nach einem der Ansprüche 1 und 3 bis 5, wobei der Wiedergewinnungsinformation-Erzeugungsabschnitt (102, 103, 104, 105) ferner enthält: ein drittes Zusammenfassungsinformations-Erzeugungsmittel (104) zum Erzeugen von Zusammenfassungsinformationen von allen Rahmen der Szene für jede der Szenen (140, 142, 144, 146, 160).
Bewegtbild-Wiedergewinnungsvorrichtung (50) zum Wiedergewinnen eines gewünschten Bildes unter Verwendung von Wiedergewinnungsinformationen, die jeder von einer oder von mehreren Szenen (140, 142, 144, 146, 160), die Bewegtbilddaten bilden, entsprechen, wobei die Bewegtbilddaten mit den Wiedergewinnungsinformationen in Beziehung stehen und die Wiedergewinnungsinformationen für jede der Szenen Zusammenfassungsinformationen (188) in Einheiten von räumlich geteilten Blöcken enthalten, die erhalten werden durch zeitliches Unterteilen der Szene auf der Zeitachse in mehrere Rahmen, durch räumliches Teilen aller Rahmen der Szene auf gleiche Weise in geteilte Blöcke und durch Kombinieren der geteilten Blöcken an entsprechenden Positionen in entsprechenden der mehreren Rahmen, um den räumlich geteilten Block der Szene (140, 142, 144, 146, 160) zu bilden, um die Zusammenfassungsinformationen in Einheiten des räumlich geteilten Blocks der Szene zu erzeugen, wobei die Vorrichtung enthält: Informationsmanagementmittel (501, 502) zum Lesen und Managen der Wiedergewinnungsinformationen; und erste Szenen-Wiedergewinnungsmittel (504), die mit den Informationsmanagementmitteln verbunden sind und in Reaktion auf eine erste Wiedergewinnungsanforderung eine Szene (140, 142, 144, 146, 160), die die erste Wiedergewinnungsanforderung erfüllt, wiedergewinnen, wobei die Zusammenfassungsinformationen in Einheiten eines räumlich geteilten Blocks, die in den Wiedergewinnungsinformationen enthalten sind, verwendet werden.
Bewegtbild-Wiedergewinnungsvorrichtung (50) nach Anspruch 7, wobei die Wiedergewinnungsinformationen ferner für jede der Szenen enthalten: Zusammenfassungsinformationen in Einheiten von Rahmen der Szene als zeitlich unterteilte Blöcke mit einer räumlichen Bildgröße der Szene, die durch zeitliches Unterteilen jeder der Szenen (140, 142, 144, 146, 160) erhalten werden, wobei die Vorrichtung ferner enthält: zweite Szenen-Wiedergewinnungsmittel (505), die mit den Informationsmanagementmitteln (501, 502) verbunden sind und in Reaktion auf eine zweite Wiedergewinnungsanforderung eine Szene (140, 142, 144, 146, 160) wiedergewinnen, die die zweite Wiedergewinnungsanforderung erfüllt, wobei die Zusammenfassungsinformationen in Einheiten eines zeitlich unterteilten Blocks, der in den Wiedergewinnungsinformationen enthalten ist, verwendet werden.
Bewegtbild-Wiedergewinnungsvorrichtung (50) nach Anspruch 7 oder Anspruch 8, wobei die Wiedergewinnungsinformationen ferner enthalten: Zusammenfassungsinformationen in Einheiten einer Szene (140, 142, 144, 146, 160), wobei die Vorrichtung ferner enthält: dritte Szenen-Wiedergewinnungsmittel (503), die mit den Informationsmanagementmitteln (501, 502) verbunden sind und in Reaktion auf eine dritte Wiedergewinnungsanforderung eine Szene (140, 142, 144, 146, 160) wiedergewinnen, die die dritte Wiedergewinnungsanforderung erfüllt, wobei die Zusammenfassungsinformationen in Einheiten einer Szene (140, 142, 144, 146, 160), die in den Wiedergewinnungsinformationen enthalten ist, verwendet werden.