DE69937816T2

DE69937816T2 - Datenverarbeitungsgerät und Verfahren

Info

Publication number: DE69937816T2
Application number: DE69937816T
Authority: DE
Inventors: Mitsuru Ohta-ku Maeda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-04-28
Filing date: 1999-04-26
Publication date: 2008-12-24
Anticipated expiration: 2019-04-27
Also published as: DE69937816D1; EP0954181A3; US6512793B1; EP0954181B1; EP0954181A2

Description

HINTERGRUND DER ERFINDUNG
GEBIET DER ERFINDUNG
Die Erfindung bezieht sich auf eine Decodiervorrichtung und ein Decodierverfahren und genauer auf eine Decodiervorrichtung und ein Decodierverfahren, welche in Bildobjekteinheiten codierten Code decodieren.
Zudem bezieht sich die Erfindung auf eine Datenverarbeitungsvorrichtung und ein Datenverarbeitungsverfahren, welche ein Datenarray verarbeiten, welches ein Bild mit einer Vielzahl von codierten Bildobjekten konstruiert.
BESCHREIBUNG DER VERWANDTEN TECHNIK
In den letzten Jahren wurde mit dem Fortschreiten von Bildcodiertechniken und dem Fortschritt von Computerfähigkeiten ein Codierverfahren zum Separieren eines Bildes in Objekte und zum Codieren für jedes Objekt vorgeschlagen. Die Bildcodierung in Objekteinheiten ermöglicht eine optimale Codierung für jedes Objekt, wodurch die Codiereffizienz verbessert wird. Zur selben Zeit kann eine Funktion zum Erzeugen eines neuen Bildes durch Bearbeiten der Objekte in dem Bild erlangt werden.
Beispielsweise wurde bei der Technologie eines unbewegten Bildes bzw. Stehbildes ein Verfahren zum Separieren eines Bildes in "Zeichen", "Linie", "Rahmen", "Bild", "Tabelle" und "Hintergrund", und Durchführen einer optimalen Codierung für die jeweiligen Bereiche, wie beispielsweise das ACBIS-Verfahren (von Maeda und Yoshida in "The 1996 Institute of Electronics, Information and Communication Engineers General Conference D-292") vorgeschlagen. Gemäß diesem Verfahren wird die JBIG-Codierung (Joint Bi-Level Image Group Encoding = Verbindungszweistufenbildgruppencodierung) als ein Binärbildcodierverfahren für die Bereiche "Zeichen", "Linie", "Rahmen" und "Tabelle" durchgeführt, und in dem Bereich "Hintergrund" wird sein repräsentativer Wert codiert.
Zudem wurde bei einem bewegten Bild bzw. Bewegtbild ein Verfahren zum Durchführen eines Codierens in Objekteinheiten als ein internationales Standardverfahren, MPEG (Moving Pictures Experts Group Phase 4 = Bewegtbildexpertengruppe Phase 4) studiert (Eto, "MPEG4-Standardization", The Journal of The Institute of Image Electronics Engineers of Japan, Band 25, Nr. 3, 1996, Seiten 223-228). (ISO/IEC JTC1/SC29/WG11: "Information Technology-Coding of audiovisuell Objekts: Visuelles ISO/IEC 14496-2 Committee Draft N2202", März 1998) 1 zeigt ein Beispiel eines Vollbilds eines Bewegtbildes, das durch die MPEG4-Codierung zu codieren ist. In 1 umfasst ein Vollbild 20 vier Objekte, wie in 2 gezeigt, das heißt, ein Hintergrundobjekt 28, ein Objekt 21, das einen Hubschrauber repräsentiert, ein Objekt 22, das einen Zug repräsentiert, und ein Objekt 23, das ein Auto repräsentiert. Um die Formen der Objekte mit Ausnahme des Hintergrunds anzugeben, ist jedes Objekt derart maskiert, dass ein schwarzer Teil eines rechteckigen Bereichs, der das Objekt umgibt, ein "äußerer Bereich" ist, und ein weißer Teil ist ein "innerer Bereich" (24 bis 26 in 2), und durch diese Maskierung kann ein beliebig geformtes Objekt gehandhabt werden.
3 zeigt eine Konstruktion zur Codierung in Objekteinheiten. Ein Eingabebild 1 wird in eine Objektsegmentierungseinrichtung 2 eingegeben, und es wird in jeweilige Objekte separiert. Beispielsweise wird das Bild in 1 durch die Objektsegmentierungseinrichtung 2 in die Objekte 28, 21, 22 und 23 separiert, und die Objekte werden unabhängig codiert. Das heißt, eine Objektcodiereinrichtung 3 codiert das Objekt 28, eine Objektcodiereinrichtung 4 codiert das Objekt 21, eine Objektcodiereinrichtung 5 codiert das Objekt 22, und eine Objektcodiereinrichtung 6 codiert das Objekt 23. Ein Multiplexer 7 multiplext aus den Objektcodiereinrichtungen 3 bis 6 ausgegebene Codedaten, und gibt die gemultiplexten Daten als Codedaten 8 aus.
4 zeigt eine Konstruktion zur Decodierung eines in Objekteinheiten codierten Bildes. Die Codedaten 8 werden in einen Demultiplexer 9 eingegeben und in den jeweiligen Objekten entsprechende Codedaten separiert. Die separierten Codedaten werden unabhängig decodiert. Das heißt, eine Objektdecodiereinrichtung 10 decodiert das Objekt 28, eine Objektdecodiereinrichtung 11 decodiert das Objekt 21, eine Objektdecodiereinrichtung 12 decodiert das Objekt 22, und eine Objektdecodiereinrichtung 13 decodiert das Objekt 23.
Eine Objektzusammensetzungseinrichtung 14 arrangiert aus den Objektdecodiereinrichtungen 10 bis 13 ausgegebene Bilddaten an richtigen Positionen für die jeweiligen Objekte, und setzt sie auf diese Weise als ein Bild zusammen, und gibt die Bilddaten als ein wiedergegebenes Bild 15 aus.
Bei einer durch den MPEG2-Standard (Moving Pictures Experts Group Phase 2 Standard = Bewegtbilderexpertengruppe-Phase-2-Standard) repräsentierten Bewegtbildcodierung wird eine Codierung in Vollbild- oder Feldeinheiten vorgenommen. Um eine Wiederverwendung oder Bearbeitung von Inhalten (Person, Gebäude, Stimme, Ton, Hintergrund und dergleichen) beim Konstruieren eines Videobildes und von Audiodaten eines Bewegtbildes zu realisieren, ist der MPEG4-Standard durch Handhabung von Videodaten und Audiodaten als Objekte gekennzeichnet. Zudem werden in einem Videobildbereich umfasste Objekte unabhängig codiert, und die Objekte werden unabhängig gehandhabt.
25 zeigt ein Beispiel der Struktur von Objektcodedaten. Die auf dem MPEG4-Standard basierenden Bewegtbildcodedaten haben von dem Punkt einer Verbesserung der Codiereffizienz und der Bearbeitungsbedienungsfähigkeit eine hierarchische Struktur. Wie in 25 gezeigt, hat der Kopf von Codedaten einen visuelles-objekt-sequenz-start-code (VOSSC in 25) zur Identifikation. Dann folgen Codedaten von jeweiligen visuellen Objekten, und an dem Ende sind visuelles-objekt-sequence-end-Code (VOSEC in 25) positioniert, die das hintere Ende der Codedaten angeben. So wie erlangte Bewegtbilder sind Computergraphikdaten (CG-Daten) und dergleichen als visuelle Objekte definiert.
Die visuellen Objektdaten haben visuelles-objekt-start-code (Visuelles Objekt SC in 25) zur Identifikation an ihrem Dateikopf, dann profile_und_pegel-anzeige (PLI in 25), die einen Codierpegel anzeigt. Dann folgen Informationen über visuelle Objekte, ist_visuelles_Objekt_identifizierer (IVOI in 25), visuelles_Objekt_varid (VOVID in 25), visuelles_Objekt_priorität (VOPRI in 25), visuelles_Objekt_type (VOTYPE in 25) und dergleichen. Diese Daten bilden Dateikopfinformationen des visuellen Objekts. "VOTYPE" hat einen Wert "0001", falls das Bild ein durch eine Bildaufnahme erlangtes Bewegtbild ist. Dann folgen Videoobjektdaten (VO-Daten) als ein Cluster von Bewegtbildcodedaten.
Die VO-Daten sind Codedaten, welche jedes Objekt angeben. Die VO-Daten haben video-objekt-start-code (VOSSC in 25) zur Identifikation an ihrem Dateikopf, zudem haben die VO-Daten Videoobjektschichtdaten (VOL-Daten in 25) zur Realisierung der Skalierbarkeit. Die VOL-Daten haben video_objekt-schichtstart_Code (VOLSC in 25) und Videoobjektebenendaten (VOP-Daten in 25) entsprechend einem Vollbild eines Bewegtbilds. Die VOL-Daten haben video_objekt_schickt_breite (VOL_Breite in 25) und video_objekt_schicht_höhe (VOL_Höhe in 25) an ihrem Dateikopf, die eine Größe angeben. Zudem haben die VOP-Daten_video_objekt_ebene_breite (VOP_Breite in 25) und video_objekt_ebene_höhe (VOP_Höhe in 25) an ihrem Dateikopf, die eine Größe angeben. Zudem hat der Dateikopf der VOL-Daten einen bit_raten-Code, der die Bitrate angibt. Es sei erwähnt, dass in jeder Schicht der Codedatenstruktur durch einen Benutzer Daten einer beliebigen Länge eingegeben werden können, welche mit benutzer-daten-start-code starten. Die Benutzerdaten werden von den Codedaten durch Erkennen eines Startcodes VOSC und VOLSC oder VOPSC unterschieden, welcher den Benutzerdaten folgt.
Zudem werden Anordnungsinformationen, welche Informationen zum Anordnen der jeweiligen Objekte auf der Decodierseite sind, ein Systemcode genannt. Bei dem Systemcode werden ähnlich zu VRML (Virtual Reality Markup Language = Virtuellrealitätauszeichungssprache) als eine CG-Sprache, eine Anordnung von aufgeteilten bzw. unterteilten Objekten beschreibende Informationen, ein Wiedergabezeitpunkt oder dergleichen codiert. Der Systemcode beschreibt die Beziehung unter den jeweiligen Objekten mit Annahme von Knoten. Nachfolgend werden die Knoten unter Bezugnahme auf 26 und 27 besonders beschrieben.
26 ist ein Beispiel eines mit einer Vielzahl von Objekten konstruierten Bildes. Dieses Bild weist ein Hintergrundobjekt 2000, ein Ballonobjekt 2001, ein Vogelobjekt 2002, ein Flugzeugobjekt 2003, ein Autoobjekt 2004, ein Frauobjekt 2005 und ein Mannobjekt 2006 auf, die jeweils einen Hintergrund, einen Ballon, einen Vogel, ein Flugzeug, ein Auto, eine Frau und einen Mann repräsentieren.
27 zeigt einen Knotenbaum in dem Bild von 26. Das gesamte Bild wird durch einen Szenenknoten repräsentiert. Der Szenenknoten ist mit dem Hintergrundobjekt 2000, dem Autoobjekt 2004, und einem Personenknoten der Personen angibt, und einem Flugobjektknoten verbunden, der im Himmel fliegende Dinge angibt. Zudem ist der Personenknoten mit dem Frauobjekt 2005 und dem Mannobjekt 2006 verbunden. Der Flugobjektknoten ist mit dem Ballonobjekt 2001, dem Vogelobjekt 2002 und dem Flugzeugobjekt 2003 verbunden. Die Beziehung unter den Objekten wird in den Daten des Systemknotens beschrieben.
Auf diese Weise kann gemäß dem MPEG4-Stadard durch unabhängige Handhabung von Objekten in einem Bewegtbild die Decodierseite verschiedenste Objekte frei anordnen. Zudem kann bei Rundsendefirmen, Inhalte produzierenden Firmen und dergleichen durch Erzeugen von Codedaten von Objekten im Voraus eine sehr große Anzahl von Bewegtbilddaten aus begrenzten Inhalten erzeugt werden.
Jedoch haben die zuvor beschriebenen Techniken die folgenden Probleme. Um jeweilige Objekte unabhängig zu decodieren, sind Decodiereinrichtungen entsprechend der Anzahl von separierten Objekten erforderlich. Auf der Decodierseite ist es jedoch unmöglich, eine beliebige Anzahl von Decodiereinrichtungen vorzuhalten. Dementsprechend kann die Anzahl von unabhängig codierten Objekten größer als die Anzahl von vorgehaltenen Decodiereinrichtungen sein. Die in 5 gezeigte Decodiervorrichtung hat drei Decodiereinrichtungen. Ein Demultiplexer 9 weist die Objektdecodiereinrichtungen den Codedaten 8 in Eingabereihenfolge zu. Falls die Codedaten 8 vier Objekte umfassen, weist der Demultiplexer 9 das Objekt 28 der Objektdecodiereinrichtung 10, das Objekt 21 der Objektdecodiereinrichtung 11, und das Objekt 22 der Objektdecodiereinrichtung 12 zu. In Bezug auf das Objekt 23 jedoch wird, da es keine verfügbare Objektdecodiereinrichtung gibt, das Objekt 23 nicht decodiert. Dementsprechend wird in einem Bild, das durch Decodieren der Objekte und sie Synthetisieren erlangt wird, das Objekt 23 ausgelassen, wie in einem Vollbild 38 in 6.
Das heißt, bei der auf dem MPEG4-Standard basierenden Codierung kann, da eine unbestimmte Anzahl von Objekten gehandhabt wird, die Anzahl von Decodiereinrichtungen zum Decodieren aller Objekte insbesondere auf der Decodierseite nicht bestimmt werden, weshalb es sehr schwierig ist, eine Vorrichtung oder ein System zu konstruieren. Aus diesem Grund sind bei der standardisierten MPEG4-Codierung zum Bestimmen der Spezifikationen beim Entwerfen von Codedaten und Codiereinrichtung/Decodiereinrichtung, die Inhalte von Profil und Pegel bzw. Stufe definiert und die Anzahl von Objekten und der obere Grenzwert der Bitrate sind als Codierspezifikationen bereitgestellt. 28 zeigt ein Beispiel einer Profiltabelle, welche die Anzahl von Objekten definiert und die oberen Bitratengrenzen von Profilen und Pegeln.
Bei dem MPEG4-Standard unterscheidet sich ein Codierwerkzeug gemäß Profilen. Zudem wird, wie in 28 gezeigt, die Menge von Codedaten von gehandhabten Bildern stufenweise gemäß einem Pegel bestimmt. Es sei erwähnt, dass die maximale Anzahl von zu handhabenden Objekten und der maximale Bitratenwert obere Grenzwerte bei den Codierspezifikationen sind, und alle Werte sind in den Codierspezifikationen umfasst, so lange sie geringer als die vorangehenden maximalen Werte sind. Beispielsweise ist bei einem Fall, bei welchem ein Codierwerkzeug in einem Kernprofil verfügbar ist, die Anzahl von Objekten sechs, und eine Codierung wird mit einer Bitrate von 300 kbps durchgeführt, wobei die Codedaten und das Codierwerkzeug einer Stufe bzw. einem Pegel 2 entsprechen (Kernprofil und Stufe bzw. Pegel 2).
Die zuvor beschriebenen Profile und Pegel sind in der PLI in einem Bitstrom von MPEG4-Codedaten angezeigt, wie in 25 gezeigt. Dementsprechend kann eine Decodiereinrichtung, welche einen Bitstrom von MPEG-Codedaten decodiert, bestimmen, ob eine Decodierung möglich ist oder nicht, indem auf die PLI Bezug genommen wird. Das Decodieren ist bei dem folgenden Fall unmöglich.
Beispielsweise kann eine Decodiereinrichtung entsprechend Kernprofil und Pegel 1 keine Codedaten mit Kernprofil und Pegel 2 decodieren, da die maximale Bitrate von Kernprofil und Pegel 2 einen Wert von 2000 kbps hat, der weit größer als 384 kbps ist, was die maximale Bitrate von Kernprofil und Pegel 1 ist.
Zudem können in einem Bild, das vier Objekte umfasst, durch Synthetisieren von zwei Codedaten mit einem Einfachprofil und Pegel 1 zwei Codedaten mit Einfachprofil und Pegel 2 erzeugt werden. Da jedoch die maximale Anzahl von Objekten mit Einfachprofil und Pegel 2 einen Wert von 4 hat, werden Codedaten erzeugt, welche nicht zu irgendeinem Profil oder Pegel des MPEG4-Standards gehören. Dementsprechend können derartige codierte Daten nicht decodiert werden.
Zudem kann zum Beispiel, wenn ein neuer Bitstrom durch Multiplexen zweier Codedaten mit Einfachprofil, mit Bitraten von 48 kbps und 8 kbps, aus zwei Bildern mit jeweils zwei Objekten, erzeugt wird, die Bitrate des neuen Bitstroms über 64 kbps liegen. In diesem Fall muss der Pegel der Codedaten auf den Pegel 2 angehoben werden, und sie kann nicht durch eine Decodiereinrichtung mit Einfachprofil und Pegel 1 decodiert werden.
Das heißt, falls die Codierspezifikationen (Profil und Pegel) einer Decodiereinrichtung die Codierspezifikationen (Profil und Pegel) von Codierdaten nicht ausreichend abdecken, kann die Decodiereinrichtung die Codedaten nicht decodieren.
Dieses Problem wird besonders prekär beim Synthetisieren einer Vielzahl von Bildern. Beispielsweise kann die Decodiereinrichtung, wenn eine Vielzahl von Codedaten, die jeweils durch eine Decodiereinrichtung decodierbar sind, synthetisiert werden, die synthetisierten Codedaten gelegentlich nicht decodieren. Falls ferner die synthetisierten Codedaten keinem der MPEG4-Profile und Pegel entsprechen, können sie nicht durch eine Decodiereinrichtung auf der Grundlage des MPEG4-Standards decodiert werden.
ZUAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde zum Lösen der zuvor beschriebenen Probleme gemacht und es ist ihr Anliegen, eine Datenverarbeitungsvorrichtung und ein Datenverarbeitungsverfahren bereitzustellen, welche alle Bildobjekte decodieren, auch wenn die Anzahl von Decodiereinrichtungen begrenzt ist.
Es ist ein weiteres Anliegen der vorliegenden Erfindung, eine Datenverarbeitungsvorrichtung und ein Datenverarbeitungsverfahren bereitzustellen, welche unbewegte Bilder bzw. Stehbilder und oder Bewegtbilder ohne Verschlechterung der Bildqualität decodieren, auch wenn die Anzahl von Decodiereinrichtungen begrenzt ist.
Es ist ein anderes Anliegen der vorliegenden Erfindung, eine Datenverarbeitungsvorrichtung und ein Datenverarbeitungsverfahren bereitzustellen, welche Codedaten, die für jedes von vielzähligen Bildobjekten codiert sind, mit Decodiereinrichtungen mit beliebigen Codierspezifikationen decodieren.
Es ist ein weiteres Anliegen der vorliegenden Erfindung, eine Datenverarbeitungsvorrichtung und ein Datenverarbeitungsverfahren bereitzustellen, welche die Anzahl von Objekten steuern, die in den Codedaten umfasst sind.
Gemäß der vorliegenden Erfindung ist eine Datenverarbeitungsvorrichtung bereitgestellt mit einer Decodiereinrichtung zum Decodieren eines Eingabecodes, der in Bildobjekteinheiten codiert ist, wobei die Vorrichtung aufweist:
eine Erfassungseinrichtung zum Erfassen der Anzahl von Objekten, die in dem Eingabecode enthalten sind, und der Anzahl von decodierbaren Objekten, die durch die Decodiereinrichtung gehandhabt werden können; und eine Steuerungseinrichtung bzw. Steuereinrichtung zum Steuern der Anzahl von Objekten des Eingabecodes durch Kombinieren von Objekten oder Löschen von zumindest einem Objekt, basierend auf der Anzahl von Objekten des Eingabecodes und der Anzahl von decodierbaren Objekten, und zum Erzeugen eines Ausgabecodes enthält.
Gemäß einem Merkmal der vorliegenden Erfindung kann die zuvor beschriebene Vorrichtung zudem aufweisen: eine Extrahierungseinrichtung bzw. Extraktionseinrichtung zum Extrahieren von Aufenthaltsortinformationen bzw. Ortsinformationen der Objekte, die in dem Eingabecode enthalten sind; und eine Kombinierungseinrichtung bzw. Kombinationseinrichtung zum Kombinieren von Code einer Vielzahl von Objekten basierend auf einer Anweisung der Steuerungseinrichtung und der Aufenthaltsortinformationen, die durch die Extrahierungseinrichtung extrahiert werden.
Zudem kann die zuvor beschriebene Vorrichtung aufweisen: eine Extrahierungseinrichtung bzw. Extraktionseinrichtung zum Extrahieren von Bewegungsinformationen, die Bewegungen der Objekte, die in dem Code enthalten sind, angeben; und eine Kombinierungseinrichtung bzw. Kombinationseinrichtung zum Kombinieren einer Vielzahl von Objekten basierend auf einer Anweisung der Steuerungseinrichtung und den Bewegungsinformationen, die durch die Extrahierungseinrichtung extrahiert werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beiliegenden Zeichnungen, welche in der Beschreibung umfasst sind und einen Teil von ihr bilden, veranschaulichen Ausführungsbeispiele der Erfindung und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der Erfindung. Es zeigen:
1 ein Beispiel des durch die MPEG4-Codierung verarbeiteten Bildes;
2 eine erläuternde Ansicht der Objekte des Bildes in 1;
3 ein Blockschaltbild, das die Konstruktion zur Codierung in Objekteinheiten zeigt;
4 ein Blockschaltbild, das die Konstruktion zur Decodierung eines in Objekteinheiten codierten Bildes zeigt;
5 ein Blockschaltbild, das die Konstruktion zur Decodierung eines in Objekteinheiten codierten Bildes zeigt;
6 ein Beispiel eines decodierten Bildes, bei dem ein Objekt ausgelassen ist;
7 ein Blockschaltbild, das die Konstruktion einer Decodiervorrichtung gemäß der vorliegenden Erfindung zeigt;
8 ein Beispiel von 1-Vollbild-Codedaten;
9 ein Beispiel von synthetisierten Codedaten;
10 ein Blockschaltbild, das die Konstruktion einer Objektkombinationseinrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
11A und 11B sind Beispiele eines Objektkombinierens;
12 ein Beispiel von 1-Vollbild-Codedaten, die bewegungszukompensieren sind;
13 ein Beispiel von synthetisierten Codedaten;
14A und 14B Beispiele von Objekten eines unbewegten Bildes bzw. Stehbildes und kombinierter Objekte;
15 ein Beispiel eines 1-Vollbilds eines Bewegtbildes;
16 ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
17A und 17B Beispiele von kombinierten Objekten;
18 ein Beispiel von Codedaten mit kombinierten Objekten;
19 ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
20 ein Beispiel von Eingabecodedaten;
21 ein Beispiel von verarbeiteten Codedaten;
22 ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
23 ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung gemäß einer Modifikation zeigt;
24 ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung gemäß einer weiteren Modifikation zeigt;
25 ein Beispiel der Struktur von Objektcodedaten;
26 ein Beispiel des aus einer Vielzahl von Objekten konstruierten Bildes;
27 ein Beispiel eines Knotenbaumes in dem Bild von 26;
28 ein Beispiel der Profiltabelle, welche die Anzahl von Objekten und die oberen Bitratengrenzen durch Profile und Pegel definiert;
29 ein Blockschaltbild, das die Konstruktion einer Bewegtbildverarbeitungseinrichtung gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung zeigt;
30 ein Blockschaltbild, das die Konstruktion einer Profil- und Pegelregeleinrichtung gemäß dem fünften Ausführungsbeispiel zeigt;
31A und 31B Beispiele der Struktur von Codedaten eines Bewegtbildes;
32 ein Blockschaltbild, das die Konstruktion der Profil- und Pegelregeleinrichtung gemäß einem sechsten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
33 ein Blockschaltbild, das die Konstruktion der Profil- und Pegelregeleinrichtung gemäß einem siebenten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
34 ein Blockschaltbild, das die Konstruktion einer Objektintegrationseinrichtung gemäß dem siebenten Ausführungsbeispiel zeigt;
35 ein Beispiel der Struktur von synthetisierten Codedaten gemäß dem siebenten Ausführungsbeispiel;
36 ein Blockschaltbild, das die Konstruktion der Objektintegrationseinrichtung gemäß einer Modifikation des siebenten Ausführungsbeispiels zeigt;
37 ein Beispiel von synthetisierten Farbbildinformationen gemäß dem siebenten Ausführungsbeispiel;
38 ein Beispiel von synthetisierten Maskeninformationen bzw. Maskierungsinformationen gemäß dem siebenten Ausführungsbeispiel;
39 ein Blockschaltbild, das die Konstruktion der Objektintegrationseinrichtung gemäß einem achten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
40 ein Beispiel einer Stück- bzw. Teilstruktur von Farbbildinformationen gemäß dem achten Ausführungsbeispiel;
41 ein Blockschaltbild, das die Konstruktion der Profil- und Pegelregeleinrichtung gemäß einem neunten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
42 ein Beispiel der Struktur von synthetisierten Bewegtbildcodedaten gemäß dem neunten Ausführungsbeispiel;
43 ein Beispiel der Konstruktion eines durch Codedaten repräsentierten Bildes;
44 ein Beispiel der Konstruktion eines durch Codedaten repräsentierten Bildes;
45 ein Blockschaltbild, das die Konstruktion der Bewegtbildverarbeitungseinrichtung gemäß einem zehnten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
46A bis 46D Beispiele von zu synthetisierenden Bildern;
47 ein Blockschaltbild, das die Konstruktion einer Bildbearbeitungseinheit gemäß dem zehnten Ausführungsbeispiel zeigt;
48 ein Beispiel eines synthetisierten Bildes;
49 ein Blockschaltbild, das die detaillierte Konstruktion einer Dateikopfverarbeitungseinrichtung zeigt;
50A bis 50E Beispiele von Codedaten eines zu synthetisierenden Bildes und eines synthetisierten Bildes;
51 ein Flussdiagramm, welches eine Bildverarbeitung gemäß dem zehnen Ausführungsbeispiel zeigt;
52 ein Blockschaltbild, das die Konstruktion der Bildbearbeitungseinheit gemäß einem elften Ausführungsbeispiel der vorliegenden Erfindung zeigt;
53A bis 53D Beispiele von Knotenbäumen, welche die Beziehung unter jeweiligen Objekten zeigen;
54 ein Blockschaltbild, das die Konstruktion einer Codelängenregeleinrichtung zeigt;
55 und 56 Blockschaltbilder, welche die Konstruktionen der Codelängenregeleinrichtung gemäß Modifikationen des elften Ausführungsbeispiels zeigen; und
57 ein Beispiel von Codedaten eines synthetisierten Bildes.
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Nun werden bevorzugte Ausführungsbeispiele der vorliegenden Erfindung gemäß den beiliegenden Zeichnungen beschreiben.
Erstes Ausführungsbeispiel
[Konstruktion]
7 ist ein Blockschaltbild, das die Konstruktion einer Decodiervorrichtung gemäß der vorliegenden Erfindung zeigt. Es sei erwähnt, dass Elemente, die in etwa denjenigen in 3 und 5 entsprechen, dieselben Bezugszeichen haben, und es wird eine detaillierte Erläuterung der Elemente weggelassen.
In 7 umfasst eine Objektanzahlregeleinrichtung 40 einen Objektzähler 41, welche die Anzahl s von Objekten zählt, einen Objektdecodiereinrichtungszähler 42, welcher die Anzahl d von Objektdecodiereinrichtungen zählt, und einen Objektkombinierer bzw. eine Objektkombinationseinrichtung 43, welche die Vielzahl von in den Codedaten 8 umfassten Objekten zählt. Das Bezugszeichen 50 bezeichnet eine Speichervorrichtung, welche eine magnetische Disk oder dergleichen aufweist.
Die in die Decodiervorrichtung eingegebenen Codedaten 8 werden einer Codierung durch eine Codiereinrichtung unterzogen, wie beispielsweise in 3 gezeigt. Die Codedaten 8 umfassen maximal vier Objekte. Nachfolgend wird die Beschreibung vorgenommen, indem ein Bewegtbildvollbild, wie in 1 gezeigt, als ein Originalbild Verwendung findet.
Die Codedaten 8 werden für jedes Vollbild in die Objektanzahlregeleinrichtung 40 eingegeben. Wenn Codedaten eines Vollbilds eingegeben worden sind, zählt der Objektzähler 41 die Anzahl von in den Codedaten umfassten Objekten.
8 ist ein Beispiel von 1-Vollbild-Codedaten. Die Codedaten haben "Header" bzw. "Dateiköpfe", der bzw. die das Attribut des Vollbilds an seinem Kopf angeben, an ihrem Kopf bzw. Anfang und als Nächstes Codedaten, welche ein Hintergrundobjekt (Objekt 0 in 8) angeben. Dann folgen Codedaten der jeweiligen Objekte, das heißt Codedaten des Objekts 21 (Objekt 1), des Objekts 22 (Objekt 2) und des Objekts 23 (Objekt 3). Die Codedaten jedes Objekts umfassen Startcode (SC), der den Dateikopf des Objekts angibt, Ortscode (Loc-Code), der den Ort den Objekts angibt, Größencode, der die Größe des Objekts angibt, Formcode, der die Form des Objekts angibt, und Texturcode, welcher das Objekt selbst angibt.
Bei der folgenden Beschreibung ist der Formcode durch MR-Codierung binär codiert, und der Texturcode ist durch Blockcodierung codiert. Es sei erwähnt, dass eine Blockcodierung ein Objekt in beispielsweise 8 × 8 – Bildelementblöcke unterteilen, dann eine diskrete Cosinustransformation (DCT) für jeden Block durchführen, und die erlangten Umwandlungskoeffizienten (DCT-Koeffizienten) quantisieren und codieren, wie beispielsweise JPEG-Codierung, ist. 8 zeigt den Texturcode des Objekts 1. Der Texturcode ist eine Gruppe von blockbasiertem Code, DCT-COEFs. Der Code DCT-COEF wird durch eindimensionales Neuordnen von Quantisierungswerten von DCT-Koeffizienten und Codierung von Quantisierungswerten erlangt, die sich von Nulllauflängenwerten und Nullwerten unterscheiden. Falls alle Quantisierungswerte Null sind, wird kein DCT-COEF erzeugt.
Der Zählwert s des Objektzählers 41 wird beim Start einer Eingabe von 1-Vollbild-Codedaten neu gesetzt. Dann wird die Auftretensanzahl von SC gezählt, welche den Objektdateikopf der Codedaten angibt. Das Zählergebnis wird in die Objektkombinationseinrichtung 43 eingegeben. Der Objektdecodiereinrichtungszähler 42 zählt die Anzahl d von Objektdecodiereinrichtungen. Bei dem vorliegenden Ausführungsbeispiel ist, da die Anzahl von Objektdecodiereinrichtungen drei ist, die Ausgabe aus dem Objektdecodiereinrichtungszähler 42 dementsprechend "3".
10 ist ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung 43 zeigt. Ein Anschluss 61 gibt die Codedaten 8 ein. Ein Anschluss 62 gibt die Anzahl s der Objekte von dem Objektzähler 41 ein. Ein Anschluss 63 gibt die Anzahl d der Objektdecodiereinrichtungen aus dem Objektdecodiereinrichtungszähler 42 ein.
Ein Codespeicher 64 wird zum Speichern von Codedaten für ein oder mehr Vollbilder verwendet, die von dem Anschluss 61 eingegeben werden. Eine Ortsinformationenextraktionseinrichtung 65 extrahiert den Ortscode aus den in dem Codespeicher 64 gespeicherten Codedaten, und speichert den extrahierten Ortscode in einem Ortsinformationenspeicher 66 in Vollbildeinheiten. Eine Objektdistanzberechnungseinrichtung bzw. Objektentfernungsberechnungseinrichtung 67 berechnet Distanzen bzw. Entfernungen zwischen jeweiligen Objekten auf der Grundlage des in dem Positionsortsspeicher 66 gespeicherten Ortscode 66.
Eine Entfernungsvergleichseinrichtung 68 vergleicht die durch die Objektentfernungsberechnungseinrichtung 67 berechneten Entfernungen und wählt zu kombinierende Objekte auf der Grundlage des Vergleichsergebnisses aus. Eine Auswahleinrichtung 69 gibt für jedes Objekt Objektcodedaten, die aus dem Codespeicher 64 ausgelesen sind, an eine Codeaufteilungseinrichtung 70 oder einen Anschluss 76 aus, die durch die Entfernungsvergleichseinrichtung 68 als ein Ausgabezielort bezeichnet sind.
Die Codeaufteilungseinrichtung 70 dividiert bzw. teilt Objektcodedaten in Loc-, Größe-, Form- und Texturdaten auf. Eine Ortscodekombinationseinrichtung 71 kombiniert den Ortscode von zwei Objekten in einen Ortscode. Eine Größencodekombinationseinrichtung 72 kombiniert den Größencode von zwei Objekten in einen Größencode. Eine Formcodekombinationseinrichtung 73 kombiniert den Formcode von zwei Objekten in einen Formcode. Eine Texturcodekombinationseinrichtung 74 kombiniert den Texturcode von zwei Objekten in einen Texturcode. Eine Codesyntheseeinrichtung 75 synthetisiert Ausgaben von der Ortscodekombinationseinrichtung 71 bis zu der Texturcodekombinationseinrichtung 74 in zusammenhängende Codedaten.
Eine der Ausgaben aus der Codesyntheseeinrichtung 75 und diejenige aus der Auswahleinrichtung 69 wird über einen Anschluss 76 an die nächste Stufe weitergegeben.
[Betrieb]
Als Nächstes wird der Betrieb des vorliegenden Ausführungsbeispiels für einen Fall beschrieben, bei welchem ein MPEG-Intra-Vvollbild bzw. MPEG-Intra-Rahmen oder jeweilige Bewegungs-JPEG-Vollbilder unabhängig codiert wurden.
Vollbildbasiertes Codieren
In 10 werden Codedaten für einen oder mehr Vollbild über den Anschluss 61 in dem Codespeicher 64 gespeichert, und die Anzahl s von Objekten wird über den Anschluss 62 von dem Objektzähler 41 eingegeben. In dem Fall der Codedaten in 8 beträgt die Anzahl s von Objekten vier (s = 4). Ferner wird die Anzahl d von Objektdecodiereinrichtungen über den Anschluss 63 von dem Objektdecodiereinrichtungszähler 42 eingegeben. Bei dem vorliegenden Ausführungsbeispiel beträgt die Anzahl d von Objektdecodiereinrichtungen drei (d = 3). Dementsprechend gilt s – d = 1, das heißt, die Konstruktion bzw. der Aufbau hat eine Decodiereinrichtung weniger.
Die Objektentfernungsberechnungseinrichtung 67 erlangt die Entfernung zwischen dem Objekt 21 und dem Objekt 22 aus dem in dem Ortsinformationsspeicher 66 gespeicherten Ortscode. Falls der Ort des Objekts 21 (x1, y1) ist und derjenige des Objekts 22 (x2, y2) ist, wird die Entfernung D12 zwischen diesen Objekten durch die folgende Gleichung repräsentiert:
In ähnlicher Weise wird die Entfernung D13 zwischen dem Objekt 21 und dem Objekt 23 und die Entfernung D23 zwischen dem Objekt 22 und dem Objekt 23 erlangt. Auf der Grundlage der erlangten Entfernungen zwischen Objekten wählt die Entfernungsvergleichseinrichtung 68 eine Vielzahl von Objekten mit einer kurzen Entfernung dazwischen aus, um die Objekte zur Kompensation des Mangels an Objektdecodiereinrichtungen zu kombinieren. Beispielsweise wählt die Entfernungsvergleichseinrichtung 68 eine Vielzahl von Objekten mit der kleinsten Entfernungssumme dazwischen in einer Vielzahl von Vollbildern aus. Bei dem vorliegenden Ausführungsbeispiel werden, da der Mangel an Objektdecodiereinrichtungen "1" beträgt, zwei Objekte in einem Objekt kombiniert. Falls die Entfernungssumme D12 die kleinste ist, werden das Objekt 21 und das Objekt 22 kombiniert. Folglich wird der Mangel an Objektdecodiereinrichtungen behoben.
Falls das Objekt 21 und das Objekt 22 kombiniert werden, sendet die Auswahleinrichtung 69, unter Steuerung der Ausgabe aus der Entfernungsvergleichseinrichtung 68, den aus dem Codespeicher 64 ausgegebenen Dateikopf an den Anschluss 76 und sendet das Objekt 0 als Hintergrundobjekt an den Anschluss 76.
Als Nächstes zeigt die Ausgabe aus der Entfernungsvergleichseinrichtung 68 für das Objekt 1 entsprechend dem Objekt 21 "Auswahl" an, weshalb die Auswahleinrichtung 69 das Objekt 1 an die Codeaufteilungseinrichtung 70 sendet. Der Ortscode des Objekts 1 wird an die Ortscodekombinationseinrichtung 71 gesendet, der Ortscode und der Größencode werden an die Größencodekombinationseinrichtung 72 gesendet, der Formcode wird an die Formcodekombinationseinrichtung 73 gesendet, und der Texturcode wird an die Texturcodekombinationseinrichtung 74 gesendet. Als Nächstes gibt auch die Ausgabe aus der Entfernungsvergleichseinrichtung 68 für das Objekt 2 entsprechend dem Objekt 22 "Auswahl" an, weshalb der Code des Objekts 2 in den jeweiligen Code dividiert bzw. aufgeteilt wird, und der aufgeteilte Code wird in die Ortscodekombinationseinrichtung 71 bis zu der Texturcodekombinationseinrichtung 74 eingegeben, wie bei dem Fall des Objekts 1.
Es sei erwähnt, dass, da die Ausgabe aus der Entfernungsvergleichseinrichtung 68 für das Objekt 3 entsprechend dem Objekt 23 "Nichtauswahl" anzeigt, die Codedaten des Objekts 23 ohne irgendeine Verarbeitung ausgegeben werden. Zudem wird für einen Vollbild mit den Codedaten 8, bei welchen s – d > 0 gilt, keine Objektkombination durchgeführt, und die Ausgabe aus der Auswahleinrichtung 69 wird an den Anschluss 76 weitergeleitet.
Die Ortscodekombinationseinrichtung 71 decodiert den jeweiligen Ortscode und erlangt Ortsinformationen (x1, y1) bis (xn, yn) der Vielzahl von Objekten. Dann wählt die Ortscodekombinationseinrichtung 71, wie durch die folgende Gleichung repräsentiert, den minimalen Wert von x- und y-Koordinaten von diesen Ortsinformationen aus, und gibt neue Ortsinformationen (x1', y1') aus. (x1', y1') = (min (x1, x2, ..., xn), min (y1, y2, ..., yn) (2)

n:: die Anzahl von kombinierten Objekten

Die Größencodekombinationseinrichtung 72 decodiert den jeweiligen Orts- und Größencode, und erlangt Ortsinformationen und Größeninformationen (x1, y1), (Sx1, Sy1) bis (xn, yn), (Sxn, Syn) der Vielzahl von Objekte. Dann berechnet die Größencodekombinationseinrichtung 72 neue Ortsinformationen (x1', y1') aus der Gleichung (2), und erlangt neue Größeninformationen (Sx1', Sy1') aus der folgenden Gleichung und gibt die Informationen aus. (Sx1', Sy1') = (max(x1 + Sx1, x2 + Sx2, ..., xn + Sxn) – x1', max (y1 + Sy1, y2 + Sy2, ..., yn + Syn) – y1') (3)
Die Formcodekombinationseinrichtung 73 erzeugt Code, der aus den Formen der Vielzahl von Objekten synthetisiert ist. Wenn die Objekte 21 und 22 synthetisiert sind, wird die Form eines neuen Objekts durch eine Maske 80 repräsentiert, wie in 11A gezeigt. Die Originalmaskierungen bzw. Originalmasken 24 und 25 bleiben dieselben, und der sich von der Maskierung bzw. den Masken unterscheidende Abschnitt wird neu hinzugefügt. In 11A ist er Wert des schraffierten Abschnitts derselbe wie derjenige der durchgezogenen schwarzen Masken 24 und 25. Dementsprechend wird, da sich der Nulllauf auf der rechten Seite der Maske 24 erhöht hat, die Nulllauflänge nach Code addiert, der einen am nächsten zu dem rechten Vollbildende gelegenen Änderungspunkt anzeigt.
Zudem zeigt der zuvor beschriebene Änderungspunkt, falls kein anderes Objekt auf der rechten Seite des Objekts 21 vorhanden ist, nur den letzten Änderungspunkt der Linie an, und der Code nimmt nicht zu. Andererseits wird, falls ein anderes Objekt auf der rechten Seite des Objekts 21 vorhanden ist, eine Nulllauflänge entsprechend der Anzahl von Bildelementen zwischen beiden Objekten zu dem Code hinzugefügt. Das heißt, der Code kann durch Code ersetzt werden, zu welchem eine Nulllauflänge addiert ist. Falls sich zudem ein drittes Objekt auf der rechten Seite des anderen Objekts auf der rechten Seite des Objekts 21 befindet, wird der Code des Objekts 21 durch Code ersetzt, bei welchem die Nulllauflänge entsprechend dem Abstand zwischen den Objekten zu dem Code des Objekts 21 addiert ist. Der ersetzte Code wird als ein neuer Formcode ausgegeben. Es sei erwähnt, dass in Bezug auf eine kein Objekt umfassende Linie fast kein Code erzeugt wird.
Die Texturcodekombinationseinrichtung 74 erzeugt Code, der aus Texturen der Vielzahl von Objekten synthetisiert ist. 11B zeigt einen Status, bei welchem die Textur des Objekts 21 und diejenige des Objekts 22 synthetisiert wird. Die Textur eines neuen Objekts wird als ein Objekt 81 repräsentiert. Die Originalobjekte 21 und 22 bleiben dieselben, und es wird ein sich von den Objekten unterscheidender schraffierter Abschnitt neu hinzugefügt. Es sei erwähnt, dass der Wert des schraffierten Abschnitts Null ist. Bei der MPEG-Codierung oder dergleichen wird die DC-Komponente eines interessierenden Bildelements in eine Differenz zwischen der DC-Komponente und derjenigen eines linken Blocks umgewandelt. Zudem sind Quantisierungswerte von AC-Komponenten eindimensional angeordnet, und Nulllauflängen- und Nichtnullwerte werden codiert. In dem schraffierten Abschnitt in 11B ist die Differenz zwischen der DC-Komponente eines interessierenden Bildelements und derjenigen eines linken Blocks Null, und die Werte aller AC-Komponenten sind Null. In diesem Fall werden bei der MPEG1-Codierung in Makroblockeinheiten 1 Bit, das einen Makroblocktyp anzeigt, 12 Bit Luminanz und 4 Bit Chromatizität, welche eine DC-Komponentengröße angeben, und 12 Bit EOB (Blockende), die das Ende des Blocks anzeigen, das heißt, insgesamt 29 Bits hinzugefügt bzw. addiert. Auf diese Weise wird Texturcode des Objekts 81 erzeugt, bei welchem die Texturen der Vielzahl von Objekten kombiniert sind, und der Texturcode wird ausgegeben.
Die Codesyntheseeinrichtung 75 synthetisiert Ausgaben aus der Ortscodekombinationseinrichtung 71 bis zu der Texturcodekombinationseinrichtung 74, um Codedaten des kombinierten Objekts zu erzeugen und gibt die Codedaten an den Anschluss 76 aus.
9 zeigt ein Beispiel von Codedaten, die wie zuvor synthetisiert sind. Das Codedatenobjekt 1 des Objekts 21 und das Codedatenobjekt 2 des Objekts 22 in 8 werden in Codedatenobjekt 1' kombiniert. Es sei erwähnt, dass das Codedatenobjekt 3 des Objekts 23 dasselbe bleibt.
Die wie zuvor verarbeiteten Codedaten werden in den Demultiplexer 9 eingegeben, und die Objektcodedaten werden in Objekt 0, Objekt 1' und Objekt 3 aufgeteilt. Dann wird das Codedatenobjekt 0 in die Objektdecodiereinrichtung 10 eingegeben; das Codedatenobjekt 1' wird in die Objektdecodiereinrichtung 11 eingegeben; und das Codedatenobjekt 3 wird in die Objektdecodiereinrichtung 12 eingegeben. Die jeweiligen Objektdecodiereinrichtungen geben Ortsinformationen, die durch Decodieren der Codedaten und der Bilddaten erlangt werden, an die Objektzusammensetzeinrichtung 14 aus. Die Objektzusammensetzeinrichtung 14 arrangiert die Bilddaten gemäß den Ortsinformationen der jeweiligen Objekte, um ein wiedergegebnes Bild 15 zu erlangen.
Bewegtbildcodierung
Bei Bewegtbildcodierung wird die Codiereffizienz durch Bewegungskompensation verbessert. Als ein Beispiel wird Codierung unter Verwendung der Korrelation zwischen Vollbildern wie beispielsweise einem vorausgesagten Vollbild im MPEG-Standard beschrieben.
12 ist ein Beispiel von Codedaten 8 für 1 Vollbild, der bewegungszukompensieren ist. Ähnlich zu den Codedaten in 8 haben die Codedaten in 12 einen Dateikopf, Codedatenobjekt 0, das ein Hintergrundobjekt angibt, und Codedaten (Objekt 1 bis Objekt 3) von jeweiligen Objekten. Alle Codedaten umfassen den SC, welcher den Dateikopf des Objekts angibt, den Ortscode, welcher den Ort angibt, den Größencode, welcher die Größe angibt, den Formcode, welcher die Form angibt, und den Texturcode, welcher Textur angibt. Bei der MPEG-Codierung wird ein Objekt in Makroblöcke unterteilt bzw. dividiert, und es wird eine Bewegungskompensation in Blockeinheiten durchgeführt. Als Folge davon weist der Texturcode MV-Code auf, der einen Bewegungsvektor als ein Ergebnis einer Bewegungsvektorcodierung angibt, und DCT-COEF, die aus dem Ergebnis von blockbasierter Aufteilung und DCT-Umwandlung quantisiert und codiert wird.
Bei Bewegtbildcodierung führt die Objektanzahlregeleinrichtung 40 eine ähnliche Verarbeitung wie diejenige bei der vollbildbasierten Codierung aus, wie zuvor beschrieben. Auch wenn eine detaillierte Beschreibung ausgelassen wird, falls der Mangel an Objektdecodiereinrichtungen "1" beträgt und die Entfernung D12 die kürzeste ist, werden die Objekte 21 und 22 kombiniert, um die Anzahl von Objekten zu reduzieren. Zudem werden die in den jeweiligen Objekten umfassten Bewegungsvektoren und das Ergebnis einer Codierung von DCT-Koeffiezienten nicht geändert.
Bei der MPEG-Codierung oder dergleichen werden, wenn die Vollbildkorrelation Verwendung findet, die DC-Komponente und AC-Komponenten einer vorausgesagten Differenz codiert. Zudem wird ein Bewegungsvektor in die Differenz zwischen dem Bewegungsvektor und demjenigen eines linken Makroblocks umgewandelt. Dementsprechend beträgt die Differenz des Bewegungsvektors in dem schraffierten Abschnitt in 11B Null, und die Werte aller AC-Komponenten sind Null. Bei der MPEG-Codierung wird ein derartiger Makroblock nicht codiert und wird übersprungen, und entsprechender Code zeigt nur die Anzahl von übersprungenen Makroblocks an. Dementsprechend wird bei der Objektkombination nur der Code eines Makroblocks geändert, der in einem Objekt umfasst ist, das als Nächstes erscheint, und der Code wird nur geringfügig geändert. Auf diese Weise wird der Texturcode von kombinierten Objekten erzeugt und ausgegeben.
13 ist ein Beispiel von Codedaten, die wie zuvor synthetisiert sind. Das Codedatenobjekt 1 des Objekts 21 und das Codedatenobjekt 2 des Objekts 22 in 12 werden in Codedatenobjekt 1' kombiniert. Es sei erwähnt, dass das Codedatenobjekt 3 des Objekts 23 dasselbe bleibt.
Wie zuvor beschrieben, werden bei dem vorliegenden Ausführungsbeispiel bei einem in Objekteinheiten codierten Bewegtbild, falls die Anzahl von codierten Objekten größer als diejenige von Decodiereinrichtungen ist, das heißt, es gibt einen Mangel an Decodiereinrichtungen, zur Reduktion der Anzahl von Objekten entsprechend dem Mangel eine Vielzahl von Objekten mit einem kurzen Abstand dazwischen kombiniert. Dies ermöglicht eine effiziente und richtige Wiedergabe eines Bewegtbildes mit einer Anzahl von codierten Objekten mit einer begrenzten Anzahl von Decodiereinrichtungen. Zudem werden die Objekte in Codedatenstatus synthetisiert. Das heißt, da das Kombinieren durch Ändern oder Hinzufügen von Code vorgenommen wird, können die Objekte mit hoher Geschwindigkeit synthetisiert werden, und zudem ist ein Inkrement der Codelänge sehr klein.
Ferner wird bei der vorangehenden Beschreibung ein codiertes Bewegtbild decodiert, jedoch kann in ähnlicher Weise ein codiertes unbewegtes Bild bzw. Stehbildes verarbeitet werden. Das heißt, die zuvor beschriebene vollbildbasierte Decodierung kann auf eine Decodierung eines unbewegten Bildes angewendet werden.
Beispielsweise umfasst ein Bild 90, wie in 14A gezeigt, Zeichenbereiche 91 und 94 und photographische Bereiche 92 und 93, und die Zeichen werden durch das MMR-Codieren (Modifiziertes Modifiziertes Lesen Codieren) codiert, und die Photographien werden durch die JPEG-Codierung codiert. Falls nur eine Decodiereinrichtung für die MMR-Codierung und nur eine Decodiereinrichtung für die JPEG-Codierung bereitgestellt sind, kann das Bild 90 durch Kombination und Aufteilung der jeweiligen Bereiche in Objekte 95 und 96 decodiert werden, wie in 14B und 14C gezeigt.
Es sei erwähnt, dass bei der vorangehenden Beschreibung der Formcode durch die MMR-Codierung codiert wird, und der Texturcode durch die MPEG-Codierung codiert wird, jedoch ist die vorliegende Erfindung nicht auf diese Codierverfahren beschränkt. Zudem kann die Funktion des Demultiplexers 9 in die Objektanzahlregeleinrichtung 40 eingebaut sein. Ferner können, falls s – d ≥ 2 als die Differenz zwischen der Anzahl d von Objektdecodiereinrichtungen und der Anzahl s von Objekten, die in Codedaten umfasst sind, Objekte mit einem kurzen Abstand dazwischen, das heißt, 2·(s – d)-Objekte mit (s – d)-Objekten kombiniert werden, oder (s – d + 1)-Objekte mit dem kürzesten Abstand dazwischen können in ein Objekt kombiniert werden.
Bei der vorangehenden Beschreibung werden Codedaten einer geregelten Anzahl von Objekten in die Objektdecodiereinrichtungen eingegeben. Falls es jedoch derart eingerichtet ist, dass die Codedaten einer geregelten Anzahl von Objekten zeitweise in der Speichervorrichtung 50 gespeichert werden, wie in 7 gezeigt, und die Codedaten einer geregelten Anzahl von Objekten aus der Speichervorrichtung 50 gelesen und decodiert werden, kann eine Decodierverarbeitung mit einem höheren Geschwindigkeit als derjenigen bei einem Decodieren mit einer Objektkombination durchgeführt werden.
Zudem ist gemäß dem vorliegenden Ausführungsbeispiel die Anzahl von Objektdecodiereinrichtungen nicht beschränkt. Dementsprechend kann die Verarbeitungsfähigkeit durch Erhöhung der Objektdecodiereinrichtungen einfach verbessert werden. Zudem kann der Ort eines Objekts präzise durch Decodieren von beispielsweise dem Formcode sowie unter Verwendung des Ortscodes erlangt werden.
Zweites Ausführungsbeispiel
[Konstruktion]
16 ist ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung 43 gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 16 haben Elemente entsprechend denjenigen bei der Konstruktion von 10 dieselben Bezugszeichen, und es wird eine ausführliche Erläuterung der Elemente ausgelassen.
Die Bezugszeichen 111 und 112 bezeichnen Codespeicher mit einer ähnlichen Funktion zu derjenigen der Codespeicher 64; Bezugszeichen 113 und 114 bezeichnen Ortsinformationsspeicher mit einer ähnlichen Funktion zu derjenigen des Ortsinformationsspeichers 66; und das Bezugszeichen 115 bezeichnet eine Objektbewegungsberechnungseinrichtung, welche die Bewegung des Objekts erfasst.
Das Bezugszeichen 116 bezeichnet eine Bestimmungseinheit 116, welche bestimmt, ob das Objektkombinieren notwendig ist oder nicht, und zu kombinierende Objekte auf der Grundlage einer Berechnung durch die Objektbewegungsberechnungseinrichtung 115 und der Objektentfernungsberechnungseinrichtung 67, und die Anzahl s von Objekten und die Anzahl d von Objektdecodiereinrichtungen bestimmt, die von den Anschlüssen 62 und 63 eingegeben werden. Das Bezugszeichen 117 bezeichnet eine Auswahleinrichtung, welche Objektcodedaten, die aus dem Codespeicher 111 oder aus dem Codespeicher 112 gelesen werden, falls erforderlich an einen durch die Bestimmungseinheit 116 bezeichneten Ausgabezielort ausgeben.
[Betrieb]
Als Nächstes wird der Betrieb der Objektkombinationseinrichtung 43, wie in 16 gezeigt, beschrieben. Zuerst wird eine vollbildbasierte Codierung zum unabhängigen Codieren jeweiliger Vollbilder, wie beispielsweise Intra-Rahmencodierung bzw. Intravollbildcodierung in dem MPEG-Standard oder Bewegungs-JPEG-Codierung beschrieben.
In diesem Fall hat der Codespeicher 111 dieselbe Funktion wie diejenige des Codespeichers 64 in 10; der Ortsinformationsspeicher 113 hat dieselbe Funktion wie diejenige des Ortsinformationsspeichers 66 in 10; und die Bestimmungseinheit 116 hat dieselbe Funktion wie diejenige der Entfernungsvergleichseinrichtung 68 in 10. Dementsprechend werden die Codedaten für 1 Vollbild, die von dem Anschluss 61 eingegeben werden, in dem Codespeicher 111 gespeichert. Die Anzahl s von Objekten als die Ausgabe aus dem Objektzähler 41 wird in den Anschluss 62 eingegeben. Die Anzahl d von Objektdecodiereinrichtungen, als die Ausgabe aus dem Objektdecodiereinrichtungszähler 42 wird in den Anschluss 63 eingegeben. Die Ortsinformationsextraktionseinrichtung 65 extrahiert Ortsinformationen von jeweiligen Objekten aus den in dem Codespeicher 111 gespeicherten Codedaten, und gibt die extrahierten Informationen in den Ortsinformationsspeicher 113 ein. Die Objektentfernungsberechnungseinrichtung 67 berechnet Entfernungen zwischen Objekten auf der Grundlage der in dem Ortsinformationsspeicher 113 gespeicherten Ortsinformationen. Die Bestimmungseinheit 116 bestimmt aus der Anzahl s von Objekten und aus der Anzahl d von Objektdecodiereinrichtungen, ob eine Objektkombination erforderlich ist oder nicht. Falls eine Objektkombination erforderlich ist, bestimmt die Bestimmungseinheit 116 die Anzahl von zu kombinierenden Objekten, dann vergleicht sie die Entfernungen zwischen Objekten, die durch die Objektentfernungsberechnungseinrichtung 67 erlangt werden, und bestimmt die erforderliche Anzahl von zu kombinierenden Objekten.
Die aus dem Codespeicher 111 gelesenen Objektcodedaten werden in die Auswahleinrichtung 117 eingegeben. Die Auswahleinrichtung 117 leitet Codedaten von Dateikopf, Hintergrundobjekt und unkombinierten Objekten an den Anschluss 76 weiter. Andererseits gibt die Auswahleinrichtung 117 Codedaten von zu kombinierenden Objekten in die Codeaufteilungseinrichtung 70 ein. Die in die Codeaufteilungseinrichtung 70 eingegebenen Codedaten werden in Ort-, Größe-, Form- und Texturcodedaten dividiert bzw. aufgeteilt und jeweils in die Ortscodekombinationseinrichtung 71, die Größencodekombinationseinrichtung 72, die Formcodekombinationseinrichtung 73 und die Texturcodekombinationseinrichtung 74 eingegeben. Aus dem Anschluss 76 werden Objektcodedaten ausgegeben, die auf eine ähnliche Weise kombiniert sind, wie diejenige, die bei dem ersten Ausführungsbeispiel beschrieben ist.
Als Nächstes wird ein Vollbild beschrieben, das durch Verwendung der Korrelation zwischen Vollbildern, wie beispielsweise ein vorausgesagtes Vollbild, bei der MPEG-Codierung codiert wird. In diesem Fall wird das MPEG-codierte Vollbild 20 in 1 und ein in 15 gezeigtes Vollbild 100, das dem Vollbild 20 folgt, beschrieben. Es sei erwähnt, dass bei dem Vollbild 100 in Bezug auf das Vollbild 20 das Objekt 21 (Hubschrauber) nach rechts bewegt wurde, und das Objekt 22 (Zug) und das Objekt 23 (Auto) nach links bewegt wurden.
Vor der Verarbeitung werden die Codespeicher 111 und 112 und die Ortsinformationsspeicher 113 und 114 zurückgesetzt, und die anderen Elemente werden initialisiert. Die Anzahl s von Objekten wird in den Anschluss 62 eingegeben, und die Anzahl d von Objektdecodiereren wird in den Anschluss 63 eingegeben. Zuerst werden die Codedaten des Vollbilds 20 in den Anschluss 61 eingegeben und in dem Codespeicher 111 gespeichert. Die Ortsinformationsextraktionseinrichtung 65 speichert Ortsinformationen der jeweiligen Objekte in dem Vollbild 20 in dem Ortsinformationsspeicher 113. Die Objektentfernungsberechnungseinrichtung 67 erlangt Entfernungen zwischen den jeweiligen Objekten in dem Vollbild 20.
Als Nächstes werden die Codedaten in dem Codespeicher 111 zu dem Codespeicher 112 bewegt, und die Ortsinformationen in dem Ortsinformationsspeicher 113 werden auch in den Ortsinformationsspeicher 114 bewegt, dann werden die Codedaten des Vollbilds 100 in den Anschluss 61 eingegeben und in dem Codespeicher 111 gespeichert. Die Ortsinformationsextraktionseinrichtung 65 speichert Ortsinformationen der jeweiligen Objekte in dem Vollbild 100 in den Ortsinformationsspeicher 113.
Die Objektbewegungsberechnungseinrichtung 115 berechnet die Bewegungen der jeweiligen Objekte aus den Orten der jeweiligen Objekte in den Ortsinformationsspeichern 113 und 114. Für den Fall, dass der Ort des Objekts 21 in dem Vollbild 20 (x211, y211) ist und in dem Vollbild 100 (x212, y212) ist, wird der Bewegungsvektor MV21 = (mv21x, mv21y) repräsentiert als: MV21 = (mv21x, mv21y) = ((x212 – x211), (y212 – y211)) (4)
Im Hinblick auf die Objekte 22 und 23 werden Bewegungsvektoren MV22 und MV23 auf eine gleiche Weise erlangt.
Die Entfernungen D12, D13 und D23 als die Ausgaben aus der Objektentfernungsberechnungseinrichtung 67, und die Bewegungsvektoren MV21, MV22 und MV23 als Ausgaben aus der Objektbewegungsberechnungseinrichtung 115 werden in die Bestimmungseinheit 116 eingegeben. Die Bestimmungseinheit 116 bestimmt aus der Anzahl s von Objekten und der Anzahl d von Objektdecodiereinrichtungen, ob eine Objektkombination notwendig ist oder nicht, und falls die Objektkombination erforderlich ist, bestimmt sie die Anzahl von zu kombinierenden Objekten und zu kombinierende Objekte.
In diesem Fall werden Objekte mit Bewegungsvektoren in Richtungen nahe zueinander als zu kombinierende Objekte bestimmt. Dann werden die Differenzvektoren zwischen den Bewegungsvektoren der jeweiligen Objekte erlangt, und es wird (werden) Bewegungsvektor(en) geringer als ein Schwellenwert Thdv ausgewählt. Das heißt, der Differenzvektor DV2122 zwischen dem Bewegungsvektor MV21 des Objekts 21 und dem Bewegungsvektor MV22 des Objekts 22 wird durch die folgende Gleichung repräsentiert: DV2122 = (dv2122x, dv2122y) = ((mv21x – mv22x), (mv21y – mv22y)) (5)
Die Größe D2122 des Differenzvektors DV2122 wird durch die folgende Gleichung repräsentiert:
Es werden alle Differenzvektorgrößen erlangt. Die erlangten Differenzvektorgrößen D2122, D2223 und D2123 werden mit dem Schwellenwert Thdv verglichen, und es wird (werden) die Differenzvektorgröße(n) geringer als der Schwellenwert ausgewählt. Da sich die Objekte 22 und 23 in derselben Richtung bewegt haben, ist die Differenzvektorgröße D2223 des Differenzvektors geringer als in Bezug auf das Objekt 21. Falls nur die Differenzvektorgröße D2223 geringer als der Schwellenwert Thdv ist, sind die zu kombinierenden Objekte die Objekte 22 und 23. Falls alle Differenzvektorgrößen geringer als der Schwellenwert Thdv sind, werden Objekte mit der kürzesten Entfernung dazwischen als zu kombinierende Objekte ausgewählt. Zudem werden, falls keine Differenzvektorgröße geringer als der Schwellenwert ist, Objekte mit der kürzesten Differenz dazwischen kombiniert.
Dann wird eine Objektkombination auf der Grundlage der Bestimmung durchgeführt. In diesem Fall werden das Objekt 22 und das Objekt 23 kombiniert, um so die Anzahl von Objekten zu reduzieren. Dieser Betrieb wird unter Verwendung der Codedaten 8 in 8 als ein Beispiel beschrieben.
Zuerst liest die Auswahleinrichtung 117 den Dateikopf aus dem Codespeicher 112 und gibt den Dateikopf über den Anschluss 76 aus. Außerdem liest die Auswahleinrichtung 117 das Codedatenobjekt 0 des Hintergrundobjekts und gibt die Codedaten über den Anschluss 76 aus. Da das Objekt 21 nicht kombiniert wird, liest die Auswahleinrichtung 117 in ähnlicher Weise das Codedatenobjekt 1 und gibt die Codedaten über den Anschluss 76 aus.
Dann liest die Auswahleinrichtung 117, da das nächste Codedatenobjekt 2 dem Objekt 22 entspricht, das Codedatenobjekt 2 aus dem Codespeicher 112 aus und gibt die Codedaten in die Codeaufteilungseinrichtung 70 ein. Die Codeaufteilungseinrichtung 70 gibt den Ortscode von den Objektcodedaten in die Ortscodekombinationseinrichtung 71, den Ortscode und den Größencode von den Objektcodedaten in die Größencodekombinationseinrichtung 72, den Formcode von den Objektcodedaten in die Formcodekombinationseinrichtung 73 und den Texturcode von den Objektcodedaten in die Texturcodekombinationseinrichtung 74 ein.
Als Nächstes liest die Auswahleinrichtung 117 das Codedatenobjekt 3 des Objekts 23, das mit dem Objekt 22 zu kombinieren ist, aus dem Codespeicher 112 und gibt die Codedaten in die Codeaufteilungseinrichtung 70 ein. Wie bei dem Fall des Codedatenobjekts 2 wird jeweils aufgeteilter Code ausgegeben.
Die Orstcodekombinationseinrichtung 71 decodiert den jeweiligen Ortscode und erzeugt neue Ortsinformationen (x2', y2') aus den Ortsinformationen (x2, y2) und (x3, y3) der zwei Objekte auf der Grundlage der Gleichung (2), dann codiert sie die neuen Ortsinformationen (x2', y2') und gibt die codierten Ortsinformationen aus.
Die Größencodekombinationseinrichtung 72 decodiert den Ortscode und den Größencode, dann erzeugt sie neue Größeninformationen (Sx2', Sy2') aus den Ortsinformationen (x2, y2) und (x3, y3) und Größeninformationen (Sx2, Sy2) und (Sx3, Sy3) der zwei Objekte auf der Grundlage der Gleichung (3), codiert dann die neuen Größeninformationen (Sx2', Sy2') und gibt die codierten Größeninformationen aus.
Die Formcodekombinationseinrichtung 73 erzeugt Code mit einer Form, die aus den Formen der zwei Objekte synthetisiert wird. Wenn die Objekte 22 und 23 synthetisiert sind, wird die Form des neuen Objekts durch eine Maske 150 in 17A repräsentiert. Das heißt, in 17A wird ein schraffierter Abschnitt neu zu einer Maske 25 des Objekts 22 und einer Maske 26 des Objekts 23 als die Maske 150 hinzugefügt. Es sei erwähnt, dass der Wert des schraffierten Bereichs derselbe wie derjenige der Maske 80 in 11A ist. Dann wird, wie in dem Fall des ersten Ausführungsbeispiels ein Hinzufügen eines Nulllaufs und/oder Codeänderung durchgeführt, und der erlangte Code wird als neuer Formcode ausgegeben.
Die Texturkombinationseinrichtung 74 erzeugt Code von Textur, die aus den Texturen der zwei Objekte synthetisiert wird. 17B zeigt einen Status, bei welchem die Textur des Objekts 22 und diejenige des Objekts 23 synthetisiert werden. Das heißt, zu den Texturen der Objekte 22 und 23 wird eine Textur mit Nullwert hinzugefügt, wie als ein schraffierter Abschnitt dargestellt. Dann wird, wie bei dem Fall des ersten Ausführungsbeispiels, Code in Makroblockeinheiten in den schraffierten Bereich hinzugefügt, oder es wird die Anzahl von übersprungenen Blöcken geändert, wodurch Texturcode eines Objekts 151 erzeugt und ausgegeben wird.
Die Codesyntheseeinrichtung 75 synthetisiert die Ausgaben aus der Ortskombinationseinrichtung 71 zu der Texturcodekombinationseinrichtung 74, um Codedaten des kombinierten Objekts zu erzeugen. Die Codedaten des kombinierten Objekts werden aus dem Anschluss 76 ausgegeben.
18 ist ein Beispiel von Codedaten, welche das kombinierte Objekt umfassen. In 18 bleibt das Codedatenobjekt 1 des Objekts 21 dasselbe, während das Codedatenobjekt 2 des Objekts 22 und das Codedatenobjekt 3 des Objekts 23 als Codedatenobjekt 2' kombiniert werden.
Die erzeugten Codedaten werden in den Demultiplexer 9 eingegeben und in das Codedatenobjekt 0, das Objekt 1 und das Objekt 2' dividiert bzw. aufgeteilt. Das Codedatenobjekt 0 wird in die Objektdecodiereinrichtung 10 eingegeben; das Codedatenobjekt 1 wird in die Objektdecodiereinrichtung 11 eingegeben; und das Codedatenobjekt 2' wird in die Objektdecodiereinrichtung 12 eingegeben. Die Objektdecodiereinrichtungen 10 bis 12 decodieren die Codedaten, erzeugen Ortsinformationen und Bilddaten der jeweiligen Objekte und geben sie an die Objektzusammensetzeinrichtung 14 aus. Die Objektzusammensetzeinrichtung 14 ordnet die Bilddaten gemäß den Ortsinformationen der jeweiligen Objekte an und erlangt auf diese Weise das wiedergegebene Bild 15.
Bei dem vorliegenden Ausführungsbeispiel werden bei einem in Objekteinheiten codierten Bewegtbild, falls die Anzahl von codierten Objekten größer als diejenige von Decodiereinrichtungen ist, Objekte aus Objekten kombiniert, deren Bewegungsvektoren oder Bewegungsausmaße nahe aneinander liegen, wodurch eine Originalbildwiedergabe sogar durch eine beschränkte Anzahl von Decodiereinrichtungen effizient vorgenommen werden kann. Zudem kann, da eine Änderung oder Hinzufügung von Code in der Form von Codedaten durchgeführt wird, die Verarbeitung mit einer hohen Geschwindigkeit vorgenommen werden, und ein Heraufsetzen bzw. Inkremetieren der Codelänge ist sehr klein. Zudem kann die Decodierlast auf die jeweiligen Decodiereinrichtungen angeglichen werden. Außerdem können, auch wenn das gegenwärtig verarbeitete Vollbild kein durch die Intravollbildcodierung codiertes Vollbild ist, beim Auftreten eines Szenenwechsels in Intravollbildcodierung zu kombinierende Objekte neu bestimmt werden.
Bei dem vorliegenden Ausführungsbeispiel werden die Differenzvektorgröße und die Entfernung zwischen Objekten zur Bestimmung von zu kombinierenden Objekten verwendet, jedoch kann die Bestimmung vorgenommen werden, indem nur die Differenzvektorgröße verwendet wird. Zudem wird bei dem vorliegenden Ausführungsbeispiel der Formcode durch die MMR-Codierung codiert, und der Texturcode wird durch die MPEG-Codierung codiert, jedoch ist die vorliegende Erfindung nicht auf diese Codierverfahren beschränkt.
Ferner kann bei dem vorliegenden Ausführungsbeispiel die Funktion des Demultiplexers 9 in die Objektkombinationseinrichtung 40 aufgenommen sein. Zudem ist die Anzahl von Objektdecodiereinrichtungen und die Anzahl von in den Codedaten umfassten Objekten nicht auf diejenigen in dem Ausführungsbeispiel beschränkt. Solange (s – d) ≥ 2 gilt, können 2·(s – d)-Objekte zu (s – d)-Objekten aus Objekten mit der minimalen Differenzvektorgröße kombiniert werden, oder es können (s – d + 1)-Objekte in ein Objekt aus Objekten mit der minimalen Differenzvektorgröße kombiniert werden, oder es kann eine Kombination zwischen dem ersteren und letzteren Fall zum Einsatz kommen.
Bei dem vorliegenden Ausführungsbeispiel wurden die Decodiervorrichtung beschrieben, die Decodiereinrichtungen zur Ausgabe von decodierten Ergebnissen hat. Falls es jedoch derart eingerichtet ist, dass aus der Objektkombinationseinrichtung 43 ausgegebener Code zeitweise in der Speichervorrichtung 50 gespeichert wird, und der aus der Speichervorrichtung 50 ausgelesene Code decodiert wird, ist eine Objektkombination nicht erforderlich, und es ist eine Hochgeschwindigkeitsdecodierung (Bildwiedergabe) möglich.
Zudem kann bei dem vorliegenden Ausführungsbeispiel, da die Anzahl von Objektdecodiereinrichtungen frei gesetzt werden kann, die Anzahl von Objektdecodiereinrichtungen leicht derart erhöht werden, um so die Verarbeitungsfähigkeit zu verbessern. Zudem kann die Bewegungsberechnung vorgenommen werden, indem auf die Bewegungsvektoren von Objekten Bezug genommen wird, als auch indem auf die Ortsinformationen der Objekte Bezug genommen wird.
Drittes Ausführungsbeispiel
19 ist ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung 43 gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 19 haben Elemente, die denjenigen in 10 entsprechen, dieselben Bezugszeichen, und es werden ausführliche Erläuterungen der Elemente weggelassen.
Eine Codelängenextraktionseinrichtung 200 extrahiert Codelängen von jeweiligen Objekten aus Codedaten, die in dem Codespeicher 64 gespeichert sind und speichert die extrahierten Codelängen in einem Codelängenspeicher 201. Eine Codelängenvergleichseinrichtung 202 vergleicht die jeweiligen Codelängen der Objekte, die in dem Codelängenspeicher 201 gespeichert sind, miteinander, und bestimmt dann, ob eine Objektkombination erforderlich ist oder nicht, und bestimmt zu kombinierende Objekte.
Falls die Objektkombination durchgeführt wird, werden zu kombinierende Objekte sequentiell aus Objekten mit kurzer Codelänge bestimmt. Falls beispielsweise die Anzahl s von Objekten vier (s = 4) beträgt, und die Anzahl d von Objetdecodiereinrichtungen drei (d = 3) beträgt, gilt s – d = 1, weshalb zwei Objekte mit kurzen Codelängen in ein Objekt kombiniert werden. Falls die Codedaten des Vollbilds 20 in 1 sind, wie in 20 gezeigt, repräsentiert das Codedatenobjekt 2 des Objekts 22 die minimalen Codedaten, und das Codedatenobjekt 1 des Objekts 21 repräsentiert die nächsten minimalen Codedaten. In diesem Fall werden das Codedatenobjekt 1 und -Objekt 2 kombiniert. Die Betriebe anderer Elemente sind dieselben wie diejenigen bei den vorangehenden Ausführungsbeispielen. Aus dem Anschluss 76 werden Codedaten ausgegeben, wie in 21 gezeigt.
Dann werden das Codedatenobjekt 1 und -Objekt 2 als die Codedaten des Objekts 21 und des Objekts 22 in allen Vollbildern kombiniert. Die Einzelheiten des Kombinierens sind wie diejenigen, die bei den vorangehenden jeweiligen Ausführungsbeispielen beschrieben sind. Auch wenn ein bewegungskompensiertes Vollbild oder ein durch Intravollbildcodierung der MPEG-Codierung oder dergleichen codiertes Vollbild in den Bilddaten umfasst ist, wird die Objektkombination auf eine ähnliche Weise wie diejenige bei den vorangehenden jeweiligen Ausführungsbeispielen vorgenommen.
Gemäß dem vorliegenden Ausführungsbeispiel können ähnliche Vorteile wie diejenigen bei den vorangehenden jeweiligen Ausführungsbeispielen erlangt werden. Zudem wird im Falle eines unbewegten Bildes, wie in 14A gezeigt, ein Zeichenbild mit einer hohen Kompressionsrate durch die MMR-Codierung codiert, und die resultierende Codelänge ist kurz. Dementsprechend können, falls ein Bild, in dem Zeichenabschnitte wie in 14B gezeigt kombiniert werden, als ein Objekt behandelt wird, ähnliche Vorteile zu denjenigen, wie vorangehend beschrieben, in dem unbewegten Bild in 14A erlangt werden.
Viertes Ausführungsbeispiel
Bei der MPEG-Codierung oder dergleichen werden ein Vollbild, in welchem eine Codierung durchgeführt wird (ein durch die Intravollbildcodierung codiertes Vollbild) und ein Vollbild behandelt, das unter Verwendung einer Inter-Rahmenkorrelation bzw. Inter-Vollbildkorrelation codiert ist (ein durch die Intravollbildcodierung codiertes Vollbild). Das durch die Intravollbildcodierung codierte Vollbild wird eingefügt, um Synchronismus festzustellen oder eine Ansammlung von DCT-Differenzen zu verhindern.
Das vorliegende Ausführungsbeispiel bestimmt erneut Objekte, die beim Codieren eines Intravollbildcodiervollbilds zu kombinieren sind.
22 ist ein Blockschaltbild, das die Konstruktion der Objektkombinationseinrichtung 43 gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 22 haben Elemente, die denjenigen in 10 entsprechen, dieselben Bezugszeichen, und es werden ausführliche Erläuterungen der Elemente weggelassen.
Das Bezugszeichen 301 bezeichnet eine Dateikopfanalyseeinrichtung, welche den Dateikopf jedes Vollbilds analysiert. Das Bezugszeichen 302 bezeichnet eine Entfernungsvergleichseinrichtung, die ungefähr den gleichen Betrieb hat wie denjenigen der Entfernungsvergleichseinrichtung 68 in 10. Wie in dem Fall des ersten Ausführungsbeispiels werden vor der Verarbeitung die Anzahl s von Objekten und die Anzahl d von Objektdecodiereinrichtungen eingegeben. Falls s ≤ d gilt, wird in den Anschluss 61 eingegebener Code aus dem Anschluss 76 ohne irgendeine Verarbeitung ausgegeben.
Andererseits wird, falls s > d gilt, der Dateikopf von Codedaten für 1 Vollbild, die von dem Anschluss 61 eingegeben werden und in dem Codespeicher 64 gespeichert werden, in die Dateikopfanalyseeinrichtung 301 eingegeben. In dem Dateikopf mit Beschreibung eines Vollbildattributs werden Informationen beschrieben, welche angeben, ob das Vollbild ein durch die Intravollbildcodierung codiertes Vollbild ist oder nicht, das heißt, ein unter Verwendung von Intervollbildkorrelation zu codierendes Vollbild. Beispielsweise behandelt die MPEG-Codierung ein I-Vollbild, welches in dem Vollbild ohne Intervollbildkorrelation (durch Zwischencodierung = Intra coding) codiert ist, und ein P- und B-Vollbild, die unter Verwendung von Intervollbildkorrelation mit Bewegungskompensation codiert sind.
Wenn ein ohne Intervollbildkorrelation codiertes Vollbild aus dem Dateikopfanalyseergebnis erfasst wurde, ist der Betrieb des vorliegenden Ausführungsbeispiels wie folgt. Aus dem Codespeicher 64 werden Codedaten ausgelesen. Die Ortsinformationsextraktionseinrichtung 65 extrahiert den Ortscode, der dem SC von jeweiligen Objekten folgt, und speichert den extrahierten Ortscode in dem Ortsinformationenspeicher 66. Die Objektentfernungsberechnungseinrichtung 67 erlangt Entfernungen zwischen den Objekten, und die Entfernungsvergleichseinrichtung 302 wählt sequentiell aus Objekten mit der kürzesten Entfernung dazwischen aus. Es sei erwähnt, dass die Prozedur eines Auswählens ähnlich zu derjenigen des ersten Ausführungsbeispiels ist. In der Entfernungsvergleichseinrichtung 302 werden Informationen gehalten, welche die ausgewählten Objekte anzeigen.
Die in der Entfernungsvergleichseinrichtung 302 gehaltenen Informationen, welche die ausgewählten Objekte anzeigen, werden nur aktualisiert, falls eine neue Anweisung aus der Dateikopfanalyseeinrichtung 301 eingegeben wird, das heißt, nur falls ein ohne Intervollbildkorrelation codiertes Vollbild neu erfasst worden ist.
Andererseits wird in einem Vollbild, das unter Verwendung von Intervollbildkorrelation codiert wird, ein Objektkombinieren gemäß Informationen durchgeführt, die ausgewählte Objekte anzeigen, die in der Entfernungsvergleichseinrichtung 302 gehalten werden, und Code eines neuen Objekts, das durch Kombination von Objekten erlangt wird, wird aus dem Anschluss 76 ausgegeben, wie bei dem Fall des ersten Ausführungsbeispiels.
Auf diese Weise werden, gemäß dem vorliegenden Ausführungsbeispiel, beim Decodieren eines durch die Intravollbildcodierung codierten Vollbilds zu kombinierende Objekte neu bestimmt, wodurch eine Codiereffizienzänderung durch Objektkombination unterbunden werden kann. Auch wenn kein durch die Intravollbildcodierung codiertes Vollbild erfasst wird, werden zu kombinierende Objekte bei Auftreten eines Szenenwechsels sogar mit Objekten neu bestimmt, welche durch Intervollbildkorrelation codiert werden. In Bezug auf einen Szenenwechsel wird es beispielsweise in einem P-Vollbild, falls die Anzahl von intrazucodierenden Makroblöcken groß ist, oder in einem B-Vollbild, falls ein Vollbild, in welchem auf Bewegungsvektoren Bezug genommen wird, in großem Maße von seinem vorhergehenden oder nachfolgenden Vollbild abhängt, bestimmt, dass ein Szenenwechsel stattgefunden hat.
Gemäß dem vierten Ausführungsbeispiel kann, wie bei dem Fall des ersten Ausführungsbeispiels, durch Neubestimmung von zu kombinierenden Objekten in einem durch die Intravollbildcodierung codierten Vollbild eine Codiereffizienzänderung aufgrund eines Objektkombinierens unterbunden werden.
Modifikationen des ersten bis vierten Ausführungsbeispiels
Wie in 23 gezeigt, kann die Dateikopfanalyseeinrichtung, wie in dem vierten Ausführungsbeispiel beschrieben, als eine Dateikopfanalyseeinrichtung 401 zu der Konstruktion in 16 des zweiten Ausführungsbeispiels hinzugefügt werden. Das heißt, als ein Ergebnis einer Vollbilddateikopfanalyse bestimmt eine Bestimmungseinheit 402, falls es bestimmt wird, dass das Vollbild ohne Intervollbildkorrelation codiert worden ist, zu kombinierende Objekte auf der Grundlage von Entfernungen zwischen Objekten, die aus der Objektentfernungsberechnungseinrichtung 67 ausgegeben sind, und Bewegungen von Objekten, die aus der Objektbewegungsberechnungseinrichtung 115 ausgegeben sind, wie in dem Fall des zweiten Ausführungsbeispiels. Informationen, die zu kombinierende Objekte angeben, werden in der Bestimmungseinheit 402 gehalten, und der gehaltene Inhalt wird nur aktualisiert, falls eine Anweisung von der Dateikopfanalyseeinrichtung 401 eingegeben wird.
Wie in 24 gezeigt, kann die Dateikopfanalyseeinrichtung, wie in dem vierten Ausführungsbeispiel beschrieben, als eine Dateikopfanalyseeinrichtung 501 zu der Konstruktion in 19 des dritten Ausführungsbeispiels hinzugefügt werden. Das heißt, als ein Ergebnis einer Vollbilddateikopfanalyse bestimmt eine Codelängenvergleichseinrichtung 502, falls es bestimmt wird, dass das Vollbild ohne Intervollbildkorrelation codiert worden ist, zu kombinierende Objekte auf der Grundlage von Codelängen von jeweiligen Objekten, wie in dem Fall des dritten Ausführungsbeispiels. Informationen, die zu kombinierende Objekte angeben, werden in der Codelängenvergleichseinrichtung 502 gehalten, und nur, wenn eine Anweisung von der Dateikopfanalyseeinrichtung 501 eingegeben wird, wird der gehaltene Inhalt aktualisiert.
Gemäß den Konstruktionen in 23 und 24 werden zu kombinierende Objekte beim Decodieren eines durch die Intravollbildcodierung codierten Vollbilds neu bestimmt, wodurch eine Codiereffizienzänderung aufgrund von Objektkombination unterbunden werden kann.
Zudem wird bei dem MPEG4-Standard eine Handhabung von Tondaten als ein Objekt studiert. Falls eine Entfernung zwischen Tonquellen von Tonobjekten als eine Entfernung zwischen Objekten angesehen wird, ist das erste Ausführungsbeispiel anwendbar, und falls die Bewegung einer Tonquelle eine Objektbewegung ist, ist das zweite Ausführungsbeispiel anwendbar. Bei Verwendung von Codelängen von jeweiligen Objekten ist das dritte Ausführungsbeispiel anwendbar. Folglich sind die zuvor beschriebenen jeweiligen Ausführungsbeispiele auf eine Codierung von Ton einschließlich Audioinformationen anwendbar.
Wie zuvor beschrieben, stellen das erste bis vierte Ausführungsbeispiel eine Decodiervorrichtung und ein Decodierverfahren zur Verfügung, welche alle Objekte decodieren, auch wenn die Anzahl von Decodiereinrichtungen beschränkt ist.
Zudem stellen die Ausführungsbeispiele eine Decodiervorrichtung und ein Decodierverfahren zur Verfügung, welche ein codiertes unbewegtes Bild ohne Verschlechterung der Bildqualität decodieren, auch wenn die Anzahl von Decodiereinrichtungen beschränkt ist.
Zudem stellen die Ausführungsbeispiele eine Decodiervorrichtung und ein Decodierverfahren zur Verfügung, welche ein codiertes Bewegtbild ohne Verschlechterung der Bildqualität decodieren, auch wenn die Anzahl von Decodiereinrichtungen beschränkt ist.
Fünftes Ausführungsbeispiel
[Konstruktion]
29 ist ein Blockschaltbild, das die Konstruktion einer Bewegtbildverarbeitungseinrichtung gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung zeigt. Bei dem vorliegenden Ausführungsbeispiel wird die MPEG4-Codierung als ein Bewegtbildcodierverfahren verwendet. Es sei erwähnt, dass das Codierverfahren des vorliegenden Ausführungsbeispiels nicht auf die MPEG4-Codierung beschränkt ist, sondern es kann jedes andere Codierverfahren zum Einsatz kommen, solange es jeweils eine Vielzahl von Objekten in einem Bild codiert.
In 29 bezeichnet das Bezugszeichen 1201 eine Codiereinrichtung, welche ein Bewegtbild eingibt und das Bild durch die MPEG4-Codierung mit Kernprofil und Pegel 2 bzw. Stufe 2 codiert. Das Bezugszeichen 1202 bezeichnet eine Speichervorrichtung, die zur Speicherung codierter Bewegtbilddaten Verwendung findet. Die Speichervorrichtung 1202 weist eine magnetische Disk, eine magnetooptische Disk oder dergleichen auf. Da die Speichervorrichtung 1202 an die Bewegtbildverarbeitungsvorrichtung demontierbar befestigt ist, können die Bewegtbilddaten in einer anderen Vorrichtung gelesen werden. Das Bezugszeichen 1203 bezeichnet einen Sender, welcher codierte Bewegtbilddaten an ein LAN oder eine Kommunikationsleitung sendet und eine Rundsendung oder dergleichen durchführt; das Bezugszeichen 1204 bezeichnet einen Empfänger, welcher aus dem Sender 1203 ausgegebene Codedaten empfängt; das Bezugszeichen 1205 bezeichnet eine Profil- und Pegelregeleinrichtung, auf welche die vorliegende Erfindung angewendet wird; das Bezugszeichen 1206 bezeichnet eine Speichervorrichtung, die zur Speicherung einer Ausgabe aus der Profil- und Pegelregeleinrichtung 1205 Verwendung findet; das Bezugszeichen 1207 bezeichnet eine Decodiereinrichtung, welche Codedaten decodiert, die durch die MPEG4-Codierung mit Kernprofil und Pegel 1 codiert sind; und das Bezugszeichen 1208 bezeichnet eine Anzeigeeinheit, welche ein durch die Decodiereinrichtung 1207 decodiertes Bewegtbild anzeigt. Es sei erwähnt, dass, wie zuvor beschrieben, die Codiereinrichtung 1201 eine Codierung mit Kernprofil und Pegel 2 bzw. Stufe 2 durchführt, und bei diesem Beispiel führt die Codiereinrichtung 1201 zur Vereinfachung der Erläuterung eine Codierung mit einer Bitrate von 384 kbps durch.
43 zeigt ein Beispiel eines zu codierenden Bilds. In 43 bezeichnen jeweilige Bezugszeichen Objekte. Ein Objekt 2000 repräsentiert Hintergrund; ein Objekt 2001, einen sich in der Luft bewegenden Ballon; ein Objekt 2002, einen Vogel; Objekte 2003 und 2004 eine Frau und einen Mann.
31A zeigt einen Bitstrom, wenn das Bild in 43 codiert wird. Der Bitstrom hat eine Anordnungsinformation α, welche Ortsinformationen von Objekten 2000 bis 2004 an seinem Kopf bzw. Anfang anzeigen. Tatsächlich wird die Anordnungsinformation α in BIFS-Sprache (Sprache im Binärformat für Szenenbeschreibung) codiert, um Szenenkonstruktionsinformationen zu beschreiben, und die Anordnungsinformation α werden gemultiplext. Dann folgen VOSSC, Visuelle-Objekt-Daten α-1, α-2, α-3 und VOSEC. Die Codedaten in 31A werden in der Speichervorrichtung 1202 gespeichert oder über den Sender 1203 gesendet. Die Codedaten werden über die Speichervorrichtung 1202 oder den Empfänger 1204 in die Profil- und Pegelregeleinrichtung 1205 als ein charakteristisches Element der vorliegenden Erfindung eingegeben. Die Profil- und Pegelregeleinrichtung 1205 gibt auch den Status der Decodiereinrichtung 1207 ein.
30 ist ein Blockschaltbild, das die detaillierte Konstruktion der Profil- und Pegelregeleinrichtung 1205 zeigt. In 30 bezeichnet das Bezugszeichen 1101 die in 31A gezeigten Codedaten; 1102, eine Trennungseinrichtung bzw. Trenneinrichtung, welche die Codedaten 1101 in Codedaten, welche Anordnungsinformationen und Dateikopfinformationen angeben, und Codedaten separiert bzw. trennt, welche jeweiligen Objekte angeben; 1103, einen Dateikopfspeicher zur Speicherung von Codedaten, welche getrennte Anordnungsinformationen und Dateikopfinformationen angeben; 1104 bis 1108, Codespeicher zur Speicherung von Codedaten für jeweilige Objekte; 1109 eine Profil- und Pegelextraktionseinrichtung, welche den PLI-Code aus den Codedaten 1101 extrahiert und Informationen über das Profil und den Pegel extrahiert; und 1110, einen Objektzähler, welcher die Anzahl von in den Codedaten 110 umfassten Objekten zählt.
Das Bezugszeichen 1111 bezeichnet einen Decodiereinrichtungsstatusempfänger, welcher Codierspezifikationen (Profil und Pegel) der Decodiereinrichtung 1207 und andere Bedingungen erlangt; und 1112, eine Profil- und Pegeleingabeeinheit durch welche ein beliebiges Profil und Pegel aus einem (nicht dargestellten) Anschluss oder dergleichen gesetzt werden; 1113, eine Profil- und Pegelbestimmungseinheit, welche Ausgaben aus der Profil- und Pegelextraktionseinrichtung 1109 und dem Objektzähler 1110 mit Profil- und Pegelinformationen vergleicht, die aus dem Decodiereinrichtungsstatusempfänger 1111 oder der Profil- und Pegeleingabeeinheit 1112 eingegeben werden, und bestimmt, ob die Anzahl von Objekten geregelt werden muss oder nicht.
Das Bezugszeichen 1114 bezeichnet eine Codelängenvergleichseinrichtung, welche die Reihenfolge von Codelängen von Objekten durch Zählen der Codelängen von Objekten, wenn die Codedaten 1101 eingegeben wird, und durch Vergleichen der Codelängen miteinander bestimmt; 1115, eine Dateikopfänderungseinrichtung, welche den Inhalt von in dem Dateikopfspeicher 1103 gespeicherten Dateikopfinformationen auf der Grundlage der Ausgaben aus der Profil- und Pegelbestimmungseinheit 1113 und der Codelängenvergleichseinrichtung 1114 ändert; 1116 einen Multiplexer bzw. eine Multiplexeinrichtung, welcher/welche Codedaten, die aus den Codespeichern 1104 bis 1108 gelesen sind, auf der Grundlage der Ausgabe aus der Dateikopfänderungseinrichtung 1115 und den Vergleichsergebnissen durch die Codelängenvergleichseinrichtung 1114 multiplext; und 1117 Codedaten, welche als ein Ergebnis einer Profil- und Pegelregelung ausgegeben werden.
[Regelung von Profil und Pegel]
Nachfolgend wird die Verarbeitung in der Profil- und Pegelregeleinrichtung 1205, welche die vorangehende Konstruktion hat, ausführlich beschrieben.
Die Codedaten 1101 werden in die Trenneinrichtung 1102, die Profil- und Pegelextraktionseinrichtung 1109, den Objektzähler 1110 und die Codelängenvergleichseinrichtung 1114 eingegeben. Die Trenneinrichtung 1102 trennt die Codedaten 1101 in Codedaten, welche Anordnungsinformationen und Dateikopfinformationen angeben, und Codedaten, welche jeweilige Objekte angeben, und speichert die jeweiligen Codedaten in dem Dateikopfspeicher 1103 und den Codespeichern 1104 bis 1108. Beispielsweise werden die Objektanordnungsinformationen α, VOSSC, visuelles Objekt SC, der jeweilige Code unmittelbar vor den VO-Daten A, und die Dateikopfinformationen von VOL- und VOP-Daten in 25 und dergleichen in dem Dateikopfspeicher 1103 gespeichert. Zudem werden die VOL- und VOP-Daten für das jeweilige Objekt, wobei die Dateikopfinformationen entfernt werden, in den Codespeichern 1104 bis 1108 gespeichert. Diese Daten werden derart unabhängig gespeichert, dass der dateikopfbeseitigte Teil klar angegeben ist. Beispielsweise werden in dem Bild in 43, da die Anzahl von Objekten fünf beträgt, die Codedaten der Objekte 2000 bis 2004 (VO-Daten A bis E in 31A) jeweils in den Codespeichern 1104 bis 1108 gespeichert.
Zu derselben Zeit zählt der Objektzähler 1110 die Anzahl von Objekten, die in den Codedaten 1101 umfasst sind. Dann misst die Codelängenvergleichseinrichtung 1114 Codelängen der jeweiligen Objekte.
Die Profil- und Pegelextraktionseinrichtung 1109 extrahiert PLI-α aus den Codedaten 1101 und decodiert sie, um Informationen über das Profil und den Pegel der Codedaten zu extrahieren. Zu derselben Extraktionszeit arbeitet der Decodiereinrichtungsstatusempfänger 1111, um Informationen über das Profil, den Pegel und dergleichen zu erlangen, die durch die Decodiereinrichtung 1207 decodierbar sind. Diese Informationen können durch den Benutzer über die Profil- und Pegeleingabeeinheit 1112 gesetzt werden.
Die Profil- und Pegelbestimmungseinheit 1113 vergleicht die Profil- und Pegelinformationen, die von der Decodiereinrichtung 1207 erlangt werden, oder durch den Benutzer gesetzt werden, mit dem Extraktionsergebnis durch die Profil- und Pegelextraktionseinrichtung 1109. Falls das erlangte oder gesetzte Profil und Pegel größer als oder gleich demjenigen aus den Codedaten 1101 Extrahierten ist, betreibt die Profil- und Pegelbestimmungseinheit 1113 nicht die Dateikopfänderungseinrichtung 1115. Dann werden die Inhalte des Dateikopfspeichers 1103 und die Codespeicher 1104 bis 1108 in der Eingabereihenfolge gelesen und durch den Multiplexer 1116 gemultiplext. Auf diese Weise werden Codedaten 1117 erzeugt. Das heißt, die Inhalte der Codedaten 1117 sind dieselben wie diejenigen der Codedaten 1101.
Andererseits gibt die Profil- und Pegelbestimmungseinheit 1113, falls das Profil und der Pegel, die aus der Decodiereinrichtung 1207 erlangt sind oder durch den Benutzer gesetzt sind, geringer als das Profil und der Pegel sind, die aus den Codedaten 1101 extrahiert sind, die Anzahl von in den Codedaten 1101 umfassten Objekten aus dem Objektzähler 1110 ein, und vergleicht die Anzahl von Objekten mit der Anzahl von decodierbaren Objekten, die aus den erlangten oder gesetzten Profil- und Pegelinformationen bestimmt werden.
Falls die durch den Objektzähler 1110 erlangte Anzahl von Objekten geringer als die Anzahl von decodierbaren Objekten ist, werden die Codedaten 1117 erzeugt, wie in dem Fall der zuvor beschriebenen Falls, bei welchem das erlangte oder gesetzte Profil und Pegel höher als oder gleich demjenigen ist, das aus den Codedaten 1101 extrahiert ist.
Falls andererseits die durch den Objektzähler 1110 erlangte Anzahl von Objekten größer als die Anzahl von decodierbaren Objekten ist, wird die Anzahl von decodierbaren Objekten in die Codelängenvergleichseinrichtung 1114 eingegeben, und die Codelängen werden miteinander verglichen. Die Codelängenvergleichseinrichtung 1114 setzt zu decodierende Objekte aus einem Objekt mit der längsten Codelänge. Das heißt, die Objekte werden sequentiell aus dem Objekt mit der längsten Codelänge decodiert. Beispielsweise kann die Decodiereinrichtung 1207 in 31A, falls die Codelänge eines Videoobjekts in der Reihenfolge kürzer wird, in welcher die VO-Daten A, die VO-Daten D, die VO-Daten C, die VO-Daten E, und die VO-Daten B erscheinen, da sie eine Decodierung mit Kernprofil und Pegel 1 durchführt, maximal vier Objekte decodieren. Dementsprechend macht die Codelängenvergleichseinrichtung 1114 ein Lesen der VO-Daten B aus dem Codespeicher 1106 unmöglich, und ermöglicht ein Lesen aus den Codespeichern 1104, 1105, 1107 und 1108.
Dann betreibt die Profil- und Pegelbestimmungseinrichtung 1113 die Dateikopfänderungseinrichtung 1115 zum Ändern des Inhalts von PLI entsprechend zu der Decodiereinrichtung 1207, woraufhin ein Codieren durchgeführt wird. Auf diese Weise werden auf der Grundlage des Vergleichsergebnisses durch die Codelängenvergleichseinrichtung 1114 Dateikopfinformationen über undecodierbare (gelöschte) Objekte (VO-Daten B in diesem Fall) durch die Decodiereinrichtung 1207 gelöscht. Das heißt, die Dateikopfinformationen der Codedaten 1101 werden mit Inhalten entsprechend der Decodierfähigkeit der Decodiereinrichtung 1207 oder dem gesetzten Profil und Pegel neu geschrieben. Zudem werden Anordnungsinformationen über das Objekt 2002 entsprechend dem gelöschten Objekt (VO-Daten B) aus den Anordnungsinformationen α gelöscht, und es werden neue Anordnungsinformationen β erzeugt.
Dann werden die Inhalte der Dateikopfänderungseinrichtung 1115 und der Codespeicher 1104, 1105, 1107 und 1108 in der Eingabereihenfolge gelesen und durch den Multiplexer 1116 gemultiplext, wodurch die Codedaten 1117 erzeugt werden. 31B zeigt einen Bitstrom der Codedaten 1117. In 31B sind die neu erzeugten Anordnungsinformation β an dem Kopf des Bitstroms bereitgestellt, dann folgen VOSSC, Visuelle-Objekt-Daten β-1, β-2, β-3 und VOSEC. Die Visuelle-Objekt-Daten β-1, β-2, und β-3 werden durch Regeln der Anzahl von Objekten in Bezug auf die ursprünglichen Visuelle-Objekt-Daten α-1, α-2, α-3 in 31A erlangt. Beispielsweise umfassen die Visuelle-Objekt-Daten β-1 das visuelle Objekt SC, das an dem Kopf positioniert ist, PLI-β, die das Profil und den Pegel entsprechend der Decodiereinrichtung 1207 anzeigt, und Codedaten, wo die Codedaten (VO-Daten B) über das Objekt 2002 gelöscht sind.
Die wie zuvor erlangten Codedaten 1117 werden in der Speichervorrichtung 1206 gespeichert oder durch die Decodiereinrichtung 1207 decodiert und auf der Anzeigeeinheit 1208 angezeigt. 44 zeigt ein angezeigtes Bild, das durch die decodierten Codedaten 1117 repräsentiert wird. In 44 ist das Objekt 2002 gelöscht, welches den Vogel in dem Bild als das Objekt eines Codierens in 43 repräsentiert.
Es sei erwähnt, dass die Codelängenvergleichseinrichtung 1114 bei der vorangehenden Beschreibung direkt die Codelängen aus den Codedaten 1101 zählt, jedoch kann die Codelängenvergleichseinrichtung 1114 die Codelängen auf der Grundlage der in den Codespeichern 1104 bis 1108 gespeicherten Codedaten zählen.
Wie zuvor beschrieben, können gemäß dem vorliegenden Ausführungsbeispiel, auch wenn die Codierspezifikationen (Profil und/oder Pegel) einer Decodiereinrichtung von denjenigen einer Codiereinrichtung verschieden sind, Codedaten decodiert werden können. Ferner wird durch Löschen von Objektdaten mit der kürzesten Codelänge eine Auswahl eines zu löschenden Objekts vereinfacht, und der Einfluss auf ein decodiertes Bild kann so weit wie möglich unterbunden werden.
Zudem kann, auch wenn die Anzahl von durch die Decodiereinrichtung 1207 decodierbaren Objekten geringer als die Anzahl ist, welche durch die Codierspezifikationen der Codedaten 1101 definiert ist, da der Decodiereinrichtungsstatusempfänger 1111 die Anzahl von tatsächlich decodierbaren Objekten erlangt, ähnliche Vorteile erzielt werden.
Zusätzlich kann, auch wenn Codedaten mit Codierspezifikationen höher als oder gleich denjenigen der Decodiereinrichtung 1207 eingegeben werden, durch Löschen von Objekt(en) zur Reduktion der Bitrate ein Decodieren durch die Decodiereinrichtung 1207 durchgeführt werden.
Sechstes Ausführungsbeispiel
Nachfolgend wird ein sechstes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Es sei erwähnt, dass die allgemeine Konstruktion der Bewegtbildverarbeitungsvorrichtung gemäß dem sechsten Ausführungsbeispiel gleich derjenigen in 29 des zuvor beschriebenen fünften Ausführungsbeispiels ist, weshalb eine Erläuterung der Konstruktion weggelassen wird.
32 ist ein Blockschaltbild, das die Konstruktion der Profil- und Pegelregeleinrichtung 1205 gemäß einem sechsten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 32 haben Elemente, die denjenigen in 30 entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen. Bei dem sechsten Ausführungsbeispiel kommt die MPEG4-Codierung als ein Bewegtbildcodierverfahren zum Einsatz, jedoch ist ein beliebiges anderes Codierverfahren anwendbar, solange es eine Vielzahl von Objekten in einem Bild codiert.
In 32 bezeichnet das Bezugszeichen 1118 eine Größenvergleichseinrichtung, welche Größen von jeweiligen Objekten aus dem Dateikopfspeicher 1103 extrahiert und die Größen miteinander vergleicht.
Wie in dem Fall des fünften Ausführungsbeispiels werden die Codedaten 1101 in die Trenneinrichtung 1102, die Profil- und Pegelextraktionseinrichtung 1109, den Objektzähler 1110 und die Codelängenvergleichseinrichtung 1114 eingegeben, und die jeweiligen Codedaten werden in dem Dateikopfspeicher 1103 und den Codespeichern 1104 bis 1108 gespeichert. Zu derselben Zeit zählt der Objektzähler 1110 die Anzahl von Objekten, die in den Codedaten umfasst sind.
Die Größenvergleichseinrichtung 1118 extrahiert eine Bildgröße jedes Objekts durch Extraktion der jeweiligen VOL-Breiten- und VOL-Höhencodes in der Bitstromstruktur in 25 und Decodieren der extrahierten Codes.
Dann extrahiert die Profil- und Pegelextraktionseinrichtung 1109, wie in dem Fall des fünften Ausführungsbeispiels, Informationen über das Profil und den Pegel aus den Codedaten 1101, und zu der selben Zeit werden von dem Decodiereinrichtungsstatusempfänger 1111 Informationen über das Profil und den Pegel und dergleichen der Decodiereinrichtung 1207 erlangt, oder das Profil und der Pegel werden durch den Benutzer aus der Profil- und Pegeleingabeeinheit 1112 gesetzt.
Die Profil- und Pegelbestimmungseinrichtung 1113 vergleicht die Profil- und Pegelinformationen, die von der Decodiereinrichtung 1207 erlangt oder durch den Benutzer gesetzt werden, wie zuvor beschrieben, mit dem Extraktionsergebnis durch die Profil- und Pegelextraktionseinrichtung 1109. Falls das erlangte oder gesetzte Profil und Pegel höher als oder gleich dem aus den Codedaten 1101 extrahierten Profil und Pegel ist, betreibt die Profil- und Pegelbestimmungseinheit 1113 nicht die Dateikopfänderungseinrichtung 1115. Dann werden die Codedaten 1117 ähnlich zu den Codedaten 1101 erzeugt.
Andererseits gibt die Profil- und Pegelbestimmungseinheit 1113, falls das Profil und der Pegel, die aus der Decodiereinrichtung 1207 erlangt sind oder durch den Benutzer gesetzt sind, geringer als das Profil und der Pegel sind, die aus den Codedaten 1101 extrahiert sind, die Anzahl von in den Codedaten 1101 umfassten Objekten aus dem Objektzähler 1110 ein, und vergleicht die eingegebene Anzahl mit der Anzahl von decodierbaren Objekten, die aus dem erlangten oder gesetzten Profil und Pegel bestimmt werden.
Falls dann die durch den Objektzähler 1110 erlangte Anzahl von Objekten geringer als die Anzahl von decodierbaren Objekten ist, werden die Codedaten 1117 erzeugt, wie in dem zuvor beschriebenen Fall, bei welchem das erlangte oder gesetzte Profil und Pegel höher als oder gleich demjenigen der Codedaten 1101 ist.
Falls andererseits die durch den Objektzähler 1110 erlangte Anzahl von Objekten größer als die Anzahl von decodierbaren Objekten ist, wird die Anzahl von decodierbaren Objekten in die Größenvergleichseinrichtung 1118 eingegeben, und es wird der Größenvergleich durchgeführt. Die Größenvergleichseinrichtung 1118 setzt eine Vielzahl von Objekten der Codedaten 1101 sequentiell aus der größten Bildgröße als zu decodierende Objekte. Das heißt, die Objekte sind sequentiell von der größten Bildgröße decodierbar. Beispielsweise wird in 43, bei den Bildgrößen der jeweiligen Objekte die Bildgröße in der Reihenfolge kleiner, in welcher die Objekte 2000, 2004, 2001, 2003 und 2002 erscheinen. Da die Decodiereinrichtung 1207 eine Decodierung mit Kernprofil und Pegel 1 durchführt, kann sie maximal vier Objekte decodieren. Dementsprechend können in dem Bild in 43 mit Ausnahme des kleinsten Objekts 2002 die anderen vier Objekte decodiert werden. Die Größenvergleichseinrichtung 1118 macht ein Lesen der Codedaten des Objekts 2002 aus dem Codespeicher 1106 unmöglich, und ermöglicht ein Lesen aus den Codespeichern 1104, 1105, 1107 und 1108.
Dann betreibt die Profil- und Pegelbestimmungseinheit 1113, wie in dem Fall des fünften Ausführungsbeispiels, die Dateikopfänderungseinrichtung 1115 zum Ändern des Inhalts von PLI entsprechend zu der Decodiereinrichtung 1207, woraufhin ein Codieren durchgeführt wird. Zudem werden auf der Grundlage des Vergleichsergebnisses durch die Größenvergleichseinrichtung 1118 Dateikopfinformationen über das undecodierbare (gelöschte) Objekt (Objekt 2002 in diesem Fall) durch die Decodiereinrichtung 1207 gelöscht. Zudem werden Anordnungsinformationen über das Objekt 2002 aus den Anordnungsinformationen α gelöscht, und es werden neue Anordnungsinformationen β erzeugt.
Dann werden die Inhalte der Kopfänderungseinrichtung 1115 und der Codespeicher 1104, 1105, 1107 und 1108 in der Eingabereihenfolge gelesen und durch den Multiplexer 1116 gemultiplext, wodurch die Codedaten 1117 erzeugt werden. 31B zeigt einen Bitstrom der Codedaten 1117 zu dieser Zeit.
Die wie zuvor erlangten Codedaten 1117 werden in der Speichervorrichtung 1206 gespeichert oder durch die Decodiereinrichtung 1207 decodiert und als ein Bild, wie in 44 gezeigt, auf der Anzeigeeinheit 1208 angezeigt.
Es sei erwähnt, dass bei der vorangehenden Beschreibung die Größenvergleichseinrichtung 1118 Bildgrößen von Objekten auf der Grundlage von VOL-Breiten- und VOL-Höhen-Code der Codedaten 1101 extrahiert, jedoch kann die Größenvergleichseinrichtung 1118 die Bildgrößen auf der Grundlage des VOP-Breiten- und VOL-Höhen-Codes, oder auf der Grundlage von Form-(Masken-)Informationen extrahieren, die durch Decodieren von Codedaten erlangt werden, welche Form-(Masken-)Informationen angeben.
Wie zuvor beschrieben, können gemäß dem sechsen Ausführungsbeispiel, auch wenn die Codierspezifikationen einer Decodiereinrichtung von denjenigen einer Codiereinrichtung verschieden sind, Codedaten decodiert werden. Ferner wird durch Löschen von Objektdaten mit der minimalen Bildgröße eine Auswahl eines zu löschenden Objekts vereinfacht, und der Einfluss auf ein decodiertes Bild kann so weit wie möglich verhindert werden.
Es sei erwähnt, dass bei dem fünften und sechsten Ausführungsbeispiel nur ein Objekt gelöscht wird, jedoch können zwei oder mehr Objekte gelöscht werden. Zudem kann es derart eingerichtet sein, dass der Benutzer direkt zu löschende Objekt(e) bezeichnen kann.
Zusätzlich kann es derart eingerichtet sein, dass die Löschreihenfolge für die jeweiligen Objekte eines Bilds im Voraus durch die Profil- und Pegeleingabeeinheit 1112 gesetzt werden.
Siebentes Ausführungsbeispiel
Nachfolgend wird ein siebentes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Es sei erwähnt, dass die allgemeine Konstruktion der Bewegtbildverarbeitungsvorrichtung gemäß dem siebenten Ausführungsbeispiel gleich derjenigen in 29 des fünften Ausführungsbeispiels ist, weshalb eine Erläuterung der Konstruktion weggelassen wird.
33 ist ein Blockschaltbild, das die detaillierte Konstruktion der Profil- und Pegelregeleinrichtung 1205 gemäß dem siebenten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 33 haben Elemente, die denjenigen in 30 entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen. Bei dem siebenten Ausführungsbeispiel kommt die MPEG4-Codierung als ein Bewegtbildcodierverfahren zum Einsatz, jedoch ist ein beliebiges anderes Codierverfahren anwendbar, solange es eine Vielzahl von Objekten in einem Bild codiert.
In 33 bezeichnet 1120 eine Objektauswahlbezeichnungseinrichtung, welche eine Vielzahl von Objekten anzeigt, und in welche die Benutzerbezeichnung von beliebig ausgewählten Objekten eingegeben wird; 1121, eine Objektauswahleinrichtung, welche Codedaten von Objekten, die zu verarbeiten sind, auf der Grundlage einer Bezeichnung von der Objektauswahlbezeichnungseinrichtung 1120 und dem Bestimmungsergebnis durch die Profil- und Pegelbestimmungseinheit 1113 auswählt; 1122 und 1124, Auswahleinrichtungen, die durch die Objektauswahleinrichtung 1121 gesteuert werden, welche ihren Eingang und Ausgang schalten; und 1123, eine Objektintegrationseinrichtung, welche eine Vielzahl von Objekten integriert.
Wie in dem Fall des zuvor beschriebenen fünften Ausführungsbeispiels werden die Codedaten 1101 in die Trenneinrichtung 1102, die Profil- und Pegelextraktionseinrichtung 1109, und den Objektzähler 1110 eingegeben. Die Trenneinrichtung 1102 trennt die Codedaten 1101 in Codedaten, welche Anordnungsinformationen und Dateikopfinformationen angeben, und Codedaten, welche jeweilige Objekte angeben. Die jeweiligen Codedaten werden in dem Dateikopfspeicher 1103 und den Codespeichern 1104 bis 1108 gespeichert. Zu derselben Zeit zählt der Objektzähler 1110 die Anzahl von Objekten, die in den Codedaten umfasst sind.
Dann extrahiert die Profil- und Pegelextraktionseinrichtung 1109, wie in dem Fall des fünften Ausführungsbeispiels, Informationen über das Profil und den Pegel aus den Codedaten 1101. Der Decodiereinrichtungsstatusempfänger 1111 erlangt Informationen über das Profil und den Pegel und dergleichen der Decodiereinrichtung 1207. Zudem werden das Profil und der Pegel durch den Benutzer über die Profil- und Pegeleingabeeinheit 1112 gesetzt.
Die Profil- und Pegelbestimmungseinheit 1113 vergleicht die Profil- und Pegelinformationen, die von der Decodiereinrichtung 1207 erlangt oder durch den Benutzer gesetzt werden, wie zuvor beschrieben, mit dem Extraktionsergebnis durch die Profil- und Pegelextraktionseinrichtung 1109. Falls das erlangte oder gesetzte Profil und Pegel höher als oder gleich dem aus den Codedaten 1101 extrahierten Profil und Pegel ist, steuert die Objektauswahleinrichtung 1121, einen Pfad auszuwählen, der die Auswahleinrichtung 1122 direkt mit der Auswahleinrichtung 1124 derart verbindet, dass die Codedaten nicht durch die Objektintegrationseinrichtung 1123 laufen. Die Dateikopfänderungseinrichtung 1115 wird nicht betrieben. Die in dem Dateikopfspeicher 1103 gespeicherten Codedaten und die Codespeicher 1104 bis 1108 werden in der Eingabereihenfolge ausgelesen und durch den Multiplexer 1116 gemultiplext. Auf diese Weise werden die Codedaten 1117 ähnlich zu den Codedaten 1101 erzeugt.
Andererseits gibt die Profil- und Pegelbestimmungseinheit 1113, falls das Profil und der Pegel, die aus der Decodiereinrichtung 1207 erlangt sind oder durch den Benutzer gesetzt sind, geringer als das Profil und der Pegel sind, die aus den Codedaten 1101 extrahiert sind, die Anzahl von in den Codedaten 1101 umfassten Objekten aus dem Objektzähler 1110 ein, und vergleicht die Anzahl von Objekten mit der Anzahl von decodierbaren Objekten, die aus den erlangten oder gesetzten Profil- und Pegelinformationen bestimmt werden.
Falls die durch den Objektzähler 1110 erlangte Anzahl von Objekten geringer als die Anzahl von decodierbaren Objekten ist, werden die Codedaten 1117 erzeugt, wie in dem Fall des zuvor beschriebenen Falls, bei welchem das erlangte oder gesetzte Profil und Pegel höher als oder gleich demjenigen ist, das aus den Codedaten 1101 extrahiert wird.
Falls andererseits die durch den Objektzähler 1110 erlangte Anzahl von Objekten größer als die Anzahl von decodierbaren Objekten ist, wird die Anzahl von decodierbaren Objekten in die Objektauswahleinrichtung 1121 eingegeben. Die Objektauswahleinrichtung 1121 zeigt Statusse der jeweiligen Objekte (beispielsweise das Bild in 43), Informationen über die jeweiligen Objekte, Informationen über die Anzahl von integrierten Objekten und dergleichen auf der Objektauswahlbezeichnungseinrichtung 1120 an. Der Benutzer wählt zu integrierende Objekte gemäß diesen Informationen aus und gibt eine Anweisung über die Auswahl in die Objektauswahlbezeichnungseinrichtung 1120 ein.
In dem siebenten Ausführungsbeispiel kann die Decodiereinrichtung 1207, da sie eine Decodierung mit Kernprofil und Pegel 1 durchführt, bis zu maximal vier Objekte decodieren. Beispielsweise werden, da das Bild in 43 fünf Objekte hat, zwei von ihnen in einem Objekt integriert, wodurch durch die Decodiereinrichtung 1207 decodierbare Codedaten erlangt werden können. Nachfolgend wird ein Fall beschrieben, bei welchem der Benutzer eine Integration des Objekts 2003 und des Objekts 2004 in dem Bild in 43 bezeichnet hat.
Wenn der Benutzer über die Objektauswahlbezeichnungseinrichtung 1120 die zu integrierenden Objekte bezeichnet, betreibt die Profil- und Pegelbestimmungseinheit 1113 die Dateikopfänderungseinrichtung 1115 zum Ändern des Inhalts von PLI entsprechend zu der Decodiereinrichtung 1207, zum Erzeugen von Dateikopfinformationen über das neue Objekt, das durch Integration erlangt wird, und zum Löschen von Dateikopfinformationen über die durch die Integration gelöschten Objekte auf der Grundlage des Auswahlergebnisses durch die Objektauswahleinrichtung 1121. Genauer werden auf der Grundlage der Anordnungsinformationen der Objekte 2003 und 2004 Anordnungsinformationen des neuen Objekts erzeugt, das als Ergebnis einer Integration erlangt wird, und es werden Anordnungsinformationen der Originalobjekte 2003 und 2004 gelöscht. Dann werden auf der Grundlage der Dateikopfinformationen der Objekte 2003 und 2004 die Größe des Objekts, das durch die Integration erlangt wird, oder andere Informationen als Dateikopfinformationen erzeugt, und es werden Dateikopfinformationen der Originalobjekte 2003 und 2004 gelöscht.
Die Objektauswahleinrichtung 1121 steuert den Eingang/Ausgang bzw. die Eingabe/Ausgabe der Auswahleinrichtungen 1122 und 1124, um so eine Integrationsverarbeitung durch die Objektintegrationseinrichtung 1123 in Bezug auf Codedaten der Objekte 2003 und 2004 durchzuführen, und um eine Verarbeitung durch die Objektintegrationseinrichtung 1123 in Bezug auf andere Codedaten zu vermeiden.
Dann werden Inhalte der Dateikopfänderungseinrichtung 1115 und der Codespeicher 1104 bis 1108, welche die Codedaten der Objekte 2000 bis 2002 halten, in der Eingabereihenfolge gelesen und durch den Multiplexer 1116 über die Auswahleinrichtungen 1122 und 1124 gemultiplext. Andererseits werden die Inhalte der Codespeicher 1104 bis 1108, welche die Codedaten der zu integrierenden Objekte 2003 und 2004 halten, über die Auswahleinrichtung 1122 in die Objektintegrationseinrichtung 1122 eingegeben.
[Objektintegrationseinrichtung]
34 ist ein Blockschaltbild, das die detaillierte Konstruktion der Objektintegrationseinrichtung 1123 zeigt. In 34 bezeichnen die Bezugszeichen 1050 und 1051 jeweils Codespeicher zum Speichern von Codedaten von Objekten, die zu integrieren sind, 1052 und 1054, Auswahleinrichtungen, welche Eingabe/Ausgabe für jeweilige Objekte schalten; 1053, eine Objektdecodiereinrichtung, welche Codedaten decodiert und ein Bild eines Objekts wiedergibt; 1055 und 1056, Vollbildspeicher zum Speichern von wiedergegebenen Bildern für jeweilige Objekte; 1057, eine Syntheseeinrichtung, welche Objekte gemäß Anordnungsinformationen von zu integrierenden Objekten synthetisiert, welche in dem Dateikopfspeicher 1103 gespeichert sind; und 1058, eine Objektcodiereinrichtung, welche Bilddaten codiert, die durch Synthetisieren erlangt werden, und die Bilddaten ausgibt.
Nachfolgend wird der Betrieb der Objektintegrationseinrichtung 1123 ausführlich beschrieben. Die Codedaten der zu integrierenden Objekte 2003 und 2004 sind in den Codespeichern 1050 und 1051 gespeichert. Zuerst wählt die Auswahleinrichtung 1052 einen Eingang auf der Seite des Codespeichers 1050 und die Auswahleinrichtung 1054 einen Ausgang auf der Seite des Vollbildspeichers 1055 aus. Danach werden die Codedaten aus dem Codespeicher 1050 ausgelesen und durch die Objektdecodiereinrichtung 1053 decodiert. Dann werden Bildinformationen des Objekts 2003 über die Auswahleinrichtung 1054 in den Vollbildspeicher 1055 geschrieben. Die Bildinformationen des Objekts umfassen Bilddaten, welche ein Farbbild angeben, und Maskeninformationen, welche eine Form angeben. Dann werden der Eingang und der Ausgang der Auswahleinrichtung 1052 und 1054 zu den entgegen gesetzten Seiten geschaltet, und es wird eine ähnliche Verarbeitung durchgeführt, wodurch die Bildinformationen des Objekts 2004 in dem Vollbildspeicher 1056 gespeichert werden.
Die Syntheseeinrichtung 1057 erlangt Ortsinformationen und Größeninformationen der Objekte 2003 und 2004 aus dem Dateikopfspeicher 1103 und erlangt die Bildgröße des durch Objektsynthese erlangten neuen Objekts und relative Orte der Originalobjekte 2003 und 2004 in dem neuen Objekt. Dann werden die Bildinformationen in den Vollbildspeichern 1055 und 156 ausgelesen, und es werden jeweils die Farbbildinformationen und die Maskeninformationen synthetisiert. 37 zeigt das Ergebnis einer Synthese von Farbbildinformationen. 38 zeigt das Ergebnis einer Synthese von Maskeninformationen. Die Objektcodiereinrichtung 1058 codiert diese Farbbildinformationen und Maskeninformationen gemäß der MPEG4-Objektcodierung. Dann gibt die Objektintegrationseinrichtung 1123 die codierten Informationen aus.
Die aus der Objektintegrationseinrichtung 1123 ausgegebenen Codedaten werden durch den Multiplexer 1116 über die Auswahleinrichtung 1124 mit anderen Codedaten gemultiplext, wodurch die Codedaten 1117 erlangt werden. 35 zeigt einen Bitstrom der Codedaten 1117. 35 zeigt das Ergebnis einer Integrationsverarbeitung gemäß dem siebenten Ausführungsbeispiel in Bezug auf die Codedaten 1101 in 31A. In 35 hat der Bitstrom Anordnungsinformationen γ, die Anordnungsinformationen des neu erlangten Objekts als dem Syntheseergebnis umfassen, VOSSC, Visuelle-Objekt-Daten γ-1, γ-2, γ-3 und VOSEC. Die Visuelle-Objekt-Daten γ-1, γ-2, und γ-3 werden durch Objektintegrationsregelung in Bezug auf die ursprünglichen Visuelle-Objekt-Daten α-1, α-2, α-3 erlangt, die in 31A gezeigt sind. Beispielsweise umfassen die Visuelle-Objekt-Daten γ-1, die dem visuellen Objekt SC folgen, PLI-γ, die das für die Decodiereinrichtung 1207 geeignete Profil und den Pegel anzeigen, VO-Daten A, VO-Daten B und VO-Daten C als jeweilige Codedaten der Objekte 2000 bis 2002, und Codedaten VO-Daten G, die durch Integration der Objekte 2003 und 2004 erlangt sind.
Die wie zuvor erlangten Codedaten 1117 werden in der Speichervorrichtung 1206 gespeichert oder durch die Decodiereinrichtung 1207 decodiert und als ein Bild, wie in 43 gezeigt, wiedergegeben und auf der Anzeigeeinheit 1208 angezeigt.
Es sei erwähnt, dass der Benutzer bei dem siebenten Ausführungsbeispiel durch die Objektauswahlbezeichnungseinrichtung 1120 Objekte auswählt, die in einem Bild zu integrieren sind, jedoch ist die vorliegende Erfindung nicht auf dieses Beispiel beschränkt. Beispielsweise kann es derart eingerichtet sein, dass die Integrationsreihenfolge für Objekte des Bildes im Voraus durch die Objektauswahlbezeichnungseinrichtung 1120 gesetzt wird, und dann, falls die Anzahl von durch die Decodiereinrichtung 1207 decodierbaren Objekten geringer als die Anzahl von Objekten des Bildes ist und eine Objektintegration erforderlich ist, eine Objektintegration automatisch gemäß der gesetzten Reihenfolge durchgeführt wird.
Wie zuvor beschrieben, können gemäß dem siebenten Ausführungsbeispiel, auch wenn Profil und/oder Pegel einer Decodiereinrichtung von denjenigen einer Codiereinrichtung verschieden sind, Codedaten decodiert werden. Ferner kann durch Integration von Objekten und Decodierung der integrierten Objekte ein Verlust eines decodierten Objekts verhindert werden.
Zudem kann die Objektintegrationsverarbeitung in inkrementeller Reihenfolge von Codelänge oder Bildgröße durch Bereitstellen der Codelängenvergleichseinrichtung 1114 und der Größenvergleichseinrichtung 1118, die in dem fünften und sechsten Ausführungsbeispiel gezeigt sind, anstelle der Objektauswahlbezeichnungseinrichtung 1120 und der Objektauswahleinrichtung 1121 zur Steuerung der Objektintegrationseinrichtung 1123 durchgeführt werden.
36 ist ein Blockschaltbild, das die Konstruktion der Objektintegrationseinrichtung 1123 gemäß einer Modifikation des siebenten Ausführungsbeispiels zeigt. In 36 haben Elemente, die denjenigen in 34 entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen. Die Konstruktion von 36 ist dadurch gekennzeichnet, dass sie zudem einen Codelängenzähler 1059 aufweist. Der Codelängenzähler 1059 zählt Codelängen von Codedaten von jeweiligen Objekten vor einer Integration, und Parameter (beispielsweise Quantisierungsparameter oder dergleichen) der Objektdecodiereinrichtung 1058 werden derart gesteuert, dass die Codelänge einer Ausgabe aus der Objektcodiereinrichtung 1058 dieselbe wie das gezählte Ergebnis ist. Auf diese Weise können die Objekte ohne Erhöhung der Gesamtcodelänge synthetisiert werden.
Achtes Ausführungsbeispiel
Nachfolgend wird ein achtes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Wie bei dem Fall des zuvor beschriebenen siebenten Ausführungsbeispiels wird bei dem achten Ausführungsbeispiel eine Objektintegrationsverarbeitung durchgeführt. Es sei erwähnt, dass die allgemeine Konstruktion der Bewegtbildverarbeitungsvorrichtung des achten Ausführungsbeispiels und die detaillierte Konstruktion der Profil- und Pegelregeleinrichtung 1205 dieselbe wie diejenige in 33 sind, weshalb Erläuterungen der Vorrichtung und der Konstruktion der Profil- und Pegelregeleinrichtung 1205 weggelassen werden.
39 ist ein Blockschaltbild, das die detaillierte Konstruktion der Objektintegrationseinrichtung 1123 gemäß dem achten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 39 haben Elemente, die denjenigen in 34 entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen.
In 39 bezeichnen 1060 und 1061 Trenneinrichtungen, welche eingegebene Codedaten bzw. Eingabecodedaten in Codedaten über Maskeninformationen, die Form angeben, und Codedaten trennt, die Farbbildinformationen angeben, und die getrennten Daten ausgibt. Die Bezugszeichen 1062 bis 1065 bezeichnen Codespeicher. Die Farbbildinformationen angebenden Codedaten werden für jeweilige Objekte in den Codespeichern 1062 und 1064 gespeichert, und die Codedaten über Maskeninformationen werden in den Codespeichern 1063 und 1065 gespeichert. Das Bezugszeichen 1066 bezeichnet eine Farbbildinformationscodesyntheseeinrichtung, welche die Farbbildinformationen angebenden Codedaten in der Form von Codedaten synthetisiert; 1067, eine Maskeninformationscodesyntheseeinrichtung, welche die Maskeninformationen angebenden Codedaten in der Form von Codedaten synthetisiert; 1068, einen Multiplexer, welcher Code multiplext, welcher aus der Farbbildinformationssyntheseeinrichtung 1066 und der Maskeninformationscodesyntheseeinrichtung 1067 ausgegeben wird.
Nachfolgend wird der Betrieb der Objektintegrationseinrichtung 1123 gemäß dem achten Ausführungsbeispiel ausführlich beschrieben. Wie bei dem Fall des siebenten Ausführungsbeispiels werden die Codedaten der Objekte 2003 und 2004 jeweils in den Codespeichern 1050 und 1051 gespeichert. Die in dem Codespeicher 1050 gespeicherten Codedaten des Objekts 2003 werden in Vollbildeinheiten (VOP-Einheiten) ausgelesen, durch die Trenneinrichtung 1060 in Codedaten von Farbbildinformationen und Codedaten von Maskeninformationen getrennt, und die jeweiligen Codedaten werden in den Codespeichern 1062 und 1063 gespeichert. In ähnlicher Weise werden Codedaten von Farbbildinformationen und Codedaten von Maskeninformationen des Objekts 2004 in den Codespeichern 1064 und 1065 gespeichert.
Danach liest die Farbbildinformationensyntheseeinrichtung 1066 die Farbbildinformationencodedaten aus den Codespeichern 1062 und 1063. Außerdem erlangt die Farbbildinformationssyntheseeinrichtung 1066, wie bei dem Fall des siebenten Ausführungsbeispiels, Ortsinformationen und Größeninformationen der Objekte 2003 und 2004 aus dem Dateikopfspeicher 1103, und erlangt die Bildgröße eines synthetisierten neuen Objekts und jeweilige relative Orte der Originalobjekte 2003 und 2004 in dem neuen Objekt. Das heißt, die Farbbildinformationssyntheseeinrichtung 1006 führt eine Synthese unter der Annahme aus, dass falls diese Farbbildinformationencodedaten synthetisiert und decodiert werden, ein Bild, wie in 37 gezeigt, als ein Objekt erlangt werden kann.
Es sei erwähnt, dass das MPEG4-Codierverfahren eine Stückdatenstruktur hat, um eine Vielzahl von Makroblöcken als ein Cluster von Blöcken in einer Hauptabtastrichtung zu definieren. 40 zeigt ein Beispiel der Stückstruktur, die auf die Objekte in 37 angewendet wird. In 40 ist ein Bereich in einem fettgezeichneten Vollbild bzw. Rahmen als ein Stück definiert. In jedem Stück ist der Kopfmakroblock schraffiert.
Die Farbbildinformationssyntheseeinrichtung 1066 führt ein Lesen in einer rechten Richtung (Hauptabtastrichtung), wie in 40 gezeigt, sequentiell von oberen linken Makroblockdaten des Bildes durch, die als ein Syntheseergebnis zu erlangen sind. Das heißt, unter den Codedaten des Objekts 2003 werden zuerst Codedaten entsprechend dem Kopfmakroblock des Kopfstücks aus dem Codespeicher 1062 gelesen. Die Dateikopfinformationen des Stücks werden zu den gelesenen Codedaten hinzugefügt, und die Codedaten des Kopfmakroblocks werden ausgegeben. Dann werden die Codedaten entsprechend dem Makroblock auf der rechten Seite des Kopfmakroblocks gelesen und ausgegeben. Auf diese Weise werden die Lese- und Ausgabebetriebe für das Stück sequentiell wiederholt.
Es sei erwähnt, dass ein Abschnitt, in welchem Daten zwischen den Objekten 2003 und 2004 neu erzeugt worden sind, als ein neues Stück betrachtet wird. Da dieser Abschnitt nicht angezeigt wird, auch wenn er mit Maskeninformationen decodiert wird, werden geeignete Bildelemente bereitgestellt, um den Abschnitt abzudecken. Das heißt, ein derartiger Abschnitt umfasst nur eine DC-Komponente des letzten Makroblocks einschließlich eines Objekts. Da die DC-Differenz "0" ist und alle AC-Koeffizienten "0" sind, wird kein Code erzeugt.
Dann wird, da es in Betracht gezogen wird, dass ein neues Stück an dem Rand des Objekts 2004 begonnen hat, ein schraffierter Makroblock in 40 als der Kopf eines neuen Stücks angesehen, und die Dateikopfinformationen des Stücks werden zu dem Block hinzugefügt. In diesem Fall wird die Adresse, da die Adresse des Kopfmakroblocks eine absolute Adresse ist, aus dem das vorangehende Objekt umfassenden Makroblock in eine relative Adresse umgewandelt. Es sei erwähnt, dass in dem Makroblock, falls eine DC-Komponente oder dergleichen vorausgesagt wird, indem auf einen anderen Makroblock Bezug genommen wird, jener Abschnitt neu codiert wird, und dann Codedaten des Makroblocks sequentiell nach rechts ausgegeben werden. Das heißt, der Stückdateikopf wird zu dem Rand des Objekts hinzugefügt, und die Voraussage Stückkopfmakroblocks wird durch initialisierten Code ersetzt. Der erlangte Code wird an den Multiplexer 1068 ausgegeben.
Parallel zu dem Betrieb der Farbbildinformationssyntheseeinrichtung 1066 liest die Maskeninformationscodesyntheseeinrichtung 1067 die Codedaten der Maskeninformationen aus den Codespeichern 1063 und 1065. Dann erlangt die Maskeninformationscodesyntheseeinrichtung 1067, Ortsinformationen und Größeninformationen der Objekte 2003 und 2004 aus dem Dateikopfspeicher 1103, und erlangt die Bildgröße eines synthetisierten neuen Objekts und relative Orte der Originalobjekte 2003 und 2004 in dem neuen Objekt. Dann erlangt die Maskeninformationscodesyntheseeinrichtung 1067 durch Decodieren und Synthetisieren der Eingabecodedaten der Maskeninformationen Maskeninformationen, wie in 38 gezeigt. Die Maskeninformationscodesyntheseeinrichtung 1067 codiert das Maskenbild durch eine arithmetische Codierung wie das MPEG4-Forminformationscodierverfahren. Der erlangte Code wird an den Multiplexer 1068 ausgegeben.
Es sei erwähnt, dass die Maskeninformationscodierung nicht auf das arithmetische MPEG4-Codierverfahren beschränkt ist. Beispielsweise kann bei dem Ergebnis einer Synthese von Maskeninformationscodedaten, da der Nulllauf zwischen Objekträndern nur verlängert wird, die Synthese nur vorgenommen werden, indem Code ersetzt wird, der die Nulllauflänge ohne Decodieren durch die Maskeninformationscodesyntheseeinrichtung 1067 repräsentiert, indem eine Nulllaufcodierung oder dergleichen zum Einsatz kommt, die in einer Faksimilevorrichtung Verwendung findet. Im Allgemeinen wird, auch wenn Maskeninformationen durch die arithmetische oder eine andere Codierung codiert wird, die Codelänge nur kaum geändert.
Der Multiplexer 1068 multiplext die Codedaten über die synthetisierten Farbbildinformationen und die Codedaten der Maskeninformationen als Codedaten eines Objekts. Die nachfolgende Verarbeitung ist gleich derjenigen bei dem zuvor beschriebenen siebenten Ausführungsbeispiel. Der Multiplexer 1116 multiplext die Codedaten mit anderen Codedaten und gibt die Daten aus.
Wie zuvor beschrieben, können gemäß dem achten Ausführungsbeispiel auch in einem Fall, bei welchem das Profil und/oder der Pegel einer Codiereinrichtung verschieden von denjenigen einer Decodiereinrichtung sind, Codedaten decodiert werden. Ferner kann, da Objekte in der Form von Codedaten integriert werden, ein Verlust eines Objekts in decodierten Bilddaten nur durch Hinzufügen von Dateikopfinformationen verhindert werden.
Zudem kann bei der Objektintegrationsverarbeitung gemäß dem achten Ausführungsbeispiel ein neu hinzugefügter Dateikopf durch ein geringfügiges Berechnungsausmaß erlangt werden, und zudem ist einen Codeänderung auf den Kopfblock eines Stücks beschränkt. Dementsprechend kann die Objektintegrationsverarbeitung mit einer höheren Geschwindigkeit als diejenige bei der Objektintegrationsverarbeitung durch Decodieren und Neucodieren gemäß dem siebenten Ausführungsbeispiel durchgeführt werden.
Neuntes Ausführungsbeispiel
Nachfolgend wird ein neuntes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Bei dem neunten Ausführungsbeispiel wird eine Objektintegrationsverarbeitung durchgeführt, wie bei dem Fall des zuvor beschriebenen siebenten Ausführungsbeispiels. Es sei erwähnt, dass die allgemeine Konstruktion der Bewegtbildverarbeitungsvorrichtung gemäß dem neunten Ausführungsbeispiel dieselbe wie diejenige in 29 ist, weshalb eine Erläuterung der Konstruktion weggelassen wird.
41 ist ein Blockschaltbild, das die detaillierte Konstruktion der Profil- und Pegelregeleinrichtung 1205 gemäß dem neunten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 41 haben Elemente, die denjenigen des siebenten Ausführungsbeispiels in 33 entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen. Bei dem neunten Ausführungsbeispiel kommt die MPEG4-Codierung als ein Bewegtbildcodierverfahren zum Einsatz, jedoch ist ein beliebiges anderes Codierverfahren anwendbar, solange es eine Vielzahl von Objekten in einem Bild codiert.
In 41 bezeichnet ein Bezugszeichen 1170 eine Objektanordnungsinformationsbestimmungseinheit, welche zu integrierende Objekte bestimmt.
Wie in dem Fall des siebenten Ausführungsbeispiels vergleicht die Profil- und Pegelbestimmungseinheit 1113 die Profil- und Pegelinformationen der Decodiereinrichtung 1207 mit denjenigen der Codedaten 1101. Auch wenn das Profil und der Pegel der Decodiereinrichtung 1207 höher als oder gleich oder geringer als diejenigen der Codedaten 1101 sind, werden die Codedaten 1117 auf eine ähnliche Weise wie diejenigen des siebenten Ausführungsbeispiels erlangt, solange die Anzahl von Objekten, die durch den Objektzähler 1110 erlangt wird, die durch die Decodiereinrichtung 1207 decodierbare Anzahl ist.
Falls andererseits die durch den Objektzähler 1110 erlangte Anzahl von Objekten größer als die durch die Decodiereinrichtung 1207 decodierbare Anzahl ist, wird die decodierbare Anzahl von Objekten in die Objektanordnungsinformationsbestimmungseinheit 1170 eingegeben. Wie bei dem Fall des siebenten Ausführungsbeispiels ist die maximale Anzahl von durch die Decodiereinrichtung 1207 decodierbaren Objekten vier. Dementsprechend können in einem Bild, das fünf Objekte hat, wie in 43 gezeigt, decodierbare Codedaten durch Integration von zwei Objekten erlangt werden.
Die Objektanordnungsinformationsbestimmungseinheit 1170 extrahiert Ortsinformationen und Größeninformationen der jeweiligen Objekte aus dem Dateikopfspeicher 1103 und bestimmt zwei zu integrierende Objekte auf der Grundlage der folgenden Bedingungen. Es sei erwähnt, dass der Bedingung (1) eine höhere Priorität gegeben ist als Bedingung (2).

(1) Ein Objekt ist in dem anderen Objekt umfasst
(2) Die Entfernung zwischen beiden Objekten ist die Kürzeste.

Bei dem in 43 gezeigten Bild sind die Objekte 2001 bis 2004 in dem Objekt 2000 umfasst. Dementsprechend bestimmt die Objektanordnungsinformationsbestimmungseinheit 1170 das Objekt 2000 und das Objekt 2001 als zu integrierende Objekte.
Wenn die zu integrierenden Objekte bestimmt worden sind, betreibt die Profil- und Pegelbestimmungseinheit 1113 die Dateikopfänderungseinrichtung 1115 zum Ändern und Codieren des Inhalts der PLI gemäß der Decodiereinrichtung 1207, und erzeugt Dateikopfinformationen über ein neues Objekt, das durch Objektintegration erlangt wird, und löscht die Dateikopfinformationen über die integrierten Objekte, wie bei dem Fall des siebenten Ausführungsbeispiels, auf der Grundlage des Bestimmungsergebnisses durch die Objektanordnungsinformationsbestimmungseinheit 1170. Genauer werden auf der Grundlage der Anordnungsinformationen des Objekts 2000 und 2001 Anordungsinformationen über das neue Objekt, das durch Objektintegration erlangt wird, erzeugt, und es werden Anordnungsinformationen der Originalobjekte 2000 und 2001 gelöscht. Dann werden die Bildgrößeninformationen oder andere Informationen des durch die Integration erlangten Objekts als Dateikopfinformationen auf der Grundlage der Dateikopfinformationen der Objekte 2000 und 2001 erzeugt, und die Dateikopfinformationen der Originalobjekte 2000 und 2001 werden gelöscht.
Die Objektanordnungsinformationenbestimmungseinheit 1170 steuert den Eingang/Ausgang bzw. die Eingabe/Ausgabe der Auswahleinrichtungen 1122 und 1124, um so eine Integrationsverarbeitung für die Codedaten der Objekte 2000 und 2001 durch die Objektintegrationseinrichtung 1123 durchzuführen, und um andererseits die anderen Codedaten nicht durch die Objektintegrationseinrichtung 1123 laufen zu lassen.
Dann werden Inhalte der Dateikopfänderungseinrichtung 1115 und die Codespeicher 1106 bis 1108, welche die Codedaten der Objekte 2002 bis 2004 halten, in der Eingabereihenfolge sequentiell ausgelesen und über die Auswahleinrichtungen 1122 und 1124 in den Multiplexer 1116 eingegeben. Andererseits werden die Inhalte der Codespeicher 1104 und 1105, welche die Codedaten der zu integrierenden Objekte 2000 und 2001 halten, durch die Objektintegrationseinrichtung 1123 integriert und in den Multiplexer 1116 eingegeben. Der Multiplexer 1116 multiplext diese Codedaten und erzeugt auf diese Weise die Codedaten 1117. Es sei erwähnt, dass die Integrationsverarbeitung durch die Objektintegrationseinrichtung 1123 auf eine ähnliche Weise zu derjenigen bei dem zuvor beschriebenen siebenten oder achten Ausführungsbeispiel realisiert wird.
42 zeigt einen Bitstrom der Codedaten 1117 gemäß dem neunten Ausführungsbeispiel. 42 zeigt das Ergebnis einer Integrationsverarbeitung des neunten Ausführungsbeispiels, das für die Codedaten 1101 durchgeführt wird, wie in 31A gezeigt. In 42 sind Anordnungsinformationen δ, die Anordnungsinformationen des neu erlangten Objekts umfassen, an dem Kopf bereitgestellt. Dann folgen VOSSC, Visuelle-Objekt-Daten δ-1, δ-2, δ-3 und VOSEC. Die Visuelle-Objekt-Daten δ-1, δ-2, und δ-3 werden durch Durchführung einer Objektintegrationsregelung für die ursprünglichen Visuelle-Objekt-Daten α-1, α-2, α-3 in 31A erlangt. Beispielsweise weisen die Visuelle-Objekt-Daten δ-1 ein visuelles Objekt SC, dann PLI-δ, die das/den für die Decodiereinrichtung 1207 geeignete Profil und Pegel anzeigen, VO-Daten H als Codedaten, die durch Integration der Objekte 2000 und 2001 erlangt werden, und VO-Daten C, VO Daten D und VO Daten E als Codedaten der Objekte 2002 bis 2004 auf.
Die wie zuvor erlangten Codedaten 1117 werden in der Speichervorrichtung 1206 gespeichert oder durch die Decodiereinrichtung 1207 decodiert und als ein Bild, wie in 43 gezeigt, wiedergegeben und auf der Anzeigeeinheit 1208 angezeigt.
Es sei erwähnt, dass bei dem neunten Ausführungsbeispiel, wie bei den Fällen des fünften und sechsten Ausführungsbeispiels, Codelängen von jeweiligen Objekten, Objektgrößen und dergleichen zu den Bedingungen zur Bestimmung von zu integrierenden Objekten hinzugefügt werden können.
Wie zuvor beschrieben, können gemäß dem neunten Ausführungsbeispiel, auch wenn das Profil und/oder der Pegel einer Codiereinrichtung verschieden von denjenigen einer Decodiereinrichtung sind, Codedaten decodiert werden. Ferner kann durch Integration der Objekte auf der Grundlage der Ortsbeziehung zwischen den Objekten ein Verlust eines decodierten Objekts verhindert werden, während die durch Integration geänderte Codemenge unterbunden wird.
Bei dem neunten Ausführungsbeispiel werden zu integrierende Objekte auf der Grundlage der Ortsbeziehung zwischen Objekten bestimmt. Die Bestimmung gemäß dem neunten Ausführungsbeispiel kann bei dem zuvor beschriebenen fünften und sechsten Ausführungsbeispiel zum Einsatz kommen. Das heißt, zu löschende Objekte können auf der Grundlage von Ortsinformationen von Objekten ausgewählt werden.
Es sei erwähnt, dass bei dem siebenten bis neunten Ausführungsbeispiel zwei Objekte integriert werden und ein Objekt erzeugt wird. Jedoch können drei oder mehr Objekte oder zwei oder mehr Sätze von Objekten integriert werden.
Es sei erwähnt, dass die Anordnung der Codespeicher 1104 bis 1108 und des Dateikopfspeichers 1103 nicht auf diejenige beschränkt ist, die in 41 gezeigt ist. Es können mehr Codespeicher bereitgestellt werden, oder es kann ein Speicher in eine Vielzahl von Bereichen unterteilt werden. Zudem kann ein Speichermedium, wie beispielsweise eine magnetische Disk zum Einsatz kommen.
Zudem kann die Auswahl von zu löschenden oder zu integrierenden Objekten auf der Grundlage der Kombination einer Vielzahl von Bedingungen, wie beispielsweise Größen und Codelängen von Objekten, Ortsbeziehung zwischen den Objekten und Benutzeranweisungen bestimmt werden.
Zudem kann in einem Fall, bei welchem das fünfte bis neunte Ausführungsbeispiel auf eine Bildbearbeitungsvorrichtung angewendet werden, auch wenn sich die Anzahl von Objekten aufgrund einer Bearbeitungsverarbeitung ändert, die Ausgabe aus der Vorrichtung auf ein beliebiges Profil und/oder Pegel eingestellt werden.
Wie zuvor beschrieben, können gemäß dem fünften bis neunten Ausführungsbeispiel Codedaten, die für eine Vielzahl von Bildinformationen (Objekten) codiert wurden, durch Decodiereinrichtungen mit beliebigen Spezifikationen decodiert werden. Zudem kann die Anzahl von in den Codedaten umfassten Objekten geregelt werden.
Zehntes Ausführungsbeispiel
[Konstruktion]
45 ist ein Blockschaltbild, das die Konstruktion der Bewegtbildverarbeitungsvorrichtung gemäß dem zehnten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Bei dem zehnten Ausführungsbeispiel kommt die MPEG4-Codierung als ein Bewegtbildcodierverfahren zum Einsatz. Es sei erwähnt, dass das Codierverfahren nicht auf die MPEG4-Codierung beschränkt ist, sondern es ist ein beliebiges anderes Codierverfahren anwendbar, solange es eine Vielzahl von Objekten in einem Bild codiert.
In 45 bezeichnen Bezugszeichen 2201 und 2202 Speichervorrichtungen, die Bewegtbildcodedaten halten. Die Speichervorrichtungen 2201 und 2202 umfassen jeweils eine magnetische Disk, eine magnetooptische Disk, ein Magnetband, einen Halbleiterspeicher oder dergleichen. Das Bezugszeichen 2203 bezeichnet eine TV-Kamera, welche ein Bewegtbild erlangt und ein digitales Bildsignal ausgibt; 2204, eine Codiereinrichtung, welche eine Codierung durch das MPEG4-Codierverfahren durchführt; 2205, eine Kommunikationsleitung eines lokalen Bereichsnetzerks (LAN), eine öffentliche Leitung, eine Rundsendeleitung oder dergleichen; 2206, eine Kommunikationsschnittstelle, welche codierte Daten von der Kommunikationsleitung 2205 empfängt; und 2207, eine Bearbeitungsbedieneinheit, welche eine Bildbearbeitungsbedingung anzeigt. Der Benutzer gibt Bearbeitungsanweisungen von der Bearbeitungsbedieneinheit 2207 ein. Zudem bezeichnet das Bezugszeichen 2208 eine Bildbearbeitungseinheitcharakteristik des vorliegenden Ausführungsbeispiels; 2209, eine Speichervorrichtung zur Speicherung einer Ausgabe aus der Bildbearbeitungseinheit 2208; 2210, eine Decodiereinrichtung, welche Codedaten eines Bewegtbildes decodiert, das durch die MPEG-Codierung codiert wird; 2211, eine Anzeigeeinheit, welche ein Bewegtbild anzeigt, das durch die Decodiereinrichtung 2210 angezeigt wird.
[Bildbearbeitung]
Nachfolgend wird eine Bildbearbeitungsverarbeitung des vorliegenden Ausführungsbeispiels unter Verwendung eines spezifischen Bildes als ein Beispiel beschrieben.
In der Speichervorrichtung 2201 sind Bilddaten gespeichert, welche durch die MPEG4-Codierung mit Kernprofil und Pegel 2 mit einer Bitrate von 384 kbps codiert sind. 46A zeigt ein Beispiel des in der Speichervorrichtung 2201 gespeicherten Bildes. 50A zeigt die Codedaten des Bildes. In dem Bild von 46A umfasst ein Hintergrundobjekt 2300 Objekte 2304 und 2305, die Männer darstellen. In 50A sind Codedaten des Hintergrundobjekts 2300 VO-Daten A-1-1, und Codedaten der Mannobjekte 2304 und 2305 sind VO-Daten A-1-2 und VO-Daten A-1-3.
In der Speichervorrichtung 2202 sind Bilddaten gespeichert, welche durch die MPEG4-Codierung mit Kernprofil und Pegel 1 mit einer Bitrate von 2000 kbps codiert sind. 46B zeigt ein Beispiel des in der Speichervorrichtung 2202 gespeicherten Bildes. 50B zeigt die Codedaten des Bildes. In dem Bild von 46B umfasst ein Hintergrundobjekt 2301 Objekte 2306 und 2307, die einen Mann und eine Frau darstellen. In 50B sind Codedaten des Hintergrundobjekts 2301 VO-Daten B-1-1, und Codedaten des Mann- und Frauobjekts 2306 und 2307 sind VO-Daten B-1-2 und VO-Daten B-1-3.
Bei dem Fall, bei welchem die TV-Kamera 2203 ein Bild erlangt, wie in 46C gezeigt, und die Codiereinrichtung 2204 die Bilddaten durch die MPEG4- Codierung mit einfachem Profil und Pegel 1 mit einer Bitrate von 32 kbps codiert, wird, da kein neues Objekt aus dem erlangten Bild extrahiert wird, das gesamte Bild als ein Objekt 2302 behandelt. Dementsprechend umfassen, wie in 50C gezeigt, Codedaten des Bildes VO-Daten C-1-1, Codedaten eines Objekts 2302.
Ferner umfasst bei einem Fall, bei welchem ein Bild, wie in 46D gezeigt, durch die MPEG4-Codierung mit einfachem Profil und Pegel 2 codiert ist und von der Kommunikationsleitung 2205 über die Kommunikationsschnittstelle 2206 eingegeben ist, ein Hintergrundobjekt 2303 in dem Bild in 46D Objekte 2308 und 2309, welche eine Frau und einen Mann darstellen. 50D zeigt Codedaten des Bildes, in welchem Codedaten des Hintergrundobjekts 2303 VO-Daten D-1-1, und Codedaten des Mann- und Frauobjekts 2308 und 2309 VO-Daten D-1-2 und VO-Daten D-1-3 sind.
Es sei erwähnt, dass zur Vereinfachung der Erläuterung die Größen aller zuvor beschriebenen Bilder (46A bis 46D) durch QCIF (Quarter Common Intermediate Format) definiert sind.
[Bildbearbeitungseinheit]
Alle Codedaten werden in die Bildbearbeitungseinheit 2208 eingegeben. 47 ist ein Blockschaltbild, das die Konstruktion der Bildbearbeitungseinheit 2208 zeigt. In 47 bezeichnen Bezugszeichen 2101 bis 2104 Systemcodespeicher zur Speicherung von systembezogenen Codedaten für jeweilige Eingaben; 2105 bis 2108 Videocodespeicher zur Speicherung von Bewegtbildcodedaten für jeweilige Eingaben bzw. Eingänge; 2109, eine Videodecodiereinrichtung, welche Bewegtbildcodedaten in Wiedergabeobjekte decodiert; und 2110, eine Systemdecodiereinrichtung, welche die Systemcodedaten decodiert, um Objektanordnungsinformationen und dergleichen wiederzugeben.
Die Decodierergebnisse werden an die Bearbeitungsbedieneinheit 2207 ausgegeben, und die jeweiligen Objekte werden gemäß den Anordnungsinformationen angezeigt. Die Bearbeitungsbedieneinheit 2207 setzt Anzeigezeitvorgabe, -geschwindigkeit, und dergleichen gemäß eine Bezeichnung einer Anordnung dieser Objekte, Größenänderung, Deformation und dergleichen; die durch den Benutzer angewiesen sind.
Das Bezugszeichen 2111 bezeichnet eine Systemcodesyntheseeinrichtung, welche Systemcode synthetisiert; 2112, eine Dateikopfverarbeitungseinrichtung, welche Dateiköpfe von Videocode synthetisiert oder ändert; 2113, eine Auswahleinrichtung, welche eine von Ausgaben aus den Videocodespeichern 2105 bis 2108 beliebig auswählt und die ausgewählte Ausgabe ausgibt; 2114, einen Multiplexer, welcher Ausgaben bzw. Ausgänge aus der Systemcodesyntheseeinrichtung 2111, der Dateikopfverarbeitungseinrichtung 2112 und der Auswahleinrichtung 2113 multiplext, um Codedaten zu erzeugen.
In der Bildbearbeitungseinheit 2208 werden jeweilige Ausgaben aus den Speichervorrichtungen 2201 und 2202, der Codiereinrichtung 2204 und der Kommunikationsschnittstelle 2206 in Systemcodedaten und Bewegtbildcodedaten getrennt. Die Systemcodedaten werden in den Systemcodespeichern 2101 bis 2104 gespeichert, und die Bewegtbildcodedaten werden in den Videocodespeichern 2105 bis 2108 gespeichert.
Wenn die jeweiligen Codedaten gespeichert worden sind, decodieren die Videodecodiereinrichtung 2109 und die Systemdecodiereinrichtung 2110 die jeweiligen Daten und geben die decodierten Daten an die Bearbeitungsbedieneinheit 2207 aus. In der Bearbeitungsbedieneinheit 2207 setzt der Benutzer Einstellungen von Lösch/Halteobjekten, Anordnungsänderung, Bewegtbildstartzeitvorgabe, Vollbildrate und dergleichen. Die Videodecodiereinrichtung 2209 und die Systemdecodiereinrichtung 2110 führen beliebig eine Decodierung gemäß der Bearbeitungsbedienung durch.
48 zeigt ein Beispiel eines aus den in 46A bis 46D gezeigten Bildern synthetisierten Bildes. Das heißt, es wird ein neues Bild durch Bearbeiten und Synthetisieren der vier Bilder erzeugt. Die Größe des Bildes 2320 ist durch CIF-Format definiert, da die vier QCIF-Bilder ohne Überlappung miteinander synthetisiert werden. In dem Bild 2320 werden das Hintergrundobjekt 2300, das Objekt 2302, die Hintergrundobjekte 2303 und 2301 von einer oberen linken Position im Uhrzeigersinn angeordnet. Zudem werden die Mannobjekte 2304 und 2305 horizontal nach rechts bewegt (bearbeitet). Das Objekt 2308 wird vergrößert und auf das Hintergrundobjekt 2300 bewegt (bearbeitet).
Die Systemcodesyntheseeinrichtung 2111 liest die Systemcodedaten aus den Systemcodespeichern gemäß den Syntheseergebnissen aus, dann erzeugt sie neue Systemcodedaten mit Anordnungsinformationen entsprechend dieser Deformation und Bewegung, und gibt die neuen Systemcodedaten an den Multiplexer 2114 aus.
Als Nächstes wird nachfolgend die Änderungsbedingung beschrieben, welche eine Synthese von jeweiligen Objekten begleitet.
Zuerst wurden, in Hinblick auf das Hintergrundobjekt 2300, Koordinaten, Startzeitpukt und dergleichen nicht geändert. Im Hinblick auf das Hintergrundobjekt 2301 wurden seine Koordinaten (0, 0) zu (0, 144) geändert. Im Hinblick auf das Objekt 2302 wurden seine Koordinaten (0, 0) zu (176, 0) geändert. Im Hinblick auf das Hintergrundobjekt 2303 wurden seine Koordinaten (0, 0) zu (176, 144) geändert.
Im Hinblick auf die Mannobjekte 2304 und 2305 wurden Koordinatenwerte für die Rechtsbewegung zu ihren Koordinaten hinzugefügt. Im Hinblick auf die Objekte 2306 und 2307 wurden ihre Koordinaten entsprechend der Änderung der Koordinaten des Hintergrundobjekts 2301 von (0, 0) zu (0, 144) geändert, um so die absoluten Positionen um "144" nach unten zu bewegen. Im Hinblick auf das Objekt 2308 wurden neue Koordinaten auf der Grundlage der Erweiterungsbezeichnung (Vergrößerungsverhältnis) und einer neuen Entfernung von dem Ursprung (0, 0) erzeugt. Im Hinblick auf das Objekt 2309 wurden seine Koordinaten entsprechend der Änderung der Koordinaten des Hintergrundobjekts 2303 von (0, 0) zu (176, 144) geändert, um so die absolute Positionen um "176" nach rechts und "144" nach unten zu bewegen.
Es sei erwähnt, dass bei einer horizontalen Bewegung eines Objekts die Systemcodesyntheseeinrichtung 2111 nur das Bewegungsausmaß zu den Koordinaten einer Anzeigeposition in Hinblick auf die Codedaten des Objekts hinzufügt, jedoch bei einer Expansions- oder Deformationsverarbeitung Befehle entsprechend derartigen Verarbeitungen erzeugt und ein Codieren neu durchführt. Es sei erwähnt, dass Systemcode in dem MPEG4-Standard gleich der CG-Sprache VRML ist, weshalb detaillierte Befehle ungefähr gleich denjenigen bei VRML oder ISO/IEC14496-1 sind.
Andererseits erzeugt die Dateikopfverarbeitungseinrichtung 2112 entsprechend zu den Bearbeitungsergebnissen der Systemcodedaten einen neuen Dateikopf. 49 ist ein Blockschaltbild, welches die detaillierte Konstruktion der Dateikopfverarbeitungsvorrichtung 2112 zeigt. In 49 bezeichnet ein Bezugszeichen 2120 eine Trenneinrichtung, welche eingegebene Dateikopfinformationen für jeweiligen Codes trennt und Ausgangszielorte bestimmt; 2121, eine Profilbestimmungseinheit; 2122, eine Objektanzahlbestimmungseinheit; 2123, eine Bitratenbestimmungseinheit; und 2124, eine Profilbestimmungseinheit, welche ein Profil bestimmt.
Bei der Dateikopfverarbeitungseinrichtung 2112 extrahiert die Trenneinrichtung 2120 PLI-Code, VOSC und Bitratencode von Dateikopfinformationen der jeweiligen Objekte aus Videocodespeichern 2105 bis 2108 und gibt den extrahierten Code in die Profilbestimmungseinheit 2121, die Objektanzahlbestimmungseinheit 2122 und die Bitratenbestimmungseinheit 2123 ein. Die Profilbestimmungseinheit 2121 decodiert den PLI-Code und erfasst das/den höchste/n Profil und Pegel aus Profilen und Pegeln von zu synthetisierenden Bildern. Die Objektanzahlbestimmungseinheit 2122 zählt die Anzahl von Objekten, die in den Codedaten enthalten sind, durch Zählen des VOSC. Die Bitratenbestimmungseinheit 2123 erfasst die jeweiligen Bitraten durch Decodieren des Bitratencodes und erlangt die Gesamtsumme der Bitraten. Die Ausgaben aus den jeweiligen Bestimmungseinheiten werden in die Profilbestimmungseinheit 2124 eingegeben.
Die Profilbestimmungseinheit 2124 bestimmt Profil und Pegel, welche das höchste Profil erfüllen, die Anzahl von Objekten und die Bitrate durch Bezugnahme auf die Profiltabelle, wie in 28 gezeigt. Bei dem vorliegenden Ausführungsbeispiel ist das höchste Profil der vier zu synthetisierenden Bilder Kernprofil und Pegel 2, die Anzahl von Objekten der synthetisierten Bilder ist 10 und die Gesamtsumme der Bitraten ist 684 kbps. Dementsprechend sind das Profil und der Pegel, welche gemäß der Profiltabelle diese Bedingungen erfüllen, Hauptprofil und Pegel 3. Die Profilbestimmungseinheit 2124 erzeugt neuen PLI-Code auf der Grundlage von Hauptprofil und Pegel 3 und gibt den PLI-Code aus.
Der Multiplexer 2114 multiplext die Systemcodedaten, welche durch die Systemcodesyntheseeinrichtung 2111 erzeugt sind, und die Codedaten eines Bewegtbildes. Die Bewegtbildcodedaten werden durch Lesen des Codes, wobei profilverwandter Code oder dergleichen korrigiert wird, aus der Dateikopfverarbeitungseinrichtung 2112, oder durch beliebiges Lesen der in den Videocodespeichern 2105 bis 2108 gespeicherten Codedaten und Multiplexen der gelesenen Daten wiedergegeben. Dann werden die gemultiplexten Codedaten an die Speichervorrichtung 2209 und die Decodiereinrichtung 2210 ausgegeben.
[Verarbeitungsprozedur]
50E zeigt Codedaten, welche als ein Ergebnis eines Mutiplexens durch den Multiplexer 2114 erlangt werden. Es ist aus 50E ersichtlich, dass alle in 50A bis 50D gezeigten Codedaten synthetisiert werden, das heißt, es werden alle Objekte in 46A bis 46D umfasst. Es sei erwähnt, dass bei den gemultiplexten Codedaten Benutzerdaten vor den Codedaten der jeweiligen Objekte positioniert sein können oder intensiv in einer vorbestimmten Position in den Codedaten positioniert sein können.
51 ist ein Flussdiagramm, das eine Bildverarbeitung gemäß dem vorliegenden Ausführungsbeispiel zeigt. Wenn die Vorrichtung gestartet worden ist, werden Codedaten von Bildern aus der jeweiligen Bildeingabeeinrichtung (Speichervorrichtungen 2201 und 2202, Codiereinrichtung 2204 und Kommunikationsschnittstelle 2206) eingegeben und in den Codespeichern 2101 bis 2104 und 2105 bis 2108 gespeichert (Schritt S101). Dann werden die Codedaten jeweils decodiert, und dem Benutzer werden durch die decodierten Daten repräsentierte Bilder präsentiert (Schritt S102). Danach werden die Ergebnisse der Benutzerbearbeitung an der Bearbeitungsbedieneinheit 2207 erlangt (Schritt S103), und der Systemcode wird gemäß den erlangten Bearbeitungsergebnissen geändert (Schritt S104). Zudem wird der Dateikopf von Bewegtbildcodedaten gemäß dem Profil und Pegel, der Anzahl von Objekten, der Bitrate und dergleichen geändert, um neuen Code zu erzeugen (Schritt S105). Dann werden die Systemcodedaten und Videocodedaten in dem Multiplexer 2114 gemultiplext und ausgegeben (Schritt S106).
Da durch die Bildbearbeitungseinheit 2208 synthetisierte Codedaten in die Decodiereinrichtung 2210 eingegeben werden, erfasst die Decodiereinrichtung 2210 einfach den Maßstab von eingegebenen Codedaten, die zu decodieren sind, die Anzahl von erforderlichen Decodiereinrichtungen und dergleichen. Dementsprechend kann es einfach bestimmt werden, ob ein Decodieren möglich ist oder nicht, ohne tatsächlich die Codedaten zu decodieren. Beispielsweise können die Codedaten, auch wenn es bestimmt wird, dass ein Decodieren unmöglich ist, zeitweise in der Speichervorrichtung 2209 gespeichert werden und decodiert werden, wenn eine erforderliche Anzahl von Decodiereinrichtungen bereitgestellt ist.
Es sei erwähnt, dass die Anordnung der Systemcodespeicher 2101 bis 2104 und der Videocodespeicher 2105 bis 2108 des vorliegenden Ausführungsbeispiels nicht auf diejenige in 47 beschränkt ist, jedoch es können mehr Codespeicher bereitgestellt werden, oder es kann ein Speicher in eine Vielzahl von Bereichen unterteilt sein. Zudem kann ein Speichermedium, wie beispielsweise eine magnetische Disk zum Einsatz kommen.
Gemäß dem vorliegenden Ausführungsbeispiel werden, wenn Codedaten mit verschiedenen Profilen und/oder Pegeln synthetisiert werden, Profile und Pegel neu definiert. Da der Maßstab von einzugebenden Codedaten, eine erforderliche Anzahl von Decodiereinrichtungen und dergleichen, im Voraus erlangt werden, kann es in der Decodiereinrichtung 2210 einfach bestimmt werden, ob ein Decodieren möglich ist oder nicht.
Elftes Ausführungsbeispiel
Nachfolgend wird ein elftes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Es sei erwähnt, dass die allgemeine Konstruktion der Bewegtbildverarbeitungsvorrichtung des elften Ausführungsbeispiels gleich derjenigen des zuvor beschriebenen zehnten Ausführungsbeispiels in 45 ist, weshalb eine Erläuterung der Konstruktion weggelassen wird. Bei dem elften Ausführungsbeispiel bezeichnet der Benutzer ein beliebiges Profil unter Verwendung der Bearbeitungsbedieneinheit 2207, und die Bildbearbeitungseinheit 2208 erzeugt Codedaten auf der Grundlage des bezeichneten Profils.
[Konstruktion]
52 ist ein Blockschaltbild, das die detaillierte Konstruktion der Bildbearbeitungseinheit 2208 gemäß dem elften Ausführungsbeispiel zeigt. In 52 haben Elemente, die denjenigen in 47 des zehnten Ausführungsbeispiels entsprechen, dieselben Bezugszeichen, und es werden Erläuterungen der Elemente weggelassen. Bei dem elften Ausführungsbeispiel kommt das MPEG4-Codiervefahren als ein Bewegtbildcodierverfahren zum Einsatz, jedoch ist ein beliebiges Codierverfahren anwendbar, solange es eine Vielzahl von Objekten in einem Bild codiert.
Das Bezugszeichen 2130 bezeichnet eine Profilsteuereinrichtung, welche verschiedenste Steuerungen durchführt, um vielzählige eingegebene Bilddaten entsprechend einem Profil zu synthetisieren, das von der Bearbeitungsbedieneinheit 2207 bezeichnet ist; 2131, eine Systemcodesyntheseeinrichtung, welche Systemcode synthetisiert; 2132, eine Dateikopfverarbeitungseinrichtung, welche einen Dateikopf von Videocode synthetisiert und ändert; 2134, eine Codelängenregeleinrichtung, welche Codelängen jeweiliger Objekte regelt; 2136, eine Integrationsverarbeitungseinrichtung, welche eine Integrationsverarbeitung für Objekte durchführt; und 2133, 2135 und 2137, Auswahleinrichtungen, welche jeweilige Eingänge/Ausgänge bzw. Eingaben/Ausgaben gemäß einer Anweisung von der Profilsteuereinrichtung 2130 schalten.
Wie in dem Fall des zuvor beschriebenen zehnten Ausführungsbeispiels werden die von den Speichervorrichtungen 2201, 2202, der Codiereinrichtung 2204 und der Kommunikationsschnittstelle 2206 eingegebenen Codedaten in Systemcodedaten und Bewegtbildcodedaten separiert bzw. getrennt und in den Systemcodespeichern 2101 bis 2104 und den Videocodespeichern 2105 bis 2108 gespeichert.
Es sei erwähnt, dass bei dem elften Ausführungsbeispiel die von den Speichervorrichtungen 2201, 2202, der Codiereinrichtung 2204 und der Kommunikationsschnittstelle 2206 eingegebenen Codedaten dieselben wie diejenigen bei dem zuvor beschriebenen zehnten Ausführungsbeispiel sind. Dementsprechend sind die jeweiligen Bilder dieselben wie diejenigen in 46A bis 46D, und die Codedaten in 50A bis 50D werden durch Codierung der jeweiligen Bilder erlangt. Es sei erwähnt, dass bei dem elften Ausführungsbeispiel von der Speichervorrichtung 2201 Codedaten (VO-Daten A) mit Kernprofil und Pegel 2 und mit einer Bitrate von 1024 kbps eingegeben werden. In ähnlicher Weise werden von der Codiereinrichtung 2202 Codedaten (VO-Daten B) mit Kernprofil und Pegel 1 und mit einer Bitrate von 384 kbps eingegeben. In ähnlicher Weise werden von der Codiereinrichtung 2204 Codedaten (VO-Daten C) mit einfachem Profil und Pegel 3 und mit einer Bitrate von 384 kbps eingegeben, und werden von der Kommunikationsschnittstelle 2206 Codedaten (VO-Daten D) mit Kernprofil und Pegel 2 und mit einer Bitrate von 768 kbps eingegeben.
Bei diesem Ausführungsbeispiel haben diese Codedaten als Benutzerdaten Informationen, die für die jeweiligen Objekte einzigartig sind. Die Objekte bei dem elften Ausführungsbeispiel sind "Personen", "Hintergrund" und "Nichtausschnittsbildschirmbild". Benutzerdaten eines "Mann"-Objekts sind Informationen, welche angeben, dass der Objekttyp "Mann" ist, persönliche Informationen des Mannes (Geschlecht, Alter, Beruf und dergleichen), und eine Aktion des Mannes in dem Bild (beispielsweise diskutieren die Mannobjekte 2304 und 2305, das Mannobjekt 2307 gibt dem Mädchenobjekt 2306 eine Spritze). Diese für das Objekt einzigartige Informationen werden bei einer Bearbeitungsbedienung verwendet, wie beispielsweise einer Objektsuche.
Wenn die jeweiligen Codedaten in den Codespeichern gespeichert worden sind, decodieren die Videodecodiereinrichtung 2109 und die Systemdecodiereinrichtung 2110 jeweils die Codedaten und geben die decodierten Daten an die Bearbeitungsbedieneinheit 2207 aus. Bei der Bearbeitungsbedieneinheit 2207 betätigt der Benutzer Einstellungen, wie beispielsweise eine Auswahl von Lösch/Halteobjekten, Anordnungsänderung, Bewegtbildstartzeitvorgabe und Vollbildrate, woraufhin das in 48 gezeigte synthetisierte Bild 2320 erlangt wird, wie bei dem Fall des zehnten Ausführungsbeispiels.
[Einstellung von Profil und Pegel]
Wie zuvor bei dem elften Ausführungsbeispiel beschrieben, kann der Benutzer das Profil und den Pegel der auszugebenden Codedaten von der Bearbeitungsbedieneinheit 2207 beliebig setzen. Dementsprechend kann der Benutzer, wenn die erzeugten Codedaten durch Rundsendung oder dergleichen geliefert werden, das Profil und den Pegel der Codedaten an diejenigen einer Decodiereinrichtung anpassen, um die Codedaten zu empfangen. Nachfolgend wird ein Fall beschrieben, bei welchem der Benutzer Kernprofil und Pegel 2 an der Bearbeitungsbedieneinheit 2207 bezeichnet hat.
Die Benutzerbezeichnung von Profil und Pegel wird mit den Bearbeitungsergebnissen in die Profilsteuereinrichtung 2130 eingegeben. Das in 48 gezeigte synthetisierte Bild 2320 umfasst 10 Objekte, und die Gesamtsumme der Bitraten beträgt 2560 kbps. Zudem beträgt bei Kernprofil und Pegel 2, die durch den Benutzer bezeichnet sind, gemäß der Profiltabelle in 28 die maximale Anzahl von Objekten 8, und die maximale Bitrate ist 2048 kbps. Um eine Decodierung des bezeichneten Profils mit dem bezeichneten Pegel durchzuführen, muss die Anzahl von Objekten des synthetisierten Bildes um zwei reduziert werden, und die Bitrate mit auf 2048 kbps gesteuert werden.
Die Profilsteuereinrichtung 2130 reduziert Codelängen von Codedaten auf der Grundlage der folgenden Bedingungen in der numerischen Prioritätsreihenfolge.

(1) Codelänge wird von dem höchsten Profilpegel reduziert
(2) Codelänge wird von einer höchsten Bitrate reduziert
(3) Alle Codelängen werden reduziert

Nachfolgend wird die Bitrate der VO-Daten A von 1024 kbps auf 512 kbps reduziert, indem die Codelänge der VO-Daten A auf der Grundlage dieser Bedingungen reduziert wird.
Zudem können zur Reduktion der Anzahl von Objekten beispielsweise zwei Objekte in einem Objekt synthetisiert werden. In dem elften Ausführungsbeispiel werden zu integrierenden Objekte aus einer Vielzahl von Objekten bestimmt, indem auf Knoteninformationen in dem Systemcode Bezug genommen wird, der in den Systemcodespeichern 2101 bis 2104 gespeichert ist. Das heißt, es wird auf eine Eltern-Kind-Beziehung von Knoten Bezug genommen, und es werden Objekte mit denselben Eltern integriert.
Nachfolgend wird die Objektintegrationsverarbeitung gemäß dem elften Ausführungsbeispiel beschrieben.
53A bis 53D zeigen Knotenstatusse der jeweiligen Objekte bei dem elften Ausführungsbeispiel. 53A zeigt eine Knotenbeziehung des Bildes in 46A. Die Knotendaten werden in den Hintergrund 2300 und einen Personenknoten aufgeteilt, welcher Personen repräsentiert, zudem ist der Personenknoten Eltern der Mannobjekte 2304 und 2305. In ähnlicher Weise zeigt 53B eine Knotenbeziehung des Bildes in 46B; 53C eine Knotenbeziehung des Bildes in 46C; und 53D eine Knotenbeziehung des Bildes in 46D. Das heißt, in 53A sind die "Mann"-Objekte 2304 und 2305 mit dem Personenknoten verbunden; in 53B sind das "Mädchen"-Objekt und das "Arzt"-Objekt 2307 mit dem Personenknoten verbunden; in 53D sind das "Frau"-Objekt 2308 und das "Mann"-Objekt 2309 mit einem Tänzerknoten verbunden.
Dementsprechend werden bei dem elften Ausführungsbeispiel die mit dem Personenknoten und dem Tänzerknoten verbundenen Objekte, die Personen angeben, für jeweilige Bilder als zu integrierende Objekte bestimmt. Das heißt, in dem Bild in 46A werden die Objekte 2304 und 2305 integriert. In ähnlicher Weise werden in dem Bild in 46B die Objekte 2306 und 2307 integriert; in dem Bild in 46D werden die Objekte 2308 und 2309 integriert. Durch diese Integration wird die Anzahl von Objekten in dem synthetisierten Bild sieben, und die Anzahl von Objekten erfüllt Kernprofil und Pegel 2.
Die Profilsteuereinrichtung 2130 weist die Systemcodesyntheseeinrichtung 2131 an, die Anordnungsinformationen der jeweiligen Objekte nach der Objektintegration neu wiederzugeben. Die Systemcodesyntheseeinrichtung 2131 erzeugt Systemcodedaten in dem Zustand, in welchem die Objekte integriert werden, wie in dem Fall des zehnten Ausführungsbeispiels.
Zu derselben Zeit weist die Profilsteuereinrichtung 2130 die Dateikopfverarbeitungseinrichtung 2132 an, Dateikopfinformationen der jeweiligen Objekte nach der Objektintegration neu zu erzeugen. Das heißt, die Größe des Bildes wird zu CIF (352 × 288) geändert, die Bitrate wird auf 2048 kbps gesetzt, und der PLI-Code wird auf Kernprofil und Pegel 2 gesetzt. Ferner wird Code, wie beispielsweise VOL-Breite, VOL-Höhe, VOP-Breite, VOP-Höhe und Bitrate der integrierten Objekte korrigiert.
Die Auswahleinrichtung 2133 schaltet unter der Steuerung der Profilsteuereinrichtung 2130 einen Datenpfad, um so das Objekt des Bildes in 46A (VO-Daten A) durch die Codelängenregeleinrichtung 2134 laufen zu lassen, und die anderen Objekte nicht durch die Codelängenregeleinrichtung 2134 laufen zu lassen.
54 ist ein Blockschaltbild, das die Konstruktion der Codelängenregeleinrichtung 2134 zeigt. Eine Objektdecodiereinrichtung 2141 decodiert Eingabevideocodedaten und eine Objektcodiereinrichtung 2142 codiert die decodierten Daten unter Verwendung von Quantisierungskoeffizienten, die größer sind als diejenigen bei der anfänglichen Codierung. Das heißt, die Bitrate kann durch Neucodieren der Objekte des Bildes in 46A durch grobe Quantisierung reduziert werden.
Die Auswahleinrichtung 2135 schaltet unter der Steuerung der Profilsteuereinrichtung 2130 einen Datenpfad derart, dass die Kombinationen der Objekte 2304 und 2305, der Objekte 2306 und 2307 und der Objekte 2308 und 2309 in die Integrationsverarbeitungseinrichtung 2136 eingegeben werden.
Die ausführliche Konstruktion der Integrationsverarbeitungseinrichtung 2136 ist dieselbe wie diejenige der Objektintegrationseinrichtung 1123 des siebenten Ausführungsbeispiels in 34. Dementsprechend werden Erläuterungen der Konstruktion und der Verarbeitung der Integrationsverarbeitungseinrichtung 2136 weggelassen.
Die Codedaten von synthetisierten Farbbildinformationen und Codedaten von Maskeninformationen werden über eine Auswahleinrichtung 2137 in den Multiplexer 2114 eingegeben und in Codedaten eines Objekts gemultiplext. Das Ergebnis der Systemcodesyntheseeinrichtung 2131, der durch die Dateikopfverarbeitungseinrichtung 2132 erzeugte Dateikopf, und die dem Dateikopf entsprechenden Codedaten werden sequentiell über die Auswahleinrichtung 2137 in den Multiplexer 2114 eingegeben und gemultiplext und ausgegeben.
57 zeigt die Datenstruktur von aus der Bildbearbeitungseinheit 2208 des elften Ausführungsbeispiels ausgegebenen Codedaten. In 57 sind die Videoobjektdaten, der neu gesetzte PLI-Code (PLIN-1 in 57) an dem Kopf bzw. Anfang bereitgestellt. Dann folgen die VO-Daten A-1-1 entsprechend dem Hintergrundobjekt 2300, und die VO-Daten A-1-23 entsprechend dem Objekt, das aus den Objekten 2302 und 2304 synthetisiert ist. Außerdem folgen VO-Daten B-1-1 entsprechend dem Hintergrundobjekt 2301, die VO-Daten B-1-23 entsprechend dem Objekt, das aus den Objekten 2306 und 2307 synthetisiert ist, die VO-Daten C-1-1 entsprechend dem Objekt 2302, die VO-Daten D-1-1 entsprechend dem Hintergrundobjekt 2303, und die VO-Daten D-1-23 entsprechend dem Objekt, das aus den Objekten 2308 und 2309 synthetisiert ist. Das heißt, in einem visuellen Objekt existieren sieben Videoobjekte.
Die wie zuvor erlangten Codedaten werden in der Speichervorrichtung 2209 gespeichert oder durch die Decodiereinrichtung 2210 decodiert und als ein Bild, wie in 48 gezeigt, auf der Anzeigeeinheit 2211 angezeigt.
Wie zuvor beschrieben, werden gemäß dem elften Ausführungsbeispiel, wenn Codedaten mit verschiedenen Profilen und Pegeln synthetisiert werden, Profil und Pegel neu definiert, und zudem kann die Anzahl von Objekten und die Bitrate geregelt werden. Folglich können Codedaten mit Profil und Pegel erlangt werden, die durch den Benutzer gewünscht sind.
Außerdem können jeweilige Objekte in einem Bild beliebig durch Integration von Objekten auf der Grundlage der Beziehung zwischen den Objekten (Knoten) synthetisiert werden, die in dem Systemcode beschrieben sind. Das heißt, es kann eine Syntheseprozedur erzielt werden, die näher an der von dem Benutzer beabsichtigten Prozedur ist.
Modifikation des elften Ausführungsbeispiels
55 ist ein Blockschaltbild, das eine modifizierte Konstruktion der Codelängenregeleinrichtung 2134 gemäß dem elften Ausführungsbeispiel zeigt. Falls Eingabevideocodedaten bewegungskompensiert wurden, decodiert eine Huffmandecodiereinrichtung 2143 die Quantisierungs-DCT-Koeffizienten. Die Huffmandecodiereinrichtung 2143 gibt die erlangten Quantisierungs-DCT-Koeffizienten in eine Hochfrequenzbeseitigungseinrichtung 2144 ein, um Hochfrequenzkomponenten durch "0" zu ersetzen. Dann codiert eine Huffmancodiereinrichtung 2143 die Ausgabe aus der Hochfrequenzbeseitigungseinrichtung 2144. Das heißt, die Codelänge kann durch Beseitigen von Hochfrequenzkomponenten des Objekts und Neucodieren der Daten reduziert werden.
56 ist ein Blockschaltbild einer anderen modifizierten Konstruktion der Codelängenregeleinrichtung 2134. Falls Eingabevideocodedaten bewegungskompensiert worden sind, decodiert die Huffmandecodiereinrichtung die Quantisierungs-DCT-Koeffizienten. Dann führt eine Umkehrquantisiereinrichtung 2146 eine Umkehrquantisierung für die erlangten Quantisierungs-DCT-Koeffizienten durch, und dann quantisiert eine Quantisiereinrichtung 2147 die erlangten DCT-Koeffizienten unter Verwendung von Quantisierungskoeffizienten, die größer als diejenigen sind, die bei der anfänglichen Codierung verwendet sind.
Dann codiert die Huffmancodiereinrichtung 2145 die Daten. Das heißt, die Codelänge kann reduziert werden, indem Codedaten eines bewegungskompensierten Objekts decodiert und die Daten mit grober Quantisierung neu codiert werden.
Es sei erwähnt, dass, bei dem elften Ausführungsbeispiel, zu integrierende Objekte zusätzlich zu der Beziehung unter den durch Knoten angezeigten Objekten unter Verwendung von Informationen ausgewählt werden, die für die jeweiligen Objekte einzigartig sind, die unabhängig von den Benutzerdaten oder Codedaten beschrieben sind. Das heißt, es können Objekte mit ähnlichen Attributen ("Personen", "Beruf" und dergleichen) integriert werden. Zudem können die Objekte 2307 und 2306 auf der Grundlage der Attribute integriert werden, die Aktionen von "Personen"-Objekten, wie beispielsweise "eine Spritze geben" und "eine Spritze bekommen", als Auswahlbedingungen angeben.
Zudem können zu integrierende Objekte durch die Kombination von mehreren Bedingungen, wie beispielsweise Objektgröße, Codelänge, Ortsbeziehung und Benutzeranweisung ausgewählt werden.
Ferner werden bei dem elften Ausführungsbeispiel Objekte auf der Grundlage der Beziehung unter den Objekten (Knoten) integriert, die in dem Systemcode beschrieben sind, jedoch kann die Anzahl von Objekten durch Löschen von Objekten reduziert werden, die auf der Grundlage der Knoten ausgewählt werden. In diesem Fall kann die Bitrate zu derselben Zeit reduziert werden.
Es sei erwähnt, dass die Anordnung der Systemcodespeicher 2101 bis 2104 und der Videocodespeicher 2105 bis 2108 nicht auf diejenige in 47 beschränkt sind, sondern es können mehr Codespeicher bereitgestellt sein oder ein Speicher kann in eine Vielzahl von Bereichen unterteilt sein. Zudem kann ein Speichermedium, wie beispielsweise eine magnetische Disk, zum Einsatz kommen.
Wie zuvor beschrieben, können gemäß dem zehnten und elften Ausführungsbeispiel Codedaten auf der Grundlage eines vorbestimmten Standards durch Synthetisieren einer Vielzahl von Codedaten erlangt werden, die für eine Vielzahl von Bildinformationen (Objekten) codiert werden. Zudem können die synthetisierten Codedaten durch eine Decodiereinrichtung mit beliebigen Codierspezifikationen decodiert werden. Ferner kann die Anzahl von Objekten und die Codelänge der Codedaten geregelt werden.
Zudem ist bei den zuvor beschriebenen jeweiligen Ausführungsbeispielen das Objekt 0 Hintergrund, jedoch ist das Objekt 0 nicht auf den Hintergrund beschränkt, sondern es kann ein Bewegtbild eines allgemeinen Objekts oder dergleichen sein.
Die vorliegende Erfindung kann auf ein System angewendet werden, welches durch eine Vielzahl von Vorrichtungen (beispielsweise Hostcomputer, Schnittstelle, Leseeinrichtung, Drucker) gebildet ist, oder auf eine Vorrichtung, welche ein einzelnes Gerät (beispielsweise eine Kopiermaschine, Faksimile) aufweist.
Zudem kann die Aufgabe der vorliegenden Erfindung auch erzielt werden, indem ein Speichermedium, welches Programmcode zum Durchführen der zuvor erwähnten Prozesse speichert, für ein System oder eine Vorrichtung bereitgestellt wird, die Programmcodes mit einem Computer (beispielsweise einer CPU, MPU) des Systems oder der Vorrichtung von dem Speichermedium gelesen werden, und dann das Programm ausgeführt wird.
In diesem Fall realisieren die von dem Speichermedium gelesenen Programmcodes die Funktionen gemäß den Ausführungsbeispielen, und das die Programmcode speichernde Speichermedium bildet die Erfindung.
Zudem kann das Speichermedium, wie beispielsweise eine Floppydisk, eine Festplatte, eine optische Disk, eine magnetooptische Disk, ein CD-TOM, eine CD-R, ein Magnetband, eine Speicherkarte des nichtflüchtigen Typs, und ein ROM zum Bereitstellen der Programmcodes verwendet werden.
Darüber hinaus umfasst die vorliegende Erfindung zusätzlich dazu, dass die zuvor erwähnten Funktionen gemäß den vorangehenden Ausführungsbeispielen realisiert werden, indem die durch einen Computer gelesenen Programmcodes ausgeführt werden, einen Fall, bei welchem ein Betriebssystem (OS) oder dergleichen, das auf dem Computer arbeitet, einen Teil oder alle Prozesse gemäß von Bezeichnungen der Programmcodes durchführt und Funktionen gemäß den vorangehenden Ausführungsbeispielen realisiert.
Darüber hinaus umfasst die vorliegende Erfindung auch einen Fall, bei welchem, nachdem die aus dem Speichermedium gelesenen Programmcodes in eine Funktionserweiterungskarte geschrieben sind, die in den Computer oder in einen Speicher eingefügt wird, der in einer Funktionserweiterungseinheit bereitgestellt ist, welche mit dem Computer, der CPU oder dergleichen verbunden ist, die in der Funktionserweiterungskarte oder -einheit enthalten ist, ein Teil oder alle Prozesse gemäß von Bezeichnungen der Programmcodes durchgeführt werden und Funktionen der vorangehenden Ausführungsbeispiele realisiert werden.

Claims

Datenverarbeitungsvorrichtung mit einer Decodiereinrichtung (1207) zum Decodieren eines Eingabecodes, der in Bildobjekteinheiten codiert ist, wobei die Vorrichtung aufweist: eine Erfassungseinrichtung (41, 42, 1110) zum Erfassen der Anzahl von Objekten, die in dem Eingabecode (8, 1101) enthalten sind, und der Anzahl von decodierbaren Objekten, die durch die Decodiereinrichtung gehandhabt werden können; und eine Steuerungseinrichtung (40) zum Steuern der Anzahl von Objekten des Eingabecodes, wobei die Steuerungseinrichtung einen Objektkombinierer (43) zum Kombinieren von Objekten oder Löschen von zumindest einem Objekt, basierend auf der Anzahl von Objekten des Eingabecodes und der Anzahl von decodierbaren Objekten, und zum Erzeugen eines Ausgabecodes enthält.
Vorrichtung gemäß Anspruch 1, wobei, wenn die Anzahl von Objekten in dem Eingabecode größer ist als die Anzahl von decodierbaren Objekten, die Steuerungseinrichtung die Anzahl von Objekten, die in dem Eingabecode enthalten sind, auf die Anzahl von decodierbaren Objekten reduziert.
Vorrichtung gemäß Anspruch 1 oder Anspruch 2, weiter mit: einer Extrahierungseinrichtung zum Extrahieren von Aufenthaltsortinformationen der Objekte, die in dem Eingabecode enthalten sind; und einer Kombinierungseinrichtung zum Kombinieren von Codes einer Vielzahl von Objekten basierend auf einer Anweisung der Steuerungseinrichtung und der Aufenthaltsortinformationen, die durch die Extrahierungseinrichtung extrahiert werden.
Vorrichtung gemäß Anspruch 3, wobei die Kombinierungseinrichtung Codes einer Vielzahl von Objekten kombiniert, die durch eine Distanz voneinander getrennt sind, wobei die Distanz kürzer ist als andere Distanzen zwischen Objekten, die aus den Aufenthaltsortinformationen berechnet werden.
Vorrichtung gemäß Anspruch 1 oder Anspruch 2, weiter mit: einer Extrahierungseinrichtung zum Extrahieren von Bewegungsinformationen, die Bewegungen der Objekte, die in dem Code enthalten sind, angeben; und einer Kombinierungseinrichtung zum Kombinieren einer Vielzahl von Objekten basierend auf einer Anweisung der Steuerungseinrichtung und der Bewegungsinformationen, die durch die Extrahierungseinrichtung extrahiert werden.
Vorrichtung gemäß Anspruch 5, wobei die Kombinierungseinrichtung Codes einer Vielzahl von Objekten kombiniert, die Bewegungsinformationen besitzen, die ähnlich zueinander sind.
Vorrichtung gemäß Anspruch 1 oder Anspruch 2, weiter mit: einer Extrahierungseinrichtung zum Extrahieren von Codelängen der Objekte, die in dem Code enthalten sind; und einer Kombinierungseinrichtung zum Kombinieren einer Vielzahl von Objekten basierend auf einer Anweisung der Steuerungseinrichtung und den Codelängen, die durch die Extrahierungseinrichtung extrahiert werden.
Vorrichtung gemäß Anspruch 7, wobei die Kombinierungseinrichtung eine Vielzahl von Codes von Objekten mit Codelängen, die kürzer sind als die Codelängen von anderen Objekten, kombiniert.
Vorrichtung gemäß einem der vorstehenden Ansprüche, weiter mit einer Initialisierungseinrichtung für eine Bestimmung des Codierungsverfahrens des Eingabecodes und Initialisieren der Steuerungseinrichtung basierend auf dem Ergebnis der Bestimmung.
Vorrichtung gemäß Anspruch 9, wobei die Initialisierungseinrichtung bestimmt, ob der Code basierend auf einer Inter-Rahmenkorrelation codiert ist oder basierend auf Intra-Rahmeninformationen codiert ist.
Vorrichtung gemäß Anspruch 10, wobei, wenn der Eingabecode basierend auf den Intra-Rahmeninformationen codiert ist, die Initialisierungseinrichtung die Steuerungseinrichtung initialisiert.
Vorrichtung gemäß einem der vorstehenden Ansprüche, wobei der Eingabecode ein Code eines Stehbildes ist.
Vorrichtung gemäß einem der Ansprüche 1 bis 11, wobei der Eingabecode ein Code eines Bewegtbildes ist.
Vorrichtung gemäß Anspruch 1 oder Anspruch 2, wobei die Steuerungseinrichtung Codelängen der entsprechenden Bildobjekte in dem Code erhält und die Bildobjekte basierend auf den erhaltenen Codelängen löscht.
Vorrichtung gemäß Anspruch 14, wobei die Steuerungseinrichtung Bildobjekte nacheinander löscht, beginnend mit dem Bildobjekt, das die kürzeste Codelänge hat.
Vorrichtung gemäß Anspruch 1 oder 2, wobei die Steuerungseinrichtung Bildgrößen der entsprechenden Bildobjekte in dem Code erhält und die Bildobjekte basierend auf der erhaltenen Bildgröße löscht.
Vorrichtung gemäß Anspruch 16, wobei die Steuerungseinrichtung Bildobjekte nacheinander löscht, beginnend mit dem Bildobjekt, das die kleinste Größe besitzt.
Vorrichtung gemäß Anspruch 1 oder 2, weiter mit einer Einstellungseinrichtung zum Einstellen einer Prioritätsreihenfolge der Bildobjekte in dem Eingabecode, wobei die Steuerungseinrichtung die Bildobjekte basierend auf der Prioritätsreihenfolge, die durch die Einstellungseinrichtung eingestellt ist, löscht.
Vorrichtung gemäß Anspruch 1 oder 2, weiter mit einer Auswahleinrichtung zum Auswählen einer Vielzahl von Bildobjekten, die in dem Eingabecode enthalten sind, wobei die Steuerungseinrichtung die Vielzahl von Bildobjekten, die durch die Auswahleinrichtung ausgewählt werden, kombiniert.
Vorrichtung gemäß Anspruch 19, wobei die Steuerungseinrichtung eine Decodierungseinrichtung zum Decodieren der Vielzahl von Bildobjekten, die durch die Auswahleinrichtung ausgewählt werden, eine Aufbaueinrichtung zum Aufbauen der Vielzahl von Bildobjekten, die durch die Decodierungseinrichtung decodiert werden, und Codierungseinrichtungen zum Codieren eines Bildobjekts, das durch die Aufbaueinrichtung aufgebaut wird, aufweist, um die Vielzahl von Bildobjekten, die durch die Auswahleinrichtung ausgewählt werden, zu kombinieren.
Vorrichtung gemäß Anspruch 20, wobei die Steuerungseinrichtung weiter eine Zähleinrichtung zum Zählen von Codelängen der Vielzahl von Bildobjekten, die durch die Auswahleinrichtung ausgewählt werden, aufweist, und wobei die Codiereinrichtung die Codierparameter basierend auf den Ergebnissen des Zählens durch die Zähleinrichtung steuert.
Vorrichtung gemäß Anspruch 19, wobei die Steuerungseinrichtung eine Trennungseinrichtung zum Trennen der Vielzahl von Bildobjekten, die durch die Auswahleinrichtung ausgewählt werden, in Farbinformationen und Maskierungsinformationen, eine Farbinformationsaufbaueinrichtung zum Aufbau der Farbinformationen, die durch die Trennungseinrichtung getrennt werden, eine Maskierungsinformationsaufbaueinrichtung, zum Aufbauen der Maskierungsinformationen, die durch die Trennungseinrichtung getrennt werden, und eine Multiplexeinrichtung zum Multiplexen der Farbinformationen, die durch die Farbinformationsaufbaueinrichtung aufgebaut werden, und der Maskierungsinformationen, die durch die Maskierungsinformationsaufbaueinrichtung aufgebaut werden, aufweist.
Vorrichtung gemäß einem der Ansprüche 19 bis 22, wobei die Auswahleinrichtung eine manuelle Auswahl einer Vielzahl von Bildobjekten ermöglicht.
Vorrichtung gemäß einem der Ansprüche 19 bis 22, wobei die Auswahleinrichtung eine Vielzahl von Bildobjekten auswählt, wobei eines von diesen die anderen enthält.
Vorrichtung gemäß einem der Ansprüche 19 bis 22, wobei die Auswahleinrichtung Bildgrößen der entsprechenden Bildobjekte in dem Eingabecode erhält und die Bildobjekte basierend auf der erhaltenen Bildgröße auswählt.
Vorrichtung gemäß Anspruch 25, wobei die Auswahleinrichtung Bildobjekte nacheinander auswählt, beginnend mit einem Bildobjekt mit der kleinsten Bildgröße.
Vorrichtung gemäß Anspruch 25, weiter mit einer Einstellungseinrichtung zum Einstellen der Prioritätsreihenfolge der Bildobjekte in dem Code, wobei die Auswahleinrichtung die Bildobjekte basierend auf der Prioritätsreihenfolge, die durch die Einstellungseinrichtung eingestellt wird, auswählt.
Datenverarbeitungsverfahren zum Decodieren von Code, der in Bildobjekteinheiten codiert ist, durch Verwendung eines Decodierers, wobei das Verfahren die Schritte aufweist: Erfassen der Anzahl von Objekten, die in dem Eingabecode enthalten sind, und der Anzahl von decodierbaren Objekten, die durch den Decodierer gehandhabt werden können; und Steuern der Anzahl von Objekten des Eingabecodes durch Kombinieren von Objekten oder Löschen von zumindest einem Objekt, basierend auf der Anzahl von Objekten des Eingabecodes und der Anzahl von decodierbaren Objekten, und durch Erzeugen eines Ausgabecodes.
Computerprogrammprodukt mit einem computerlesbaren Medium mit Computerprogrammcode, zum Ausführen einer Datenverarbeitung, welche Code decodiert, der in Bildobjekteinheiten codiert ist, wobei das Produkt aufweist: einen Erfassungsprozedurcode zum Erfassen der Anzahl von Objekten, die in dem Eingabecode enthalten sind, und der Anzahl von decodierbaren Objekten, welche gehandhabt werden können; und einen Steuerungsprozedurcode zum Steuern der Anzahl von Objekten des Eingabecodes durch Kombinieren von Objekten oder Löschen von zumindest einem Objekt, basierend auf der Anzahl von Objekten und der Anzahl von decodierbaren Objekten, und durch Erzeugen eines Ausgabecodes.