-
HINTERGRUND
DER ERFINDUNG
-
1. Gebiet
der Erfindung
-
Die
vorliegende Erfindung betrifft eine Bild-Konvertierungsvorrichtung
zur Konvertierung der räumlichen
Auflösung,
der zeitlichen Auflösung oder
Bildqualität
von komprimierten Bild-Daten, um komprimierte Bild-Daten abweichender
räumlicher Auflösung, zeitlicher
Auflösung
oder Bildqualität,
die einer zur Übertragung
oder Datenbank-Speicherung komprimierter Bilder benutzt wird.
-
2. Beschreibung des Standes
der Technik
-
Die
große
Menge durch digitale Bild-Signale übertragener Information verleiht
einem hoch effektiven Codieren wesentliche Bedeutung für eine Übertragung
oder Aufzeichnung von digitalen Bild-Signalen. Daher sind in den
vergangenen Jahren verschiedene Bild-Kompressionstechniken vorgeschlagen worden,
und einige dieser Techniken sind auch skalierbar. Skalierbarkeit
ermöglicht
dem Benutzer eine Verwendung von Bildern mit jeder gewünschten räumlichen
Auflösung,
zeitlichen Auflösung
oder Bildqualität
und ermöglicht
es somit, zum Beispiel sowohl HDTV als auch Standard-TV-Signale
in Antwort auf Anforderungen des Benutzers über einen einzigen Übertragungspfad
alternativ zu empfangen.
-
Eine
MPEG, ein herkömmliches,
skalierbares Bild-Codierungsverfahren benutzende Bild-Codierungsvorrichtung
(Bild-Konvertierungsvorrichtungen enthaltend) wird nun mit Bezug
auf die 1A und 1B, Blockdiagramme
herkömmlicher MPEG-kompatibler
Bild-Codierungsverfahren, beschrieben. Die Bild-Codierungsvorrichtung umfasst einen
ersten, in 1A gezeigten Bild-Codierer 7 und
einen zweiten, in 1B gezeigten Bild-Codierer 8.
Die Bild-Datengröße und Anzahl
von Pixeln, die durch den ersten Bild-Codierer 7 verarbeitet
werden können,
unterscheiden sich von denjenigen des zweiten Bild-Codierers 8.
Man beachte, dass in den 1A und 1B die
durch eine durchgezogene Linie angezeig te Signal-Leitung die Video-Signalleitung
ist und dass die durch die gepunktete Linie angezeigte Signal-Leitung
die Leitung für
andere Signale als das Videosignal (enthaltend die sogenannte nachfolgend
beschriebene "Neben-Information") ist.
-
Das
Video-(Bild)-Signal ist eine im Zeilensprung abgetastete (engl.
interlace scanned) Bild-Eingabe in Vollbild-Einheiten (frame units).
Die Video-Signal Eingabe in ein Eingabe-Anschluss 70 in 1A ist
ein nicht komprimiertes digitales Video-Signal. Das Eingabe-Bild
wird zuerst in den ersten, in 1B gezeigten
Auflösungskonverter 91 gegeben und
dann in ein Bild mit sowohl vertikal als auch horizontal der halben
Auflösung
(Anzahl der Pixel) konvertiert. Der erste Vollbild-codierte (frame
coded) ist intraframe codiert (intraframe coded) ohne irgendeinen
Vollbilddifferenz-Wert (frame difference) zu erhalten. Die Eingabe-Bilddaten werden über den
Differenzierer gegeben und der DCT-Modus-Auswerteeinrichtung 82 und
einem DCT-Prozessor 83 zugeführt. Die DCT-Modus-Auswerteeinrichtung 82 detektiert
die Menge an Bewegung in dem Bild und bestimmt, ob eine Vollbild-
oder eine Halbbild-Einheits-DCT (field unit DCT) benutzt werden
sollte, zum Beispiel um die Zwischenzeilen-Differenz in zweidimensionalen
Block-Einheiten zu erhalten. Das Ergebnis dieser Operation wird
in den DCT-Prozessor 83 als die DCT-Modusinformation eingegeben.
-
Der
DCT-Prozessor 83 wendet eine DCT in sowohl einer Vollbild-
als auch einer Halbbild-Einheit basierend auf der DCT-Modusinformation
an und konvertiert die Bild-Daten in einen Konvertierungskoeffizienten.
Ein Quantisierr 84 quantisiert den von dem DCT-Prozessor 83 bereitgestellten
Konvertierungskoeffizienten und gibt ihn an den Codierer 85 variabler
Länge und
den inversen Quantisierr 86 aus. Der Codierer 85 variabler
Länge codiert
das quantisierte Signal mit variabler Länge und gibt das Ergebnis durch
den in 1A gezeigten Multiplexer 93 auf den Übertragungspfad
aus. Der quantisierte Konvertierungskoeffizient wird dann durch
den inversen Quantisierr 86 invers quantisiert und in den
inversen DCT-Prozessor 87 eingegeben.
Der inverse DCT-Prozessor 87 setzt die Eingabedaten erneut
in Echtzeit-Bilddaten zurück
und speichert die Echtzeit-Bilddaten in dem Vollbildpufferspeicher 88.
-
Da
gewöhnlich
eine hohe Korrelation zwischen Bildern besteht, ist die Energie
nach Anwendung einer DCT in den der niederfrequenten Komponente
entspre chenden Konvertierungskoeffizienten konzentriert. Durch Quantisierung
der hochfrequenten Komponenten, für welche das menschliche visuelle
System (HVS) weniger empfindlich ist, mit einem großen Quantisierungsrauschen
und durch eine Quantisierung der bedeutenderen niederfrequenten Komponenten
mit minimalem Quantisierungsrauschen kann als ein Ergebnis eine
Bild-Verschlechterung
minimiert werden und die Größe der komprimierten
Bild-Daten kann kleiner sein (höherer
Codierungswirkungsgrad). Zusätzlich
ist die intraframe-Korrelation hoch, wenn in Bildern mit Zeilensprung
(interlaced images) nur eine geringe Bewegung vorhanden ist, und
die Korrelation zwischen den Vollbildern (inter-frame) ist gering,
wenn eine große
Bewegung vorhanden ist, aber die Korrelation innerhalb eines Halbbildes
(intra-field) ist hoch. Daraus folgt, dass Bilder mit Zeilensprung
(interlaced) auch wirksam unter Benutzung dieser Eigenschaft der
Bilder mit Zeilensprung codiert werden können, um zwischen einer Vollbild-
und einer Halbbild-Einheits-DCT-Verarbeitung angemessen umzuschalten.
-
Dem
intraframe codierten Vollbild folgende Bilder werden dann durch
die Berechnung eines Vorhersage-Wertes für jedes Vollbild codiert und
dann wird die Differenz zwischen dem tatsächlichen Vollbild-Wert und
dem vorhergesagten Wert codiert, d. h. ein Codieren des Vorhersagefehlers.
Die Codierungsvorrichtung erhält
das für
eine Vorhersagecodierung benutzte Bild üblicherweise aus dem ersten Auflösungskonverter 91 und
gibt das Bild in den Bewegungsdetektor 81 ein. Der Bewegungsdetektor 81 erhält die Bild-Bewegungsvektoren
in zwei-dimensionalen
Blockeinheiten unter Benutzung eines gewöhnlichen, vollen Such-Verfahrens.
-
Der
Vollbildspeicher 88 und ein Bewegungskompensator 89 erzeugen
dann vorhergesagte Werte zur Kompensation einer Bewegung in dem
nächsten
Vollbild in zwei-dimensionalen Blöcken unter Benutzung der durch
den Bewegungsdetektor 81 detektierten Bewegungsvektoren.
Die Differenz zwischen dem vorhergesagten Wert und den tatsächlichen Bild-Eingabedaten
wird berechnet, um den Vorhersagefehler zu erhalten, der mit demselben
für eine
intraframe-Codierung genutzten Verfahren codiert wird. Die zur Kompensation
einer Bewegung benutzten Bewegungsvektoren, die die Parameter für eine Blockeinheits-Bewegungskompensation
ausdrückende
Bewegungskompensations-Information und die DCT-Modusinformation
werden als "Nebeninformation" dem Codierer 85 variab ler
Länge zugeführt und
dem Decodierer (nicht in den Figuren gezeigt) durch einen Multiplexer 93 mit
dem codierten Koeffizienten übertragen.
-
Da
ein Vorhersagefehler durch die vorherige Bild-Codierungsvorrichtung
optimal codiert wird, nimmt die Energie ab und ein höherer Codierungs-Wirkungsgrad
kann im Vergleich zu derartigen direkten Bilddaten-Codierungsmethoden
wie einer intraframe-Codierung erreicht werden.
-
Im
Gegensatz dazu ist der erste Bild-Codierer 7 (1A)
ein Bildkompressions-Codierer,
wodurch die Bildauflösung
nicht geändert
wird. Der in 1A gezeigte erste Bild-Codierer 7 umfasst ähnlich zu
dem ersten Bild-Codierer 7 in 1B einen Bewegungsdetektor 71,
eine DCT-Modus-Auswerteeinrichtung 72, einen DCT-Prozessor 73,
einen Quantisierer 74, einen Codierer 75 variabler
Länge, einen
inversen Quantisierer 76, einen inversen DCT-Prozessor 77,
einen Addierer, einen Vollbildpufferspeicher 78 und einen
Bewegungskompensator 79.
-
Dieser
Bild-Codierer 7 kompressionscodiert digitale Bild-Signale
auf die gleiche Weise wie der zweite Bild-Codierer 8, unterscheidet
sich von dem zweiten Bild-Codierer 8 aber
in der Fähigkeit,
Bilder geringer Auflösung
zur Erzeugung der vorhergesagten Werte zu benutzen. Die Erzeugung
des vorhergesagten Wertes selbst wird durch den Bewegungskompensator 79 durchgeführt und
um dies zu erreichen, werden die in dem Vollbildpufferspeicher 88 gespeicherten
Bilder geringer Auflösung
des vorherigen Vollbildes in den Bild-Auflösungskonverter 92 (1B)
zur Auflösungs-Verdoppelung
sowohl in vertikaler als auch horizontaler Richtung eingegeben. Der
Bewegungskompensator 79 benutzt dann ein Bild derselben
Größe wie das
Originalbild, das der Bild-Auflösungskonverter 92 erhalten
hat, als einen der vorhergesagten Werte-Kandidaten. Der in 1A gezeigte
Bewegungskompensator 79 berechnet die Differenz zwischen
dem Originalbild und dem aus dem Vollbildpufferspeicher 78 eingelesenen,
vorhergesagten Wert und zwischen dem Originalbild und der Ausgabe
des zweiten Bild-Auflösungskonverters 92 und
wählt die
kleinere Differenz zur Eingabe in den DCT-Prozessor 73 aus.
-
Durch
eine Codierung von Bildern mit hoher Auflösung durch den ersten Bild-Codierer 7 so
wie beschrieben brauchen Teile wie Bildflächen mit geringer Auflösung nicht
codiert zu werden und der Codierungs-Wirkungsgrad kann erhöht werden.
Die mit hoher und geringer Auflösung
codierten Bilder werden dann durch den Multiplexer 93 gemultiplext
und auf den Übertragungspfad
ausgebeben.
-
Der
Decodierer (in den Figuren nicht gezeigt) erhält ein Bild geringer Auflösung durch
Extraktion und Decodierung der codierten Bild-Daten mit geringer
Auflösung
aus einem einzigen Typ codierter Bild-Daten. Zusätzlich können Bild-Daten mit hoher Auflösung auch
durch ein Extrahieren sowohl der mit hoher als auch geringer Auflösung codierten
Bild-Daten zum Decodieren erhalten werden. Der Benutzer kann somit
in Abhängigkeit
von der Situation zwischen einem Empfangen von Bildern mit geringer und
hoher Auflösung
umschalten. Derartige Auflösungs-Bilder
werden in MPEG-2 (ISO/IEC JTC1/SC29 N659, "ISO/IEC CD 13818-2: Informationstechnologie – generische
Codierung von Bewegungsbildern und verbundene Audioinformation – Teil 2:
Video", 1993.12)
erklärt.
-
Zum
Beispiel erzeugt ein Multiplexer 93 ein gemultiplextes,
ein HDTV-Signal aus dem Codierter 75 variabler Länge enthaltendes
Signal und ein Standard TV Signal aus einem Codierer 85 variabler
Länge.
-
Gemäß dem Stand
der Technik können
die in 1A und 1B gezeigten
Bild-Codierer 7 und 8 an
einer Fernsehsendestation vorhergesehen sein. In diesem Fall muss
die Fernsehsendestation sowohl ein HDTV-Signal als auch ein Standard
TV-Signal für dasselbe
Fernsehprogramm erzeugen.
-
Ein
Erreichen einer Skalierbarkeit mit dem vorherigen Bild-Codierungsverfahren
wird jedoch mit den folgenden Problemen konfrontiert.
-
Zuerst
nimmt die Qualität
der Bilder einer hohen Auflösung
ab. Wenn die Übertragungsrate
der komprimierten Bild-Daten geringer Auflösung b ist und diejenige der
komprimierten Bild-Daten hoher Auflösung c ist, wird die kombinierte Übertragungsrate
a eines komprimierten Bildes mittels dieses herkömmlichen Codierungs-Verfahrens
a = b + c sein. Untersuchungen haben gezeigt, dass die Qualität der unter
Benutzung einzig der Übertragungsrate
a codierten Bilder klar überlegen
ist, wenn die Bildqualität decodierter
Bilder mit unter Benutzung einzig der Übertragungsrate a für komprimierte
Bilder hoher Auflösung
codierten Bildern und unter Benutzung der Übertragungsraten b und c zur
getrennten Codierung von komprimierten Bild-Daten mit zwei verschiedenen
Auflösungen
codierten Bildern verglichen wird.
-
Zweitens
wird die Decodierungsvorrichtung auf der Empfangsseite komplexer.
Insbesondere ist es nicht möglich,
komprimierte Bild-Daten hoher Auflösung mit dem herkömmlichen
Codierungsverfahren ohne eine Benutzung getrennter Decodieren für Bilder
mit hoher und geringer Auflösung
zu decodieren.
-
WO-A-9206563
offenbart einen Bild-Decodierer mit parallel gewichteten Bewegungskompensationsschleifen,
die einen Kompensationskoeffizienten in der DCT-Ebene erzeugen.
-
Zusammenfassung
der Erfindung
-
Daher
ist es eine Aufgabe der vorliegenden Erfindung, Rekompressions-Verfahren und -Vorrichtungen
gemäß den angehängten Ansprüchen 1 bis
3, 5 und 8 bereitzustellen.
-
Wie
oben beschrieben verschlechtert sich die Bildqualität auf der
Reproduktionsseite nicht, weil komprimierte Bild-Daten hoher Auflösung unter
Benutzung der erlaubten Grenzen der Transferrate übertragen
werden können.
Da komprimierte Bild-Daten einer besonderen Auflösung ausgewählt und übertragen werden können, wird
vielmehr die Struktur der Decodierungsvorrichtung auch vereinfacht.
Normalerweise können
Decodierungsvorrichtungen, die Bilder hoher Auflösung decodieren können, auch
Bilder geringer Auflösung
decodieren, und unter Benutzung der Bild-Konvertierungsvorrichtung der
vorliegenden Erfindung codierte komprimierte Bild-Daten können daher
auch mittels einer einzigen Decodierungsvorrichtung für Bilder
hoher Auflösung decodiert
werden.
-
Kurze Beschreibung
der Zeichnungen
-
Die
vorliegende Erfindung wird aus der nachfolgend gegebenen detaillierten
Beschreibung und den begleitenden Darstellungen umfassender verstanden
werden, von denen:
-
1A und 1B wie
in 1 gezeigt zusammengenommen ein
Blockdiagramm der Bild-Konvertierungsvorrichtung gemäß dem Stand der
Technik zeigen,
-
2A, 2B, 2C und 2D wie
in 2 gezeigt zusammengenommen ein
Blockdiagramm der Bild-Konvertierungsvorrichtung der ersten Ausführungsform
der vorliegenden Erfindung zeigen,
-
3A, 3B und 3C wie
in 3 gezeigt zusammengenommen 2B, 2C beziehungsweise 2D ähnliche
Darstellungen aber für
die Bild-Konvertierungsvorrichtung
der zweiten Ausführungsform
der vorliegenden Erfindung zeigen,
-
4 ein
Blockdiagramm einer Bild-Konvertierungsvorrichtung gemäß der dritten
Ausführungsform
der vorliegenden Erfindung ist,
-
5 ein
Blockdiagramm zeigt, das ähnlich dem
in 2 gezeigten ist, aber für die Bild-Konvertierungsvorrichtung
der vierten Ausführungsform
der vorliegenden Erfindung dargestellt ist,
-
6A und 6B wie
in 6 gezeigt zusammengenommen 2C beziehungsweise 2D ähnliche,
aber für
die Bild-Konvertierungsvorrichtung
der fünften
Ausführungsform
der vorliegenden Erfindung gemachte Darstellungen zeigt,
-
7 ein
dem in 2B gezeigten ähnliches
Blockdiagramm aber für
die Bild-Konvertierungsvorrichtung der sechsten Ausführungsform
der vorliegenden Erfindung zeigt,
-
8 ein
Flussdiagramm ist, das ein Bild-Rekompressionsverfahren
gemäß der ersten Modifikation
der in 3A und 3B gezeigten Ausführungsform
ist,
-
9 ein
Bildkompressions-Verfahren gemäß der zweiten
Modifikation derselben zeigendes Flussdiagramm ist,
-
10 ein
Blockdiagramm einer Bild-Rekompressionsvorrichtung gemäß der dritten
Modifikation derselben und insbesondere zur Ausführung des Flussdiagramms der 8 zeigt,
-
11 ein
Blockdiagramm des in 10 gezeigten Differenzkoeffizienten-Speichers
zeigt,
-
12 ein
Blockdiagramm einer Bild-Rekompressionsvorrichtung gemäß der vierten
Modifikation derselben zeigt,
-
13 ein
Blockdiagramm einer Bild-Rekompressionsvorrichtung gemäß der fünften Modifikation
derselben zeigt,
-
14 ein
Diagramm einer Bild-Aufzeichnungsvorrichtung gemäß der sechsten Modifikation derselben
zeigt,
-
15 eine
der 10 ähnliche
aber eine Variation davon zeigende Darstellung ist,
-
16 eine
der 12 ähnliche
aber eine Variation davon zeigende Darstellung ist und
-
17 eine
der 13 ähnliche
aber eine Variation davon zeigende Darstellung ist.
-
Beschreibung
bevorzugter Ausführungsformen
-
Die
erste Ausführungsform
einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden Erfindung
wird nachfolgend mit Bezug auf die 2A, 2B, 2C und 2D wie
in 2 gezeigt zusammengenommen beschrieben. 2A ist
ein Blockdiagramm einer Bild-Codierungseinheit 7, die im
Wesentlichen die gleiche wie die in 1A gezeigte
ist. 2B ist ein Blockdiagramm einer Bild-Decodierungseinheit 1. 2C ist
ein Blockdiagramm der ersten Bild- Codierungseinheit 2 und 2D ist
ein Blockdiagramm der zweiten Bild-Codierungseinheit 3.
-
Gemäß der vorliegenden
Erfindung kann es so arrangiert sein, dass die Fernsehübertragungsstation
nur mit der in 2A gezeigten Anordnung zum Vorbereiten
und Übertragen
lediglich des HDTV-Signals, welches durch kompressionscodierte Bild-Daten
An hoher Auflösung
(wobei n eine positive ganze Zahl ist) gebildet wird, installiert
sein kann. Ein geeigneter, in 2B, 2C und 2D gezeigter Wandler
kann außerhalb
der Sendestation angebracht sein, so dass der Wandler nicht nur
das HDTV-Signal An aus der Leitung 10, sondern auch ein
Standard TV-Signal Bn1 und ein grobes TV-Signal Bn2 für das gleiche
Fernsehprogramm für
eine Vielzahl von Endbenutzern erzeugt. Man beachte, dass der Schaltkreis
der 2A in einem auf Anfrage arbeitenden (On-demand)
Dienstleistungszentrum oder in einem Netzwerk-Dienstleistungszentrum vorgesehen
sein kann. Der Wandler wird im Detail nachfolgend mit Bezug auf 2B, 2C und 2D beschrieben.
-
Unter
Bezug auf 2B werden die kompressionscodierten
Bild-Daten An hoher Auflösung, solche
wie für
das HDTV-Signal, mittels der Signalleitung 10 übertragen.
Die Bild-Decodierungseinheit 1 decodiert die durch die
Signalleitung 10 übertragenen,
komprimierten Bild-Daten, um die komprimierten Bild-Daten in die
ursprünglichen
Echtzeit-Bilddaten Rn zu konvertieren. Ähnlich einem herkömmlichen
Bild-Decodierer umfasst die Bild-Decodierungseinheit 1 einen
Decodierer 11 variabler Länge, einen inversen Quantisierer 12,
einen inversen DCT-Prozessor 13,
einen Addierer 13',
einen Vollbildpufferspeicher 14 und einen vereinfachten
Bewegungskompensator 15.
-
Das
durch die Bild-Decodierungseinheit 1 decodierte digitale
Bildsignal Rn hoher Auflösung wird
in die erste Bild-Codierungseinheit 2 (2C) eingegeben,
die komprimierte, auf eine erste Auflösung wie für das Standard TV-Signal konvertierte Bild-Daten
Bn1 erzeugt. Es sollte beachtet werden, dass die Hardwarekonfiguration
der Bild-Codierungseinheit 2 einfacher als die eines herkömmlichen Bild-Codierers
ist, wobei eine erste Bild-Codierungseinheit 2 insbesondere
einen Subtrahierer 20, einen DCT-Prozessor 21,
einen Quantisierer 22, einen Codierer 23 variabler
Länge,
einen inversen Quantisierer 24, einen inversen DCT-Prozessor 25,
einen Addierer 25',
einen Vollbildpufferspeicher 26, einen verein fachten Bewegungskompensator 27,
einen ersten Auflösungskonverter 28 und
einen Skalierungsschaltkreis 29 umfasst.
-
Das
durch die Bild-Decodierungseinheit 1 decodierte, digitale
Bildsignal hoher Auflösung
wird durch den ersten Auflösungskonverter 28 in
die zweite Bild-Codierungseinheit 3 (gezeigt
in 2D) zur Erzeugung der komprimierten, auf eine
zweite Auflösung
wie für
das grobe TV-Signal konvertierten Bild-Daten Bn2 eingegeben. Die
zweite Bild-Codierungseinheit 3 gibt komprimierte Bild-Daten
mit einer Bild-Datengröße kleiner
als die durch die erste Bild-Codierungseinheit 2 erhaltene
aus (durch die Anzahl horizontaler und vertikaler Bildelemente gemessen).
Verglichen mit der ersten Bild-Codierungseinheit 2 ist
die zweite Bild-Codierungseinheit 3 für eine Bildqualität ausgeführt und
umfasst einen Bewegungsdetektor 31, eine DCT-Modus-Auswerteeinrichtung 32 und
einen Bewegungskompensator 39 zusätzlich zu dem DCT-Prozessor 33,
einen Quantisierer 34, einen Codierer 34 variabler
Länge,
einen inversen Quantisierer 36, einen inversen DCT-Prozessor 37,
einen Addierer 37',
einen Vollbildpufferspeicher 38 und einen zweiten Auflösungskonverter 40.
-
Der
Auflösungskonverter
ist im U.S. Patent Nr. 4,789,893 von Weston, einem auf denselben Rechtsnachfolger
wie die vorliegende Erfindung übertragenen
US Patent 5,446,498 und Standard-Konvertierungs-TV-Systemen zwischen 1250/50
und 625/50 der BBC Forschungsabteilung UK offenbart.
-
Der
Betrieb der auf diese Art umfassten Bild-Konvertierungsvorrichtung
gemäß der ersten Ausführungsform
der vorliegenden Erfindung wird nun nachfolgend beschrieben. Es
wird hier angenommen, dass die komprimierten Bild-Daten An hoher
Auflösung
von dem Schaltkreis der 2A in
die Bild-Konvertierungsvorrichtung
durch Signalleitung 10 wie in 2B gezeigt
eingeben werden.
-
Die
komprimierten Bild-Daten An werden entlang der Signalleitung 10 ausgegeben,
gleichzeitig aber zur Rückkonvertierung
in Echtzeit-Bilddaten in die Bild-Decodierungseinheit 1 eingegeben.
Insbesondere decodiert der Decodierer 11 variabler Länge die
komprimierten Bild-Daten mit variabler Länge und decodiert die Nebeninformation.
Die decodierten Bild-Daten werden dann durch den inversen Quantisierer 12 invers
quantisiert. Der inverse DCT-Prozessor 13 führt eine inverse
DCT-Operation in Vollbild- oder Feldeinheiten basierend auf der
in der Nebeninformation enthaltenen DCT-Modus-Information durch und
erzeugt einen Konvertierungskoeffizienten. Das Ergebnis dieser Operation
ist eine Wiederherstellung der Bild-Daten zu Echtzeit-Bilddaten.
-
Da
diese Daten unterschiedlich codiert sind, erzeugen der Vollbildpufferspeicher 14 und
der Bewegungskompensator 15 dann ein voraussagendes Bild
unter Benutzung des Bewegungsvektors und in der Nebeninformation
enthaltener Bewegungskompensations-Modusinformation. Dieses vorausgesagte Bild
wird dann zu den Ausgabedaten aus dem inversen DCT-Prozessor 13 addiert,
um decodierte Echtzeit-Bilddaten zu erzeugen. Die Struktur des Bewegungskompensators 15 ist
im Vergleich mit der Struktur der Bewegungskompensatoren 79 und 89 der Bild-Codierungsvorrichtung
gemäß dem Stand
der Technik einfach. Dieses ist der Fall, da es nicht notwendig
ist, die Bild-Decodierungseinheit 1 mit einem Schaltkreis
zum Auswählen
des geeigneten Bewegungskompensations-Modus, d.h. einem quadratischen Fehlerrechner
auszustatten, weil der Bewegungskompensations-Modus bereits durch
die Codierungsvorrichtung auf der Übertragungsseite bestimmt ist,
und das voraussagende Bild einfach gemäß der aus den komprimierten
Bild-Daten decodierten Kompensationsmodus-Information erzeugt werden kann.
-
Die
Auflösung
der decodierten Bild-Daten wird dann auf ein halb (1/2) sowohl vertikal
als auch horizontal durch den ersten Auflösungskonverter 28 (2C)
reduziert. Das auflösungsverringerte
Bild wird durch ein Verfahren nach dem Stand der Technik kompressionscodiert.
Die während
einer Datendecodierung erhaltene Nebeninformation wird jedoch einschließlich der
DCT-Modusinformation,
einer Bewegungskompensations-Information und einer Bewegungsvektor-Information
dem Skalierungsschaltkreis 29 zugeführt, wodurch die Information
skaliert und zur Codierung benutzt wird. Diese Nebeninformation wird
für Bildblöcke oder
andere Bildeinheiten einer vorbestimmten Größe erhalten. Wenn die Bildauflösung zum
Beispiel auf ¼ der
ursprünglichen
Bildauflösung
reduziert wird, entspricht die Nebeninformation für vier Bildblöcke mit
hoher Auflösung
als ein Ergebnis einem Bildblock mit geringer Auflösung.
-
Skalierung
ist zum Beispiel möglich
durch Interpolation eines in der Mitte gelegenen Wertes aus dem
Mittelwert, Modus und Median des Zielblocks (vier Blöcke in diesem
Beispiel) und umgebenden Blöcken.
Die Hardware-Konfiguration kann somit vereinfacht und ein vereinfachter
Bewegungskompensator benützt
werden, weil der Bewegungsdetektor durch Benutzung der decodierten
und extrahierten Nebeninformation zur Codierung entbehrlich gemacht
worden ist.
-
Die
Ausgabe Rn des ersten Auflösungskonverters 28 wird
auch in den in 2D gezeigten zweiten Auflösungskonverter 40 eingegeben,
und die Auflösung
dadurch um eine weitere 1/2 vertikal und horizontal verringert.
Die Ausgabe des zweiten Auflösungskonverters 40 wird
benutzt, um komprimierte Bild-Daten unter Benutzung eines Verfahrens
gemäß dem Stand
der Technik zu erzeugen. Die zweite Bild-Codierungseinheit 3 unterscheidet
sich von der ersten Bild-Codierungseinheit 2 dadurch,
dass sie die Nebeninformation erneut berechnet. Während die erste
Bild-Codierungseinheit 2 die decodierte und extrahierte
Nebeninformation skaliert und die skalierte Nebeninformation zur
Codierung benutzt, tritt ein Fehler auf, weil diese Nebeninformation
bei Benutzung eines Bildes mit geringer Auflösung nicht genau erhalten wird,
und diese Nebeninformation kann besonders, wenn das Kompressionsverhältnis hoch
ist, ein Grund einer Bildverschlechterung werden. Es ist jedoch
möglich,
eine Bildverschlechterung durch Wiederberechnung der Nebeninformation
wie in der zweiten Bild-Codierungseinheit 3 zu
vermeiden. Somit sind erste und zweite Bild-Codierungseinheiten 2 und 3 zueinander
komplementär,
wobei die erste Bild-Codierungseinheit 2 die
Hardwarekonfiguration vereinfacht und die zweite Bild-Codierungseinheit 3 eine
Bildqualität
hervorhebt und daher wahlweise, wie benötigt, benutzt werden können.
-
Bilder
mit hoher Auflösung
können
somit sehr wirksam mittels der oben beschriebenen Ausführungsform
codiert werden, weil ein Codieren unter Benutzung einzig der zugewiesenen
Transferrate a möglich
ist. Da die komprimierten Bild-Eingabedaten hoher Auflösung wie
sie sind ausgegeben werden, während
auch die zu mit einer Vielzahl geringer Auflösung komprimierten Bild-Daten
konvertierten Bild-Daten ausgegeben werden, können ferner sowohl Bilder hoher
als auch geringer Auflösung
unter Benutzung einer einzigen Decodierungsvorrichtung hoher Auflösung decodiert
werden.
-
Man
beachte, dass die ersten und zweiten Auflösungskonverter 28 und 40 zur
Konvertierung der räumlichen
Auflösung
vorgesehen sind. Anstelle der räumli chen
Auflösungskonverter 28 und 40 ist
es möglich,
zeitliche Auflösungskonverter
zu verwenden. Derartige zeitliche Auflösungskonverter sind in MPEG-2
offenbart.
-
Die
zweite Ausführungsform
einer Bild-Konvertierungsvorrichtung gemäß der Erfindung wird nachfolgend
mit Bezug auf die 3A, 3B und 3C beschrieben.
Es muss beachtet werden, dass 3A, 3B und 3C entsprechende Abschnitte
der 2B, 2C bzw. 2D der
ersten Ausführungsform
zeigen und dass der Schaltkreis von 2A mit
dem Schaltkreis von 3A als eine Quelle der komprimierten
Bild-Daten An verbunden werden kann. Insbesondere ist 3A ein Blockdiagramm
der Bild-Decodierungseinheit 1 der Bild-Konvertierungsvorrichtung
in der zweiten Ausführungsform
der Erfindung und im Wesentlichen die gleiche wie das in 2B gezeigte. 3B ist
ein Blockdiagramm des Quantisierungssteuergerätes 4 und einer ersten
Bild-Codierungseinheit 2a und 3C ist
ein Blockdiagramm der zweiten Bild-Codierungseinheit 3A.
-
Diese
zweite Ausführungsform
unterscheidet sich von der ersten Ausführungsform dadurch, dass ein
Quantisierungssteuergerät 4 anstelle
der Auflösungskonverter 28 und 40 vorgesehen
ist. Während die
komprimierten Daten hoher Auflösung
in der Bild-Konvertierungsvorrichtung gemäß der ersten Ausführungsform
in komprimierte Bild-Daten geringer Auflösung konvertiert werden, wird
die Transferrate durch Ändern
des Quantisierungsniveaus gemäß der ersten
und zweiten Bild-Codierungseinheiten 2A und 3A konvertiert,
um die Bildqualität
zu steuern, während
die Auflösung
in dieser zweiten Ausführungsform
konstant gehalten wird. Die Bildqualität verschlechtert sich, wenn
das Quantisierungsniveau verringert wird, aber Kommunikations-Kosten
können
reduziert werden, weil die Transferrate gleichzeitig sinkt. Diese
zweite Ausführungsform
erreicht somit die obigen Effekte der ersten Ausführungsform,
während
sie auch eine Steuerung der Transferrate ermöglicht.
-
Variationen
und Modifikationen der zweiten Ausführungsform, insbesondere der
von einer in 3A und 3B gezeigten
doppelt punktierten und gestrichelten Linie umgebene Schaltkreisabschnitt
wird nachfolgend in Verbindung mit 8–19 weiter beschrieben werden.
-
Die
dritte Ausführungsform
der Bild-Konvertierungsvorrichtung gemäß der Erfindung wird nun mit
Bezug auf 4 beschrieben. Wie in 4 gezeigt,
umfasst die Bild-Konvertierungsvorrichtung eine erste Bild-Codierungseinheit 2B und
eine zweite Bild-Codierungseinheit 3B. Der Schaltkreis
der 2A kann mit dem Schaltkreis von 4 als
eine Quelle von komprimierten Bild-Daten An verbunden werden.
-
Diese
erste Bild-Codierungseinheit 2B wählt den ersten Koeffizienten
(z. B. den niederfrequenten Koeffizienten) aus den DCT-Konvertierungskoeffizienten
in den komprimierten digitalen Bild-Daten, die von der Signalleitung 10 darin
eingegeben werden, aus und erzeugt die kompressionscodierten Bild-Daten.
Die zweite Bild-Codierungseinheit 3B wählt den zweiten Koeffizienten
(z. B. den Konvertierungskoeffizienten, wodurch die Pixelanzahl
verringert ist) aus den von der ersten Bild-Codierungseinheit 2B eingegebenen
Bild-Daten aus und erzeugt entsprechend die kompressionscodierten
Bild-Daten.
-
Die
erste Bild-Codierungseinheit 2B umfasst einen vereinfachten
Decodierer 201 variabler Länge, eine erste Koeffizienten-Auswahlvorrichtung 202 und einen
ersten vereinfachten Codierer 203 variabler Länge. Die
zweite Bild-Codierungseinheit 3B umfasst
eine zweite Koeffizienten-Auswahlvorrichtung 301 und einen
zweiten Codierer 302 variabler Länge.
-
Der
Betrieb einer so zusammengesetzten Bild-Konvertierungsvorrichtung
wird nachfolgend beschrieben. Wie es die oben beschriebene zweite Ausführungsform
tut, gibt die dritte Ausführungsform komprimierte
Bild-Daten verschiedener Bildqualitätniveaus aus, steuert aber
die Bildqualität
durch Auswählen
des DCT-Koeffizienten
der komprimierten Bild-Daten mit einer hohen Auflösung. DCT
kann als eine Art von Frequenzanalyse angesehen werden. Umso geringer
die Frequenz, der der DCT-Koeffizient (vertikal und horizontal)
entspricht, ist die HVS als ein Ergebnis umso empfindlicher auf
einen Datenverlust und der Effekt auf die menschliche visuelle Wahrnehmung
der Bildqualität
umso größer.
-
Die
komprimierten Bild-Daten werden von der Signalleitung 10 in
den vereinfachten Decodierer 201 variabler Länge zur
Decodierung lediglich des DCT-Koeffiziententeils
eingegeben. Die erste Koeffizienten-Auswahlvorrichtung 202 lässt lediglich
die den niedrigen Frequenzen entsprechenden Koeffizienten und sondert
die anderen Koeffizienten aus. Wenn zum Beispiel 64 Koeffizienten
(8 horizontal und 8 vertikal) vorhanden sind, wählt die erste Koeffizienten-Auswahlvorrichtung 202 lediglich
25 Koeffizienten, besonders die 5 × 5 horizontalen und vertikalen Koeffizienten
beginnend von der niederfrequenten Komponente, aus und sondert die
verbleibenden Koeffizienten aus. Der erste vereinfachte Codierer 203 variabler
Länge codiert
diese 25 Koeffizienten wiederum mit variabler Länge, wobei die Daten in komprimierte
Bild-Daten mit einer reduzierten Transferrate für eine Ausgabe konvertiert
werden. Wenn zum Beispiel 16 Koeffizienten (4 × 4 vertikal und horizontal)
vorhanden sind, wählt
die zweite Bild-Codierungseinheit 3B lediglich
vier Koeffizienten, besonders die 2 × 2 horizontalen und vertikalen
Koeffizienten beginnend von der niederfrequenten Komponente, aus
und sondert die verbleibenden Koeffizienten aus.
-
Es
ist daher möglich,
mittels dieser Ausführungsform
die gleichen Effekte wie oben bei der zweiten Ausführungsform
mittels einer sogar einfacheren Konfiguration zu erreichen.
-
Die
vierte Ausführungsform
einer Bild-Konvertierungsvorrichtung gemäß der Erfindung wird nachfolgend
mit Bezug auf 5 beschrieben, die eine Modifizierung
des Schaltkreises der 2B zeigt. In der ersten Ausführungsform
ist die Quelle der komprimierten Bild-Daten An durch den Schaltkreis
der 2A vorgesehen, aber in dieser Ausführungsform
werden die komprimierten Bild-Daten An aus einem Datenspeicher einer
Speichereinheit 5 bereitgestellt. Im Vergleich zu der ersten,
in 2A bis 2D gezeigten
Ausführungsform
ist der einzige Unterschied, dass die vierte Ausführungsform
anstelle des in 2A gezeigten Schaltkreises eine
Speichereinheit 5 als eine Quelle von komprimierten Bild-Daten An aufweist.
-
Die
in 5 gezeigte Speichereinheit 5 ist eine
Datenbank zum Speichern von komprimierten Bild-Daten An und ist
zum Beispiel aus einer digitalen Signalaufzeichnungs- und Wiedergabevorrichtung mit
großer
Kapazität
und einer optischen Disk-Vorrichtung zusammengesetzt.
-
Die
Bild-Decodierungseinheit 1 decodiert die komprimierten,
von der Speichereinheit 5 reproduzierten Bild-Daten und
stellt aus den komprimierten Bild- Daten die ursprünglichen digitalen Echtzeit-Bilddaten
wieder her. Die Struktur und der Betrieb danach sind die gleichen
wie bei der ersten Ausführungsform.
-
Während die
komprimierten Bild-Daten hoher Auflösung in der ersten Ausführungsform
von einem Übertragungspfad
(Signalleitung 10) aus dem Schaltkreis der 2 eingegeben
werden, werden die komprimierten Bild-Daten hoher Auflösung in
der vorliegenden Ausführungsform
in der Speichereinheit 5 gespeichert. Die gespeicherten,
komprimierten Bild-Daten können
daher, sofern zur Konvertierung erforderlich, eingelesen und in
einer gewünschten Auflösung ausgegeben
werden, und somit können Bild-Daten
verschiedener Ausgabeauflösungen
erhalten werden.
-
Wenn
die Datenbank (Speichereinheit 5) diskret komprimierte
Bild-Daten für
jede der in dem skalierbaren Bereich von Auflösungen reproduzierbaren Auflösungen zu
speichern hätte,
würde die
Datenbank eine große
Speicherkapazität
benötigen.
Dieses Problem wird in der vorliegenden Ausführungsform der Erfindung jedoch
vermieden, weil komprimierte Bild-Daten geringer Auflösung und
hoher Bildqualität
mittels eines einfachen Konvertierungsprozesses aus den komprimierten
Bild-Daten hoher Auflösung
ausgegeben werden können,
und es ist daher ausreichend, lediglich die komprimierten Bild-Daten hoher
Auflösung
in der Speichereinheit 5 zu speichern.
-
Die
fünfte
Ausführungsform
einer Bild-Konvertierungsvorrichtung gemäß der Erfindung wird nachfolgend
mit Bezug auf 6A und 6B beschrieben.
Man beachte, dass 6A und 6B entsprechende
Abschnitte der 2C bzw. 2D der
ersten Ausführungsform
zeigen und dass der Schaltkreis der 2A und 2B mit
dem Schaltkreis der 6A verbunden werden kann, um
die gesamte Struktur der fünften
Ausführungsform
zu vervollständigen.
Insbesondere ist 6A ein Blockdiagramm der ersten
Bild-Codierungseinheit 2, und 6B ein
Blockdiagramm der zweiten Bild-Codierungseinheit 3. Der
einzige Unterschied der fünften Ausführungsform
in Bezug auf die erste Ausführungsform
ist es, dass die fünfte
Ausführungsform eine
Schlüsseleingabe-Einrichtung 61 zur
manuellen Änderung
des Auflösungsniveaus
der ersten und zweiten Auflösungskonverter 28 und 40 aufweist.
-
Ein
die Auflösung
des konvertierten Bildes angebendes Steuersignal wird durch eine
Schlüsseleingabe-Einrichtung 61 erzeugt
und dem ersten Auflösungsumkonverter 28 (6A)
und dem zweiten Auflösungskonverter 40 (6B)
zugeführt.
Während
in der obigen ersten Ausführungsform
die Auflösung
auf ½ bzw. ¼ durch
die ersten und zweiten Auflösungskonverter 28 und 40 konvertiert
wird, kann die Auflösung
in der vorliegenden Ausführungsform
in Antwort auf eine Anforderung eines Benutzers geändert werden.
-
Es
ist für
den Benutzer deshalb möglich, komprimierte
Bild-Daten in der gewünschten
Auflösung
innerhalb der reproduzierbaren Auflösungsgrenzen zu erhalten.
-
Die
sechste Ausführungsform
einer Bild-Konvertierungsvorrichtung gemäß der Erfindung wird nachfolgend
unter Bezug auf 7 beschrieben. Es ist zu beachten,
dass 7 einen der 2B der
ersten Ausführungsform
entsprechenden Abschnitt zeigt und dass der Schaltkreis der 2A aus
der ersten Ausführungsform
und der Schaltkreis der 6A und 6B aus
der fünften
Ausführungsform
mit dem Schaltkreis von 7 verbunden werden können, um
den ganzen Aufbau der sechsten Ausführungsform zu vervollständigen.
Der einzige Unterschied der sechsten Ausführungsform gegenüber der
fünften
Ausführungsform
besteht darin, dass die sechste Ausführungsform eine Auswahlvorrichtung 62 zum
Auswählen
beliebiger Bild-Daten aus unterschiedlichen komprimierten Bild-Daten
An, Bn1 und Bn2, die dem HDTV-Signal An, einem Standard-TV-Signal
Bn1 und einem groben TV-Signal Bn2 entsprechen können, aufweist.
-
Wie
in 7 gezeigt, ist die Auswahlvorrichtung 62 im
Ausgangspfad der Bild-Konvertierungsvorrichtung
zur alternativen Auswahl der Signalleitung 10 (An), des
Ausgangs aus der ersten Bild-Codierungseinheit 2 (Bn1)
oder des Ausgangs aus der zweiten Bild-Codierungseinheit 3 (Bn2)
gemäß der Steuerungssignaleingabe
aus der Schlüsseleingabe-Einrichtung 61 vorgesehen.
Während
in der ersten Ausführungsform
die Ausgänge
der ersten und zweiten Bild-Codierungseinheiten 2 und 3 direkt
auf den Übertragungspfad
ausgegeben werden, kann die Ausgabe durch die Auswahlvorrichtung 62 geschaltet
werden, um komprimierte Bild-Daten in Antwort auf eine über die
Schlüsseleingabe-Einrichtung 61 eingegebene
Anforderung eines Benutzers auszugeben.
-
Es
ist für
den Benutzer daher möglich,
komprimierte Bild-Daten mit einer gewünschten Auflösung zu
erhalten, sogar, wenn die Kapazität des Übertragungspfades zu der Betrachtungsposition
beschränkt
ist.
-
Man
beachte, dass die hierin zuvor beschriebenen Bild-Codierer und -Decodierer
unter Benutzung eines DCT-Codierungsverfahrens beschrieben worden
sind, es aber klar ist, dass die vorliegende Erfindung nicht derart
beschränkt
ist und andere Codierungs-/Decodierungsverfahren unter Einschluss
einer orthogonalen Transformation, einer Vektorquantisierung, einer
Subband-Codierung und DPCM auch benutzt werden können.
-
Während eine
räumliche
Auflösungskonvertierung
als Auflösungskonvertierung
in der ersten, vierten, fünften
und sechsten obigen Ausführungsform
beispielhaft benutzt wurde, sollte ferner beachtet werden, dass
die vorliegende Erfindung nicht derart beschränkt werden soll, und die gleichen
Wirkungen unter Benutzung anderer Konvertierungsverfahren einschließlich einer
Veränderung
der Anzahl von Vollbildern oder einer zeitlichen Auflösungskonvertierung
erreicht werden können.
Die obigen Ausführungsformen
sind mit getrennter Anwendung räumlicher
Auflösung
oder Bildqualitätskonvertierung
als Auflösungskonvertierung
beschrieben worden, die vorliegende Erfindung soll darüber hinaus
aber nicht derart beschränkt
werden, und räumliche,
zeitliche und/oder Bildqualitätskonvertierungen
können
in verschiedenen Kombinationen benutzt werden.
-
Die
vorherigen Ausführungsformen
sind weiter unter einer Annahme einer Eingabe von komprimierten
Bild-Daten hoher Auflösung
beschrieben worden, es ist aber auch möglich, die vorliegende Erfindung
auszubilden, um komprimierte Bild-Daten mit erhöhter Auflösung unter Benutzung einer
Eingabe von komprimierten Bild-Daten geringer Auflösung zu erzeugen.
-
Die
obigen vierten, fünften
und sechsten Ausführungsformen
wurden ebenso in Kombination mit der in der ersten Ausführungsform
beschriebenen Bild-Konvertierungsvorrichtung
beschrieben, sollen aber nicht derart beschränkt sein und können besonders
die Bild-Konvertierungsvorrichtung der zweiten oder dritten Ausführungsform
umfassen.
-
Die
Ausführungsformen
sind ebenso als zwei Arten von Bild-Codierern jeweils für die zeitliche Auflösung, räumliche
Auflösung,
und ein Quantisierungsniveau umfassend beschrieben worden. Die räumliche
Auflösungskonvertierung
wird von den ersten und zweiten in 2C und 2D gezeigten Auflösungskonvertern 28 und 40 durchgeführt. Die Änderung
des Quantisierungsniveaus, um die Auflösung zu verändern, wird vom Quantisierungssteuergerät 4 und
in 3B und 3C gezeigten
Quantisierern 22 und 34 durchgeführt. Die
zeitliche Auflösungskonvertierung
wird von einem in MPEG-2 offenbarten zeitlichen Auflösungskonverter
durchgeführt.
Es ist jedoch auch möglich,
eine Vielzahl von Bild-Codierern, zum Beispiel erste, zweite, ...
k-te Bild-Codierer vorzusehen und alternativ die geeigneten Bild-Codierer
für die
laufende Operation auszuwählen.
-
Mittels
einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden Erfindung
können
Bilder hoher Auflösung
sehr effizient codiert werden, weil eine Codierung unter Benutzung
der vollen, zugewiesenen Transferrate ausgeführt werden kann. Bilder sowohl
hoher als auch geringer Auflösung
können
auch unter Benutzung einer einzigen Decodierungsvorrichtung hoher
Auflösung
decodiert werden, weil die komprimierten Bild-Eingabedaten hoher
Auflösung direkt
ausgegeben und in komprimierte Bild-Daten einer Vielzahl geringer
Auflösungen
konvertiert werden.
-
Mittels
einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden Erfindung
werden die komprimierten, in der Speichereinheit gespeicherten Bild-Daten
gelesen wie sie zur Konvertierung in und Ausgabe mit einer bestimmten
Auflösung
benötigt werden,
und Bild-Daten können
auf diese Weise in einem großen
Bereich von Bildauflösungen
ausgegeben werden. Es ist daher auch nicht notwendig, die Speichereinheit
mit einer großen
Speicherungskapazität
auszustatten.
-
Mittels
einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden Erfindung
kann die Auswahlvorrichtung die Ausgabe schalten, um die gewünschten
komprimierten Bild-Daten durch Anwendung des geeigneten Befehls
in der Schlüsseleingabe-Einrichtung
in Antwort auf eine Anforderung von dem Benutzer der Bild-Konvertierungsvorrichtung auszugeben.
Selbst wenn die Kapazität
des Übertragungspfades
zum Betrachtungsort begrenzt ist, ist es dem Benutzer daher möglich, komprimierte
Bild-Daten einer bestimmten Auflösung
zu erhalten.
-
Die
Bildauflösung
kann mittels einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden
Erfindung in Antwort auf eine Anforderung des Benutzers der Bild-Konvertierungsvorrichtung
geändert
werden, und der Benutzer kann daher komprimierte Bild-Daten mit
einer bestimmten Auflösung
erhalten.
-
Mittels
einer Bild-Konvertierungsvorrichtung gemäß der vorliegenden Erfindung
ist es möglich,
die für
die Bild-Konvertierungsvorrichtung notwendige Hardware weiter zu
vereinfachen, weil die Bildauflösung
durch Auswählen
des Konvertierungskoeffizienten geändert werden kann.
-
Es
gibt auch keine sich aus irgendeiner der vorherigen Ausführungsformen
ergebende Bildverschlechterung, weil Bilder mit hoher Auflösung unter Benutzung
der gesamten zugewiesenen Transferrate codiert werden können. Bilder
unterschiedlicher Auflösungen
können
auch unter Benutzung lediglich einer einzigen Bild-Decodierungseinheit 1 hoher
Auflösung
decodiert werden, und die Belastung der Decodierungseinheit kann
verringert werden.
-
Nun
werden Variationen und Modifikationen der zweiten Ausführungsform,
besonders des in 3A und 3B durch
eine gestrichelte und doppelt punktierte Linie umgebenen Schaltkreisabschnitts
beschrieben.
-
Während die
Modifikationen beispielhaft unter Benutzung lediglich des kompressionscodierten Bitstromes
durch das zwischen Vollbildern (interframe) voraussagende DCT-Codierungsverfahren
beschrieben sind, ist zu beachten, dass das Verfahren zur Bild-Rekompression
und die Bild-Rekompressionsvorrichtung der vorliegenden Erfindung
nicht auf diese Methode beschränkt
sind. Andere Kompressions-Schemata, auf welche die vorliegende Erfindung auch
angewendet werden kann, enthalten andere Kompressions-Codierungsverfahren,
die eine Vollbild-Vorhersage (enthaltend Subband- und Waveletkonvertierung),
und Kompressions-Codierungsverfahren, die eine Vorhersage zwischen
Bildelementen oder anderen Dateneinheiten (enthaltend Differential-Pulscodemodulation
(DPCM)) benutzen.
-
Das
grundlegende Konzept der Modifikationen ist in der am 7. Dezember
1994 veröffentlichten europäischen Patentveröffentlichung
Nr. 627 858 A3 offenbart.
-
(Modifikation 1)
-
Die
erste Modifikation der Erfindung wird nachfolgend mit Bezug auf
die 8 beschrieben, die ein zur Beschreibung eines
Verfahrens zur Bild-Rekompression gemäß der ersten Modifikation der
Erfindung benutztes Flussdiagramm zeigt.
-
Dieser
Prozess beginnt, wenn der kompressionscodierte Bilddaten-Bitstrom
bei Schritt #40 eingegeben wird. Der quantisierte DCT-Koeffizient
a [i] und der erste Quantisierungsschritt q [i] werden dann aus
dem Bitstrom extrahiert. Man beachte, dass "i" ein
Wert aus 1... N, "N" die Anzahl der DCT-Koeffizienten
für die
Zielblöcke
ist, und der Wert von N sich gemäß dem Zielblock
verändert.
Der DCT-Koeffizient a
[i] wird durch eine DCT der Bildquelle oder einen Vorhersagefehler
erhalten und das Ergebnis dann bei q [i] quantisiert. Während i ≠ j ist, kann
der erste Quantisierungsschritt q [i] ferner gleich anderen Quantisierungsschritten
wie q [i] = q [j] sein.
-
Der
Quantisierungsschritt q [i] wird dann mit dem Koeffizienten a [i]
zur inversen Quantisierung multipliziert (Schritt #42). Ein Kompensationskoeffizient
z [i] wird dann von dem durch inverse Quantisierung erhaltenen invers
quantisierten Koeffizienten b [i] subtrahiert (Schritt #43). Dieser
Kompensationskoeffizient z [i] ist der durch eine Rekompression
der vorhergehenden Bild-Daten (der Kompensationskoeffizient wird
in Schritt #48 wie unten beschrieben erhalten) auftretende Rekompressionsfehler.
-
Der
kompensierte Koeffizient b' [i]
wird dann bei Schiritt #44 durch einen zweiten Quantisierungsschritt
qN [i] quantisiert, um den Quantisierungskoeffizienten
c [i] zu erhalten. Wie bei dem ersten Quantisierungsschritt können die
zweiten Quantisierungsschritte qN [i], während i ≠j ist, gleich
sein, so dass qN [i] = qN [j]
ist. Man beachte, dass der zweite Quantisierungsschritt qN [i] normal so gesteuert wird, dass der
Bilddaten-Bitstrom nach einer Rekompression weniger Daten als der
Bitstrom der ursprünglichen
Videoeingabe enthält.
Der sich ergebende Quantisierungskoeffizient c [i] und der Quantisierungsschritt
qN [i] werden dann bei Schritt #50 einem
Codierer variabler Länge
zugeführt.
-
Das
Verfahren zum Erhalten dieses Kompensationskoeffizienten wird nachfolgend
beschrieben. Dieser Kompensationskoeffizient ist der sich aus einer
Quan tisierung bei dem zweiten Quantisierungsschritt qN [i]
ergebende Quantisierungsfehler. Um diesen Koeffizienten zu erhalten,
wird zuerst bei Schritt #45 eine inverse Quantisierung angewandt, d.h.
Koeffizient c [i] wird mit qN [i] multipliziert,
um einen invers quantisierten Koeffizienten d [i] zu erzeugen. Da
der Kompensationskoeffizient z [i] von dem invers quantisierten
Koeffizienten b [i] bei Schritt #43 subtrahiert wird, wird der invers
quantisierte Koeffizient d [i] (aus Schritt #45) durch ein Addieren
von z [i] zu d [i] bei Schritt #46 kompensiert, was zu einem kompensierten
Koeffizienten e [i] führt.
Man beachte, dass der Koeffizient e (i] durch erneute Quantisierung b
[i] wiederhergestellt wird. Der durch ein erneutes Quantisieren
bei qN [i] hervorgerufene Quantisierungsfehler
kann daher durch Erhalten der Differenz e [i] und b [i] bestimmt
werden. Dieser Quantisierungsfehler ist der auf das nächste Bild
angewandte Kompensationskoeffizient z' [i]. Mit anderen Worten wird der Kompensationskoeffizient
z' [i] im vorliegenden
Vollbild erhalten und der Kompensationskoeffizient z [i] wird im
vorherigen Vollbild erhalten. Es ist zu beachten, dass der Kompensationskoeffizient
z' [i] auch durch
ein Subtrahieren des kompensierten Koeffizienten b' [i] von dem invers
quantisierten Koeffizienten d [i] erhalten werden kann.
-
Die
Kompensationskoeffizienten z' [i]
werden dann zur Benutzung als das Kompensationssignal während einer
Rekompression des nächsten
Bildes vorübergehend
gespeichert (Schritt #50).
-
Die
vorhergehende Sequenz wird für
jeden Block in dem laufenden Bild wiederholt, und die Kompensationskoeffizienten
z' (i] werden für jeden
Block gespeichert. Vor einer Rekompression des nächsten Bildes werden die Kompensationskoeffizienten
z' [i] aus einem
Speicher gelesen und als die Kompensationskoeffizienten z [i] im
vorherigen Prozess benutzt.
-
Man
beachte, dass Schritte #43 und #46 nicht für intraframe codierte Blöcke ausgeführt werden,
weil diese Vollbilder vollständig
ohne Bezug auf das vorherige Bild codiert sind. Zusätzlich wird
der obige Prozess in der DCT-Ebene ausgeführt, aber die DCT-Koeffizienten
können
invers konvertiert und der Prozess in der räumlichen Ebene ausgeführt sein.
-
Man
sollte auch beachten, dass die in Schritt #42 angewendete inverse
Quantisierung weggelassen werden kann. In diesem Fall wird b [i]
= a [i] bei Schritt #42 und der zweite Quantisierungsschritt qN [i] wird mit q [i] multipliziert. Dann
wird in Schritt #50 q [i] anstelle von qN [i]
ausgegeben.
-
(Modifikation 2)
-
Die
zweite Modifikation wird nun unter Bezug auf die 9 beschrieben,
die ein zur Beschreibung eines Verfahrens zur Bild-Rekompression
gemäß der zweiten
Modifikation der Erfindung benutztes Flussdiagramm zeigt.
-
Dieser
Vorgang beginnt, wenn der kompressionscodierte Bilddaten-Bitstrom
bei Schritt #70 eingegeben wird. Der quantisierte DCT-Koeffizient
a [i] wird dann aus dem Bitstrom extrahiert. Man beachte, dass als
obiges „i" ein Wert von 1...
N genommen wird, wobei „N" die Anzahl von DCT-Koeffizienten
für die
Zielblöcke
ist und der Wert von N gemäß dem Zielblock
variiert. Der DCT-Koeffizient a [i] wird durch eine DCT des Quellbildes
oder einen Vorhersagefehler und anschließende Quantisierung des Ergebnisses
erhalten.
-
Ein
Kompensationskoeffizient z [i] wird dann von dem DCT-Koeffizienten
a [i] abgezogen (Schritt #72). Dieser Kompensationskoeffizient z[i]
ist der sich bei einer Rekompression der vorhergehenden Bild-Daten
(der Kompensationskoeffizient wird bei Schritt #78 wie unten beschrieben
erhalten) ergebende Rekompressionsfehler.
-
„K" kompensierte Koeffizienten
a' [i], wobei K ≤ N, werden
dann ausgewählt
und gehalten (Koeffizienten u [i]) und die anderen Koeffizienten
werden verworfen (Schritt #74). Durch diese Abrundung der Koeffizienten
kann das Bild sogar mit höherer
Wirksamkeit komprimiert werden. Ferner verändert sich der Wert von K gemäß dem Bildblock
und wird so gesteuert, dass der Bild-Bitstrom nach einer Rekompression
weniger Daten als der Bitstrom der ursprünglichen Bild-Eingabe enthält. Der
sich ergebende Koeffizient u [i] wird dann bei Schritt #80 ausgegeben.
-
Das
Verfahren zum Erhalten dieses Kompensationskoeffizienten wird nachfolgend
beschrieben. Dieser Kompensationskoeffizient ist der sich aus einem
Verwerfen einer Anzahl von kompensierten Koeffizienten a' [i] ergebende Fehler.
Um diesen Fehler zu erhalten, werden ausgewählte Koeffizienten u [i] durch
Hin zuaddieren des Kompensationskoeffizienten z [i] kompensiert,
wobei kompensierte Koeffizienten w [i] erhalten werden. Man beachte,
dass die kompensierten Koeffizienten w [i] den nach einem Abrundungsvorgang
der Koeffizienten in Schritt #74 gehaltenen Koeffizienten entsprechen.
Als ein Ergebnis kann der durch den Abrundungsschritt eingeführte Fehler
durch ein Erhalten der Differenz aus w ['i] und a [i], was bei Schritt #78 durchgeführt wird,
bestimmt werden, und führt
zu den Kompensationskoeffizienten z' [i]. Es sollte beachtet werden, dass
die Kompensationskoeffizienten z' [i]
auch durch Subtrahieren der kompensierten Koeffizienten a' [i] (Koeffizienten
a [i] kompensiert durch z [i]) aus den ausgewählten Koeffizienten u [i] erhalten
werden können.
-
Die
Kompensationskoeffizienten z' [i]
werden dann vorübergehend
während
einer Rekompression des nächsten
Bildes zur Benutzung als das Kompensationssignal gespeichert (Schritt
#80).
-
Die
obige Sequenz wird für
jeden Block in dem gegenwärtigen
Bild wiederholt und die Kompensationskoeffizienten z' [i] werden für jeden
Block gespeichert. Vor einer Rekompression des nächsten Bildes werden die Kompensationskoeffizienten
z' [i] aus einem
Speicher gelesen und als Kompensationskoeffizienten z [i] in dem
obigen Prozess benutzt.
-
Man
beachte, dass Schritte #72 und #76 nicht für intraframe codierte Blöcke ausgeführt werden,
weil diese Vollbilder vollständig
ohne Bezugnahme auf das vorherige Bild codiert sind.
-
(Modifikation 3)
-
Die
dritte Modifikation der Erfindung wird nachfolgend mit Bezug auf 10 beschrieben,
die ein Blockdiagramm einer Bild-Rekompressionsvorrichtung 300 zeigt,
welche die in der ersten Modifikation beschriebenen Schritte (gezeigt
in 8) ausführt.
Wie in 10 gezeigt, umfasst diese Bild-Rekompressionsvorrichtung
einen Decodierer 110 variabler Länge, ein Ratensteuergerät 120,
einen ersten inversen Quantisierer 130, einen ersten Addierer 210,
einen Quantisierer 140, einen Codierer 150 variabler
Länge,
einen Multiplexer 160, einen zweiten inversen Quantisierer 170,
einen zweiten Addierer 220, einen dritten Addierer 230 und
einen Koeffizientendifferenz-Speicher 180.
-
Der
Bitstrom codierter Bild-Daten wird vom Eingabe-Anschluss 100 in
den Decodierer 110 variabler Länge eingegeben, der den eingehenden
Bitstrom analysiert, um den Quantisierungsschritt q [i] und quantisierte
DCT-Koeffizienten a [i] auszuwählen und
in numerische Werte zu decodieren. Man beachte, dass wie "i" ein Wert von 1... N, "N" die Anzahl der DCT-Koeffizienten für die Zielblöcke ist,
und sich der Wert von N entsprechend dem Zielblock verändert.
-
Der
Decodierer 110 variabler Länge gibt decodierte Werte an
den ersten inversen Quantisierer 130 über eine Leitung 2010 aus.
Der Rest der Daten im eingehenden Bitstrom (d.h. andere Daten als
q [i] und a (i]) wird vom Decodierer 110 variabler Länge über eine
Leitung 2000 zum Multiplexer 160 durchgegeben.
-
Der
erste inverse Quantisierer 130 quantisiert a [i] bei Quantisierungsschritt
q [i] invers, was zu einer Ausgabe des invers quantisierten Koeffizienten b
[i] an den ersten Addierer 210 über die Leitung 2020 führt. Der
erste Addierer 210 subtrahiert den Kompensationskoeffizienten
z [i], der aus den letzten Bild-Daten erzeugt und in dem Koeffizientendifferenz-Speicher 180 gespeichert
ist, von b [i], was kompensierte invers quantisierte Koeffizienten
b' [i] ergibt. Diese
Koeffizienten b' [i]
werden dann über
eine Leitung 2022 zur Quantisierung durch einen neuen Quantisierungsparameter
qN [i] zur Erzeugung des quantisierten Koeffizienten
c [i] in den Quantisierer 140 eingegeben.
-
Sowohl
der quantisierte Koeffizient c [i] als auch der Quantisierungsparameter
qN [i] werden in den Codierer 150 variabler
Länge über eine
Leitung 2030 eingegeben und dadurch zu einem Code variabler
Länge konvertiert,
der an den Multiplexer 160 ausgegeben wird.
-
Der
Multiplexer 160 multiplext den mit variabler Länge codierten
quantisierten Koeffizienten c [i] und den von dem Codierer 150 variabler
Länge über eine
Leitung 2040 eingegebenen Quantisierungsparameter qN [i] mit den anderen Daten in dem eingehenden,
von dem Decodierer 110 variabler Länge über die Leitung 2000 eingegebenen
Bitstrom und gibt den gemultiplexten Bitstrom aus. Der sich ergebende
gemultiplexte Bitstrom ist somit eine rekomprimierte Version des
eingehenden Bitstromes.
-
Man
beachte, dass der Wert des Quantisierungsschrittes qN [i]
normalerweise durch Zählen
der Bits in der Ausgabe des Codierers 150 variabler Länge und
eine entsprechende Einstellung des Quantisierungsschrittes qN [i] zum Erreichen einer bestimmten Bitrate
durch das Ratensteuergerät 120 bestimmt wird.
-
Man
beachte ferner, dass der erste inverse Quantisierer 130 weggelassen
werden kann. In diesem Falle sind Signale b [i] und a [i] auf der
Leitung 2020 gleich und das Ergebnis einer Multiplikation
von q [i] mit qN [i] wird an den Multiplexer 160 über eine Leitung 2040 anstelle
von qN [i] ausgegeben.
-
Der
Quantisierungsschritt qN [i] und der Koeffizient
c [i] werden ebenso in den zweiten inversen Quantisierer 170 über eine
Leitung 2032 zur inversen Quantisierung von c [i] bei qN [i] eingegeben, und somit ein invers quantisierter
Koeffizient d [i] erzeugt. Der zweite Addierer 220 addiert
dann den gemäß den letzten
Bild-Daten erzeugten Kompensationskoeffizienten z [i] zu d [i] und
gibt die Summe an den dritten Addierer 230 aus.
-
Der
dritte Addierer 230 erhält
die Koeffizientendifferenz z' [i]
aus der vom zweiten Addierer 220 eingegebenen Summe und
von über
eine Leitung 2024 eingegebenem b [i]. Die Koeffizientendifferenzen
z' [i] werden dann
in dem Koeffizientendifferenz-Speicher 180 gespeichert.
Diese Koeffizientendifferenzen werden dann als Kompensationskoeffizienten
zur Rekompression des nächsten
Bildes benutzt.
-
Wie
in 15 gezeigt, ist zu beachten, dass die Koeffizientendifferenzen
z' [i] ebenso durch
ein Subtrahieren der Ausgabe b' [i]
des ersten Addierers 210 von den invers quantisierten,
vom zweiten inversen Quantisierer 170 ausgegebenen Koeffizienten
d [i] erhalten werden können.
Diese Konfiguration macht es auch möglich, einen Addierer zu eliminieren.
-
Die
bevorzugte Modifikation des Koeffizientendifferenz-Speichers 180 wird
nun mit Bezug auf 11 beschrieben, die ein Blockdiagramm
des Koeffizientendifferenz-Speichers 180 ist. Wie in 11 gezeigt,
umfasst dieser Koeffizientendifferenz-Speicher 180 einen
Prozessor 182 zur invers orthogonalen Transformation, wie
einer inversen DCT, einen Vollbildspeicher 184 und einen
Prozessor 186 zur orthogonalen Transformation, wie einer
DCT. Die von dem Eingabe- Anschluss 181 eingegebenen
Koeffizientendifferenzen z' [i]
sind DCT-Koeffizienten.
Diese Koeffizienten werden vom Prozessor 182 zur invers orthogonalen
Transformation invers konvertiert, um die Differenzsignale im Ortsraum
wiederherzustellen. Die Ergebnisse werden im Vollbildspeicher 184 gespeichert
und werden benutzt, wenn das nächste
Bild rekomprimiert wird.
-
Der
Vorgang, durch den das nächste
Bild rekomprimiert wird, wird nun betrachtet. Eine Bewegungskompensation
wird benötigt,
um ein Differenzsignal im Ortsraum aus dem Vollbildspeicher 184 zu erhalten,
weil das Vorhersagesignal durch eine Bewegungskompensation erhalten
wird. Diese Bewegungsinformation wird von dem Decodieren 110 variabler
Länge über eine
Leitung 2080 eingegeben.
-
Das
Differenzsignal für
den Zielblock wird dann basierend auf der Bewegungsinformation aus dem
Vollbildspeicher 184 geholt und über eine Leitung 2094 an
den Prozessor 186 zur orthogonalen Transformation ausgegeben.
Das Differenzsignal im Ortsraum wird dann in den Konvertierungsraum
konvertiert, um die Koeffizientendifferenz zu erzeugen. Diese Koeffizientendifferenz
wird über
eine Leitung 2070 an den ersten Addierer 2010 ausgegeben
und als der Kompensationskoeffizient benutzt. Wenn eine Bewegungskompensation
mit einer Genauigkeit eines halben Bildelementes oder einer größeren Genauigkeit
angewendet wird, werden in dem Vollbildspeicher 184 gespeicherte
Differenzsignale interpoliert und vor einer Bewegungskompensation
abgetastet.
-
Man
beachte, dass es ebenso möglich
ist, die Koeffizienten z [i] der DCT-Ebene in dem Vollbildspeicher 184 direkt
zu speichern, und eine Bewegungskompensation in der DCT-Ebene anzuwenden, um
die Kompensationskoeffizienten zu erzeugen. In diesem Fall können sowohl
der Prozessor 182 zur invers orthogonalen Transformation
und der Prozessor 186 zur orthogonalen Transformation eliminiert
werden.
-
Während diese
Modifikation mit Bezug auf eine intraframe voraussagende Codierung
beschrieben worden ist, ist es auch möglich, andere DPCM-Techniken,
die sich auf Pixel oder andere Dateneinheiten beziehen, zu benutzen.
In diesem Fall werden die Signale nicht im Konvertierungsraum prozessiert,
und der Prozessor 182 zur invers orthogonalen Transformation
und der Prozessor 186 zur orthogonalen Transformation in 11 können eliminiert werden.
-
(Modifikation 4)
-
Die
vierte Modifikation der Erfindung wird nachfolgend mit Bezug auf
die 12 beschrieben, die ein Blockdiagramm einer Bild-Rekompressionsvorrichtung 300 gemäß der vierten
Modifikation der Erfindung zeigt. Wie in 12 gezeigt,
umfasst diese Bild-Rekompressionsvorrichtung einen Decodierer 110 variabler
Länge,
ein Ratensteuergerät 120,
einen ersten inversen Quantisierer 130, einen ersten Prozessor 240 zur
invers orthogonalen Transformation, einen ersten Addierer 210,
einen Prozessor 250 zur orthogonalen Transformation, einen
Quantisierer 140, einen Codierer 150 variabler
Länge,
einen Multiplexer 160, einen zweiten inversen Quantisierer 170,
einen zweiten Prozessor 260 zur invers orthogonalen Transformation,
einen zweiten Addierer 220, einen dritten Addierer 230 und
einen Vollbildspeicher 270 zum Speichern eines Differenzsignals.
-
Der
Bitstrom codierter Bild-Daten wird von dem Eingabe-Anschluss 100 in
den Decodierer 110 variabler Länge eingegeben, der den eingehenden Bitstrom
analysiert, um den Quantisierungsschritt q [i] und quantisierte
DCT-Koeffizienten a [i] auszuwählen
und in numerische Werte zu decodieren. Man beachte, dass obiges "i" ein Wert von 1... N, "N" die Zahl der DCT-Koeffizienten für die Zielblöcke ist
und sich der Wert von N gemäß dem Zielblock
verändert.
-
Der
Decodierer 110 variabler Länge gibt die decodierten Werte
an den ersten inversen Quantisierer 130 über eine
Leitung 3010 aus. Der Rest der Daten in dem eingehenden
Bitstrom (d. h. andere Daten als q [i] und a [i]) wird von dem Decodierer 110 variabler
Länge über eine
Leitung 3000 zum Multiplexer 160 durchgegeben.
-
Der
erste inverse Quantisierer 130 quantisiert a [i] bei Quantisierungsschritt
q [i] invers, was zu dem invers quantisierten Koeffizienten b [i]
führt,
der über
eine Leitung 3012 an den ersten Prozessor 240 zur
invers orthogonalen Transformation ausgegeben wird. Der erste Prozessor 240 zur
invers orthogonalen Transformation konvertiert die Koeffizienten
b [i] der DCT-Ebene in die räumliche
Ebene, um ein erstes räumliches
Signal s [i] zu erhalten. Dieses räumliche Signal s [i] wird über eine
Leitung 3020 an den ersten Addierer 210 ausgegeben.
-
Der
erste Addierer 210 subtrahiert den Kompensationskoeffizienten
z [i], der aus den letzten Bild-Daten erzeugt wird und im Differenzsignal-Speicher 270 gespeichert
ist, von einem räumlichen
Signal s [i], was zu einem kompensierten räumlichen Signal s' [i] führt. Die
räumlichen
Signale s' [i] werden über eine
Leitung 3022 in den Prozessor 250 zur orthogonalen
Transformation eingegeben und dadurch zu Koeffizienten b' [i] im DCT-Raum
konvertiert. Die DCT-Koeffizienten b' [i] werden dann in den Quantisierer 140 über eine
Leitung 3024 zur Quantisierung durch einen neuen Quantisierungsparameter
qN [i] eingegeben, um den quantisierten
Koeffizienten c [i] zu erzeugen.
-
Sowohl
der quantisierte Koeffizient c [i] als auch der Quantisierungsparameter
qN [i] werden über eine Leitung 3030 in
den Codierer 150 variabler Länge eingegeben und dadurch
in einen Code variabler Länge
konvertiert, der an den Multiplexer 160 ausgegeben wird.
-
Der
Multiplexer 160 multiplext den mit variabler Länge codierten,
quantisierten Koeffizienten c [i] und den von dem Codierer 150 variabler
Länge über eine
Leitung 3040 eingegebenen Quantisierungsparameter qN [i] mit den anderen Daten des eingehenden,
von dem Decodierer 110 variabler Länge über die Leitung 3000 eingegebenen
Bitstroms und gibt den gemultiplexten Bitstrom aus. Der resultierende gemultiplexte
Bitstrom ist somit eine rekomprimierte Version des eingehenden Bitstroms.
-
Man
beachte, dass der Wert des Quantisierungsschrittes qN [i]
normalerweise durch Zählen
der Bits in der Ausgabe des Codierers 150 variabler Länge und
durch entsprechendes Einstellen zur Erreichung einer bestimmten
Bitrate des Quantisierungsschrittes qN [i]
durch das Ratensteuergerät 120 bestimmt
wird.
-
Der
Quantisierungsschritt qN [i] und der Koeffizient
c [i] werden ebenso in den zweiten inversen Quantisierer 170 über eine
Leitung 3032 zur inversen Quantisierung von c [i] bei qN [i] eingegeben, und somit wird ein invers
quantisierter Koeffizient d [i] erzeugt. Der Koeffizient d [i] wird
dann an den zweiten Prozessor 260 zur invers orthogonalen
Transformation ausgegeben. Der zweite Prozessor 260 zur
invers orthogonalen Transformation konvertiert die Koeffizienten
d [i] des DCT-Raums in Signale s'' [i] im Ortsraum.
Der zweite Addierer 220 addiert dann den gemäß den vorangegangenen
Bild-Daten erzeugten Kompensationskoeffizienten z [i] zu s'' [i] und gibt die Summe an den dritten
Addierer 230 aus.
-
Der
dritte Addierer 230 erhält
das Differenzsignal z' [i]
aus der von dem zweiten Addierer eingegebenen Summe und dem von
dem ersten Prozessor 240 zur invers orthogonalen Transformation über die Leitung 3026 eingegebenen
räumlichen
Signal s [i]. Die Differenzsignale z' [i] werden dann in dem Differenzsignal-Speicher 270 gespeichert.
Diese Differenzsignale werden dann als das Kompensationssignal zur
Rekompression des nächsten
Bildes verwendet.
-
Wie
in 16 gezeigt, ist zu beachten, dass die Differenzsignale
z' [i] auch durch
eine Subtraktion der Ausgabe s' [i]
aus dem ersten Addierer 210 von der Ausgabe s'' [i] von dem zweiten Prozessor 260 zur
invers orthogonalen Transformation erhalten werden können. Dieser
Fall macht es auch möglich,
einen Addierer zu eliminieren.
-
Wenn
das nächste
Bild rekomprimiert wird, wird das Differenzsignal für den Zielblock
aus dem Differenzsignal-Speicher 270 basierend auf der
von dem Decodierer 110 variabler Länge über eine Leitung 3080 eingegebenen
Bewegungsinformation geholt, über
eine Leitung 3070 an den ersten Addierer 210 ausgegeben
und als das Kompensationssignal benutzt. Wenn eine Bewegungskompensation
mit einer Genauigkeit von einem halben Bildelement oder größer angewendet
wird, werden in dem Differenzsignal-Speicher 270 gespeicherte
Differenzsignale interpoliert und vor einer Bewegungskompensation hochgetastet.
-
(Modifikation 5)
-
Die
fünfte
Modifikation wird nachfolgend mit Bezug auf die 13,
die ein Blockdiagramm einer Bild-Rekompressionsvorrichtung 300 gemäß der fünften Modifikation
der Erfindung zeigt, beschrieben. Wie in 13 gezeigt
umfasst diese Bild-Rekompressionsvorrichtung einen Decodierer 110 variabler
Länge,
ein Ratensteuergerät 120,
einen ersten Addierer 210, eine Koeffizienten-Auswahlvorrichtung 280,
einen Codierer 150 variabler Länge, einen Multiplexer 160,
einen zweiten Addierer 220, einen dritten Addierer 230 und
einen Koeffizientendifferenz-Speicher 180.
-
Der
Bitstrom codierter Bild-Daten wird von dem Eingabe-Anschluss 100 in
den Decodierer 110 variabler Länge eingegeben, der den einkommenden Bitstrom
analysiert, um die quantisierten DCT-Koeffizienten a [i] auszuwählen und
in numerische Werte zu decodieren. Es ist zu beachten, dass obiges „i" ein Wert von 1...
N ist, „N" die Anzahl der DCT-Koeffizienten
für die
Zielblöcke
ist, und sich der, Wert von N gemäß dem Zielblock verändert.
-
Der
Decodierer 110 variabler Länge gibt die decodierten Werte
an den ersten Addierer 210 über eine Leitung 4010 aus.
Der Rest der Daten in dem eingehenden Bitstrom (d. h. die von a
[i] verschiedenen Daten) wird vom Decodierer 110 variabler
Länge über die
Leitung 4000 an den Multiplexer 160 durchgereicht.
-
Der
erste Addierer 210 zieht den Kompensationskoeffizienten
z [i], der aus den vorangegangen Bild-Daten erzeugt worden und in
dem Koeffizientendifferenz-Speicher 180 gespeichert
ist, von a [i] ab, woraus sich ein kompensierter Koeffizient a' [i] ergibt. Ein
N Koeffizienten a' [i]
(wobei i = 1... N) enthaltender Datenblock wird in die Koeffizienten-Auswahlvorrichtung 280 über eine,
Leitung 4020 eingegeben.
-
Die
Koeffizienten-Auswahlvorrichtung 280 wählt und hält "K" kompensierte
Koeffizienten a' [i], wobei
K ≤ N, von
den N-Koeffizienten a' [i]
(diese werden die ausgewählten
Koeffizienten u [i]) und verwirft die anderen Koeffizienten. Durch
ein Abrunden der Koeffizienten auf diese Weise kann das Bild mit
einem sogar noch größeren Wirkungsgrad
komprimiert werden.
-
Die
ausgewählten
Koeffizienten u [i] werden über
eine Leitung 4030 in den Codierer 150 variabler Länge eingegeben,
zu einem Code variabler Länge konvertiert
und an den Multiplexer 160 ausgegeben.
-
Der
Multiplexer 160 multiplext die von einer Leitung 4040 eingegebenen,
ausgewählten,
mit variabler Länge
codierten Koeffizienten u [i] mit den anderen Daten in dem von dem
Decodierer 110 variabler Länge über die Leitung 4000 eingegebenen,
eingehenden Bitstrom und gibt den gemultiplexten Bitstrom aus.
-
Man
beachte, dass sich der Wert von K gemäß dem Block verändert und
normalerweise durch Zählen
der Bits in der Ausgabe des Codierers 150 variabler Län ge und
eine entsprechende Einstellung K des Ratensteuergerätes 120 zum
Erreichen einer bestimmten Bitrate bestimmt wird.
-
Koeffizienten
u [i] werden über
eine Leitung 4032 ebenso in den zweiten Addierer 220 eingegeben.
Der zweite Addierer 220 addiert gemäß den vorangegangenen Bild-Daten
erzeugte Kompensationskoeffizienten z [i] zu u [i] und gibt den
Kompensationskoeffizienten w [i] an den dritten Addierer 230 aus.
-
Der
dritte Addierer 230 erhält
die Koeffizientendifferenz z' [i]
aus der Ausgabe w [i] des zweiten Addierers 220 und aus
vom Decodierer 110 variabler Länge über Leitung 4012 eingegebenem
a [i]. Die Koeffizientendifferenzen z' [i] werden dann im Koeffizientendifferenz-Speicher 180 gespeichert.
Diese Koeffizientendifferenzen werden dann als die Kompensationskoeffizienten
für eine
Rekompression des nächsten
Bildes benutzt.
-
Wie
in 17 gezeigt, ist zu beachten, dass die Koeffizientendifferenzen
z' [i] auch durch
Subtrahieren der Ausgabe a' [i]
des ersten Addierers 210 von der Ausgabe u [i] der Koeffizienten-Auswahlvorrichtung 280 erzeugt
werden können.
In diesem Fall kann ein Addierer eliminiert werden.
-
Die
bevorzugte Modifikation des Koeffizientendifferenz-Speichers 180 ist
so wie in 11 gezeigt und oben mit Bezug
auf die dritte Modifikation der Erfindung beschrieben.
-
(Modifikation 6)
-
Die
sechste Modifikation der Erfindung wird nachfolgend mit Bezug auf 14 beschrieben,
welche ein Blockdiagramm einer Bild-Aufzeichnungsvorrichtung gemäß der sechsten
Modifikation der Erfindung zeigt. Wie in 14 gezeigt,
umfasst diese Bild-Aufzeichnungsvorrichtung ein externes Eingabe-Anschluss 330,
Auswahlschalter 350 und 360, eine Bild-Rekompressionsvorrichtung 300 und
eine Aufzeichnungsvorrichtung 340. Man beachte, dass die
Bild-Rekompressionsvorrichtung 300 eine Bild-Rekompressionsvorrichtung
gemäß der vorliegenden
Erfindung ist, wie sie in den 10, 12 oder 13 gezeigt
ist.
-
Der
Bitstrom wird von dem externen Eingabe-Anschluss 330 eingegeben.
Wenn im normalen Aufzeichnungsmodus aufgezeichnet wird, ist der
erste Auswahl-Schalter 350 zu
einem Anschluss 310 geschlossen und der andere Auswahl-Schalter 316 zu einem
Anschluss 320 geschlossen. In diesem Fall wird der Bitstrom
nicht durch die Bild-Rekompressionsvorrichtung verarbeitet, direkt
zu der Aufzeichnungsvorrichtung 340 gesendet und dadurch
auf dem Aufzeichnungsmedium (Magnetband, optische Disk oder anderes)
aufgezeichnet.
-
Um
jedoch in einem ausgedehnten Wiedergabemodus aufzuzeichnen, ist
der erste Auswahl-Schalter 350 zu einem Anschluss 100 geschlossen
und der andere Auswahl-Schalter 360 zu einem Anschluss 200 geschlossen.
Wenn die Schalter so positioniert sind, vervollständigt der
Schaltungs-Schaltkreis wirkungsvoll die in der dritten bis fünften Modifikation
zuvor beschriebenen Vorrichtungen, und der durch die Bild-Rekompressionsvorrichtung 340 erneut
komprimierte Bitstrom wird durch die Aufzeichnungs-Vorrichtung 300 aufgezeichnet. Durch
ein derartiges Schalten des Pfades des eingehenden Bitstroms kann
der Bitstrom direkt in einem normalen Aufzeichnungsmodus aufgezeichnet
werden oder zum Aufzeichnen in einem ausgedehnten Wiedergabeaufzeichnungsmodus
erneut komprimiert werden.
-
Wie
aus den obigen Beschreibungen der bevorzugten Modifikationen bekannt
sein wird, kann ein Eingangs-Bitstrom mittels der Bild-Rekompressionsvorrichtung
und dem Bild-Rekompressionsverfahren der vorliegenden Erfindung
zu einem Bitstrom einer anderen Bitrate ohne eine vollständige Decodierung und
Reproduktion des Bitstroms erneut komprimiert werden. Als ein Ergebnis
besteht praktisch keine Verzögerung
in einem Rekompressionsdurchsatz. Es ist auch möglich, die Ausbreitung von
durch Rekompression verursachten Fehlern zu verhindern und somit
die Verschlechterung einer Bildqualität zu reduzieren, weil der Vorhersagefehler
des laufenden Bildes basierend auf einem durch Rekompression des letzten
Bildes vor einer Rekompression des gegenwärtigen Bildes erzeugten Fehlersignals
kompensiert wird.
-
Daher
liefern die obigen Modifikationen die Vorrichtung und das Verfahren
zur Rekompression eines kompressionscodierten Bild-Bitstroms auf
eine geringere Bitrate (mit höherer
Kompressions-Effizienz) ohne sich fortpflanzende Fehler durch Rekompression
des gegenwärtigen
Bildes nach Kompensation des Vor hersagefehlers des laufenden Bildes
unter Benutzung des sich aus einer Rekompression des vorherigen
Bildes ergebenden Fehlersignals.
-
Die
obigen Modifikationen können
wie folgt zusammengefasst werden.
-
Gemäß einer
Modifikation werden durch einen ersten Quantisierungsparameter quantisierte komprimierte
Bild-Daten unter Benutzung des ersten Quantisierungsparameters invers
quantisiert, um die ersten, invers quantisierten Bild-Daten zu erzeugen. Ein
aus den vergangenen Bild-Daten erzeugtes Kompensationssignal wird
dann von den ersten, invers quantisierten Bild-Daten, die unter
Benutzung eines zweiten Quantisierungsparameters quantisiert worden
sind, subtrahiert und unter Benutzung des zweiten Quantisierungsparameters
invers quantisiert, um die zweiten invers quantisierten Bild-Daten zu
erhalten, die ausgegeben werden. Ein Differenzsignal wird dann aus
den zweiten invers quantisierten Bild-Daten und ersten invers quantisierten
Bild-Daten zur Benutzung als das Kompensationssignal für die nächsten Bild-Daten
erzeugt. Vorzugsweise wird ein aus den vergangenen Bild-Daten erzeugtes
Kompensationssignal zu den zweiten invers quantisierten Bild-Daten
addiert und das Differenzsignal dann aus den ersten invers quantisierten
Bild-Daten und den kompensierten zweiten invers quantisierten Bild-Daten
erzeugt.
-
Gemäß einer
anderen Modifikation wird ein gemäß den vergangenen Bild-Daten
erzeugter Kompensationskoeffizient von einem in den komprimierten,
orthogonal transformierten Bild-Daten enthaltenen ersten Konvertierungs-Koeffizientenblock
subtrahiert, wodurch ein zweiter Konvertierungs-Koeffizientenblock
erzeugt wird. Eine vorbestimmte Anzahl von Koeffizienten wird dann
aus dem zweiten Konvertierungs-Koeffizientenblock extrahiert, um
einen dritten Konvertierungs-Koeffizientenblock
zu erzeugen und auszugeben. Ein Differenz-Koeffizientenblock wird dann aus dem
dritten Konvertierungs-Koeffizientenblock und dem ersten Konvertierungs-Koeffizientenblock
zur Benutzung als der Kompensationskoeffizient der nächsten Bild-Daten
erzeugt. Vorzugsweise wird ein aus den vorangegangenen Bild-Daten
erzeugter Kompensationskoeffizient zu dem dritten Konvertierungs-Koeffizientenblock
addiert und der Differenz-Koeffizientenblock
dann aus dem ersten Konvertierungs-Koeffizientenblock und dem kompensierten
dritten Konvertierungs-Koeffizientenblock erzeugt.
-
Die
Fortpflanzung von durch eine erneute Quantisierung verursachten
Fehlern wird mittels einer Bild-Rekompressionsvorrichtung wie unten
beschrieben, verhindert.
-
Die
Bild-Rekompressionsvorrichtung umfasst einen Decodierer variabler
Länge,
einen ersten inversen Quantisierer, einen ersten Addierer, einen Quantisierer,
einen Codierer variabler Länge,
einen Multiplexer, einen zweiten inversen Quantisierer, einen zweiten
Addierer, einen dritten Addierer und einen Differenzkoeffizienten-Speicher.
-
Der
Decodierer variabler Länge
decodiert einen ersten Quantisierungsparameter und einen ersten
quantisierten Koeffizienten aus den codierten Bild-Eingabedaten, überträgt die decodierten
Daten auf den ersten inversen Quantisierer und überträgt die von dem ersten Quantisierungsparameter
und dem ersten quantisierten Koeffizienten abweichenden Daten auf
den Multiplexer. Der erste inverse Quantisierer quantisiert den
ersten quantisierten Koeffizienten unter Benutzung des ersten Quantisierungsparameters
invers, um einen ersten invers quantisierten Koeffizienten zu erzeugen.
Der erste Addierer subtrahiert einen gemäß den vorangegangenen Bild-Daten
erzeugten und in dem Differenzkoeffizienten-Speicher gespeicherten
Kompensationskoeffizienten von dem ersten invers quantisierten Koeffizienten
und gibt die Differenz in den Quantisierer zur Quantisierung unter
Benutzung des zweiten Quantisierungsparameters zur Erzeugung eines zweiten
quantisierten Koeffizienten ein. Der Codierer variabler Länge konvertiert
den zweiten Quantisierungsparameter und den zweiten, dazu eingegebenen,
quantisierten Koeffizienten in einen Code variabler Länge und
gibt den Code variabler Länge
an den Multiplexer aus. Der Multiplexer multiplext und gibt den
Eingangscode variabler Länge
mit den anderen, vom Decodierer variabler Länge eingegebenen Daten aus.
Der zweite inverse Quantisierer quantisiert den zweiten quantisierten
Koeffizienten unter Benutzung des zweiten Quantisierungsparameters invers,
um einen zweiten, invers quantisierten Koeffizienten zu erzeugen.
Der zweite Addierer addiert den gemäß den vorangegangenen Bild-Daten
erzeugten Kompensationskoeffizienten zum zweiten invers quantisierten
Koeffizienten. Der dritte Addierer erzeugt einen Differenzkoeffizienten
aus dem ersten invers quantisierten Koeffizienten und dem kompensierten
zweiten invers quantisierten Koeffizienten und speichert den Differenzkoeffizien ten
in einem Differenzkoeffizienten-Speicher. Dieser Differenzkoeffizient
wird als der Kompensationskoeffizient der nächsten Bild-Daten benutzt.
-
Die
Ausbreitung von durch ein erneutes Quantisieren erzeugten Fehlern
kann auch mittels einer Bild-Rekompressionsvorrichtung, wie unten
beschrieben, vermieden werden.
-
Die
Bild-Rekompressionsvorrichtung umfasst einen Decodierer variabler
Länge,
einen ersten inversen Quantisierer, einen ersten Prozessor zur invers
orthogonalen Transformation, einen ersten Addierer, einen Prozessor
zur orthogonalen Transformation, einen Quantisierer, einen Codierer
variabler Länge,
einen Multiplexer, einen zweiten inversen Quantisierer, einen zweiten
Prozessor zur invers orthogonalen Transformation, einen zweiten
Addierer, einen dritten Addierer und einen Differenzsignal-Speicher.
-
Der
Decodierer variabler Länge
decodiert einen ersten Quantisierungsparameter und einen ersten
quantisierten Koeffizienten aus den codierten Bild-Eingabedaten, überträgt die decodierten
Daten auf den ersten inversen Quantisierer und überträgt die von dem ersten Quantisierungsparameter
und dem ersten quantisierten Koeffizienten abweichenden Daten auf
den Multiplexer. Der erste inverse Quantisierer quantisiert den
ersten quantisierten Koeffizienten unter Benutzung des ersten Quantisierungsparameters
invers, um einen ersten invers quantisierten Koeffizienten zu erzeugen.
Der erste Prozessor zur invers orthogonalen Transformation konvertiert
den ersten invers quantisierten Koeffizienten dann in ein erstes
räumliches
Signal. Der erste Addierer subtrahiert ein gemäß den vorangegangenen Bild-Daten
erzeugtes und im Differenzkoeffizienten-Speicher gespeichertes Kompensationssignal vom
ersten räumlichen
Signal. Der Prozessor zur orthogonalen Transformation wendet eine
orthogonale Transformation auf das sich ergebende Differenzsignal
an und gibt den sich ergebenden Koeffizienten in den Quantisierer
zur Quantisierung unter Benutzung des zweiten Quantisierungsparameters
ein, um einen zweiten quantisierten Koeffizienten zu erzeugen. Der
Codierer variabler Länge
konvertiert den zweiten Quantisierungsparameter und den dazu eingegebenen
zweiten quantisierten Koeffizienten zu einem Code variabler Länge und
gibt den Code variabler Länge
an den Multiplexer aus, der den eingegebenen Code variabler Länge mit
den anderen Daten multiplext und ausgibt. Der zweite inverse Quantisierer quantisiert
den zweiten quantisierten Koeffizienten unter Benutzung des zweiten
Quantisierungsparameters invers, um einen zweiten invers quantisierten Koeffizienten
zu erzeugen. Der zweite Prozessor zur invers orthogonalen Transformation
konvertiert dann den zweiten invers quantisierten Koeffizienten
zu einem zweiten räumlichen
Signal. Der zweite Addierer addiert das gemäß den vorangegangenen Bild-Daten erzeugte
Kompensationssignal zu dem zweiten räumlichen Signal, und der dritte
Addierer erzeugt ein Differenzsignal aus dem ersten räumlichen
Signal und dem kompensierten zweiten räumlichen Signal und speichert
das Differenzsignal in dem Differenzsignal-Speicher. Das sich ergebende
Differenzsignal wird als das Kompensationssignal für die nächsten Bild-Daten
benutzt.
-
Die
Fortpflanzung von durch ein Eliminieren von Konvertierungskoeffizienten
verursachten Fehlern kann auch mittels einer Bild-Rekompressionsvorrichtung
gemäß der vorliegenden
Erfindung wie unten beschrieben verhindert werden.
-
Diese
Bild-Rekompressionsvorrichtung umfasst einen Decodierer variabler
Länge,
einen ersten Addierer, eine Koeffizienten-Auswahlvorrichtung, einen
Codierer variabler Länge,
einen Multiplexer, einen zweiten Addierer, einen dritten Addierer
und einen Differenzkoeffizienten-Speicher.
-
Der
Decodierer variabler Länge
decodiert einen ersten Konvertierungs-Koeffizientenblock aus den codierten
Bild-Eingabedaten, überträgt den ersten
Konvertierungs-Koeffizientenblock auf den ersten Addierer und überträgt die von
dem ersten Konvertierungs-Koeffizientenblock abweichenden Daten
auf den Multiplexer. Der erste Addierer subtrahiert einen gemäß den vorangegangenen
Bild-Daten erzeugten und
in dem Differenzkoeffizienten-Speicher gespeicherten Kompensationskoeffizienten
vom ersten Konvertierungskoeffizienten-Block, um einen zweiten Konvertierungskoeffizienten-Block
zu erzeugen. Die Koeffizienten-Auswahlvorrichtung
extrahiert eine bestimmte Anzahl von Koeffizienten aus dem zweiten Konvertierungskoeffizienten-Block
und bildet einen dritten Konvertierungskoeffizienten-Block. Der
Codierer variabler Länge
konvertiert den dritten dazu eingegebenen Konvertierungskoeffizienten-Block
in einen Code variabler Länge
und gibt den Code variabler Länge
an den zweiten Addierer und den Multiplexer aus. Der Multiplexer
multiplext den eingegebenen Code variabler Länge mit anderen Daten und gibt
den gemultiplexten Bitstrom aus. Der zweite Addierer addiert den
gemäß den vorangegangenen
Daten erzeugten Kompensationsko effizienten zum dritten Konvertierungskoeffizienten-Block.
Der dritte Addierer erzeugt dann einen Differenzkoeffizienten aus dem
ersten Konvertierungskoeffizienten-Block und dem kompensierten dritten
Konvertierungskoeffizienten-Block und speichert den Differenzkoeffizienten
in dem Differenzkoeffizienten-Speicher. Der sich ergebende Differenzkoeffizient
wird als der Kompensationskoeffizient für die nächsten Bild-Daten benutzt.
-
Es
ist daher möglich,
mittels des Bild-Rekompressionsverfahrens und der Bild-Rekompressionsvorrichtung
der vorliegenden Erfindung einen eingegebenen Bitstrom in einen
Bitstrom einer anderen Bitrate ohne vollständige Decodierung des eingegebenen
Bitstroms und Reproduzierung der codierten Bilder zu rekomprimieren.
Als ein Ergebnis ergibt sich im Wesentlichen keine durch den Rekompressionsvorgang
auferlegte zusätzliche
Verzögerung.
Zusätzlich
kann die Fortpflanzung von durch eine Rekompression verursachten
Fehlern verhindert werden und ferner kann eine Bildqualitäts-Verschlechterung
reduziert werden, weil eine Rekompression auf die gegenwärtigen Bilder
nach einer Kompensation des Vorhersagefehlers des gegenwärtigen Bildes
durch das durch eine Rekompression des vorherigen Bildes erzeugten
Fehlersignals angewendet wird.