DE69628467T2

DE69628467T2 - Videokodierung- und dekodierungsvorrichtung

Info

Publication number: DE69628467T2
Application number: DE69628467T
Authority: DE
Inventors: Hiroyuki Chiba-shi Katata; Hiroshi Chiba-shi Kusao; Norio Chiba-shi Ito; Toshio Nomura
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-07-14
Filing date: 1996-07-09
Publication date: 2004-02-19
Anticipated expiration: 2016-07-10
Also published as: EP0961496B1; DE69615948T2; DE69626142D1; US5986708A; EP0961497B1; US6084914A; EP0753970B1; DE69615948D1; EP0961497A3; EP0961498B1; US6023301A; EP0961498A2; US5963257A; DE69626142T2; DE69634423T2; EP0753970A2; DE69634423D1; DE69628467D1; EP0961496A3; US6023299A

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft das technische Gebiet der digitalen Videoverarbeitung und bezieht sich insbesondere auf eine Videocodierungsvorrichtung zum Codieren von Videodaten mit einem hohen Wirkungsgrad und eine Videodecodierungsvorrichtung zum Decodieren der durch die Videocodierungsvorrichtung vorbereiteten codierten Daten mit einem hohen Wirkungsgrad.
Es ist ein Videocodierungsverfahren vorgeschlagen worden, das einen spezifizierten Bereich codieren kann, der eine höhere Bildqualität als die der anderen Bereiche besitzen soll.
Ein in den Literaturhinweisen ISO/IEC JTC1/SC29/WG11 MPEG95/030 beschriebenes Videocodierungsverfahren ist so beschaffen, dass es einen spezifizierten Bereich auswählt (der im folgenden als ausgewählter Bereich bezeichnet wird) und codiert, damit er eine höhere Bildqualität besitzt, indem es die Schrittgrößen der Quantisierungseinrichtung und die Zeitauflösung steuert.
Ein weiteres herkömmliches Verfahren verwendet ein Bereichsauswahlmittel zum Auswählen eines spezifizierten Bereichs eines Videobildes. Im Fall des Auswählens, z. B. eines Gesichtsbereichs eines Videobildes auf einer Anzeige eines Videotelephons, ist es möglich, einen Bereich unter Verwendung eines Verfahrens auszuwählen, das in dem Bezugsmaterial "Real-time auto facetracking system", (The Institute of Image Electronics Engineers of Japan, Previewing Report of Society Meeting, 93-04-04, S. 13–16, 1993) beschrieben ist.
Ein Bereichspositions- und -form-Codierungsabschnitt codiert eine Position und eine Form eines ausgewählten Bereichs. Eine optionale Form kann z. B. unter Verwendung von Kettencodes codiert werden. Die codierte Position und die codierte Form werden in codierte Daten zusammengestellt und durch einen Integrationsabschnitt für die codierten Daten übertragen oder akkumuliert.
Ein Einstellabschnitt für codierte Parameter stellt verschiedene Parameter ein, die für das Steuern der Bildqualität oder der Datenmenge bei der Videocodierung verwendbar sind, so dass der Bereichspositions- und -form-Codierungsabschnitt einen ausgewählten Bereich codieren kann, um eine höhere Bildqualität als die der anderen Bereiche zu erhalten.
Ein Parametercodierungsabschnitt codiert verschiedene eingestellte Parameter. Die codierten Parameter werden in codierte Daten zusammengestellt und durch einen Integrationsabschnitt für codierte Daten übertragen oder akkumuliert. Der Videocodierungsabschnitt codiert die Eingangsvideodaten unter Verwendung verschiedener Parameter durch eine Kombination der herkömmlichen Codierungsverfahren, wie z. B. der bewegungskompensierenden Vorhersage, der orthogonalen Transformation, der Quantisierung und der Codierung mit variabler Länge. Die codierten Videodaten werden durch den Integrationsabschnitt für die codierten Daten in codierte Daten zusammengesetzt, wobei dann die codierten Daten übertragen oder akkumuliert werden.
Der ausgewählte Bereich wird auf diese Weise codiert, damit er eine höhere Bildqualität als die anderen Bereiche besitzt.
Wie oben erwähnt worden ist, verbessert die herkömmliche Technik die Qualität eines ausgewählten Bildbereichs, indem durch das Einstellen von Parametern, wie z. B. den Schrittgrößen der Quantisierungseinrichtung, der räumlichen Auflösung und der Zeitauflösung, eine größere Menge von Bits zugeordnet wird. Die herkömmliche Technik enthält jedoch derartige Probleme, dass sie keinen spezifizierten Bildbereich durch das Decodieren eines Teils der decodierten Daten erhalten kann und/oder einen decodierten Bildbereich mit einer relativ niedrigen Qualität erhalten kann, weil ein ausgewählter Bereich und andere Bereiche in der gleichen Gruppe der codierten Daten enthalten sind. Neulich sind viele Studien über die hierarchische Struktur codierter Daten ausgeführt worden, sie hatten jedoch keinen Erfolg beim Erzeugen eines Systems, das die Auswahl eines spezifizierten Bereichs erlaubt.
Es ist ein Videocodierungsverfahren untersucht worden, das beschaffen ist, um verschiedene Arten von Videosequenzen zu synthetisieren.
Ein Artikel "Image coding using hierarchical representation and multiple templates", erschienen in Technical Report of IEICE (Institute of Electronics Infor mation and Communication Engineers), IE94-159, S. 99–106, 1995, beschreibt ein derartiges Bildsynthetisierungsverfahren, das eine Videosequenz, die ein Hintergrund-Video ist, und eine Video-Teilsequenz, die ein Vordergrund-Video ist (z. B. ein unter Verwendung der Farbverschlüsselungstechnik ausgeschnittenes Figurenbild oder ein Fischbild), kombiniert, um eine neue Sequenz zu erzeugen.
In einem herkömmlichen Verfahren wird angenommen, dass eine erste Videosequenz ein Hintergrund-Video ist, während angenommen wird, dass eine zweite Videosequenz ein Video-Teil ist. Eine Alphaebene sind die Gewichtsdaten, die verwendet werden, wenn ein Teilbild mit einem Hintergrundbild in einer Bewegtbild-Sequenz (Videosequenz) synthetisiert wird. Es ist ein veranschaulichtes Bild vorgeschlagen worden, das aus mit den Werten von 1 bis 0 gewichteten Bildpunkten gebildet ist. Es wird angenommen, dass die Daten der Alphaebene innerhalb eines Teils 1 und außerhalb eines Teils 0 sind. Die Alphadaten können in einem Grenzabschnitt zwischen einem Teil und seinem Äußeren einen Wert von 0 bis 1 besitzen, um einen gemischten Zustand der Bildpunktwerte im Grenzabschnitt und die Transparenz von transparenten Substanzen, wie z. B. Glas, anzuzeigen.
In herkömmlichen Verfahren codiert ein erster Videocodierungsabschnitt die erste Videosequenz und ein zweiter Videocodierungsabschnitt codiert die zweite Videosequenz entsprechend einem internationalen Standard-Videocodierungssystem, z. B. MPEG oder H.261. Ein Alphaebenen-Codierungsabschnitt codiert eine Alphaebene. Im obenerwähnten Artikel verwendet dieser Abschnitt die Techniken der Vektorwertquantisierung und der Haar-Transformation. Ein (nicht gezeigter) Integrationsabschnitt für die codierten Daten integriert die von den Codierungsabschnitten empfangenen codierten Daten und akkumuliert oder überträgt die integrierten codierten Daten.
In der Decodierungsvorrichtung des herkömmlichen Verfahrens zerlegt ein (nicht gezeigter) Zerlegungsabschnitt für die codierten Daten die codierten Daten in die codierten Daten der ersten Videosequenz, die codierten Daten der zweiten Videosequenz und die codierten Daten der Alphaebene, die dann jeweils durch einen ersten Videodecodierungsabschnitt, einen zweiten Videodecodierungsabschnitt und einen Alphaebenen-Decodierungsabschnitt decodiert werden. Die zwei decodierten Sequenzen werden entsprechend den gewichteten Mittelwerten durch einen ersten Gewichtungsabschnitt, einen zweiten Gewichtungsabschnitt und einen Addierer synthetisiert. Die erste Videosequenz und die zweite Videosequenz werden entsprechend der folgenden Gleichung kombiniert:
f(x, y, t) = (1 – α(x, y, t))f1(x, y, t) + α(x, y, t)f2(x, y, t).
In der Gleichung stellt (x, y) die Koordinatendaten einer Innerbild-Bildpunktposition dar, t bezeichnet eine Vollbildzeit, f1(x, y, t) stellt einen Bildpunktwert der ersten Videosequenz dar, f2(x, y, t) stellt einen Bildpunktwert der zweiten Videosequenz dar, f(x, y, t) stellt einen Bildpunktwert der synthetisierten Videosequenz dar und α(x, y, t) stellt die Daten der Alphaebene dar. Der erste Gewichtungsabschnitt verwendet nämlich 1 – α(x, y, t) als ein Gewicht, während der zweite Gewichtungsabschnitt ?(x, y, t) als ein Gewicht verwendet. Wie oben erwähnt worden ist, erzeugt das herkömmliche Verfahren eine große Anzahl codierter Daten, weil es die Daten der Alphaebene codieren muss.
Um dieses Problem zu vermeiden, kann das Einsparen der Informationsmenge durch Digitalisieren der Daten der Alphaebene betrachtet werden, es wird aber von einem derartigen visuellen Fehler begleitet, dass etwa an der Grenze zwischen einem Teilbild und einem Hintergrund im Ergebnis der diskontinuierlichen Änderung der Bildpunktwerte eine zahnförmige Linie erscheint.
Die folgende Beschreibung zeigt herkömmliche Vorrichtungen als Referenz für die vorliegende Erfindung.
Ein Artikel "Image coding using hierarchical representation and multiple templates", erschienen in Technical Report of IEICE IE94-159, S. 99–106, 1995, beschreibt ein derartiges Bildsynthetisierungsverfahren, das eine Videosequenz, die ein Hintergrund-Video ist, und eine Video-Teilsequenz, die ein Vordergrund-Video ist (z. B. ein unter Verwendung der Farbverschlüsselungstechnik ausgeschnittenes Figurenbild oder ein Fischbild), kombiniert, um eine neue Sequenz zu erzeugen.
Ein Artikel "Temporal Scalability based on image content", (ISO/IEC JTC1/SC29/WG11 MPEG95/211, (1995)) beschreibt eine Technik, um eine neue Videosequenz durch das Synthetisieren einer Video-Teilsequenz mit einer hohen Vollbildrate mit einer Videosequenz mit einer niedrigen Vollbildrate vorzubereiten. Wie in 27 gezeigt ist, soll dieses System ein Vollbild der unteren Schicht mit einer niedrigen Vollbildrate durch ein Vorhersagecodierungsverfahren codieren und nur einen ausgewählten Bereich (den schraffierten Bereich) eines Vollbilds der oberen Schicht mit einer hohen Vollbildrate durch Vorhersagecodierung codieren. Die obere Schicht codiert ein Vollbild nicht, das in der unteren Schicht codiert ist, wobei sie eine Kopie des decodierten Bildes der unteren Schicht verwendet. Der ausgewählte Bereich kann als ein bemerkenswerter Teil des Bildes, z. B. eine menschliche Figur, betrachtet werden.
28 ist ein Blockschaltplan, der ein herkömmliches Verfahren zeigt. Auf der Codierungsseite wird die Eingangsvideosequenz durch einen ersten Verdünnungsabschnitt 201 und einen zweiten Verdünnungsabschnitt 202 verdünnt, wobei die verdünnte Videosequenz mit verringerter Vollbildrate dann zu einem Codierungsabschnitt für die obere Schicht bzw. einem Codierungsabschnitt für die untere Schicht übertragen wird. Der Codierungsabschnitt für die obere Schicht besitzt eine Vollbildrate, die höher als die des Codierungsabschnitts für die untere Schicht ist.
Der Codierungsabschnitt 204 für die untere Schicht codiert ein ganzes Bild jedes Vollbildes in der empfangenen Videosequenz unter Verwendung eines internationalen Standard-Videocodierungsverfahrens, wie z. B. MPEG, H.261 usw. Der Codierungsabschnitt 204 für die untere Schicht bereitet außerdem die decodierten Vollbilder vor, die für die Vorhersagecodierung verwendet werden und gleichzeitig in einen Synthetisierungsabschnitt 205 eingegeben werden.
29 ist ein Blockschaltplan eines Codemengen-Steuerabschnitts eines herkömmlichen Codierungsabschnitts. In 29 codiert ein Codierungsabschnitt 212 die Videovollbilder unter Verwendung eines Verfahrens oder einer Kombination von Verfahren, wie z. B. der bewegungskompensierenden Vorhersage, der orthogonalen Transformation, der Quantisierung und der Codierung mit variabler Länge usw. Ein Quantisierungsbreiten-Bestimmungsabschnitt 211 (Quantisierungsschrittgrößen-Bestimmungsabschnitt) bestimmt eine Quantisierungsbreite (Quantisierungsschrittgröße), die in einem Codierungsabschnitt 212 zu verwenden ist. Ein Bestimmungsabschnitt 213 für die Menge der. codierten Daten berechnet eine akkumulierte Menge der erzeugten codierten Daten. Im allgemeinen wird die Quantisierungsbreite vergrößert oder verkleinert, um eine Zunahme oder Abnahme der Menge der codierten Daten zu ver hindern.
In 28 codiert der Codierungsabschnitt 203 für die obere Schicht nur einen ausgewählten Teil jedes Vollbildes in einer empfangenen Videosequenz auf der Grundlage von Bereichsinformationen unter Verwendung eines internationalen Standard-Videocodierungsverfahrens, wie z. B. MPEG, H.261 usw. Die im Codierungsabschnitt 204 für die untere Schicht codierten Vollbilder werden jedoch nicht durch den Codierungsabschnitt 203 für die obere Schicht codiert. Die Bereichsinformationen sind die Informationen, die einen ausgewählten Bereich, z. B. eines Bildes einer menschlichen Figur in jedem Videovollbild, angeben, dies ist ein digitalisiertes Bild, das 1 im ausgewählten Bereich und 0 außerhalb des ausgewählten Bereich annimmt. Der Codierungsabschnitt 203 für die obere Schicht bereitet außerdem decodierte ausgewählte Bereiche jedes Vollbildes vor, die zum Synthetisierungsabschnitt 205 übertragen werden.
Ein Bereichsinformationen-Codierungsabschnitt 206 codiert Bereichsinformationen unter Verwendung von 8-Richtungs-Quantisierungscodes. Ein 8-Richtungs-Quantisierungscode ist ein numerischer Code, der eine Richtung zu einem weitergehenden Punkt anzeigt, wie in 30 gezeigt ist, wobei er normalerweise für das Darstellen digitaler Graphiken verwendet wird.
Ein Synthetisierungsabschnitt 205 gibt ein decodiertes Videovollbild der unteren Schicht aus, das durch den Codierungsabschnitt für die untere Schicht codiert worden ist und das zu synthetisieren ist. Wenn ein Vollbild zu synthetisieren ist, aber im Codierungsabschnitt für die untere Schicht noch nicht codiert worden ist, gibt der Synthetisierungsabschnitt 205 ein decodiertes Videovollbild, das unter Verwendung von zwei decodierten Vollbildern erzeugt worden ist, die in der unteren Schicht codiert worden sind und vor und nach dem fehlenden Vollbild der unteren Schicht stehen, und ein decodiertes Vollbild der oberen Schicht, die zu synthetisieren sind, aus. Die zwei Vollbilder der unteren Schicht stehen vor und nach dem Vollbild der oberen Schicht. Das synthetisierte Videovollbild. wird in den Codierungsabschnitt 203 für die obere Schicht eingegeben, um darin für die Vorhersagecodierung verwendet zu werden. Die Bildverarbeitung im Synthetisierungsabschnitt 205 ist wie folgt:
Ein Interpolationsbild wird zuerst für zwei Vollbilder der unteren Schicht vorbereitet. Ein decodiertes Bild der unteren Schicht zum Zeitpunkt t wird als B(x, y, t) ausgedrückt, wobei x und y die Koordinaten sind, die die Position eines Bildpunkts in einem Raum definieren. Wenn sich die zwei decodierten Bilder der unteren Schicht an den Zeitpunkten t1 und t2 befinden und sich das decodierte Bild der oberen Schicht an t3 befindet (t1 < t3 < t2), wird das Interpolationsbild I(x, y, t3) zum Zeitpunkt t3 entsprechend der folgenden Gleichung (1) berechnet:
I(x, y, t3) = [(t2 – t3)B(x, y, t1) + (t3 – t1)B(x, y, t2)]/(t2 – t1). (1)
Das decodierte Bild E der oberen Schicht wird dann mit dem erhaltenen Interpolationsbild I unter Verwendung der aus den Bereichsinformationen vorbereiteten Synthetisierungsgewichtsinformationen W(x, y, t) synthetisiert. Ein synthetisiertes Bild S ist entsprechend der folgenden Gleichung definiert:
s(x, y, t) = [1 – W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t). (2)
Die Bereichsinformationen M(x, y, t) sind ein digitalisiertes Bild, wobei sie 1 in einem ausgewählten Bereich und 0 außerhalb des ausgewählten Bereichs annehmen. Die Gewichtsinformationen W(x, y, t) können durch mehrmalige Verarbeitung des obenerwähnten digitalisierten Bildes mit einem Tiefpaßfilter erhalten werden. Die Gewichtsinformationen W(x, y, t) nehmen nämlich 1 innerhalb eines ausgewählten Bereichs, 0 außerhalb des ausgewählten Bereichs und einen Wert von 0 bis 1 auf der Grenze des ausgewählten Bereichs an.
Die durch den Codierungsabschnitt für die untere Schicht, den Codierungsabschnitt für die obere Schicht und den Bereichsinformationen-Codierabschnitt vorbereiteten codierten Daten werden durch einen (nicht gezeigten) Integrationsabschnitt integriert, wobei sie dann übertragen oder akkumuliert werden.
Auf der Decodierungsseite des herkömmlichen Systems trennt ein (nicht gezeigter) Zerlegungsabschnitt die codierten Daten in die codierten Daten der unteren Schicht, die codierten Daten der oberen Schicht und die codierten Daten der Bereichsinformationen. Diese codierten Daten werden jeweils durch einen Decodierungsabschnitt 208 für die untere Schicht, einen Decodierungsabschnitt 207 für die obere Schicht und einen Bereichsinformationen-Decodierungsabschnitt 209 decodiert.
Ein Synthetisierungsabschnitt 210 der Decodierungsseite besitzt eine zum Synthetisierungsabschnitt 205 ähnliche Konstruktion. Er synthetisiert ein Bild unter Verwendung eines decodierten Bildes der unteren Schicht und eines decodierten Bildes der oberen Schicht entsprechend dem gleichen Verfahren, wie es für die Codierungsseite beschrieben worden ist. Das synthetisierte Videovollbild wird auf einem Anzeigeschirm angezeigt und gleichzeitig in den Decodierungsabschnitt 207 für die obere Schicht eingegeben, um dort für die Vorhersage verwendet zu werden.
Die obenbeschriebene Decodierungsvorrichtung decodiert sowohl Vollbilder der unteren Schicht als auch der oberen Schicht, es wird aber außerdem eine Decodierungsvorrichtung, die aus einem Decodierungsabschnitt für die untere Schicht besteht, angewendet, wobei der Decodierungsabschnitt 207 für die obere Schicht und der Synthetisierungsabschnitt 210 weggelassen sind. Diese vereinfachte Decodierungsvorrichtung kann einen Teil der codierten Daten reproduzieren.
Durch die vorliegende Erfindung sind folgende Probleme zu lösen:

(1) Die herkömmliche Technik verwendet Acht-Richtungs-Quantisierungscodes für das Codieren der Bereichsinformationen. Im Fall des Codierens der Bereichsinformationen mit einer niedrigen Bitrate oder eines Bereichs mit komplizierter Form nimmt eine Menge der codierten Bereichsinformationen zu und nimmt einen großen Abschnitt der Gesamtmenge der codierten Daten ein, dies kann eine Verschlechterung der Bildqualität bewirken.
(2) Die herkömmliche Technik erhält die Gewichtungsinformationen, indem die Bereichsinformationen mehrmals durch ein Tiefpassfilter geleitet werden. Dies vergrößert die Menge der Verarbeitungsoperationen.

ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung beabsichtigt folglich, eine Codierungsvorrichtung, eine Decodierungsvorrichtung und ein Videocodierungs- und -decodierungssystem zu schaffen, die ein synthetisiertes Bild aus einer verringerten Menge codierter Daten ohne Verschlechterung der Qualität des synthetisierten Bildes erzeugen können.
Mit den Codierungs- und Decodierungsvorrichtungen gemäß der vorliegenden Erfindung kann die Decodierungsvorrichtung Gewichtsinformationen für das Synthetisieren mehrerer Videosequenzen unter Verwendung des gewichteten Mittels vorbereiten, wobei dies die Notwendigkeit des Codierens der Gewichtsinformationen durch die Codierungsvorrichtung beseitigt.
Die codierten Daten werden gewichtet, dies kann signifikant eine zu erzeugende Datenmenge einsparen.
Die entgegengesetzte Gewichtung, die auf der Decodierungsseite ausgeführt wird, kann decodierte Daten mit entferntem Gewicht erzeugen.
In einem Aspekt schafft die vorliegende Erfindung eine Videocodierungsvorrichtung, mit: ersten Codierungsmitteln zum Codieren einer Videosequenz für ein Hintergrund-Video, zweiten Codierungsmitteln zum Codieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes; und Bereichsinformations-Codierungsmitteln zum Codieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, dadurch gekennzeichnet, dass die Vorrichtung ferner mit Gewichtungsdaten-Vorbereitungsmitteln zum Vorbereiten mehrwertiger Gewichtungsdaten aus den binären Bereichsinformationen versehen ist und jeder der Videosequenzen entsprechend den mehrwertigen Gewichtungsdaten ein Gewicht verleiht.
In einem weiteren Aspekt schafft die vorliegende Erfindung eine Videodecodierungsvorrichtung zum Decodieren codierter Daten, die durch die Videocodierungsvorrichtung nach Anspruch 1 vorbereitet werden, mit: ersten Decodierungsmitteln zum Decodieren einer Videosequenz für ein Hintergrund-Video; zweiten Decodierungsmitteln zum Decodieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes; Bereichsinformations-Decodierungsmitteln zum Decodieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren; Gewichtungsdaten-Vorbereitungsmitteln zum Vorbereiten mehrwertiger Gewichtungsdaten aus den decodierten binären Bereichsinformationen; Gewichtungsmitteln zum Gewichten jeder Videosequenz mit einem Gewicht, das zu jenem entgegengesetzt ist, das durch die Videocodierungsvorrichtung nach Anspruch 1 gegeben ist; und Synthetisierungsmitteln zum Synthetisieren jeder Videosequenz, die durch die Gewichtungsmittel gewichtet wird.
In einem weiteren Aspekt schafft die vorliegende Erfindung ein Videocodie rungs- und Videodecodierungssystem, mit: einer Videocodierungsvorrichtung, die erste Codierungsmittel zum Codieren einer Videosequenz für ein Hintergrundvideo, zweite Codierungsmittel zum Codieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes sowie Bereichsinformations-Codierungsmittel zum Codieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, besitzt; und einer Videodecodierungsvorrichtung, die erste Decodierungsmittel zum Decodieren einer Videosequenz für ein Hintergrundvideo, zweite Decodierungsmittel zum Decodieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes und Bereichsinformations-Decodierungsmittel zum Decodieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, besitzt; dadurch gekennzeichnet, dass die Videodecodierungsvorrichtung ferner mit Gewichtungsdaten-Vorbereitungsmitteln zum Vorbereiten mehrwertiger Gewichtungsdaten aus den decodierten binären Bereichsinformationen, mit Gewichtungsmitteln zum Gewichten jeder Videosequenz mit den mehrwertigen Gewichtungsdaten und mit Synthetisierungsmitteln zum Synthetisieren jeder Videosequenz, die durch die Gewichtungsmittel gewichtet ist, versehen ist.
KURZBESCHREIBUNG DER ZEICHNUNG
1 ist ein Blockschaltplan zum Erklären des Standes der Technik.
2 ist eine Ansicht zum Erklären eines Konzepts des Codierungsverfahrens, das als Hintergrund der vorliegenden Erfindung gegeben wird.
3 zeigt ein Beispiel eines Konzepts des Decodierungsverfahrens, das als Hintergrund der vorliegenden Erfindung gegeben wird.
4 zeigt ein weiteres Beispiel eines Konzepts des Decodierungsverfahrens, das als Hintergrund der vorliegenden Erfindung gegeben wird.
5 ist ein Blockschaltplan, der eine Codierungsvorrichtung zeigt, die den Hintergrund der vorliegenden Erfindung darstellt.
6 zeigt ein veranschaulichtes Verfahren des Codierens der codierten Daten der unteren Schicht, der ersten oberen Schicht und der zweiten oberen Schicht durch eine Codierungsvorrichtung, die den Hintergrund der vorliegenden Erfin dung darstellt.
7 zeigt ein weiteres veranschaulichtes Verfahren des Codierens der codierten Daten der ersten oberen Schicht durch eine Codierungsvorrichtung, die den Hintergrund der vorliegenden Erfindung darstellt.
8 zeigt ein weiteres veranschaulichtes Verfahren des Codierens der codierten Daten der unteren Schicht, der ersten oberen Schicht und der zweiten oberen Schicht durch eine Codierungsvorrichtung, die den Hintergrund der vorliegenden Erfindung darstellt.
9 zeigt ein weiteres veranschaulichtes Verfahren des Codierens der codierten Daten der unteren Schicht, der ersten oberen Schicht und der zweiten oberen Schicht durch eine Codierungsvorrichtung, die den Hintergrund der vorliegenden Erfindung darstellt.
10 ist ein Blockschaltplan, der eine Decodierungsvorrichtung zeigt, die den Hinergrund der vorliegenden Erfindung darstellt.
11 ist ein Blockschaltplan, der eine weitere Decodierungsvorrichtung zeigt, die den Hintergrund der vorliegenden Erfindung darstellt.
12 ist ein Blockschaltplan, der eine weitere Decodierungsvorrichtung zeigt, die den Hintergrund der vorliegenden Erfindung darstellt.
13 ist ein Blockschaltplan zum Erklären eines herkömmlichen Verfahrens.
14 zeigt ein Beispiel einer Alphaebene entsprechend einem herkörmmlichen Verfahrens.
15 ist ein Blockschaltplan zum Erklären einer Ausführungsform der vorliegenden Erfindung.
16 zeigt ein Beispiel der Bereichsinformation gemäß der vorlegenden Erfindung.
17 zeigt ein Beispiel einer linearen Gewichtsfunktion gemäß der vorliegen den Erfindung.
18 zeigt ein Beispiel des Vorbereitens einer Alphaebene gemäß der vorliegenden Erfindung.
19 ist ein Blockschaltplan zum Erklären einer weiteren Ausführungsform der vorliegenden Erfindung.
20 ist ein Blockschaltplan zum Erklären eines Beispiels eines Videocodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
21 ist ein Blockschaltplan zum Erklären eines Beispiels eines Videodecodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
22 ist ein Blockschaltplan zum Erklären eines weiteren Beispiels eines Videocodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
23 ist ein Blockschaltplan zum Erklären eines weiteren Beispiels eines Videodecodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
24 ist ein Blockschaltplan zum Erklären eines weitem Beispiels eines Videocodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
25 ist ein Blockschaltplan zum Erklären eines weiteren Beispiels eines Videodecodierungsabschnitts in einer weiteren Ausführungsform der vorliegenden Erfindung.
26 ist ein Blockschaltplan zum Erklären eines veranschaulichten Falls, dass die Bereichsinformationen in einer weiteren Ausführungsform der vorliegenden Erfindung nicht codiert werden.
27 zeigt ein Konzept eines herkömmlichen Verfahrens.
28 ist ein Blockschaltplan zum Erklären eines herkömmlichen Codierungs- und Decodierungssystems.
29 ist ein Blockschaltplan zum Erklären eines herkömmlichen Verfahrens zum Steuern der Anzahl der Codes.
30 ist eine Ansicht zum Erklären eines 8-Richtungs-Quantisierungscodes.
31 ist eine Ansicht zum Erklären der Probleme eines herkömmlichen Verfahrens.
32 ist ein Blockschaltplan einer Bildsynthetisierungsvorrichtung, die als Hintergrund der vorliegenden Erfindung angegeben ist.
33 ist eine Ansicht zum Erklären der Wirkungen des Betreibens der Vorrichtung nach 32.
34 ist ein Blockschaltplan einer weiteren Bildsynthetisierungsvorrichtung, die als Hintergrund der vorliegenden Erfindung angegeben ist.
35 und 36 sind Blockschaltpläne zum Erklären einer Codierungs- und einer Decodierungsseite eines Systems, die als Hintergrund der vorliegenden Erfindung angegeben sind.
37 zeigt ein Beispiel des Approximierens der Bereichsinformation unter Verwendung von Rechtecken.
38 ist ein Blockschaltplan zum Erklären einer weiteren Ausführungsform der vorliegenden Erfindung.
39 zeigt ein veranschaulichtes Verfahren zum Vorbereiten der Gewichtsinformationen unter Verwendung der Vorrichtung nach 38.
40 ist ein Blockschaltplan einer Codierungsbetriebsart-Umschaltvorrichtung, die den Hintergrund der vorliegenden Erfindung darstellt.
41 ist ein Blockschaltplan einer Steuervorrichtung für die Menge der codierten Daten, die den Hintergrund der vorliegenden Erfindung darstellt.
42 ist eine Ansicht zum Erklären eines Zielkoeffizienten der Codes, der für das Codieren eines ausgewählten Bereichs durch ein durch die Vorrichtung nach 41 ausgeführtes Codemengen-Steuerverfahren verwendbar ist.
43 ist eine Ansicht zum Erklären eines Zielkoeffizienten der Codes, der für das Codieren eines Bereichs außerhalb eines ausgewählten Bereichs durch ein durch die Vorrichtung nach 41 ausgeführtes Codemengen-Steuerverfahren verwendbar ist.
44 ist eine Ansicht zum Erklären eines Zielkoeffizienten der Codes, der für das Codieren eines Bereichs außerhalb eines ausgewählten Bereichs durch ein durch die Vorrichtung nach 41 ausgeführtes Codemengen-Steuerverfahren verwendbar ist.
DIE BEVORZUGTE AUSFÜHRUNGSFORM DER ERFINDUNG
1 ist ein Blockschaltplan, der den Stand der Technik als eine Referenz für die vorliegende Erfindung zeigt. Ein Bereichsauswahlabschnitt 20 ist vorgesehen, um einen spezifizierten Bereich eines Videobildes auszuwählen. Im Fall des Auswählens z. B. eines Gesichtsbereichs eines Videobildes auf einer Anzeige eines Videotelephons ist es möglich, einen Bereich unter Verwendung eines Verfahrens auszuwählen, das in einem Bezugsmaterial "Real-time auto face-tracking system", (The Institute of Image Electronics Engineers of Japan, Previewing Report of Society Meeting, S. 13–16, 1993) beschrieben ist.
In 1 codiert ein Bereichspositions- und -form-Codierungsabschnitt 21 eine Position und eine Reform eines ausgewählten Bereichs. Eine optionale Form kann z. B. unter Verwendung von Kettencodes codiert werden. Die codierte Position und die codierte Form werden in codierte Daten zusammengestellt und durch einen Integrationsabschnitt 22 für die codierten Daten übertragen oder akkumuliert.
Ein Einstellabschnitt 23 für codierte Parameter stellt verschiedene Parameter ein, die für das Steuern der Bildqualität oder der Datenmenge bei der Videoco dierung verwendbar sind, so dass der Bereichspositions- und -form-Codierungsabschnitt 21 einen ausgewählten Bereich codieren kann, um eine höhere Bildqualität als die der anderen Bereiche zu erhalten.
Ein Parametercodierungsabschnitt 24 codiert verschiedene eingestellte Parameter. Die codierten Parameter werden in codierten Daten zusammengestellt und durch einen Integrationsabschnitt 22 für codierte Daten übertragen oder akkumuliert. Der Videocodierungsabschnitt 25 codiert die Eingangsvideodaten unter Verwendung verschiedener Parameter durch eine Kombination der herkömmlichen Codierungsverfahren, wie z. B. der bewegungskompensierenden Vorhersage, der orthogonalen Transformation, der Quantisierung und der Codierung mit variabler Länge. Die codierten Videodaten werden durch den Integrationsabschnitt 22 für die codierten Daten in codierte Daten zusammengesetzt, wobei dann die codierten Daten übertragen oder akkumuliert werden. Das Konzept der vorliegenden Erfindung wird wie folgt beschrieben:
2 ist eine Ansicht zum Erklären des Konzepts des Codierungsverfahrens. Das hierarchische Codierungsverfahren verwendet eine untere Schicht (untere Ebene) und zwei obere Schichten (höhere Ebenen). In der unteren Schicht wird ein ausgewählter Bereich (der schraffierte Bereich) mit einer relativ niedrigen Bildqualität codiert. Eine wahrnehmbare Zeit wird durch t bezeichnet, wobei ein decodiertes Bild zum Zeitpunkt t durch L(t) bezeichnet wird. In der ersten oberen Schicht wird ein ganzes Bild codiert, damit es eine relativ niedrige Bildqualität besitzt. Ein decodiertes Bild dieser Schicht wird durch H1(t) bezeichnet. In diesem Fall kann die Vorhersagecodierung unter Verwendung des decodierten Bildes der unteren Schicht L(t) und des decodierten Bildes der ersten oberen Schicht H1(t – 1) ausgeführt werden. In der zweiten oberen Schicht wird nur der ausgewählte Bereich vorhersagecodiert, damit er eine höhere Bildqualität als die der unteren Schicht besitzt. Das decodierte Bild dieser Schicht wird durch H2(t) bezeichnet. In diesem Fall wird die Vorhersagecodierung unter Verwendung des decodierten Bildes der unteren Schicht L(t) und des decodierten Bildes der zweiten oberen Schicht H2(t – 1) ausgeführt.
3 und 4 veranschaulichen das Konzept eines Decodierungsverfahrens.
3 zeigt die Dreischicht-Decodierungsprozesse: das Decodieren nur der Daten der unteren Schicht, das Decodieren nur der Daten der ersten oberen Schicht und das Decodieren der Daten aller Schichten. In diesem Fall reproduziert das Decodieren der Daten der unteren Schicht nur ein durch die Codierungsvorrichtung ausgewähltes Bild, das eine relativ niedrige Bildqualität besitzen soll, das Decodieren der Daten der ersten oberen Schicht reproduziert ein ganzes Bild mit einer relativ niedrigen Bildqualität und das Decodieren aller codierten Daten reproduziert den ausgewählten Bereich mit einer höheren Bildqualität und alle anderen Bereiche mit einer niedrigeren Bildqualität. Andererseits zeigt 4 einen Fall, in dem alle codierten Signale nach dem Decodieren der Daten der zweiten oberen Schicht anstatt der Daten der ersten oberen Schicht decodiert werden. In diesem Fall werden die Daten einer Zwischenschicht (der zweiten oberen Schicht) decodiert, um nur einen ausgewählten Bildbereich mit einer höheren Bildqualität zu reproduzieren.
Mit der obigen Decodierungsvorrichtung wird nur ein ausgewählter Bildbereich mit einer niedrigeren Bildqualität aus den codierten Daten reproduziert, die der unteren Schicht entsprechen, während ein ganzes Bild mit einer niedrigeren Bildqualität oder nur ein ausgewählter Bereich mit einer höheren Bildqualität aus den codierten Daten reproduziert wird, die der oberen Schicht entsprechen. Es kann nämlich irgendeine der zwei oberen Schichten über einer gemeinsamen unteren Schicht ausgewählt werden.
5 ist ein Blockschaltplan, der eine Codierungsvorrichtung zeigt.
In 5 sind ein Bereichsauswahlabschnitt 5 und ein Bereichspositions- und -form-Codierungsabschnitt 6 in ihrer Funktion zu denjenigen des Standes der Technik ähnlich, die in 1 gezeigt sind.
In 5 codiert ein Codierungsabschnitt 4 für die untere Schicht nur einen durch den Bereichsauswahlabschnitt 5 ausgewählten Bereich, der eine niedrigere Bildqualität besitzen soll, bereitet die codierten Daten der unteren Schicht vor und erzeugt ein decodiertes Bild aus den codierten Daten. Das decodierte Bild wird als ein Bezugsbild für die Vorhersagecodierung verwendet.
Ein Codierungsabschnitt 1 für die erste Schicht codiert ein ganzes Bild, das eine niedrigere Bildqualität besitzen soll, bereitet die codierten Daten der ersten Schicht vor und erzeugt ein decodiertes Bild aus den codierten Daten. Das decodierte Bild wird als ein Referenzbild für die Vorhersagecodierung verwen det.
Ein Codierungsabschnitt 2 für die zweite Schicht codiert nur das Bild eines ausgewählten Bereichs, das eine höhere Bildqualität besitzen soll, bereitet die codierten Daten der zweiten Schicht vor und erzeugt ein decodiertes Bild aus den codierten Daten. Das decodierte Bild wird als ein Referenzbild für die Vorhersagecodierung verwendet.
Ein Integrationsabschnitt 3 für die codierten Daten integriert die Positions- und Formcodes des ausgewählten Bereichs, die codierten Daten der unteren Schicht, die codierten Daten der ersten oberen Schicht und die codierten Daten der zweiten oberen Schicht.
Es gibt mehrere Arten von Codierungsverfahren, die im Codierungsabschnitt 4 für die untere Schicht, im Codierungsabschnitt 1 für die erste Schicht und im Codierungsabschnitt 2 für die zweite Schicht anwendbar sind, die wie folgt beschrieben werden: die 6 und 7 veranschaulichen die Technik des Steuerns der Bildqualität der unteren Schicht und der Bildqualität der oberen Schicht abhängig von den Quantisierungsschritten.
6(a) veranschaulicht, wie die Bilddaten der unteren Schicht zu codieren sind. Ein schraffierter Bereich stellt einen ausgewählten Bereich dar. In der unteren Schicht wird ein ausgewählter Bereich eines ersten Vollbildes innerbildcodiert, wobei ausgewählte Bereiche anderer verbleibender Vollbilder durch das bewegungskompensierende Vorhersageverfahren vorhersagecodiert werden. Ein ausgewählter Bereich eines Vollbildes der unteren Schicht, der bereits codiert und decodiert worden ist, wird als ein Bezugsbild für die bewegungskompensierende Vorhersage verwendet. Obwohl in 6(a) nur die Vorwärtsvorhersage gezeigt ist, kann sie in Kombination mit der Rückwärtsvorhersage angewendet werden. Weil der Quantisierungsschritt in der unteren Schicht gesteuert wird, damit er größer als der in der zweiten oberen Schicht ist, wird nur ein ausgewählter Bereich eines Eingangsbildes codiert, damit er eine niedrigere Bildqualität (mit einem niedrigen Rauschabstand) besitzt. Folglich werden die Bilddaten der unteren Schicht unter Verwendung einer kleineren Codemenge codiert.
6(b) veranschaulicht, wie die Bilddaten der ersten oberen Schicht zu codie ren sind. In dieser Schicht ist ein ganzes Bild codiert. Ein ganzes Bild wird z. B. durch Vorhersagecodierung basierend auf einem decodierten Bild der unteren Schicht und einem decodierten Bild der ersten oberen Schicht codiert. In diesem Fall wird ein ganzes Bild des ersten Vollbildes durch Vorhersage aus dem decodierten Bild der unteren Schicht codiert (die Bereiche außer dem ausgewählten Bereich werden in der Praxis innerbildcodiert, weil das bewegungskompensierende Vorhersageverfahren in der Praxis nicht angewendet werden kann). Die anderen Vollbilder können unter Verwendung der Vorhersagecodierung in Kombination mit der bewegungskompensierenden Vorhersage codiert werden.
Eine derartige Variation ist außerdem anwendbar, die einen ausgewählten Bereich nicht codiert und nur die anderen Bereiche durch das Vorhersagecodierungsverfahren codiert, wie in 6 gezeigt ist. Der Codierungsprozess wird für die Bereiche außer dem ausgewählten Bereich ausgeführt.
6(c) veranschaulicht, wie die Bilddaten der zweiten oberen Schicht zu codieren sind. Es wird nur ein ausgewählter Bildbereich mit einem relativ kleinen Quantisierungsschritt codiert. In diesem Fall sind die zu codierenden objektiven Daten die zwischen den ursprünglichen Bilddaten und den aus den Bilddaten der unteren Schicht vorhergesagten Bilddaten erhaltenen differenziellen Daten. Obwohl nur die Vorhersage aus den Bilddaten der unteren Schicht in 6(c) gezeigt ist, kann sie in Kombination mit der Vorhersage aus einem decodierten Vollbild der zweiten oberen Schicht verwendet werden.
8 ist eine Ansicht zum Erklären eines Verfahrens des Steuerns der Bildqualität der unteren Schicht und der Bildqualität der oberen Schicht unter Verwendung differenzieller Zeitauflösungswerte.
8(a) veranschaulicht, wie die Bilddaten der unteren Schicht zu codieren sind. Ein schraffierter Bereich stellt einen ausgewählten Bereich dar. In der unteren Schicht wird ein ausgewählter Bereich eines ersten Vollbildes innerbildcodiert, während die ausgewählten Bereiche der anderen verbleibenden Vollbilder durch die bewegungskompensierende Vorhersage vorhersagecodiert werden. Ein ausgewählter Bereich eines Vollbildes der unteren Schicht, der bereits codiert und decodiert worden ist, wird als ein Bezugsbild für die bewegungskompensierende Vorhersage wendet. Obwohl in 8(a) nur die Vor wärtsvorhersage gezeigt ist, kann sie in Kombination mit der Rückwärtsvorhersage angewendet werden. Die Vollbildrate der unteren Schicht ist so verringert, dass die Zeitauflösung eingestellt ist, damit sie niedriger als die in der zweiten oberen Schicht ist. Es ist außerdem möglich, die Vollbilder mit einem kleineren Quantisierungsintervall zu codieren, so dass jedes Vollbild einen größeren Rauschabstand besitzen kann.
8(b) veranschaulicht, wie die Bilddaten der ersten oberen Schicht zu codieren sind. Ein ganzes Bild wird mit einer niedrigen Zeit-Bild-Auflösung codiert. In diesem Fall ist es möglich, das Codierungsverfahren ähnlich zu demjenigen, das in 6(b) oder 7 gezeigt ist, anzuwenden.
8(c) veranschaulicht, wie die Bilddaten der zweiten oberen Schicht zu codieren sind. Es wird nur ein ausgewählter Bereich mit einer höheren Zeitauflösung codiert. In diesem Fall wird ein Vollbild, dessen ausgewählter Bereich in der unteren Schicht codiert worden ist, durch Vorhersage aus dem decodierten Bild der unteren Schicht codiert, wohingegen alle anderen Vollbilder durch bewegungskompensierende Vorhersage aus den bereits decodierten Vollbildern der oberen Schicht codiert werden. Im Fall der Verwendung der Vorhersage aus dem decodierten Vollbild der unteren Schicht ist es möglich, nicht alle Bilddaten der zweiten oberen Schicht zu codieren und das decodierte Bild der unteren Schicht als ein decodiertes Bild der zweiten oberen Schicht zu übernehmen.
9 ist eine Ansicht zum Erklären eines Verfahrens der Bildqualität der unteren Schicht und der Bildqualität der oberen Schicht unter Verwendung differenzieller räumlicher Auflösungswerte.
9(a) veranschaulicht, wie die Bilddaten der unteren Schicht zu codieren sind. Ein ursprüngliches Bild wird durch eine Tiefpassfilterungs- oder Verdünnungsoperation in ein Bild mit einer niedrigeren räumlicher Auflösung umgesetzt. Nur die schraffierten ausgewählten Bereiche werden codiert. In der unteren Schicht wird ein ausgewählter Bereich eines ersten Vollbildes innerbildcodiert, während die ausgewählten Bereiche der anderen verbleibenden Vollbilder durch bewegungskompensierende Vorhersage vorhersagecodiert werden.
9(b) veranschaulicht, wie die Bilddaten der ersten oberen Schicht zu codieren sind. Ein ursprüngliches Bild wird in ein Bild mit einer niedrigeren räumli chen Auflösung umgesetzt, wobei ein ganzes Bild mit einer höheren Zeitauflösung codiert wird. In diesem Fall ist es möglich, das Codierungsverfahren ähnlich zu demjenigen, das in 6(b) oder 7 gezeigt ist, anzuwenden.
9(c) veranschaulicht, wie die Bilddaten der zweiten oberen Schicht zu codieren sind. Es wird nur ein ausgewählter Bereich mit einer höheren räumlichen Auflösung codiert. In diesem Fall wird ein decodiertes Bild der unteren Schicht in ein Bild umgesetzt, das die gleiche räumliche Auflösung wie ein ursprüngliches Bild besitzt, wobei die ausgewählten Bereiche durch Vorhersage aus dem decodierten Bild der unteren Schicht und durch bewegungskompensierende Vorhersage aus dem bereits decodierten Vollbild der zweiten oberen Schicht codiert werden.
Die obenbeschriebenen Bildqualität-Steuerverfahren, die die Abstufungsauflösung (durch den Rauschabstand), die Zeitauflösung und die räumliche Auflösung verwenden, können außerdem in Kombination miteinander angewendet werden.
Es ist z. B. möglich, die Bildqualität der unteren Schicht und die Bildqualität der oberen Schicht unter Verwendung einer Kombination einer differenziellen räumlichen Auflösung und einer differenziellen Zeitauflösung oder unter Verwendung einer Kombination eines differenziellen Quantisierungsschrittes und einer differenziellen Zeitauflösung einzustellen.
Ein ausgewählter Bereich in einem ganzen Bild wird folglich codiert, damit er eine höhere Bildqualität als die der anderen Bereiche besitzt. Gleichzeitig werden die codierten Daten einer entsprechenden der drei hierarchische Schichten (der zwei oberen Schichten und einer unteren Schicht) gegeben.
10 veranschaulicht eine erste Decodierungsvorrichtung, die vorgesehen ist, um nur die Bilddaten der unteren Schicht zu decodieren.
In 10 ist ein Trennabschnitt 7 für die codierten Daten vorgesehen, um die codierten Daten in die codierten Daten der Bereichsposition und -form und in die codierten Bilddaten der unteren Schicht zu trennen und die gewünschten codierten Daten wahlweise zu extrahieren.
Ein Bereichspositions- und -form-Decodierungsabschnitt 9 ist vorgesehen, um einen Positionscode und einen Formcode eines ausgewählten Bereichs zu decodieren.
Ein Decodierungsabschnitt 8 für die untere Schicht ist vorgesehen, um die codierten Daten der unteren Schicht eines ausgewählten Bereichs zu decodieren und ein decodiertes Bild mit niedrigerer Qualität nur des ausgewählten Bereichs vorzubereiten.
Demzufolge bezieht sich jedes aus dieser Decodierungsvorrichtung ausgegebene Bild auf Bildinformationen nur eines ausgewählten Bereichs, der als ein Fenster auf einem Anzeigeschirm angezeigt wird. Der Decodierungsabschnitt 8 für die untere Schicht kann mit einem Umsetzer für die räumliche Auflösung versehen sein, um den ausgewählten Bereich auf Vollschirmgröße zu vergrößern und ihn auf dem Anzeigeschirm anzuzeigen.
Die gezeigte Ausführungsform der Decodierungsvorrichtung kann infolge des Decodierens nur der Daten der unteren Schicht eines ausgewählten Bereichs die decodierten Bilder mit einer niedrigeren Qualität erhalten, sie kann aber eine einfache Hardware-Konstruktion besitzen, die den Decodierungsabschnitt für die oberen Schicht weglässt, wobei sie das codierte Bild durch das Verarbeiten einer verkleinerten Menge der codierten Daten leicht decodieren kann.
11 veranschaulicht eine zweite Decodierungsvorrichtung, in der ein Bereichspositions- und -form-Decodierungsabschnitt 9 und ein Decodierungsabschnitt 8 für die untere Schicht in ihrer Funktion zu denjenigen der ersten Decodierungsvorrichtung ähnlich sind.
In 11 extrahiert ein Trennabschnitt 10 für die codierten Daten aus den codierten Daten separat die codierten Daten der Bereichsposition und -form, die codierten Daten der unteren Schicht eines Bereichs und die codierten Daten der ersten oberen Schicht.
Der Decodierungsabschnitt 11 für die erste obere Schicht decodiert die codierten Daten der ersten oberen Schicht, wodurch ein ganzes Bild, das eine niedrigeren Qualität besitzen soll, unter Verwendung der Daten der Bereichsposition und -form, des decodierten Bildes der unteren Schicht und des decodierten Bil des der zweiten oberen Schicht decodiert wird. Auf diese Weise wird ein decodiertes Bild der ersten oberen Schicht vorbereitet.
Obwohl die gezeigte Vorrichtung die codierten Daten der ersten oberen Schicht verwendet, kann sie außerdem anstelle der ersten oberen Schicht die zweite obere Schicht verwenden. In diesem Fall extrahiert der Trennabschnitt 10 für die codierten Daten aus den codierten Daten separat die codierten Daten der Bereichsposition und -form, die codierten Daten der unteren Schicht eines Bereichs und die codierten Daten der zweiten oberen Schicht. Der Decodierungsabschnitt 11 für die erste obere Schicht ist durch einen Decodierungsabschnitt für die zweite obere Schicht ersetzt, der die codierten Daten der zweiten oberen Schicht unter Verwendung der Daten der Bereichsposition und -form, des decodierten Bildes der unteren Schicht und des decodierten Bildes der zweiten oberen Schicht decodiert, wobei nur das ausgewählte Bild decodiert wird, damit es eine höhere Qualität besitzt. Ein auf diese Weise vorbereitetes decodiertes Bild der zweiten oberen Schicht kann als ein Fenster auf einem Anzeigeschirm angezeigt werden oder auf Vollschirmgröße vergrößert und dann darauf angezeigt werden.
12 veranschaulicht eine dritte Decodierungsvorrichtung, in der ein Bereichspositions- und -form-Decodierungsabschnitt 9 und ein Decodierungsabschnitt 8 für die untere Schicht in ihrer Funktion zu denjenigen ähnlich sind, die in 2 gezeigt sind.
In 12 extrahiert ein Trennabschnitt 10 für die codierten Daten aus den codierten Daten separat die Daten der Bereichsposition und -form, die codierten Daten der unteren Schicht, die codierten Daten der ersten oberen Schicht und die codierten Daten der zweiten oberen Schicht.
Ein Decodierungsabschnitt 11 für die erste obere Schicht decodiert die codierten Daten der ersten oberen Schicht, während ein Decodierungsabschnitt 13 für die zweite obere Schicht die codierten Daten der zweiten oberen Schicht decodiert.
Ein Synthetisierungsabschnitt 14 für die obere Schicht kombiniert ein decodiertes Bild der zweiten oberen Schicht mit einem decodierten Bild der ersten oberen Schicht, um ein synthetisiertes Bild unter Verwendung der Informatio nen über die Bereichsposition und -form zu erzeugen. Die Synthese eines ausgewählten Bereichs wird unter Verwendung des decodierten Bildes der zweiten oberen Schicht ausgeführt, während die Synthese der anderen Bereiche unter Verwendung des decodierten Bildes der ersten oberen Schicht ausgeführt wird. Deshalb bezieht sich ein aus der Decodierungsvorrichtung ausgegebenes Bild auf ein ganzes Bild, in dem ein ausgewählter Bereich speziell decodiert ist, damit er eine höhere Qualität besitzt, was die Parameter, wie z. B. den SNR (den Rauschabstand), die Zeitauflösung und die räumliche Auflösung, anbelangt. Ein durch die Codierungsvorrichtung ausgewählter Bereich wird folglich decodiert, damit er eine höhere Qualität als die der anderen Bereiche besitzt.
13 ist ein Blockschaltplan, der eine herkömmliche Vorrichtung als eine Referenz zeigt. Es wird angenommen, dass eine erste Videosequenz ein Hintergrund-Video ist, während angenommen wird, dass eine zweite Videosequenz ein Video-Teil ist. Eine Alphaebene sind die Gewichtsdaten, die verwendet werden, wenn ein Teilbild mit einem Hintergrundbild in einer Bewegtbild-Sequenz(Videosequenz) synthetisiert wird. 14 zeigt ein veranschaulichtes Bild, das aus mit den Werten von 1 bis 0 gewichteten Bildpunkten gebildet ist. Es wird angenommen, dass die Daten der Alphaebene innerhalb eines Teils 1 sind, während sie außerhalb eines Teils 0 sind. Die Alphadaten können einen Wert von 0 bis 1 in einem Grenzabschnitt zwischen einem Teil und seinem Äußeren besitzen, um einen gemischten Zustand der Bildpunktwerte im Grenzabschnitt und die Transparenz von transparenten Substanzen, wie z. B. Glas, anzuzeigen.
In 13, die das herkömmliche Verfahren zeigt, codiert ein erster Videocodierungsabschnitt 101 die erste Videosequenz und ein zweiter Videocodierungsabschnitt 102 codiert die zweite Videosequenz entsprechend einem internationalen Standard-Videocodierungssystem, z. B. MPEG oder H.261. Ein Alphaebenen-Codierungsabschnitt 112 codiert eine Alphaebene. Im obenerwähnten Artikel verwendet dieser Abschnitt die Techniken der Vektorwertquantisierung und der Haar-Transformation. Ein (nicht gezeigter) Integrationsabschnitt für die codierten Daten integriert die von den Codierungsabschnitten empfangenen codierten Daten und akkumuliert oder überträgt die integrierten codierten Daten.
In der Decodierungsvorrichtung des herkömmlichen Verfahrens zerlegt ein (nicht gezeigter) Zerlegungsabschnitt für die codierten Daten die codierten Daten in die codierten Daten der ersten Videosequenz, die codierten Daten der zweiten Videosequenz und die codierten Daten der Alphaebene, die dann jeweils durch einen ersten Videodecodierungsabschnitt 105, einen zweiten Videodecodierungsabschnitt 106 und einen Alphaebenen-Decodierungsabschnitt 113 decodiert werden. Die zwei decodierten Sequenzen werden entsprechend den gewichteten Mittelwerten durch einen ersten Gewichtungsabschnitt 108, einen zweiten Gewichtungsabschnitt 109 und einen Addierer 111 synthetisiert. Die erste Videosequenz und die zweite Videosequenz werden entsprechend der folgenden Gleichung kombiniert:
f(x, y, t) = (1 – α(x, y, t))f1(x, y, t) + α(x, y, t)f2(x, y, t).
In der Gleichung stellt (x, y) die Koordinatendaten einer Innerbild-Bildpunktposition dar, t bezeichnet eine Vollbildzeit, f1(x, y, t) stellt einen Bildpunktwert der ersten Videosequenz dar, f2(x, y, t) stellt einen Bildpunktwert der zweiten Videosequenz dar, f(x, y, t) stellt einen Bildpunktwert der synthetisierten Videosequenz dar und α(x, y, t) stellt die Daten der Alphaebene dar. Der erste Gewichtungsabschnitt 108 verwendet nämlich 1 – α(x, y, t) als ein Gewicht, während der zweite Gewichtungsabschnitt 109 α(x, y, t) als ein Gewicht verwendet.
Wie oben erwähnt worden ist, erzeugt das herkömmliche Verfahren eine große Anzahl codierter Daten, weil es die Daten der Alphaebene codieren muss.
Um dieses Problem zu vermeiden, kann das Einsparen der Informationsmenge durch Digitalisieren der Daten der Alphaebene betrachtet werden, es wird aber von einem derartigen visuellen Fehler begleitet, dass etwa an der Grenze zwischen einem Teilbild und einem Hintergrund im Ergebnis der diskontinuierlichen Änderung der Bildpunktwerte eine zahnförmige Linie erscheint.
15 ist ein Blockschaltplan, der eine Codierungsvorrichtung und eine Decodierungsvorrichtung zeigt, die die vorliegende Erfindung verkörpern. In 15 sind ein erster Videocodierungsabschnitt 101, ein zweiter Videocodierungsabschnitt 102, ein erster Videodecodierungsabschnitt 105, ein zweiter Videodecodierungsabschnitt 106, ein erster Gewichtungsabschnitt 108, ein zweiter Gewichtungsabschnitt 109 und ein Addierer 111 in ihrer Funktion zu denjenigen der herkömmlichen Vorrichtung ähnlich, wobei sie deshalb nicht weiter erklärt sind. In 15 codiert ein Bereichsinformationen-Codierungsabschnitt 103 die Bereichsinformationen, die eine Form eines Teilbildes einer zweiten Videose quenz darstellen, ein Bereichsinformationen-Decodierungsabschnitt 107 decodiert die codierten Bereichsinformationen und ein Alphaebenen-Erzeugungsabschnitt 110 bereitet eine Alphaebene unter Verwendung der codierten Bereichsinformationen vor.
Die Operationen der Codierungsvorrichtung und der Decodierungsvorrichtung sind wie folgt:
Die Codierungsvorrichtung codiert die erste Videosequenz und die zweite Videosequenz durch den ersten Videocodierungsabschnitt 101 bzw. den zweiten Videocodierungsabschnitt 102, während sie die Bereichsinformationen durch den Bereichsinformationen-Codierungsabschnitt 103 entsprechend einem später beschriebenen Verfahren codiert. Diese codierten Daten werden für die weitere Übertragung oder Akkumulation durch einen (nicht gezeigten) Integrationsabschnitt für die codierten Daten integriert. Andererseits trennt die Decodierungsvorrichtung die übertragenen und akkumulierten codierten Daten durch den (nicht gezeigten) Trennabschnitt für die codierten Daten, wobei sie die getrennten codierten Daten durch den ersten Videodecodierungsabschnitt 105, den zweiten Videodecodierungsabschnitt 106 bzw. den Bereichsinformationen-Decodierungsabschnitt 107 decodiert. Der Alphaebenen-Erzeugungsabschnitt 110 bereitet eine Alphaebene aus den decodierten Bereichsinformationen durch ein später beschriebenen Verfahren vor. Der erste Gewichtungsabschnitt 108, der zweite Gewichtungsabschnitt 109 und der Addierer 111 können die zwei decodierten Sequenzen unter Verwendung gewichteter Mittelwerte entsprechend der vorbereiteten Alphaebene synthetisieren.
16 ist ein Beispiel der Bereichsinformationen, die den Bereichsinformationen eines Videoteilbildes nach 14 entsprechen. Die Bereichsinformationen sind unter Verwendung einer Schwelle von 0,2 digitalisiert. Die Bereichsinformationen können folglich durch Digitalisierung der Alphaebene erhalten werden oder sie können durch Flankenerfassung oder ein anderes Bereichsunterteilungsverfahren bestimmt werden. Im Fall des Auswählens eines Bereichs durch ein Verfahren, das in einem Bezugsmaterial "Real-time face-image following-up method" (The Institute of Image Electronics Engineers of Japan, Previewing Report of Society Meeting, 93-04-04, S. 13–16, 1993) beschrieben ist, können die zu verwendenden Informationen ein Rechteck sein. In diesem Fall werden die Bereichsinformationen digitalisiert, z. B. als 1 innerhalb eines Kör pers und als 0 außerhalb des Körpers.
Eine praktische Technik des Codierens der Bereichsinformationen, die nicht ausführlich erklärt wird, kann die Lauflängencodierung und die Kettencodierung sein, weil die Bereichsinformationen digitalisierte Daten sind. Falls die Bereichsdaten ein Rechteck darstellen, erfordern sie nur das Codieren der Koordinatendaten ihres Anfangspunkts, ihrer Länge und ihrer Breite.
Es können verschiedene Arten von Verfahren für das Vorbereiten einer Alphaebene abhängig davon angewendet werden, welche Form die Bereichsinformationen darstellen.
Im Fall eines Bereichs, der eine rechteckige Form besitzt, kann eine Alphaebene unabhängig unter Verwendung der folgenden linearen Gewichtswerte in der horizontalen Richtung und der vertikalen Richtung des rechteckigen Bereichs vorbereitet werden.
In der Gleichung (1) ist M gleich "aN", während L gleich "N – M" ist ("a" ist ein reeller Wert von 0 bis 1). "N" stellt eine Größe eines rechteckigen Bereichs dar, während "a" die Flachheit des auf diesen Bereich anzuwendenden Gewichts darstellt. 17 zeigt ein Beispiel einer linearen Funktion des Gewichts. Eine einem Rechteck entsprechende Alphaebene wird wie folgt ausgedrückt:
α(x, y) = WNx,ax(x)WNy,ay(y). (2)
In der Gleichung (2) wird eine Größe des Rechtecks durch die Anzahl der Bildpunkte "Nx" in der horizontalen Richtung und der Bildpunkte "Ny" in der vertikalen Richtung ausgedrückt, wobei die Flachheit des Gewichts durch "ax" in der horizontalen Richtung und durch "ay" in der vertikalen Richtung ausgedrückt wird.
Es kann außerdem die Verwendung verschiedener Kombinationen der linearen Gewichtsfunktionen außer der Gleichung (1) betrachtet werden.
Drei verschiedene Verfahren zum Vorbereiten einer Alphaebene für einen Be reich mit irgendeiner gewünschten Form sind im folgenden beispielhaft wie folgt beschrieben:
Das erste Verfahren besteht darin, ein umschriebenes Rechteck des Bereichs zu bestimmen und dann die obenerwähnten linearen Gewichtsfunktionen auf das umschriebene Rechteck in der horizontalen Richtung bzw. der vertikalen Richtung anzuwenden.
Das zweite Verfahren besteht darin, die Gewichtswerte, die auf einen Bereich anzuwenden sind, sequenziell aus seinem Umfang zu bestimmen, wie in 18 gezeigt ist. Es werden z. B. die Bildpunkte auf dem Umfang des Bereichs bestimmt, wobei ihnen ein Gewicht von jeweils 0,2 gegeben wird. Als Nächstes werden die Bildpunkte auf dem Umfang eines noch nicht gewichteten Teils innerhalb des Bereichs bestimmt, wobei ihnen ein Gewicht von jeweils 0,5 gegeben wird. Diese Operationen werden wiederholt, bis die Umfangsbildpunkte mit 1 gewichtet werden. Die Vorbereitung einer Alphaebene wird durch das Anwenden eines Gewichts von 1,0 auf einen letzten nicht gewichteten Bereich abgeschlossen. Die erhaltene Alphaebene besitzt einen Wert von 1,0 in ihrem Mittenabschnitt und einen Wert von 0,2 in ihrem Umfangsabschnitt. Im Fall des Bestimmens der Gewichtswerte aus dem Umfang eines Bereichs ist es möglich, eine lineare Gewichtsfunktion der Gleichung (1) oder andere sich linear ändernde Werte zu verwenden. Beim sequenziellen Ändern eines Gewichtswertes kann ein Dicke der Umfangsbildpunkte einen einzelnen Bildpunkt oder mehr betragen.
Das dritte Verfahren besteht darin, ein Gewicht von 0 auf das Äußere eines Bereichs und ein Gewicht von 1 auf das Innere des Bereichs anzuwenden und dann ein auf diese Weise digitalisiertes Bild durch ein Tiefpassfilter zu verarbeiten, um den Abschnitt der Bereichsgrenze abzustufen. Es können verschiedene Arten von Alphaebenen durch das Ändern einer Größe und eines Koeffizienten eines Filters und der Anzahl der Filterungsoperationen vorbereitet werden.
Aus dem Vorangehenden ist es offensichtlich, dass die erste Ausführungsform einen vergrößerten Wirkungsgrad der Datencodierung im Vergleich zur herkömmlichen Vorrichtung erreichen kann, weil die Alphaebene durch die Decodierungsseite vorbereitet wird, wobei dadurch die Notwendigkeit des Codierens der Gewichtungsinformationen beseitigt wird. Außerdem bereitet die Decodierungsvorrichtung eine Alphaebene aus den decodierten Bereichsinformationen vor, wobei sie die Videosequenzen unter Verwendung der vorbereiteten Alphaebene synthetisiert, dadurch wird das Auftreten eines derartigen visuellen Fehlers verhindert, dass an der Grenze eines Teilbildes im Hintergrund eine gezahnte Linie erscheint.
Eine weitere Ausführungsform der vorliegenden Erfindung wird wie folgt beschrieben:
Fig. 19 ist ein Blockschaltplan, der eine Codierungsvorrichtung und eine Decodierungsvorrichtung der Ausführungsform zeigt. In 19 sind ein erster Gewichtungsabschnitt 108, ein zweiter Gewichtungsabschnitt 109 und ein Addierer 111 ähnlich zu denjenigen der herkömmlichen Vorrichtung, wobei ihre weitere Erklärung weggelassen ist. Ein Bereichsinformationen-Codierungsabschnitt 103, ein Bereichsinformationen-Decodierungsabschnitt 107, die Alphaebenen-Erzeugungsabschnitte 121 und 122 sind in ihrer Funktion zu denjenigen der ersten Ausführungsform ähnlich, wobei sie deshalb nicht weiter erklärt werden.
Diese Ausführungsform ist dadurch gekennzeichnet, dass die Codierungsseite außerdem mit einem Alphaebenen-Erzeugungsabschnitt 120 versehen ist, um ein Bild mit Gewichtswerten zu codieren, um mehrere Videosequenzen zu synthetisieren. Die codierten Daten werden kleiner als die ursprünglichen Daten, weil die Gewichtsdaten nicht größer als 1 sind, wobei deshalb eine Menge der codierten Daten verringert werden kann.
In 19 codieren ein erster Videocodierungsabschnitt 122 und ein zweiter Videocodierungsabschnitt 123 die Bilder der Videosequenzen durch Gewichtung auf der Grundlage entsprechender durch die Codierungsseite vorbereiteter Alphaebenen. Ein erster Videodecodierungsabschnitt 124 und ein zweiter Videodecodierungsabschnitt 125 decodieren die codierten Bilder der Videosequenzen durch das inverse Gewichten auf der Grundlage der entsprechenden durch die Decodierungsseite vorbereiteten Alphaebenen.
Der erste Videocodierungsabschnitt 122 oder der zweite Videocodierungsabschnitt 123 können für die Transformationscodierung konstruiert sein, wie z. B. in 20 gezeigt ist. Eine zu verarbeitende Videosequenz ist die erste Videosequenz oder die zweite Videosequenz. Ein Transformationsabschnitt 131 transformiert ein Eingangsbild blockweise unter Verwendung eines Transformationsverfahren, wie z. B. der DCT (der diskreten Kosinustransformation), der diskreten Fouriertransformation und der Weiblet-Transformation.
In 20 gewichtet erster Gewichtungsabschnitt 132 einen Transformationskoeffizienten mit einem Wert der Alphaebene. Der für die Gewichtung verwendete Wert kann eine Alphaebene innerhalb eines zu verarbeiteten Bildblocks darstellen. Es wird z. B. ein Mittelwert der Alphaebene innerhalb des Blocks verwendet. Die Transformations-Koeffizienten der ersten Videosequenz und der zweiten Videosequenz werden durch g1(u, v) bzw. g2(u, v) ausgedrückt, wobei sie entsprechend der folgenden Gleichungen gewichtet werden:
gw1(u, v) = (1 – α)g1(u, v), gw2(u, v) = αg2(u, v) (3).
In der Gleichung (3) bezeichnen gw1(u, v) und gw2(u, v) die gewichteten Transformationskoeffizienten, u und v bezeichnen die horizontalen und vertikalen Frequenzen und α stellt eine Alphaebene in einem Block dar.
In 20 quantisiert ein Quantisierungsabschnitt 133 die Transformationskoeffizienten, während ein Abschnitt 134 für die Codierung mit variabler Länge die quantisierten Transformationskoeffizienten mit Codes mit variabler Länge codiert, um die codierten Daten zu erzeugen.
Ein erster Videodecodierungsabschnitt 124 oder ein zweiter Videodecodierungsabschnitt 125, der dem Videodecodierungsabschnitt nach 19 entspricht, kann konstruiert sein, wie in 21 gezeigt ist. Ein Abschnitt 141 für die Decodierung mit variabler Länge decodiert die codierten Daten, ein Abschnitt 142 für die inverse Quantisierung quantisiert die decodierten Daten invers und ein Abschnitt 143 für die inverse Gewichtung führt die entgegengesetzte Operation an den Transformationskoeffizienten aus, um die Gleichung (2) umzukehren. Die Transformationskoeffizienten werden nämlich mit Gewichtswerten, die zu jenen entgegengesetzt sind, die auf der Codierungsseite angewendet werden, entsprechend der folgenden Gleichung gewichtet:
ĝ1(u, v) = ĝw1(u, v)/(1 – α),
ĝ2(u, v) = ĝw2(u, v)/α (4).
In der Gleichung (4) zeigt ^ (Hut) die decodierten Daten an, z. B. gw1 mit einem Hut ist ein gewichteter decodierter Transformationskoeffizient der ersten Videosequenz.
Außer dem obenerwähnten Gewichtungsverfahren gibt es ein derartiges anwendbares Verfahren, das eine Gleichstromkomponente eines Transformationskoeffizienten nicht gewichtet und das die anderen Transformationskoeffizienten entsprechend der Gleichung (2) gewichtet. In diesem Fall wird die Gewichtung im wesentlichen durch das Korrigieren einer durch das internationale Standard-MPEG oder H.261 übernommenen Quantisierungsschrittbreite unter Verwendung eines repräsentativen Wertes der Alphaebene innerhalb des Blocks ausgeführt.
Es ist nämlich ein Quantisierungsschrittbreiten-Änderungsabschnitt 138 vorgesehen, wie in 22 gezeigt ist, wodurch eine durch einen (nicht gezeigten) Quantisierungsschrittbreiten-Bestimmungsabschnitt bestimmte Quantisierungsschrittbreite unter Verwendung der Daten der Alphaebene geändert wird. In der Praxis wird zuerst ein Repräsentant α (z. B. ein Mittelwert) der Alphaebene innerhalb eines Blocks bestimmt, wobei dann die Quantisierungsschrittbreite durch einen Wert (1 – α) für die erste Videosequenz oder durch einen Wert α für die zweite Videosequenz dividiert wird, um eine neue Quantisierungsschrittbreite zu erhalten.
Es gibt zwei inverse Gewichtungsverfahren, die dem obenerwähnten Gewichtungsverfahren entsprechen. Das erste Verfahren bezieht sich auf einen Fall, in dem eine Quantisierungsschrittbreite (ohne durch den Quantisierungsschrittbreiten-Änderungsabschnitt 138 geändert zu werden) durch die in 22 gezeigte Codierungsvorrichtung codiert wird. In diesem Fall decodiert die Decodierungsvorrichtung nach 23, die mit einem Quantisierungsschrittbreiten-Änderungsabschnitt 148 versehen ist, der demjenigen der Codierungsseite nach 22 entspricht, die Quantisierungsschrittbreite durch einen (nicht gezeigten) Quantisierungsschrittbreiten-Decodierungsabschnitt und ändert dann die decodierte Quantisierungsschrittbreite durch den Quantisierungsschrittbreiten-Änderungsabschnitt 148 entsprechend den Daten der Alphaebene. Das zweite Verfahren bezieht sich auf einen Fall, in dem eine Quantisierungsschritt breite, nachdem sie durch den Quantisierungsschrittbreiten-Änderungsabschnitt 138 geändert worden ist, durch die in 22 gezeigte Codierungsvorrichtung codiert wird. In diesem Fall verwendet die Decodierungsvorrichtung direkt die decodierte Quantisierungsschrittbreite und quantisiert sie invers. Dies beseitigt die Verwendung einer speziellen Vorrichtung für die inverse Gewichtung (d. h. den Quantisierungsschrittbreiten-Änderungsabschnitt 148 nach 23). Es wird jedoch in Betracht gezogen, dass das zweite Verfahren im Vergleich zum ersten Verfahren eine verringerte Flexibilität der Gewichtung besitzt.
Die obenbeschriebene zweite Ausführungsform verwendet die Transformationscodierung. Deshalb wurde aus den 20 bis 23 ein bewegungskompensierender Codierungsabschnitt, der das MPEG-System oder das H.261-System kennzeichnet, weggelassen. Dieses Verfahren kann jedoch für ein Codierungssystem angewendet werden, das die bewegungskompensierende Vorhersage verwendet. In diesem Fall wird ein Vorhersagefehler für die bewegungskompensierende Vorhersage in einen Transformationsabschnitt 131 nach 20 eingegeben.
Andere Gewichtungsverfahren in der zweiten Ausführungsform sind wie folgt:
24 zeigt ein Beispiel des ersten Videocodierungsabschnitts 122 oder des zweiten Videocodierungsabschnitts 123 in der in 19 gezeigten Codierungsvorrichtung. Der Codierungsabschnitt ist nämlich mit einem Gewichtungsabschnitt 150 versehen, der die Gewichtungsoperation vor der Videocodierung durch das Standardverfahren MPEG oder H.261 entsprechend der folgenden Gleichung ausführt:
fw1(x, y) = (1 – α)f1(x, y), fw2(x, y) = αf2(x, y) (5).
In der Gleichung (5) ist fw1(x, y) die erste gewichtete Videosequenz, fw2(x, y) ist die zweite gewichtete Videosequenz und α ist ein Repräsentant einer Alphaebene innerhalb eines Blocks.
Die Gewichtung kann entsprechend der folgenden Gleichung ausgeführt werden:
fw1(x, y) = (1 – α(x, y))f1(x, y),
fw2(x, y) = α(x, y)f2(x, y) (6).
25 zeigt ein inverses Gewichtungsverfahren der Decodierungsvorrichtung, das dem obenerwähnten Gewichtungsverfahren entspricht. Der Abschnitt 161 für die inverse Gewichtung gewichtet die Videosequenz mit einem Gewicht, das das durch die Codierungsvorrichtung angewendete umkehrt.
Wenn die Codierungsvorrichtung die Videosequenz entsprechend Gleichung (5) gewichtet hat, können in der Decodierungsvorrichtung den Abschnitt 161 für die inverse Gewichtung, der erste Gewichtungsabschnitt 108 und der zweite Gewichtungsabschnitt 109 zum Synthetisieren der Sequenzen, die in 19 gezeigt sind, weggelassen werden. Es ist nämlich möglich, eine Codierungsvorrichtung und eine Decodierungsvorrichtung zu verwenden, die in 26 gezeigt sind. Ein erster Videocodierungsabschnitt 122 und ein zweiter Videocodierungsabschnitt 123, die in 26 gezeigt sind, sind konstruiert, wie in 24 gezeigt ist, wobei sie das Gewichtungsverfahren nach Gleichung (5) verwenden. In diesem Fall sind die Gewichtungsinformationen, wie z. B. die Bereichsinformationen und die Daten der Alphaebene, die für das Synthetisieren der Videosequenzen notwendig sind, in den codierten Videodaten selbst enthalten, wobei die Gewichtungsinformationen keine Codierung erfordern. Demzufolge können die durch die Decodierungsvorrichtung decodierten Sequenzen direkt zueinander addiert werden, um eine synthetisierte Sequenz zu erzeugen. Das Codieren nur der Daten innerhalb eines Bereichs ist viel effektiver als das Codieren eines ganzen Bildes, falls sich eine Videosequenz 102 auf ein Teilbild bezieht. In diesem Fall wird es notwendig, die Bereichsinformationen durch die Codierungsvorrichtung zu codieren und die codierten Bereichsinformation durch die Decodierungsvorrichtung zu decodieren.
Die vorangehende Beschreibung bezieht sich auf ein Beispiel der Gewichtung jeder von mehreren Videosequenzen in der zweiten Ausführungsform der vorliegenden Endung. Die erste Videosequenz wird z. B. mit einem Wert (1 – α) gewichtet, während die zweite Videosequenz mit einem Wert α gewichtet wird.
Obwohl die Ausführungsformen im Fall des Synthetisierens einer Hintergrund-Videosequenz und einer Video-Teilsequenz erklärt worden sind, ist die vorliegende Erfindung nicht darauf eingeschränkt, sondern sie kann beschaffen sein, um mehrere Video-Teilsequenzen mit einem Hintergrund zu synthetisieren. In diesem Fall werden alle Bereichsinformationen, die jedem Teilbild entsprechen, codiert.
Das Hintergrundbild und die Teilbilder können unabhängig codiert werden oder sie können hierarchisch codiert werden, wobei das Hintergrundbild als eine niedrigere Schicht und die Teilbilder als die oberen Schichten betrachtet werden. Im letzteren Fall kann jedes Bild der oberen Schicht effektiv codiert werden, indem sein Bildpunktwert aus dem des Bildes der unteren Schicht vorhergesagt wird.
Es ist ein Videocodierungsverfahren betrachtet worden, das beschaffen ist, um verschiedene Arten von Videosequenzen zu synthetisieren.
Die Synthetisierungsvorrichtung nach 32 ist vorgesehen, um ein Problem zu lösen, das in einem Synthetisierungsabschnitt 205 auftreten kann, der in 28 zeigt ist. Diese Videosynthetisierungsvorrichtung kann ein Bild aus zwei decodierten Vollbildern der unteren Schicht und einem decodierten ausgewählten Bereich der oberen Schicht oder decodierten ausgewählten Bereichen der oberen Schicht ohne das Auftreten einer nachbildähnlichen Verzerrung um den ausgewählten Bereich oder die ausgewählten Bereiche synthetisieren. 32 ist ein Blockschaltplan, der die Bildsynthetisierungsvorrichtung zeigt.
In 32 dient ein erster Bereichsextraktionsabschnitt 221 dazu, einen Bereich, der sich auf einen ersten Bereich bezieht und sich nicht auf einen zweiten Bereich bezieht, aus den ersten Bereichsinformationen eines Vollbildes der unteren Schicht und den zweiten Bereichsinformationen eines Vollbildes der unteren Schicht zu extrahieren. In 33(a) sind die ersten Bereichsinformationen durch eine gestrichelte Linie (0 innerhalb des gestrichelten Bereichs und 1 außerhalb des gestrichelten Bereichs) gezeigt, während die zweiten Bereichsinformationen durch eine unterbrochene Linie (mit ähnlichen numerischen Codes) gezeigt sind. Folglich ist ein durch den ersten Bereichsextraktionsabschnitt 221 zu extrahierender Bereich ein in 33 gezeigter schraffierter Teil.
Ein zweiter Bereichsextraktionsabschnitt 222 nach 32 ist vorgesehen, um einen Bereich, der sich auf den zweiten Bereich bezieht und sich nicht auf den ersten Bereich bezieht, aus den ersten Bereichsinformationen, eines Vollbildes der unteren Schicht und den zweiten Bereichsinformationen eines Vollbildes der unteren Schicht zu extrahieren. Es wird nämlich ein in 33(a) gezeigter punktierter Bereich extrahiert.
In 32 steuert ein Controller 223 einen Schalter 224 entsprechend einem Ausgangssignal des ersten Bereichsextraktionsabschnitts und des zweiten Bereichsextraktionsabschnitts. Der Schalter 224 ist nämlich mit einer Seite des zweiten decodierten Bildes verbunden, wenn sich die Position eines bemerkenswerten Bildpunktes nur auf den ersten Bereich bezieht, während er mit einer Seite des ersten decodierten Bildes verbunden ist, wenn sich der bemerkenswerte Bildpunkt nur auf den zweiten Bereich bezieht. Der Schalter ist mit einem Ausgang des Interpolationsbild-Erzeugungsabschnitts 225 verbunden, wenn sich der bemerkenswerte Bildpunkt nicht auf die ersten und zweiten Bereiche bezieht.
Der Interpolationsbild-Erzeugungsabschnitt 225 berechnet ein Interpolationsbild zwischen dem ersten decodierten Bild der unteren Schicht und dem zweiten decodierten Bild der unteren Schicht entsprechend der Gleichung (1), die wie oben definiert ist. In Gleichung (1) wird das erste decodierte Bild als B(x, y, t1) ausgedrückt, das zweite decodierte Bild wird als B(x, y, t2) ausgedrückt und das Interpolationsbild wird als B(x, y, t3) ausgedrückt. "t1", "t2" und "t3" sind die Zeitmarken des ersten decodierten Bildes, des zweiten decodierten Bildes bzw. des Interpolationsbildes.
In 33(a) ist das auf diese Weise erzeugte Interpolationsbild dadurch gekennzeichnet, dass der schraffierte Bereich mit einem Hintergrundbild, außerhalb des ausgewählten Bereichs, des zweiten decodierten Vollbildes gefüllt ist, ein punktierter Bereich mit einem Hintergrundbild, außerhalb des ausgewählten Bereichs, des ersten decodierten Vollbildes gefüllt ist und die anderen Abschnitte mit dem Interpolationsbild zwischen dem ersten und zweiten decodierten Vollbild gefüllt sind. Das decodierte Bild der oberen Schicht wird dann durch den Abschnitt 226 für die gewichtete Mittelung, der in 32 gezeigt ist, dem obenerwähnten Interpolationsbild überlagert, um ein in 33(b) gezeigtes synthetisiertes Bild zu erzeugen, das um den ausgewählten (schraffierten) Bereich kein Nachbild besitzt und frei von der Verzerrung ist, die im Bild des Standes der Technik aufgetreten ist. Der Abschnitt 226 für die gewichtete Mittelung kombiniert unter Verwendung des gewichteten Mittels das Interpolationsbild mit dem decodierten Bild der oberen Schicht. Das Verfahren der gewichteten Mittelung ist vorausgehend beschrieben worden.
In der obenbeschriebenen Ausführungsform ist es außerdem möglich, anstatt des Interpolationsbild-Erzeugungsabschnitts 225 die Bildpunktwerte entweder des ersten decodierten Bildes B(x, y, t1) oder des zweiten decodierten Bildes B(x, y, t2) zu verwenden, das sich zeitlich näher zur Zeitmarke t3 des Bildes der oberen Schicht befindet. In diesem Fall kann das Interpolationsbild I unter Verwendung der Vollbildnummer wie folgt ausgedrückt werden:
I(x, y, t3) = B(x, y, t 1) im Fall t3 – t1·t1 – t2 oder
I(x, y, t3) = B(x, y, t2) in allen anderen Fällen.
In den Ausdrücken bezeichnen t1, t2 und t3 die Zeitmarken des ersten decodierten Bildes, des zweiten decodierten Bildes und des decodierten Bildes der oberen Schicht.
Eine weitere Synthetisierungsvorrichtung wird wie folgt beschrieben:
Diese Synthetisierungsvorrichtung basiert auf der obigen Vorrichtung, wobei sie ein genaueres synthetisiertes Bild unter Berücksichtigung der Bewegungsinformationen der decodierten Bilder der unteren Schicht erzeugen kann. 34 ist ein Blockschaltplan, der eine Vorrichtung zum Vorhersagen eines Bewegungsparameters und zum Modifizieren der Bereichsinformationen von zwei entsprechenden Vollbildern zeigt.
In 34 schätzt ein Bewegungsparameter-Schätzabschnitt 231 die Informationen über die Bewegung von einem ersten decodierten Bild der unteren Schicht zu einem zweiten decodierten Bild der unteren Schicht durch das Bestimmen der Bewegungsparameter, z. B. des Bewegungsvektors pro Block und einer Bewegung des ganzen Bildes (Parallelverschiebung, Drehung, Vergrößerung und Kontraktion).
Ein Bereichsform-Modifikationsabschnitt 232 modifiziert das erste decodierte Bild, das zweiten decodierte Bild, die ersten Bereichsinformationen und die zweiten Bereichsinformationen entsprechend den entsprechenden vorhergesagten Bewegungsparametern basierend auf den zeitlichen Positionen der syn thetisierbaren Vollbilder. Ein Bewegungsvektor (MVx, MVy) vom ersten decodierten Bild zum zweiten decodierten Bild wird z. B. als ein Bewegungsparameter bestimmt. MVx ist eine horizontale Komponente, während MVy eine vertikale Komponente ist. Ein Bewegungsvektor vom ersten decodierten Bild zum Interpolationsbild wird entsprechend des Gleichung: (t3 – t1)/(t2 – t1)(MVx, MVy) bestimmt. Das erste decodierte Bild wird dann entsprechend dem erhaltenen Vektor verschoben. Im Fall der Verwendung anderer Bewegungsparameter, wie z. B. Drehung, Vergrößerung und Kontraktion, wird das Bild nicht nur verschoben, sondern außerdem reformiert. In 34 sind die deformierten (modifizierten) Datensätze "a", "b", "c" und "d", die sich jeweils auf das erste decodierte Bild, das zweite decodierte Bild, die ersten Bereichsinformationen und die zweiten Bereichsinformationen nach 32 beziehen. Diese Datensätze werden in die in 32 gezeigte Bildsynthetisierungsvorrichtung eingegeben, die ein synthetisiertes Bild erzeugt. Obwohl die obenbeschriebene Vorrichtung die Bewegungsparameter aus zwei decodierten Bildern vorhersagt, kann sie außerdem einen Bewegungsvektor jedes Blocks jedes Bildes verwenden, der normalerweise in den durch die Vorhersagecodierung vorbereiteten codierten Daten enthalten ist. Ein Mittelwert der decodierten Bewegungsvektoren kann z. B. als ein Bewegungsvektor eines ganzen Bildes vom ersten decodierten Vollbild zum zweiten decodierten Vollbild angewendet werden. Es ist außerdem möglich, eine Häufigkeitsverteilung der decodierten Bewegungsvektoren zu bestimmen und einen Vektor mit der höchsten Häufigkeit als einen Bewegungsparameter eines ganzen Bildes vom ersten decodierten Vollbild zum zweiten decodierten Vollbild zu verwenden. Die obenerwähnte Verarbeitung wird unabhängig in einer horizontalen Richtung und in einem vertikalen Richtung ausgeführt.
Nun wird eine weitere Vorrichtung und ein weiteres Verfahren mit Hintergrundinteresse beschrieben:
Die folgende Beschreibung bezieht sich auf eine Bereichsinformationen-Codierungsvorrichtung, die Bereichsinformationen effektiv codieren kann. Die 35 und 36 sind Blockschaltpläne eines Systems, dessen Codierungsseite in 35 und dessen Decodierungsseite in 36 gezeigt ist.
In 35 approximiert ein Bereichsinformationen-Approximationsabschnitt 241 die Bereichsinformationen unter Verwendung mehrerer geometrischer Figuren. 37 zeigt ein Beispiel der Approximation der Bereichsinformationen einer menschlichen Figur (schraffierter Abschnitt) mit zwei Rechtecken. Ein Rechteck 1 stellt einen Kopf einer Person dar, während das andere Rechteck 2 einen Brustabschnitte der Person darstellt.
Ein Codierungsabschnitt 242 für die approximierten Bereichsinformationen codiert die approximierten Bereichsinformationen. Ein durch Rechtecke approximierter Bereich, wie in 37 gezeigt ist, kann mit einer festen Codelänge codiert werden, indem die Koordinaten eines linken oberen Punktes jedes Rechtecks und einer Größe jedes Rechtecks mit einer festen Codelänge codiert werden. Ein durch eine Ellipse approximierter Bereich kann mit einer festen Codelänge codiert werden, indem die Koordinaten ihrer Mitte, die Länge der langen Achse und die Länge der kurzen Achse codiert werden. Die approximierten Bereichsinformationen und die codierten Daten werden zu einem Auswahlabschnitt 244 geschickt.
Wie der in 28 beschriebene Bereichsinformationen-Codierungsabschnitt 206 codiert ein Bereichsinformationen-Codierungsabschnitt 243 nach 35 die Bereichsinformationen unter Verwendung eines 8-Richtungs-Quantisierungscodes ohne Approximation. Die Bereichsinformationen und die codierten Daten werden zu einem Auswahlabschnitt 244 geschickt.
Der Auswahlabschnitt 244 wählt irgendeinen von zwei Ausgängen 242 und 243. Wenn der Ausgang 243 ausgewählt wird, werden die codierten Daten der approximierten Bereichsinformationen mit Einzelbit-Auswahlinformationen (z. B. 1) zu einem (nicht gezeigten) Integrationsabschnitt für die codierten Daten geschickt, während die approximierten Bereichsinformationen zu einem (nicht gezeigten) Synthetisierungsabschnitt geschickt werden. Wenn der Ausgang 344 ausgewählt ist, werden die codierten Daten der nicht approximierten Bereichsinformationen mit einem Bit (z. B. 1) der Auswahlinformationen zu einem (nicht gezeigten) Integrationsabschnitt für die codierten Daten geschickt, während die nicht approximierten Bereichsinformationen zu einem Synthetisierungsabschnitt gemäß der vorliegenden Erfindung geschickt werden.
Der Auswahlabschnitt kann z. B. arbeiten, um einen Ausgang auszuwählen, der eine kleinere Menge der codierten Daten erzeugen kann, oder den Ausgang 244, wenn eine Menge der codierten Daten der nicht approximierten Informa tionen einen Schwellenwert nicht überschreitet, und den Ausgang 242, wenn die Menge den Schwellenwert überschreitet, auszuwählen. Dies macht es möglich, die Menge der codierten Daten zu verringern, dies verhindert, dass die Bereichsinformationen verzerrt werden.
Die Operation der Decodierungsseite dieses Systems ist wie folgt:
In 36 wählt ein Auswahlabschnitt 251 entsprechend den in den empfangenen codierten Daten enthaltenen Einzelbit-Auswahlinformationen die Art der Bereichsinformationen – die approximierten oder die nicht approximierten.
In 36 decodiert ein Decodierungsabschnitt 252 für die approximierten Bereichsinformationen die approximierten Bereichsinformationen, wohingegen ein Decodierungsabschnitt 253 für die Bereichsinformationen die nicht approximierten Bereichsinformationen decodiert. Ein Schalter 254 wird durch ein Signal vom Auswahlabschnitt 251 gesteuert, um als eine Ausgabe zu einem Synthetisierungsabschnitt die approximierten Bereichsinformationen oder die nicht approximierten Bereichsinformationen auszuwählen.
Entweder die approximierten Bereichsinformationen oder die nicht approximierten Bereichsinformationen werden folglich adaptiv ausgewählt, codiert und decodiert. Wenn die Bereichsinformationen kompliziert sind und eine große Menge der codierten Daten erzeugen können, werden die approximierten Bereichsinformationen ausgewählt, um die Bereichsinformationen mit einer kleinen Menge von Informationen zu codieren.
Im obenerwähnten Fall werden die nicht approximierten Bereichsinformationen unter Verwendung von 8-Richtungs-Quantisierungscodes codiert, sie können aber effektiver unter Verwendung einer Kombination der 8-Richtungs-Quantisierung mit der Vorhersagecodierung codiert werden. Ein 8-Richtungs-Quantisierungscode nimmt 8 Werte von 0 bis 7 an, wie in 30 gezeigt ist, die durch die Vorhersagecodierung unterschieden werden, damit sie zwischen –7 und 7 liegen. Eine Differenz kann jedoch auf einen Bereich von –3 bis 4 eingeschränkt werden, indem 8 addiert wird, falls die Differenz –4 oder weniger beträgt, und indem 8 subtrahiert wird, falls die Differenz größer als 4 ist. Beim Decodieren kann ein ursprünglicher 8-Richtungs-Quantisierungswert erhalten werfen, indem zuerst die Differenz zum vorhergehenden Wert addiert wird und dann 8 subtrahiert oder addiert wird, wenn das Ergebnis ein negativer Wert ist oder 7 überschreitet. Ein Beispiel ist im folgenden gezeigt:

8-Richtungs-Quantisierungswert 1, 6, 2, 1, 3,...

Differenz 5, –4, –1, –2, ...

umgesetzter Wert –3, 4, –1, 2, ...

decodierter Wert 1, 6, 2, 1, 3,...
Eine Differenz zwischen einem Quantisierungswert 6 und einem vorhergehenden Wert beträgt z. B. 5, wovon 8 subtrahiert wird, um ein Ergebnis von –3 zu erhalten. Beim Decodieren wird –3 zum vorhergehenden Wert 1 addiert, wobei ein Wert –2 erhalten wird, der negativ ist, wobei er deshalb durch das Addieren von 8 vergrößert wird, um schließlich einen decodierten Wert 6 zu erhalten. Eine derartige Vorhersagecodierung wird unter Verwendung des zyklischen Merkmals der 8-Richtungs-Codierung ausgeführt.
Obwohl diese Vorrichtung die approximierten Bereichsinformationen jedes Bildes unabhängig codiert, ist es möglich, den Wirkungsgrad der Codierung unter Verwendung des Vorhersagecodierungsergebnisses zu vergrößern, weil Videovollbilder normalerweise eine hohe Zwischenbildkorrelation besitzen. Es wird nämlich nur eine Differenz der approximierten Bereichsinformationen von zwei aufeinander folgenden Vollbildern codiert, falls die approximierten Bereichsinformationen zwischen zwei Vollbildern kontinuierlich codiert werden. Wenn z. B. ein Bereich durch ein Rechteck approximiert wird, ein Rechteck eines vorhergehenden Vollbildes durch seine linke obere Position (19, 20) und seine Größe (100, 150) ausgedrückt wird und ein Rechteck eines aktuellen Vollbilds durch seine linke obere Position (13, 18) und seine Größe (100, 152) ausgedrückt wird, werden eine linke obere Differenzposition (3, 2) und die Differenzgröße (0, 2) des aktuellen Vollbildes codiert. Falls eine Änderung einer Bereichsform klein ist, kann unter Verwendung der Entropiecodierung, z. B. der Huffmann-Codierung, eine Menge der codierten Daten für die Bereichsinformationen beträchtlich eingespart werden, weil sich die Differenzen in der Nähe von 0 in einer kleinen Änderung einer Bereichsform konzentrieren. Wenn sich ein Rechteck nicht oft ändern kann, ist es effektiv, Einzelbit-Informationen als Rechtecksänderungsinformationen über ein aktuelles Vollbild zu codieren. Es werden nämlich Einzelbit-Informationen (z. B. 0) für das aktuelle Vollbild codiert, dessen Rechteck sich nicht ändert, wohingegen Einzelbit-Informationen (z. B. 1) und Differenzinformationen für Vollbilder codiert werden, deren Rechteck sich ändert.
Eine weitere Ausführungsform der vorliegenden Erfindung ist wie folgt:
Diese Ausführungsform bezieht sich auf eine Gewichtsinformationen-Erzeugungsvorrichtung zum Vorbereiten mehrwertiger Gewichtsinformationen aus den Bereichsinformationen. 38 ist ein Blockschaltplan dieser Ausführungsform.
In 38 tastet ein Erzeugungsabschnitt 261 für das horizontale Gewicht die Bereichsinformationen horizontal ab und erfasst darin 1, wobei er dann eine entsprechende Gewichtungsfunktion berechnet. In der Praxis werden zuerst die Abszisse x0 des linken Endpunkts und die horizontale Länge N des Bereichs bestimmt, wobei dann eine horizontale Gewichtsfunktion berechnet wird, wie in 39(a) gezeigt ist. Die Gewichtsfunktion kann durch das Kombinieren gerader Linien oder durch das Kombinieren einer Linie mit einer trigonometrischen Funktion vorbereitet werden. Ein Beispiel des letzteren Falls ist im folgenden beschrieben. Falls N > W gilt (W ist die Breite einer trigonometrischen Funktion) können die folgenden Gewichtsfunktionen angewendet werden:

– sin[(x + 1/2)π/(2W)]_ sin[(x + 1/2)π/(2W)], falls 0 ≤ x < W;
– 1, falls W ≤ x < N – W;
– sin[(x – N + 2W + 1/2)π/(2W)]_ sin[(x – N + 2W + 1/2)π/(2W)], falls 0 ≤ x < W;
– sin2((x + 1/2)π/N]_ sin[(x + 1/2)π/N], falls N ≤ 2W.

Im obenerwähnten Fall ist der linke Endpunkt x0 des Bereichs auf 0 gesetzt.
In 38 tastet ein Erzeugungsabschnitt 262 für das vertikale Gewicht die Bereichsinformationen ab und erfasst darin 1, wobei er dann eine entsprechende vertikale Gewichtsfunktion berechnet. In der Praxis werden die Ordinate y0 eines oberen Endpunkts und die vertikale Länge M des Bereichs bestimmt, wobei dann eine vertikale Gewichtsfunktion berechnet wird, wie in 39(b) gezeigt ist.
Ein Multiplizierer 263 multipliziert an jeder Bildpunktposition eine Ausgabe 261 mit einer Ausgabe 262, um eine Gewichtsinformationen zu erzeugen.
Das obenerwähnte Verfahren kann Gewichtsinformationen, die an die Form der Bereichsinformationen angepasst sind, mit einer verringerten Anzahl von Ope rationen erhalten.
Die folgende Beschreibung bezieht sich auf ein Verfahren zum adaptiven Umschalten der Codierungsbetriebsart von der Zwischenbildvorhersage zur Innerbildvorhersage und umgekehrt bei der Vorhersagecodierung der Vollbilder der unteren Schicht oder der oberen Schicht. 40 ist ein Blockschaltplan einer Vorrichtung, die dieses Verfahren ausführt.
In 40 bestimmt ein Mittelwert-Berechnungsabschnitt 271 ein Mittel der Bildpunktwerte in einem Bereich entsprechend einem ursprünglichen Eingangsbild und den Eingangs-Bereichsinformationen. Der Mittelwert wird in einen Differentiator 273 und einen Speicher 272 eingegeben.
Der Differentiator 273 bestimmt eine Differenz zwischen einem im Speicher 272 gespeicherten vorhergehenden Mittelwert und einem vom Mittelwert-Berechnungsabschnitt 271 ausgegebenen aktuellen Mittelwert.
Ein Unterscheidungsabschnitt 274 vergleicht einen Absolutwert der durch den Differentiator 273 berechneten Differenz mit einem vorgegebenen Schwellenwert und gibt die Betriebsartauswahlinformationen aus. Wenn der Absolutwert der Differenz größer als die Schwelle ist, beurteilt der Unterscheidungsabschnitt 273, dass im ausgewählten Bereich eine Szenenänderung auftritt und erzeugt ein Betriebsartauswahlsignal, um immer die Innerbild-Vorhersagecodierung auszuführen.
Die auf diese Weise durch das Beurteilen einer Szenenänderung eines ausgewählten Bereichs ausgeführte Betriebsartauswahl ist effektiv, um codierte Qualitätsbilder zu erhalten, selbst wenn z. B. eine Person von hinter einer Deckung erscheint oder sich irgendein Gegenstand umdreht. Die gezeigte Ausführungsform kann für ein System zum Codieren eines ausgewählten Bereichs separat von anderen Bereichen beim Codieren der Vollbilder der unteren Schicht angewendet werden. In diesem Fall werden die Bereichsinformationen in den Codierungsabschnitt für die untere Schicht eingegeben. Diese Ausführungsform kann außerdem für das Codieren nur eines ausgewählten Bereichs des Vollbilds der oberen Schicht angewendet werden.
Die folgende Beschreibung bezieht sich auf ein Verfahren zum Steuern der Menge von Daten im Fall des Codierens eines separaten Bereichs getrennt von anderen Bereichen jedes Vollbildes der unteren Schicht. 41 ist ein Blockschaltplan einer Vorrichtung, die dieses Verfahren ausführt.
In 41 trennt ein Codierabschnitt 283 einen ausgewählten Bereich von anderen Bereichen und codiert ihn. Ein Bereichsunterscheidungsabschnitt 281 empfängt die Bereichsinformationen und unterscheidet, ob der codierbare Bereich innerhalb oder außerhalb des ausgewählten Bereichs liegt. Ein Schätzabschnitt 285 für die Menge der codierten Daten schätzt eine Menge der codierten Daten in jedem Bereich auf der Grundlage des obenerwähnten Unterscheidungsergebnisses. Ein Verteilungsverhältnis-Berechnungsabschnitt 284 bestimmt die Verteilungsverhältnisse einer Zielmenge von Codes pro Vollbild, die den Bereichen zugeordnet werden. Das Verfahren zum Bestimmen der Verteilungsverhältnisse wird später beschrieben. Ein Quantisierungsbreiten-Berechnungsabschnitt bestimmt eine Quantisierungsschrittgröße entsprechend der Zielmenge der codierten Daten. Das Verfahren zum Bestimmen der Quantisierungsschrittgröße ist das gleiche wie das herkömmliche Verfahren.
Das Verfahren zum Bestimmen eines Codeverteilungsverhältnisses durch den Zielcodezuordnungs-Berechnungsabschnitt ist wie folgt:
Eine Zielcodemenge Bi eines Vollbildes wird entsprechend der folgenden Gleichung berechnet:
Bi = (die Anzahl der verwendbaren Bits – die Anzahl der für das Codieren der vorhergehenden Vollbilder verwendeten Bits)/die Anzahl der verbleibenden Vollbilder
Diese Zielzahl Bi der Bits wird in einem spezifizierten Verhältnis auf die Bildpunkte innerhalb eines ausgewählten Bereichs und die Bildpunkte außerhalb des ausgewählten Bereichs verteilt. Das Verhältnis wird unter Verwendung eines angemessenen festen Verhältnisses RO und eines Komplexitätsverhältnisses Rp des vorhergehenden Vollbildes bestimmt. Das Komplexitätsverhältnis Rp des vorhergehenden Vollbildes wird durch die folgende Gleichung berechnet:
Rp = (gen_bitF*avg_qF)/(gen_bitF*avg_qF + gen_bitB*avg_qB),
wobei gen bitF = die Anzahl der Bits zum Codieren der Bildpunkte in einem ausgewählten Bereich eines vorhergehenden Vollbildes ist, gen_bitB = die Anzahl der Bits zum Codieren der Bildpunkte außerhalb des ausgewählten Be reichs eines vorhergehenden Vollbildes ist, avg_qF = eine mittlere Quantisierungsschrittgröße im ausgewählten Bereich eines vorhergehenden Vollbildes ist und avg_qB = eine mittlere Quantisierungsschrittgröße außerhalb des ausgewählten Bereichs eines vorhergehenden Vollbildes ist. Um einen ausgewählten Bereich mit hoher Bildqualität zu codieren, ist es erwünscht, die Quantisierungsschrittgröße einzustellen, um eine mittlere Quantisierungsschrittgröße im ausgewählten Bereich etwas kleiner als die außerhalb des ausgewählten Bereichs zu halten und gleichzeitig die Änderung eines Bildes in einer Folge von Bewegtbildern zu verfolgen. Im allgemeinen ist die Verteilung in einem festen Verhältnis RO beschaffen, um eine im wesentlichen konstante Beziehung der Quantisierungsschrittgröße zwischen den Bildpunkten im ausgewählten Bereich und den Bildpunkten außerhalb des ausgewählten Bereichs aufrechtzuerhalten, während die Verteilung eines Komplexitätsverhältnisses Rp eines vorhergehenden Vollbildes beschaffen ist, um die Änderung eines Bildes in einer Folge von Bewegtbildern zu verfolgen. Demzufolge ist die vorliegende Erfindung vorgesehen, um eine Kombination der Vorteile von beiden Verfahren zu verwenden, indem ein Mittelwert des festen Verhältnisses RO und des Komplexitätsverhältnisses Rp des vorhergehenden Vollbildes zum Zielbitmengen-Verteilungsverhältnis gemacht wird. Das Verteilungsverhältnis Ra wird nämlich wie folgt bestimmt: Ra = (RO + Rp)/2.
In 42 sind zwei veranschaulichte Kurven durch gestrichelte Linien graphisch dargestellt, die das feste Verhältnis RO und das Komplexitätsverhältnis Rp des vorhergehenden Vollbildes in einem ausgewählten Bereich für eine vollständige Videosequenz darstellen. In diesem Beispiel bezieht sich die Kurve mit der ausgezogenen Linie nach 42 auf das erreichbare Verhältnis Ra zum Verteilen einer Zielmenge der codierten Daten, die sich nicht so weit von der Kurve des festen Verhältnisses trennt und bis zu einem gewissen Grad eine Änderung eines Bildes in einer Videosequenz widerspiegelt. Bei einem festen Verhältnis (1 – RQ) und einem Komplexitätsverhältnis (1 – Rp) des vorhergehenden Vollbildes für das Äußere des ausgewählten Bereichs nimmt ein mittleres Verhältnis, das ein Zielbitmengen-Verteilungsverhältnis (1 – Ra) für die Bildpunkte außerhalb des ausgewählten Bereichs ist, eine mit einer ausgezogenen Linie graphisch dargestellte Kurve an, die in 43 gezeigt ist. Eine Gesamtmenge der zwei Zielbitmengen-Verteilungsverhältnisse für die Bildpunkte innerhalb und außerhalb eines ausgewählten Bereichs nimmt 1 an.
Folglich kann die Quantisierungsschrittgröße adaptiv gesteuert werden. Eine Bitrate einer vollständigen Videosequenz kann jedoch manchmal einen vorgegebenen Wert überschreiten, weil die Anzahl der verwendeten Bits in einigen Vollbildern den Zielwert Bi überschreitet. In diesem Fall kann das folgende Verfahren angewendet werden.
Wie oben beschrieben worden ist, ist das Zielbitmengen-Verteilungsverhältnis Ra zum Codieren der Bildpunkte in einem ausgewählten Bereich ein Mittelwert des festen Verhältnisses RO und des vorhergehenden Komplexitätsverhältnisses Rp, wohingegen das Zielbitmengen-Verteilungsverhältnis Rm zum Codieren der Bildpunkte außerhalb des ausgewählten Bereichs ein Minimalwert Rm des festen Verhältnisses (1 – RO) und des Komplexitätsverhältnisses (I – Rp) des vorhergehenden Vollbildes zum Codieren der Bildpunkte außerhalb des ausgewählten Bereichs ist. In diesem Fall kann sich das Zielbitmengen-Verteilungsverhältnis (1 – Ra) zum Codieren der Bildpunkte außerhalb des ausgewählten Bereichs verändern, wie z. B. durch eine ausgezogenen Linie in 44 gezeigt ist. Da Ra + Rm ≤ 1 gilt, kann die Zielanzahl der Bits für ein Vollbild oder für Vollbilder verringert werden, in dem Überschussbits auftreten können. Mit anderen Worten, die Bitrate einer vollständigen Videosequenz kann innerhalb der vorgegebenen Grenze gehalten werden, indem die Zielbitmenge eines Hintergrundbereichs von einem Vollbild oder von Vollbildern verringert wird.
Mit den obigen Videocodierungs- und -decodierungsvorrichtungen ist es möglich, einen ausgewählten Bereich eines Bildes zu codieren, der eine höhere Qualität als die der anderen Bereiche aufweisen soll.
Es ist möglich, nur einen ausgewählten Bereich mit einer niedrigeren Bildqualität zu decodieren, falls nur die codierten Daten der unteren Schicht decodiert werden.
Beim Decodieren der codierten Daten der oberen Schicht ist es möglich, auszuwählen, ob die erste obere Schicht oder die zweite obere Schicht decodiert wird. Ein ganzes Bild, das eine niedrigere Bildqualität aufweisen soll, wird decodiert, falls die erste Schicht ausgewählt wird, wohingegen nur ein ausgewählter Bereich, der eine hohe Bildqualität aufweisen soll, decodiert wird, falls die zweite obere Schicht ausgewählt wird.
Beim Decodieren aller codierten Daten kann ein Bild in einer derartigen Weise decodiert werden, dass ein ausgewählter Bereich des Bildes eine höhere Bildqualität als die aller anderen Bereiche des Bildes besitzen kann.
Obwohl die obenbeschriebene Decodierungsvorrichtung alle codierten Daten empfängt, kann sie außerdem für so einen Fall angepasst sein, dass in einem Videokommunikationssystem ein Decodierungsendgerät eine Codierungsseite anfordert, eingeschränkte Daten zu schicken, z. B. die codierten Daten über eine Bereichsposition und -form, die codierten Daten der unteren Schicht und die codierten Daten der ersten Schicht, um über eine Übertragungsleitung mit schmaler Bandbreite zu kommunizieren. Die vorliegende Erfindung verwirklicht nämlich eine derartige Datenkommunikation, die nur die Daten der unteren Schicht über eine Übertragungsleitung mit einer sehr schmalen Bandbreite überträgt oder die wahlweise irgendeine von zwei Arten der Daten der oberen Schicht über eine Leitung mit etwas breiterer Bandbreite überträgt oder die alle Arten von Daten über eine Leitung mit noch breiterer Bandbreite überträgt.
Mit den beschriebenen Videocodierungsvorrichtungen ist es möglich, eine Menge der codierten Daten zu verringern, weil gewichtete mittlere Informationen aus den digitalisierten Informationen vorbereitet werden, wobei mehrere Video-Teilsequenzen unter Verwendung der gewichteten Mittelwerte auf eine Hintergrund-Videosequenz eingegeben werden. Weil die aus den digitalisierten Informationen vorbereiteten gewichteten mittleren Daten einen Wert von 0 bis 1 erhalten, kann eine Grenze zwischen den Teilbildern und den Hintergrundbildern ohne das Auftreten irgendeines visuellen Fehlers glatt synthetisiert werden.
Beim Gewichten noch nicht codierter Daten unter Verwendung der Gewichtswerte, die für das Synthetisieren der Videosequenzen zu verwenden sind, kann die Menge der codierten Daten verringert werden oder die Qualität des decodierten Bildes im Vergleich zu den Vorrichtungen des Standes der Technik mit der gleichen Menge der codierten Daten verbessert werden.

Claims

Videocodierungsvorrichtung, mit: ersten Codierungsmitteln (122; 131 bis 134) zum Codieren einer Videosequenz für ein Hintergrund-Video, zweiten Codierungsmitteln (123; 131 bis 134) zum Codieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes; und Bereichsinformations-Codierungsmitteln (103) zum Codieren binärer, Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, dadurch gekennzeichnet, dass die Vorrichtung ferner mit Gewichtungsdaten-Vorbereitungsmitteln (120; 261, 262, 263) zum Vorbereiten mehrwertiger Gewichtungsdaten aus den binären Bereichsinformationen versehen ist und jeder der Videosequenzen entsprechend den mehrwertigen Gewichtungsdaten ein Gewicht verleiht.
Videocodierungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein repräsentativer Wert der Gewichtungsdaten für jeden codierten Block" bestimmt wird und jede der Videosequenzen auf der Grundlage des entsprechenden repräsentativen Wertes der Gewichtungsdaten gewichtet wird.
Videocodierungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die ersten und die zweiten Codierungsmittel jeweils so beschaffen sind, dass sie die jeweilige Videosequenz transformieren und codieren, und dass ein repräsentativer Wert der Gewichtungsdaten für jeden transformierten und codierten Block bestimmt wird und jede der transformierten Videosequenzen auf der Grundlage des entsprechenden repräsentativen Wertes der Gewichtungsdaten gewichtet wird.
Videodecodierungsvorrichtung zum Decodieren codierter Daten, die durch die Videocodierungsvorrichtung nach Anspruch 1 vorbereitet werden, mit: ersten Decodierungsmitteln (124; 141 bis 144) zum Decodieren einer Videosequenz für ein Hintergrund-Video; zweiten Decodierungsmitteln (125; 141 bis 144) zum Decodieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes; Bereichsinformations-Decodierungsmitteln (107) zum Decodieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren; Gewichtungsdaten-Vorbereitungsmitteln (121; 261, 262, 263} zum Vorbe reiten mehrwertiger Gewichtungsdaten aus den decodierten binären Bereichsinformationen; Gewichtungsmitteln (108, 109) zum Gewichten jeder Videosequenz mit einem Gewicht, das zu jenem entgegengesetzt ist, das durch die Videocodierungsvorrichtung nach Anspruch 1 gegeben ist; und Synthetisierungsmitteln (111) zum Synthetisieren jeder Videosequenz, die durch die Gewichtungsmittel gewichtet wird.
Videodecodierungsvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass ein repräsentativer Wert der Gewichtsdaten für jeden decodierten Block bestimmt wird und jede der Videosequenzen auf der Grundlage des entsprechenden repräsentativen Werts der Gewichtsdaten gewichtet wird.
Videodecodierungsvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die ersten und die zweiten Decodierungsmittel jeweils so beschaffen sind, dass sie die entsprechende Videosequenz decodieren und transformieren, und dass ein repräsentativer Wert der Gewichtsdaten für jeden decodierten und transformierten Block bestimmt wird und jede der transformierten Videosequenzen auf der Grundlage des entsprechenden repräsentativen Werts der Gewichtsdaten gewichtet wird.
Videocodierungs- und Videodecodierungssystem, mit: einer Videocodierungsvorrichtung, die erste Codierungsmittel (122–131 bis 134) zum Codieren einer Videosequenz für ein Hintergrundvideo, zweite Codierungsmittel (123; 131 bis 134) zum Codieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes sowie Bereichsinformations-Codierungsmittel (103) zum Codieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, besitzt; und einer Videodecodierungsvorrichtung, die erste Decodierungsmittel (124; 141 bis 144) zum Decodieren einer Videosequenz für ein Hintergrundvideo, zweite Decodierungsmittel (125; 141 bis 144) zum Decodieren einer Videosequenz wenigstens eines Teils eines Vordergrundbildes und Bereichsinformations-Decodierungsmittel (107) zum Decodieren binärer Bereichsinformationen, die eine Form eines Video-Teils repräsentieren, besitzt; dadurch gekennzeichnet, dass die Videodecodierungsvorrichtung ferner mit Gewichtungsdaten-Vorbereitungsmitteln (121; 261, 262, 263) zum Vorbereiten mehrwertiger Gewichtungsdaten aus den decodierten binären Bereichs informationen, mit Gewichtungsmitteln (108, 109) zum Gewichten jeder Videosequenz mit den mehrwertigen Gewichtungsdaten und mit Synthetisierungsmitteln (111) zum Synthetisieren jeder Videosequenz, die durch die Gewichtungsmittel gewichtet ist, versehen ist.