DE69025364T2

DE69025364T2 - Verfahren zur Bildkodierung

Info

Publication number: DE69025364T2
Application number: DE69025364T
Authority: DE
Inventors: Toshihide Akiyama; Toshiya Takahashi
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1989-08-05
Filing date: 1990-07-31
Publication date: 1996-09-05
Anticipated expiration: 2010-08-01
Also published as: DE69025364D1; EP0412713A3; EP0412713A2; US5305115A; EP0412713B1

Description

Die vorliegende Erfindung bezieht sich auf ein Bildcodierverfahren zum Codieren eines Bildsignals mit einer hohen Effektivität.
Es ist nun bekannt, daß die digitale Form eines Bildsignals unter einer Geschwindigkeit höher als 100 Mbps übertragen werden kann und nur schwer über bestehende Kommunikationsleitungen im Hinblick auf eine übertragbare Menge und Kosten ausgeführt werden kann. Verschiedene Bildcodierverfahren und deren Geräte sind vorgestellt worden, die die Techniken zum Beseitigen der Redundanz der Bildsignale und der Reduzierung der Geschwindigkeit der Signalübertragung bieten. Eines davon ist ein orthogonales Transformationscodiergerät, das weit verbreitet eingesetzt worden ist.
Ein orthogonales Transformationsgerät nach dem Stand der Technik wird unter Bezugnahme auf die Zeichnungen beschrieben.
Es ist verständlich, daß ein natürliches Bild, bei dem weniger Bewegung enthalten ist, ermöglicht, daß die horizontale, vertikale und Zeitbasiskorrelation zwischen Pixeln höher ist und deren entsprechende Transformationskoeffizienten in der Energie groß unter der niedrigen Sequenz und klein unter der hohen Sequenz sind.
Fig. 8 zeigt ein Blockschaltbild, das ein 3-dimensionales, orthogonales Transformationscodiergerät nach dem Stand der Technik darstellt.
Wie in Fig. 8 dargestellt ist, sind ein Eingangspuffer 81, ein orthogonaler Transformationsblock 82, ein zonaler Abtastblock 83, ein Aktivitätsabschätzblock 84 als 3-dimensionaler Block, ein Klassifikationsblock 85 als 3-dimensionaler Block, ein Transformationskoeffizienten-Energieberechnungsblock 86, ein Bitzuordnungsberechnungsblock 87, ein Normalisierungsblock 88, ein Transformationskoeffizienten-Quantifizierungsblock 89, ein Multiplexer 810 und ein Ausgangspuffer 811 vorgesehen.
Ein orthogonales Transformationscodierverfahren, das dem orthogonalen Transformationscodiergerät nach dem Stand der Technik zugeordnet ist, wird nun beschrieben.
Wie in Fig. 8 dargestellt ist, werden die Bilddaten von K-Rahmen in den Eingangspuffer 81 zugeführt und gespeichert. Dann werden sie in der Form von M x M x K 3-dimensionalen Blöcken ausgelesen und orthogonal durch den orthogonalen Transformationsblock 82 transformiert. Solche der entsprechenden Transformationskoeffizienten mit hoher Sequenz werden von dem orthogonalen Transformationsblock 82 in drei Dimensionen durch den zonalen Abtastblock 83 blockiert, während die verbleibenden Niedrigsequenzkoeffizienten hindurchgeführt werden. Die Transformationskoeffizienten, die durch den zonalen Abtastblock 83 hindurchführen, werden zu dem Aktivitätsabschätzungsblock 84 übertragen, wo die Aktivität in dem Bild des 3-dimensionalen Blocks berechnet wird aus:
wobei F(u, v, w) ein Transformationskoeffizient des 3-dimensionalen Blocks ist. Die sich ergebenden Aktivitätswerte werden dann zu dem Klassifikationsblock 85 zugeführt und in eine k-Anzahl von Klassen durch die Größe der Energie jedes 3-dimensionalen Blocks separiert. In jeder Klasse der 3-dimensionalen Blöcke wird die Varianz des Transformationskoeffizienten durch den Energieberechnungsblock 86 berechnet. Aus der sich ergebenden Varianz wird dann die Bitzuordnung in jeder Klasse durch den Bitzuordnungsberechnungsblock 87 berechnet, um eine Bittafel zu liefern, und zwar unter Verwendung einer Gleichung, die ausgedrückt wird durch:
wobei ²k (u, v, w) eine Varianz des Transformationskoeffizienten ist, der einer k-Klasse zugeordnet ist, und D ein Parameter ist. Nk (u, v, w) kann in Bezug auf eine erwünschte Geschwindigkeit einer Übertragung durch Steuerung des Werts von D bestimmt werden. Der Bitzuordnungsberechnungsblock 87 liefert einen Koeffizienten für eine Normalisierung in jeder Klasse. Der Normalisierungskoeffizient kann eine Varianz oder der maximale Wert eines Transformationskoeffizienten sein, der in der Klasse enthalten ist. Die Transformationskoeffizienten von dem orthogonalen Transformationsblock 83 werden auch zu dem Normalisierungsblock 88 für eine Normalisierung mit dem Normalisierungskoeffizienten zugeführt und dann durch den Quantifizierer 89 gemäß der Bitzuordnung, die berechnet ist, quantifiziert. Der quantifizierte Ausgang, die Bitzuordnungstafel und die Klassenidentifizierer werden zu dem Multiplexer 810 zur Codierung zugeführt und in der Transmissionsgeschwindigkeit durch den Ausgangspuffer 811 gesteuert, bevor sie zu der Übertragungsleitung zugeführt werden.
Wie vorstehend beschrieben ist, werden die Hochsequenzkoeffizienten, die einer kleinen Energie zugeordnet sind und gering sichtbar sind, durch zonale Abtastung der Transformationskoeffizienten entfernt, so daß die Signalkompression mit einer geringen Verschlechterung der Bildqualität sichergestellt werden kann. Auch wird die Bitzuordnung entsprechend der Energie jedes Blocks vorgenommen und demzufolge wird die Kompression unter Betrachtung der lokalen Eigenschaften eines Bilds möglich sein (zum Beispiel wie dies in "Transform Coding of Images" von R. J. Clarke, herausgegeben durch Academic Press, 19857 offenbart ist).
Allerdings werden gemäß der vorstehend erwähnten Anordnung die Hochsequenzkoeffizienten systematisch entfernt und die Bildqualität eines bestimmten Bilds, z.B. ein Miniaturbild, das eine große Anzahl von Hochsequenzkomponenten enthält, wird um einen beträchtlichen Grad verschlechtert. Auch enthält der sich bewegende Bereich des Bilds mehr Hochsequenzkomponenten auf einer Zeitbasis der 3-dimensionalen, orthogonalen Transformationskoeffizienten und weniger räumliche Hochsequenzkomponenten, während der ruhige Bildbereich weniger von dem Ersteren und mehr von dem Letzteren enthält. Demgemäß wird, wenn die Hochsequenzkomponenten auf der Zeitbasis entfernt werden, das aktive Bild in der Bewegung diskontinuierlich erscheinen.
Die Bitzuordnung wird durch Messen der Größe der Energie bestimmt, die sich nicht zwischen den sich bewegenden und den sich nicht bewegenden Bereichen des Bilds unterscheiden, und die Bitzuordnungstafel wird unabhängig der verschiedenen Bewegungen eingerichtet. Als Folge wird der Nachteil geliefert, daß die Bitzuordnung geliefert wird, die die Bewegung in dem sich bewegenden Bereich beschränkt und die Auflösung in dem ruhigen Bereich herabsetzt.
Als weiterer Teil des Standes der Technik offenbart der Aufsatz "An Adaptive Interframe Transform Coting System For Images", von M. Götze und G. Ocylox, veröffentlicht in der Reihe ICASSP 82, Vol 1, Seiten 448-451, ein adaptives Zwischenrahmencodiersystem für ein monochromes Bild, das die 3-dimensionale, diskrete Cosinus-Transformation verwendet. Die Autoren beanspruchen, daß eine 3-dimensionale Klassifikation nicht nur die Bestimmung eines größeren oder geringeren Details in einem Transformationsblock ermöglicht, sondern auch unter Berücksichtigung der Vorzugsrichtung der Struktur.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Bildeodierverfahren zum Komprimieren der Daten eines Bildsignals mit keiner wesentlichen, sichtbaren Verschlechterung ohne Berücksichtigung des sorgfältig ausgearbeiteten Musters oder einer aktiven Bewegung eines Bilds zu liefern.
Um die vorstehende Aufgabe zu lösen, weist das Verfahren gemäß der vorliegenden Erfindung die Schritte auf: Übertragen eines Abtastpunkts eines Bildsignals von jedem der mindestens K-Rahmen in einen 3-dimensionalen Block in der Form von M x N x K Abtastpunkten, die horizontale, vertikale und Zeitbasis-Komponenten enthalten, wobei die Abtastpunkte des 3-dimensionalen Blocks dargestellt werden durch
orthogonales Transformieren des 3-dimensionalen Blocks in einen Transformationskoeffizientenblock mit drei Dimensionen, ausgedrückt als
Berechnung der Bewegung eines 2-dimensionalen Blocks, der ein Teil des 3-dimensionalen Blocks ist, während einer Zeitperiode zwischen t = 0 und t = K-1; Bestimmung, ob ein Transformationskoeffizient des Transformationskoeffizientenblocks codiert werden muß, oder nicht, durch Prüfung der Bewegung, dadurch gekennzeichnet, daß die Bewegung des 2-dimensionalen Blocks als eine Kombination der horizontalen Bewegung mx und der vertikalen Bewegung my mittels einer Blockanpassung zwischen t = 0 und t = K-1, unter Bezug auf einen 2-dimensionalen Block, bei t = 0 des 3-dimensionalen Blocks f (x, y, t) bestimmt wird.
Das Verfahren kann weiterhin eine Identifizierung aufweisen, ob der 3-dimensionale Transformationskoeffizient F (u, v, W) zu dem Bewegungs- oder ruhigen Block gemäß dem Ergebnis einer Bewegungsermittlung gehört; nach Separation in die Bewegungsund ruhige Blockgruppen Dividieren der Blöcke in k1 und k2 Klassen durch den Betrag der Energie jedes 3-dimensionalen Blocks, ausgedrückt als
und Bestimmung der Zuordnung von Bits jeder Klasse in Proportion zu einer Varianz des Transformationskoeffizienten des 3-dimensionalen Blocks der Klasse, was ausgedrückt wird durch
²k(u, v, w)
Demgemäß kann die räumliche Auflösung an dem Bereich reduziert werden, wo eine stärkere Bewegung vorhanden ist, während die Zeitauflösung erhöht wird. Gleichzeitig kann an dem Bereich, wo weniger Bewegung vorhanden ist, die räumliche Auflösung erhöht und die Zeitauflösung reduziert werden. Demzufolge wird die visuelle Verschlechterung in einer Abbildung, die sorgfältig ausgearbeitet ist und radikale Bewegungen darstellt, minimiert werden, und auch wird die Kompression der Bilddaten bei dem Verfahren der Bildeodierung verstärkt werden.
Nach einer Separation in die Bewegungs- und ruhigen Blöcke werden die 3-dimensionalen Blöcke für eine Bitzuordnung durch den Betrag der Energie davon in jeder Gruppe klassifiziert, wodurch die Codierung so ausgeführt wird, daß die lokalen Eigenschaften in dem Bild exakt berücksichtigt werden.
Fig. 1 zeigt ein Blockschaltbild eines Bildeodierverfahrens, das eine erste Ausführungsform der vorliegenden Erfindung darstellt; Fig. 2 zeigt eine erläuternde Ansicht, die einen Bewegungsvektor darstellt; Fig. 3 zeigt eine erläuternde Ansicht, die ein zonales Abtastmuster darstellt; Fig. 4 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine zweite Ausführungsform der vorliegenden Erfindung darstellt; Fig. 5 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine dritte Ausführungsform der vorliegenden Erfindung darstellt; Fig. 6 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine vierte Ausführungsform der vorliegenden Erfindung darstellt; Fig. 7 zeigt eine erläuternde Ansicht, die die sequentielle Übertragung der Transformationskoeffizienten von 3-dimensionalen Blöcken in einen Transformationsraum gemäß dem Bildcodierverfahren der vorliegenden Erfindung darstellt; Fig. 8 zeigt ein Blockschaltbild eines orthogonalen Transformationscodiergeräts nach dem Stand der Technik.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nun in der Form eines Bildsignalcodierverfahrens unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Fig. 1 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine erste Ausführungsform der vorliegenden Erfindung darstellt. Fig. 2 zeigt eine erläuternde Ansicht, die die Ermittlung eines Bewegungsvektors darstellt. Fig. 3 zeigt eine erläuternde Ansicht, die ein zonales Abtastmuster darstellt.
Wie in Fig. 1 dargestellt ist, sind ein Eingangspuffer 1, ein orthogonaler Transformationsblock 2, ein zonaler Abtastblock 3, ein Aktivitätsabschätzungsblock 4 in Form eines 3-dimensionalen Blocks, ein Klassifikationsblock 5 in Form eines 3-dimensionalen Blocks, ein Transformationskoeffizienten-Energieberechnungsblock 6, ein Bitzuordnungs-Berechnungsblock 7, ein Transformationskoeffizienten-Normalisierungsblock 8, ein Transformationskoeffizientenquantifizierer 9, ein Multiplexer 10, ein Ausgangspuffer 11, ein Bewegungsvektorermittlungsblock 12 und ein zonaler Abtastmusterauswahlblock 13 vorgesehen. Die Anordnung ist ähnlich zu derjenigen nach dem Stand der Technik, mit Ausnahme des zonalen Abtastblocks 3, des Aktivitätsabschätzungsblocks 4, des Bewegungsvektorermittlungsblocks 12 und des zonalen Abtastmusterauswahlblocks 13.
Die Bilddaten der K-Rahmen, die zugeführt werden, werden in dem Eingangspuffer 1 gespeichert. Die Bilddaten werden in der Form eines 3-dimensionalen Blocks ausgedrückt, der zugeordnet ist durch:
f(x, y, t) (x = 0 bis M-1, y = 0 bis N-1, t = 0 bis K-1).
Der 3-dimensionale Block ist orthogonal durch den orthogonalen Transformationsblock 2 transformiert, der wiederum einen Ausgang von Transformationskoeffizienten liefert, die einen 3-dimensionalen Block in einer Transformationsdomäne darstellen. Der 3-dimensionale Block der Transformationskoeffizienten in dem Transformationsraum wird ausgedrückt als:
F(u,v,w) (u = 0 bis M-1, v = 0 bis N-1, w = 0 bis K-1).
Gleichzeitig werden die Bilddaten der K-Rahmen, die in dem Eingangspuffer gespeichert sind, zu dem Bewegungsvektorermitttungsblock 12 übertragen, der einen Bewegungsvektor m (mx, my) bestimmt (wobei mx eine horizontale Bewegung und my eine vertikale Bewegung ist).
Der Bewegungsvektor wird durch die nachfolgenden Verfahren berechnet. Zuerst wird ein t = 0 Rahmen der Bilddaten, die zugeführt werden, in M x N 2-dimensionale Blöcke unterteilt. Unter Verwendung einer geeigneten Bildverarbeitungseinrichtung, wie beispielsweise eine Blockanpassung, werden M x N 2-dimensionale Blöcke an einem t = 1 Rahmen, der dem 2-dimensionalen Block des t = 0 Rahmens entspricht, berechnet. Die entsprechenden horizontalen und vertikalen Bewegungen werden dann als ein Bewegungsvektor des t = 0 Rahmens bestimmt. Dann wird ein t = 1 Rahmenbewegungsvektor durch Auffinden der Blöcke an einem t = 2 Rahmen aus den M x N 2-dimensionalen Blöcken des t = 1 Rahmens berechnet. Ähnlich werden darauffolgende Bewegungsvektoren bis zu einem t = K Rahmen berechnet und zu einem t = 0 bis K-1 Bewegungsvektor aufsummiert.
Fig. 2 stellt einen Bewegungsvektor m (mx, rny) dar, wobei die x-Achse eine horizontale Richtung, die y-Achse eine vertikale Richtung und die t-Achse eine Zeitrichtung darstellen. Wie dargestellt ist, stellt der rechtwinklige Parallelepiped, der durch die punktierten Linien definiert ist und sich durch den t = 0 bis 2 Rahmen, die M x N x 3 Pixel enthalten, erstreckt, einen 3-dimensionalen Block dar, der orthogonal transformiert werden soll. Der Bewegungsvektor m (mx, my) in Fig. 2 zeigt an, daß ein Objekt in dem t = 0 2-dimensionalen Block um mx Pixel in der horizontalen Richtung und my Pixel in der vertikalen Richtung zwischen dem 0 und 2 Rahmen verschoben ist.
Ein Bewegungsvektor kann auf der Basis eines 3-dimensionalen Blocks in der nachfolgenden Art und Weise berechnet werden. Unter Annahme, daß ein Mittenkoordinatenpunkt auf dem 2-dimensionalen Block von t = 0 (cx'-cy) und daß derjenige von t = K-1 (cx', cy') ist, werden die horizontale Bewegung als mx'=mx - (cx'-cx) und die vertikale Bewegung als my' = my - (cy'-cy) ausgedrückt. Dann wird der Bewegungsvektor m (mx, my), der ermittelt ist, zu m' (mx', my') konvertiert.
Der 3-dimensionale Block in der Transformationsdomäne wird dann zu dem zonalen Abtastblock 3 übertragen, wo die Transformationskoeffizienten, wie dies in Fig. 3 dargestellt ist, abgetastet werden, während die Transformationskoeffizienten höherer Ordnung anpassungsmäßig entfernt werden.
Es ist bekannt, daß die visuelle Fähigkeit des Menschen in der räumlichen Auflösung herabgesetzt wird, wenn ein sich bewegendes Objekt betrachtet wird, er allerdings in der Lage ist, einen Grad einer räumlichen Auflösung beizubehalten, wenn er ein stationäres, sich nicht bewegendes Objekt betrachtet. Unter Ausnutzung des Vorteils dieser Fähigkeit kann die orthogonale Transformationsdomäne effektiv komprimiert werden, und zwar aufgrund ihrer annähernden Koinzidenz mit einem Frequenzraum. Fig. 3 stellt die Abtastung der Transformationskoeffizienten in der Transformationsdomäne dar, wobei die u-Achse eine horizontale Richtung, die v-Achse eine vertikale Richtung und die t-Achse eine Zeitrichtung darstellen. Fig. 3(a) zeigt, daß die Zeitbasis-Transformationskoeffizienten verbleiben, während räumliche Transformationskoeffizienten entfernt werden. Als Folge wird die Auflösung in der Zeitbasis beibehalten und die Auflösung in den räumlichen Richtungen wird herabgesetzt, was in Bezug auf die Blockbewegung in einem großen Umfang vorteilhaft sein wird. Fig. 3(b) zeigt, daß die räumliche Auflösung beibehalten wird, während die Auflösung der Zeitbasis weggelassen wird, was geeignet für ein fast unbewegliches Objekt sein kann.
Jeder Transformationskoeffizient F (u, v, w), der abgetastet werden soll, wird durch den zonalen Abtastmuster-Auswahlblock 13 aus der horizontalen Bewegung mx, der vertikalen Bewegung my und dem Bewegungsvektor mz = mx² + my² bestimmt.
Die Schwellwerte mxh, myh und mzh der Bewegungen und die Schwellwerte ul, vl und wl der Transformationskoeffizienten sollten zuvor zusammen mit der Beziehung zu der Bildqualität unter Durchführung von Experimenten vorbereitet werden. Falls mx > mxh, F (u, v, w), erfüllt ist, wird u < u1 abgetastet. Falls my > myh, F (u, v, w) erfüllt sind, wird v < v1 abgetastet, und falls mz < mzh, F (u, v, w) erfüllt sind, folgt w < w1.
Wenn eine präzisere Steuerung benötigt wird, werden die Schwellwerte der Transformationskoeffizienten u1, v1, w1, u2, v2 und w2 auch zusätzlich zu mxh, myh und mzh geliefert. Demzufolge werden die Schwellwerte up, vp und wp als up = u1, falls mx > mxh, oder up = u2, wo u1 < u2 ist, falls mx ≤ mxh ist, vp = v1 ist, falls my > myh oder vp = v2 ist, wobei v1 < v2 ist, falls my ≤ myh ist, und wp = w1, falls mz < mzh oder wp = w2 ist, wobei w1 < w2 ist, falls mz ≥ mzh ist ausgedrückt.
Demzufolge wird F (u, v, w), das p (u, v, w) < c erfüllt, wobei p (u, v, w) eine Gleichung ist, die eine ebene oder eine gekrümmte Fläche über die Punkte (up, 0, 0), (0, vp, 0) und (0, 0, wp) darstellt und c eine Konstante ist, abgetastet werden.
Die Bestimmung eines Abtastmusters, das in Fig. 3 dargestellt ist, wenn der Bewegungsvektor m (mx, my) der Fig. 2 ermittelt wird, wird nun beschrieben.
Unter der Annahme, daß die Schwellwerte der Bewegungen mxh, myh und mzh sind und die Schwellwerte der Transformationskoeffizienten u1 = M/2, u2 = ∞, v1 = N/2, v2 = oo, w1 = K/2 und w2 = ∞ sind, so daß die Verschlechterung in der Bildqualität minimiert wird, werden up, vp und wp als up = M/2, falls mx > mxh ist, vp = N/2, falls my größer myh ist, und wp = oo, falls mz > mzh ist, ausgedrückt. Demzufolge werden die Transformationskoeffizienten, die die Bedingung p (u, v, w) (= u + v) < (M/2 + N/2) erfüllen, die eine Ebene über die Punkte (M/2, 0, 0), (0, N/2, 0) und (0, 0, ∞) darstellen, wie dies in Fig. 3(a) dargestellt ist, abgetastet.
Wenn der Bewegungsvektor nicht größer als der Schwellwert ist, da das Bild fast bewegungslos ist, werden die Ergebnisse up = oo, vp = ∞ und wp = K/2. Dann werden die Transformationskoeffizienten, die die Bedingung p (u, v, w) (= w) < K/2 erfüllen, die eine Ebene über die Punkte (∞, 0, 0), (0, ∞, 0) und (0, 0, K/2) darstellen, wie dies in Fig. 3(b) dargestellt ist, abgetastet.
Die Auswahl eines zonalen Abtastmusters und die Betriebsweise eines zonalen Abtastblocks kann demzufolge unter Verwendung des Geräts, das in Fig. 1(b) dargestellt ist, ausgeführt werden.
Wie in Fig. 1(b) dargestellt ist, weist die Auswahleinheit 13 für das zonale Abtastmuster einen Absolutwert-Berechnungsschaltkreis 131, einen Selektor 132, eine Verriegelung 133, einen Quadrierberechnungsschaltkreis 134 und einen ROM 135 auf. Auch weist die zonale Abtasteinheit 3 einen Adressensteuerschaltkreis 31 und einen RAM 32 auf.
Der Bewegungsvektor wird zu dem Absolutwert-Berechnungsschaltkreis 131 zugeführt, der dessen horizontalen und vertikalen, absoluten Komponenten mx und my berechnet, die wiederum durch den Selektor 132 separiert werden. Der Absolutwert mx , der früher als my eintritt, wird durch die Verriegelung 133 gehalten und dann zu dem ROM 135 zusammen mit mz = mx² + my², durch den Quadrierberechnungsschaltkreis 134 berechnet, übertragen. Der ROM 135 wiederum erzeugt ein vorbestimmtes Abtastmuster entsprechend dem Eingang. Zwischenzeitlich werden die Transformationskoeffizienten durch den RAM 32 in dem zonalen Abtastblock 3 gehalten. Der Adressensteuerschaltkreis 31 liefert ein Adressensignal zum Auslesen aus dem RAM 32 der Transformationskoeffizienten, die dem Muster entsprechen, das durch den ROM 135 erzeugt wird. An dem Ende des vorstehenden Verfahrens wird die zonale Abtastung basierend auf der Bewegungsermittlung abgeschlossen.
Die zonalen, abgetasteten Transformationskoeffizienten werden im wesentlichen zur Separation in Bewegungs- und ruhe Bildblöcke sortiert. Dann wird jeder entsprechende Ausgang klassifiziert, für eine Bitzuordnung verarbeitet, normalisiert und quantifiziert, und zwar vor einer weiteren Übertragung entlang der Übertragungsleitung Die Separation der Bewegungs- und ruhigen Blöcke wird durch Berechnung des ermittelten Bewegungsvektors m (mx, my) aus mx² + my² mit dem Aktivitätsabschätzungsblock 4 durchgeführt.
Gemäß der ersten Ausführungsform wird die Entfernung unerwünschter Transformationskoeffizienten entsprechend der Bewegung eines Objekts so ausgeführt, daß visuell undefinierte Bereiche eines Bilds ausgedünnt werden können. Auch wird die Bitzuordnung unter Diskriminierung zwischen sich bewegenden und nicht bewegenden Bereichen durchgeführt, was ermöglicht, daß die Buddaten in Abhängigkeit lokaler Aspekte codiert und mit einer geringeren Verschlechterung der Bildqualität komprimiert werden. In der Praxis wurde herausgefunden, daß 15% der Daten ohne eine Verschlechterung der Bildqualität unter Verwendung eines Verfahrens einer Computersimulation entfernt werden können.
Obwohl der zonale Abtastblock 3 vor dem Quantifizierungsblock 9 gemäß der Ausführungsform vorgesehen ist, kann er nach dem Quantifizierungsblock 9 mit gleichem Erfolg plaziert werden.
Fig. 4 zeigt ein Blockschaltbild eines Bildeodierverfahrens, das eine zweite Ausführungsform der vorliegenden Erfindung darstellt, in der ein Verfahren einer Bewegungsermittlung zu der ersten Ausführungsform unterschiedlich ist. Genauer gesagt sieht, verglichen mit derjenigen der ersten Ausführungsform, in der die Bewegung durch Berechnung eines Bewegungsvektors ermittelt wird, die zweite Ausführungsform einen Bewegungsermittlungsblock 14 für eine Bewegungsermittlung unter Verwendung einer Energieverteilung in dem orthogonalen Transformationsraum vor.
Die Transformationskoeffizienten von dem orthogonalen Transformationsblock 2 werden zu dem Bewegungsermittlungsblock 14 zugeführt, wo E0 und E1 berechnet werden aus:
wobei F (u, v, w) ein Transformationskoeffizient des 3-dimensionalen Blocks in einer Transformationsdomäne ist, E0 eine AC-Kornponente (komplex in einem ruhigen Bild) ist, die die statische Bildaktivität eines Transformationskoeffizienten F (u, v, 0), der mit w # 0 in der Transformationsdomäne zugeordnet ist, darstellt, und E1 eine AC-Komponente (komplex und eine radikale Bewegung in einem Bewegungsbild) ist, die die Bewegung auf der Zeitbasis eines Transformationskoeffizienten F (u, v, w), der w = in dem Transformationsraum zugeordnet ist, darstellt. Der Vergleich zwischen E0 und E1 zeigt, ob das Bild aktiv oder bewegungslos ist. Aus dem Ergebnis einer Simulation wurde herausgefunden, daß dann, falls das Verhältnis Ec = E0/E1 der Energie über 4 bis 5 ist, die Bewegungen, die durch menschliche Augen wahrgenommen werden, gleich identifiziert werden können. In der zweiten Ausführungsform werden alle 3-dimensionalen Blöcke, die in K-Rahmen enthalten sind, in die Bewegungs- und ruhigen Blockgruppen mittels des Energieverhältnisses Ec = E0/E1 separiert.
Es wird verständlich werden, daß der Schwellwert zur Verwendung bei der Separation nicht auf 4 bis 5 gemäß der Ausführungsform eingeschränkt ist und in Abhängigkeit von dem Typ eines Eingangsbilds verändert werden kann.
Die zweite Ausführungsform ermöglicht, daß das Energieverhältnis Ec zur Auswahl eines zonalen Abtastmusters verwendet werden kann. Die Bestimmung eines zonalen Abtastmusters kann in derselben Art und Weise wie bei der ersten Ausführungsform ausgeführt werden, wenn die horizontalen und vertikalen Bewegungen durch mx = Ec und my = a x Ec ausgedrückt werden (wobei a ein Multiplikator für experimentelle Zwecke ist; einfacher ist a = 1).
In dieser Ausführungsform werden allerdings die horizontalen und vertikalen Bewegungen nicht ermittelt und es wird keine noch präzisere Steuerung verglichen mit der ersten Ausfürungsform ausgeführt. Dennoch ist der Vorteil derjenige, daß die Ermittlung mit einer quadratischen Berechnung ermöglicht, daß eine Hardware des Aktivitätsabschätzungsblocks 4 herkömmlich verwendet wird.
Fig. 5 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine dritte Ausführungsform der vorliegenden Erfindung darstellt, in der gegenüber der ersten Ausführungsform unterschiedlich ist, daß die Transformationskoeffizienten, die aus der Codierung weggelassen werden, unter größeren Schritten als diejenigen, die codiert werden sollen, quantifiziert werden, anstelle der Auswahl von Transformationskoeffizienten, die codiert werden sollen, und zwar durch die zonale Abtastung.
Wie in Fig. 5 dargestellt ist, wird der ermittelte Bewegungsvektor zu einem Steuerblock 15 für einen Quantifizierungsschritt zugeführt, der wiederum die Transformationskoeffizienten auswählt, die in derselben Art und Weise wie mit dem Auswahlblock 13 für das zonale Abtastmuster codiert werden soll. Die Transformationskoeffizienten, die codiert werden sollen, werden unter denselben Schritten in einer bekannten Art und Weise quantitfiziert, während die Transformationskoeffizienten, die von der Codierung ausgenommen werden sollen, unter größeren Schritten quantifiziert werden, z. B. 10 Male des herkömmlichen Quantifizierungsschritts. Als Folge wird jeder Transformationskoeffizient, der von der Codierung ausgenommen werden soll, im wesentlichen auf 0 quantifiziert, was dieselbe Betriebsweise wie diejenige der ersten Ausführungsform ermöglicht. Gemäß der Ausführungsform wird der Quantifizierungsschritt erhöht, allerdings nicht auf 10 Male der Größe beschränkt.
Die Betriebsweise des Steuerblocks 15 für den Quantifizierungsschritt kann durch dieselbe Anordnung wie der Auswahlblock 13 für das zonale Abtastmuster ausgeführt werden. Während der Auswahlblock 13 für das zonale Abtastmuster ein Abtastmuster von seinem ROM liefert, ist der Steuerblock 15 für den Quantifizierungsschritt so angeordnet, um ein Signal eines Quantifizierungsschritts zu liefern.
Fig. 6 zeigt ein Blockschaltbild eines Bildcodierverfahrens, das eine vierte Ausführungsform der vorliegenden Erfindung darstellt, in der gegenüber der ersten Ausführungsform unterschiedlich ist, daß nicht die Transformationskoeffizienten, die von der Codierung ausgenommen werden sollen, zu der Übertragungsleitung ausgegeben werden sollen, und zwar verglichen mit einer Auswahl der Transformationskoeffizienten, die durch eine zonale Abtastung codiert werden sollen.
Wie in Fig. 6 dargestellt ist, wird der ermittelte Bewegungsvektor zu einem Abtaststeuerblock 16 zugeführt, wo die Transformationskoeffizienten, die codiert werden sollen, in derselben Art und Weise wie mit dem Auswahlblock 13 für das zonale Abtastmuster ausgewählt werden. Die quantifizierten Transformationskoeffizienten von dem Quantifizierungsblock 9 werden durch einen Abtastblock 17 zur Zuführung der Transformationskoeffizienten einer solchen Reihenfolge, wie dies später beschrieben ist, indiziert. Zu dieser Zeit verbleibt ein Index der Transformationskoeffizienten, für die bestimmt ist, daß sie nicht durch den Abtaststeuerblock 16 codiert werden sollen, nicht übertragen. Demgemäß werden die Transformationskoeffizienten, die von der Codierung weggelassen werden sollen, nicht zu einer Codiervorrichtung übertragen, was denselben Effekt wie die erste Ausführungsform sicherstellt.
Die Betriebsweise des Abtaststeuerblocks 16 wird durch dieselbe Anordnung wie der Auswahlblock 13 für das zonale Abtastmuster ausgeführt. Während der Auswahlblock 13 für das zonale Abtastmuster ein Abtastmuster von seinem ROM zuführt, ist der Abtastblock 16 so angeordnet, daß er ein Signal der Übertragungsreihenfolge zuführt.
Die libertragung der Transformationskoeffizienten, die codiert werden sollen, wird nun beschrieben. Der Index der Transformationskoeffizienten wird in einer vorbestimmten Reihenfolge von dem Abtastblock 17 zu der Übertragungsleitung ausgegeben. Da die Energie der Transformationskoeffizienten im wesentlichen zu der niedrigen Sequenzseite hin in dem Transformationsraum vorgespannt ist, ermöglicht ein herkömmliches, 2-dimensionales, orthogonales Transformationscodiergerät, daß die Transformationskoeffizienten, die eine höhere Energie besitzen, mit einer Priorität übertragen werden sollen, und gleichzeitig solche, die eine geringere Energie haben, ausgenommen werden sollen.
Fig. 7 stellt Beispiele der Übertragung von Transformationskoeffizienten, die aus den 3-dimensionalen Blöcken in dem Transformationsraum abgeleitet sind, gemäß dem Bildcodierverfahren der vorliegenden Erfindung dar. Wie in Fig. 7-a dargestellt ist, werden die Transformationskoeffizienten eines 8 x 8 x 8 3-dimensionalen Blocks in einer vorgegebenen Reihenfolge übertragen. Die Reihenfolge ist dieselbe von w = 0 bis w = 7 und die Übertragung beginnt mit dem kleinsten w.
Fig. 7-b stellt die Übertragung beginnend mit einem Transformationskoeffizienten F (u, v, w) dar, dessen Koordinatensumme (u + v + w) die kleinste in dem Transformationsraum ist, und in dem w auch am kleinsten ist. Zur Vereinfachung wird der 3-dimensionale Block als eine 3 x 3 Einheit angenommen. Die Reihenfolge ist allerdings nicht auf das Beispiel, das dargestellt ist, beschränkt.
Wie vorstehend beschrieben ist, können die Transformationskoeffizienten, die eine größere Energie besitzen, anfänglich durch das 3-dimensionale, orthogonale Transformationscodiergerät übertragen werden.
Obwohl der Abtastblock 17 nach dem Quantifizierungsblock 9 gemäß der Ausführungsform vorgesehen ist, kann er vor diesem mit einem gleichen Erfolg angeordnet werden.
Obwohl das 3-dimensionale, orthogonale Transformationsverfahren anhand der Ausführungsformen erläutert ist, kann die vorliegende Erfindung bezüglich einer 2-Dimension eines orthogonalen Transformationsverfahrens angewandt werden, bei dem die Abtastung auf einer Zeitbasis ausgenommen wird oder die Transformationskoeffizienten, die quantifiziert werden sollen, in der Anzahl reduziert werden.
Es wird verständlich werden, daß unterschiedliche Verfahren unter Verwendung eines Abtastmusters, das den Schritt einer Quantifizierung steuert, und Begrenzung der Zuführung zu einer Übertragungsleitung in deren jeweiligen Ausführungsformen beschrieben sind und daß sie auch in verschiedenen Kombinationen eingesetzt werden können.

Claims

1. Bildcodierverfahren, das folgende Schritte aufweist:

Übertragen eines Abtastpunkts eines Bildsignals von jedem der mindestens K- Rahmen in einen 3-dimensionalen Block in der Form von M x N x K Abtastpunkten, die horizontale, vertikale und Zeitbasis-Komponenten enthalten, wobei die Abtastpunkte des 3-dimensionalen Blocks dargestellt werden durch

f(x, y, t), wobei x= 0 bis M-1, y= 0 bis N-1, t= 0 bis K-1;

orthogonales Transformieren des 3-dimensionalen Blocks in einen Transformationskoeffizientenblock mit drei Dimensionen, ausgedrückt als

F (u, v, w), wobei u = 0 bis M-1, v = 0 bis N-1, w= 0 bis K1;

Berechnung der Bewegung eines 2-dimensionalen Blocks, der ein Teil des 3-dimensionalen Blocks ist, während einer Zeitperiode zwischen t = 0 und t = K-1

Bestimmung, ob ein Transformationskoeffizient des Transformationskoeffizientenblocks codiert werden muß, oder nicht, durch Prüfung der Bewegung, dadurch gekennzeichnet, daß die Bewegung des 2-dimensionalen Blocks als eine Kombination der horizontalen Bewegung mx und der vertikalen Bewegung my mittels einer Blockanpassung zwischen t = 0 und t = K-1 unter Bezug auf einen 2-dimensionalen Block, bei t = 0 des 3-dimensionalen Blocks f (x, y, t) bestimmt wird.

2. Bildcodierverfahren nach Anspruch 1, wobei die Bewegung des 2-dimensionalen Blocks als eine Kombination der horizontalen Bewegung mx' = mx - (cx' -cx) und der vertikalen Bewegung my' = my - (cy' -cy) bestimmt wird, wobei die Koordinatenmitte des 2-dimensionalen Blocks als t = 0 für (cx, cy) und als t = K-1 für (cy', cy') ausgedrückt wird.

3. Bildcodierverfahren nach Anspruch 1 oder 2, wobei der orthogonale Transformationskoeffizient F (u, v, w), der u < ul, v < v1, oder w < w1 erfüllt, codiert wird, falls mx > mxh, my > myh oder mz < mzh jeweils ist, wobei mx die absolute horizontale Bewegung ist, my die absolute vertikale Bewegung ist, mz eine Quadratsumme der horizontalen und der vertikalen Bewegung, ausgedrückt als mz = mx² + my², ist, und mxh, myh und mzh die Schwellwerte gegebener Bewegungen sind und u1, v1 und w1 die Schwellwerte von Transformationskoeffizienten sind.

4. Bildcodierverfahren nach Anspruch 1 oder 2, wobei, unter der Annahme, daß die Schwellwerte der Transformationskoeffizienten up, vp und wp als up = u1, falls mx > mxh, up = u2 mit u1 < u2, falls mx ≤ mxh ist, vp = v1, falls my > myh ist, vp = v2 mit v1 < v2, falls my ≤ myh ist, wp = w1, falls mz ≥ mzh ist und wp = w2 mit w1 < w2, falls mz > mzh ist, bestimmt wird, wobei mx die absolute, horizontale Bewegung ist, my die absolute vertikale Bewegung ist, mz die Quadratsumme der horizontalen und vertikalen Bewegung ist, ausgedrückt als mz = mx² + my², mxh, myh und mzh die Schwellwerte gegebener Bewegungen sind und u1, v1 und w1 Schwellwerte von Transformationskoeffizienten sind,

der orthogonale Transformationskoeffizient F (u, v, w), der p (u, v, w) < c erfüllt, codiert wird, wobei p (u, v, w) die Bedingung einer Ebene ist, die sich über die Punkte (up, 0, 0), (0, vp, 0) und (0, 0, wp) in der 3-dimensionalen, orthogonalen Transformationsdomäne erstreckt, und c eine Konstante ist.

5. Bildeodierverfahren nach Anspruch 1 oder 2, wobei unter der Annahme, daß die Schwellwerte der Transformationskoeffizienten up, vp und wp als up = u1, falls mx > mxh ist, up = u2 mit ul < u2, falls mx ≤ mxh ist, vp = v1, falls my > myh ist, vp = v2 mit v1 < v2, falls my ≤ myh ist, wp = w1, falls mz < mzh ist, und wp = w2 mit w1 < w2, falls mz ≥ mzh ist, bestimmt werden, wobei mx die absolute, horizontale Bewegung ist, my die absolute vertikale Bewegung ist, mz eine Quadratsumme der horizontalen und der vertikalen Bewegungen ist, ausgedrückt als mz = mx² + my², mxh, myh und mzh Schwellwerte gegebener Momente sind und u1, v1 und w1 Schwellwerte von Transformationskoeffizienten sind,

der orthogonale Transformationskoeffizient F (u, v, w), der g (u, v, w) < c erfüllt, Codiert wird, wobei g (u, v, w) die Bedingung einer gekrümmten Ebene ist, die sich über die Punkte (up, 0, 0), (0, vp, 0) und (0, 0, wp) in der 3-dimensionalen, orthogonalen Transformationsdomäne erstreckt, und 0 eine Konstante ist.

6. Bildeodierverfahren nach einem der Ansprüche 2 bis 5, wobei der Transformationskoeffizient, der von einer Codierung in der Transformationsdomäne ausgenommen werden soll, als 0 bezeichnet wird.

7. Bildcodierverfahren nach einem der Ansprüche 2 bis 5, wobei der Transformationskoeffizient, der von der Codierung ausgenommen werden soll, unter größeren Schritten als diejenigen, die codiert werden sollen, quantifiziert wird.

8. Bildcodierverfahren nach einem der Ansprüche 2 bis 5, wobei die Transformationskoeffizienten, die von einer Codierung in der Transformationsdomäne ausgenommen werden sollen, nicht zu der Übertragungsleitung ausgegeben werden.