DE69413148T2

DE69413148T2 - Verfahren zur Bestimmung von Bewegungsvektoren in kleinen Bildsegmenten in Fernsehbildern

Info

Publication number: DE69413148T2
Application number: DE1994613148
Authority: DE
Inventors: Tero Sf-33720 Tampere Koivunen
Original assignee: Nokia Technology GmbH
Current assignee: Nokia Technology GmbH
Priority date: 1993-07-15
Filing date: 1994-06-28
Publication date: 1999-04-15
Anticipated expiration: 2014-06-29
Also published as: FI933216A0; EP0634873B1; EP0634873A2; EP0634873A3; FI933216A; DE69413148D1; FI94306B; FI94306C

Description

Die Erfindung bezieht sich auf eine Methode, die es ermöglicht, die Bewegungsvektoren in kleineren Segmenten als Blöcke eines Fernsehbildes zu bestimmen, wenn die Bewegungsvektoren der Blöcke bekannt sind.
Informationen über den Bewegungsinhalt des Bildes wird dem gesendeten Signal hinzugefügt, so daß in einem Fernsehempfänger das erhaltene Videosignal durch eine Bewegungsausgleichsmethode verarbeitet werden kann, durch Erhöhung der Zeilenrate des Fernsehbildes (LRU, Line Rate Upconversion) oder durch Erhöhung der Feldrate (Field Rate Upconversion). Bei hochauflösenden Fernsehsystemen (HDTV) ist das Bild in kleine Blöcke unterteilt, z. B. 16 · 16 Bildpunkte und durch eine geeignete Bewegungserfassungsmethode bestimmen wir für die Blöcke einen Bewegungsvektor, der die Richtung und das Ausmaß der Bewegung definiert. Die Bewegungsvektoren werden als Datensignal getrennt vom Videosignal gesendet. Am Übertragungsende werden die Blöcke, die unterschiedliche Bewegungsinhalte haben, unterschiedlich verarbeitet, wobei jeder gesendete Block von einem bestimmten Bewegungsvektor begleitet wird. Wenn der Empfänger das Orginalbild erzeugt, kann er dann die korrekte Signalverarbeitungsmethode in Übereinstimmung mit den Bewegungsinhalten des Blocks auswählen.
Es gibt verschiedene bekannte Bewegungserfassungsmethoden, um die Bewegungsvektoren zu berechnen. Meistens basieren diese Methoden auf Vergleichssignalen, die zwischen zwei Bildern berechnet werden, und darauf, ob das Bild Bewegung enthält oder nicht, wobei man zu diesem Ergebnis mit Hilfe dieser Vergleichssignale kommt. Die Bewegungsberechnungsmethoden können in zwei Hauptklassen unterteilt werden: Methoden, die Bewegungsparameter erfassen, und Methoden, die Bildpunktgeschwindigkeit messen. Weiterhin ist es möglich, die Bildpunktmessmethoden zu klassifizieren: in Methoden, basierend auf räumlich-zeitlichen Ableitungen, in Methoden, basierend auf Übereinstimmung und Untersuchung von Blockäquivalenz zu unterschiedlichen Zeitpunkten, und Methoden basierend auf den Fourier-Methoden.
Die Bewegungsparametervergleichsmethoden sind nicht besonders gut geeignet, um die Bewegung im Fernsehen zu berechnen, aufgrund der Begrenzung auf dem Bild und aufgrund der Methode selbst. Verfahren, die auf räumlich-zeitlichen Ableitungen basieren, die zu den Methoden gehören, die die Geschwindigkeit der Bildpunkte messen, basieren ausschließlich auf Ausbreitungsmodellen. Diese gehen davon aus, daß die Intensitätsvariation ausschließlich eine lineare Funktion der Bewegung im Fernsehbildfeld ist. Verschiedene Ableitungen werden berechnet, sowohl in der zeitlichen Richtung (zwischen aufeinanderfolgende Felder) als auch in der räumlichen Richtung (in horizontaler und vertikaler Richtung). Diese Ableitungsverhältnisse stellen die räumliche Bewegung bereit, wobei der Bildpunkt die Einheit für jedes Bild ist. Die Fourier-Methoden benutzen die Beziehung zweier Bilder, so daß eine zweidimensionale Fourier-Transformation zuerst für jedes Bild gemacht wird, dann werden die entsprechenden Frequenzbestandteile multipliziert, und dann wird die Rücktransformation durchgeführt. Das Ergebnis ist eine Wechselbeziehungsoberfläche, die bei den Koordinaten, die mit einer Bewegung zwischen zwei Bildern übereinstimmen, einen Spitzenwert hat. Die Fourier-Methode ist bestens geeignet, um die globale Bewegung zu messen, und die Genauigkeit kann durch die Anwendung von weiterer Bearbeitung noch erhöht werden, wie durch Interpolation der Wechselbeziehungsoberfläche und Nachbearbeitung.
Eine oft angewandte Transformation, die zu den Methoden zur Berechnung von Bildpunktgeschwindigkeit gehört, ist die Blockübereinstimmung, die Bereich für Bereich berechnet anstatt Bildpunkt für Bildpunkt zu berechnen. Nachfolgend bedeutet das Wort "Feld" sowohl das Feld eines ineinandergreifenden Bildes und das Feld eines progressiven Bildes, das dann gleich dem Bild ist. Bei der Blockübereinstimmung werden die Felder in Blöcke der Größe n · m aufgeteilt, und dann wird angenommen, daß alle Bildpunkte innerhalb des Blocks gleiche Bewegungsvektoren haben. Ein Beispiel verdeutlicht die Blockübereinstimmung: Nehmen wir an, daß ein Block (= ein Unterbereich einer bestimmten Größe in einem Bild) von n · m Bildpunkten in einem Feld t ein Objekt enthält, z. B. das Bild eines Autos. Diesen Block nennen wir den Referenzblock. Das Auto bewegt sich, und im nächsten Feld t + 1 hat es sich auf eine neue Position bewegt. Nun müssen wir die neue Position finden. Dies wird gemacht, indem wir im neuen Feld t + 1 einen Suchbereich definieren innerhalb dessen wir einen Block bewegen, der die gleiche Größe wie der Referenzblock hat, d. h. n · m Bildpunkte. Wir können annehmen, daß dieser Block ein Fenster ist, durch das wir einen Bildpunktsatz des Feldes sehen, innerhalb eines Bereichs, der die Größe des Fensters hat. In jeder Position werden die Inhalte des Blocks (Fensters) mit den Inhalten des Referenzblocks des Feldes t verglichen. In dem Vergleich vergleichen wir die Bildpunkte des Fensters mit den entsprechenden Bildpunkten des Referenzblocks des Feldes t. Wenn der Block (Fenster) über das Feld t + 1 bewegt wird, dann wird die Vergleichsbedingung bei einer Position des Feldes t · 1 erfüllt, was dann so interpretiert wird, daß die Blöcke die gleichen Inhalte haben. Nun "stimmen die Blöcke überein", denn ihre Inhalte sind identisch. Dann wissen wir, daß sich das Auto auf diese Position im Feld t + 1 bewegt hat. So erhalten wir die Größe und Richtung der Bewegung.
Ein Beispiel der Blockübereinstimmung wird z. B. in EP-A-0 406 074 beschrieben. Dieses Dokument beschreibt ein Verfahren, das ein Bewegungsfeld in Vektoren aufteilt, basierend auf Verschiebung von Bildpunkten zwischen einem Bild und einem vorherigen Bild. Das Bild wird in Blöcke von Bildpunkten aufgeteilt und einem Bewegungsvektor, der jedem Block zugeordnet ist. Zweitens wird ein Histogramm von Bewegungsvektoren von Blöcken konstruiert. Als nächstes werden dominante Bewegungsvektoren jedem Block zugeordnet, die einen größeren Bewegungsmaßstab repräsentieren. Die isolierten Blockvektoren werden gefiltert und zum Schluß wird das Ausgangssignal, das notwendig ist, um das erhaltene gefilterte Bewegungsfeld zu codieren, mittels der 'Viererbaum' Codiermethode berechnet.
Blockübereinstimmung ist eine Bewegungsvektor-Bestimmungmethode, die sehr oft aufgrund ihrer Klarheit benutzt wird. Bei dieser Methode, ebenso wie bei den anderen oben erwähnten Methoden, wird davon ausgegangen, daß der Bewegungsvektor, der für einen gewissen Block bestimmt ist, die Bewegungsrichtung aller Bildpunkte im Block repräsentiert, und daß die Bildverarbeitung gemäß dieser Annahme gemacht wird. Somit schätzen die Bewegungsvektoren nur die Bewegung der Mehrheit der Bildpunkte im Block, oder in manchen Fällen minimieren sie nur ein gewisses Fehlerkriterium. Somit folgt die tatsächliche Bewegung innerhalb eines Blocks selten den Grenzen des Blocks, sondern überquert sie willkürlich. In manchen Fällen verursacht diese Art, die Richtung des Bewegungsvektors eines Blocks, identisch für den gesamten Block festzulegen, deshalb deutlich wahrnehmbare Bildfehler.
Ein Weg, Bildfehler zu reduzieren, ist die dynamische Blockgrößen-Zuordnung. Die ausgewählte Blockgröße in einem festen Blockcodiersystem ist ein Kompromiß zwischen dem Wunsch, große Blockgrößen zu haben, um die Anzahl von Verschiebungsvektoren und demzufolge die Bitrate der Übertragungszeile einzugrenzen und dem Wunsch, kleine Blockgrößen zu haben, um es zu ermöglichen, im Bild besser zwischen nahen kleinen Objekte mit verschiedenen Bewegungen zu unterscheiden. Die Größe eines Blocks ist als Funktion dieser beiden gegensätzlichen Kriterien festgelegt und ist nie zufriedenstellend.
Ein Beispiel von dynamischer Blockübereinstimmung wird in US-A-4,796,087 beschrieben. Dieses Dokument beschreibt, wie ein Datenblock vom aktuellen Bild von einem, das einem vorherigen Bild entspricht, das im Speicher gespeichert wurde, subtrahiert wird. Ein Bewegungsdetektor hat drei Ausgänge entsprechend den verschiedenen Ergebnissen der Subtraktion und wenn keine Bewegung erfaßt wird, wird ein Nichtauffrischcode mit einem Blockidentifizierer gesendet.
Wenn Bewegung erfaßt wird, wird der Block in Subblöcke unterteilt zum Vergleich mit entsprechenden Subblöcken im gleichen Block des vorherigen Bildes. Eine Kompensationsschaltung liefert ein Verschiebungsvektorsignal, um den Block oder Subblock des aktuellen Bildes zu kompensieren.
Abb. 1 zeigt auf anschauliche Weise den Grund, warum Bildfehler entstehen, wenn die bereits bekannte Bewegungsvektorbestimmung benutzt wird. Die Abbildung zeigt vier reguläre quadratische Blöcke A, B, C und D, wobei jeder Block einen entsprechenden Bewegungsvektor hat, der durch die Blockübereinstimmungsmethode festgelegt ist.
Die Bewegungsvektoren werden durch Pfeile in jedem Block gezeigt, und entsprechend diesen ist die Bewegungsrichtung von allen Bildpunkten in den Blöcken A, B und C nach links, wobei die Bewegungsrichtung aller Bildpunkte in Block D nach oben und nach rechts ist. Wie bereits bekannt erhalten alle Bildpunkte eines Blocks die gleiche Richtung des Bewegungsvektors. Wie wir in der Abbildung sehen können, ist die Richtung der Stufenzeile vermutlich nach oben und nach rechts, denn das ist die Richtung der Mehrheit der Bildpunkte in Block D. Somit folgen die Richtungen der Segmente, die durch die Stufenzeile unterteilt sind, nicht den Grenzen der Blöcke (sie sind nicht die gleichen wie die Richtung des Bewegungsvektors des Blocks), sondern überqueren die Grenzen. Die hellen Segmente in den Blöcken A, B und C haben eine richtige Bewegungsrichtung. Auch das verdunkelte Segment in Block D hat die richtige Bewegungsrichtung. Aber im Gegensatz dazu ist die richtige Bewegungsrichtung der gestreiften Segmente in den Blöcken C und D nach oben und nach rechts, und nicht nach links. Somit können wir sehen, daß die bereits bekannte getroffene Entscheidung was die Bewegungsrichtung betrifft, für einen großen Teil der Bildpunkte fehlerhaft ist, oder für solche Bildpunkte, die zu den gestreiften Bereichen gehören. Deshalb werden wahrnehmbare Fehler verursacht, wenn das Bild Block für Block im Receiver gemäß diesen Hauptvektoren verarbeitet wird.
Gegenstand dieser Erfindung ist es, diese Nachteile der bekannten Methoden zur Bestimmung von Bewegungsvektoren zu verhindern, und somit eine Methode zu erhalten, mit der es möglich ist, die Bewegungsvektoren auch für kleine Segmente mit irregulären Formen, die an die Kanten von sich bewegenden Objekten angrenzen, zu bestimmen.
Dies wird mit den Mitteln, die in dem charakterisierenden Abschnitt des Anspruches 1 beschrieben werden, erreicht.
Die Methode wird als Blockdiagramm in Abb. 7 gezeigt.
Zuerst vorverarbeiten wir das Bild, wofür bereits Bewegungsvektoren durch eine bekannte Methode festgelegt wurden, z. B. durch Blockübereinstimmung. Ziel ist es, den Kontrast im Bild zu erhöhen und Konturen deutlich wahrnehmbar zu machen. Ziel ist deshalb, die Gegenstände von ihrem Hintergrund nur auf Basis von räumlicher Information zu trennen und die verschiedenen Bereiche des Bildes deutlich wahrnehmbar zu machen. Die Bereiche werden durch ihre Graustufen unterschieden.
Dann wird die Anzahl von Graustufen durch Schwellenwertbildung der Bildproben reduziert, z. B. von Proben mit 8 Bits zu Proben mit 3 Bits, wobei die Anzahl der Graustufen von 256 auf 8 reduziert wird. Die Schwellenwertbildung kann äquidistant sein und die Anzahl der Graustufen sogar noch kleiner, z. B. vier Stufen (2 Bits) ist ganz geeignet. Nach Schwellenwertbildung scheint das Bild aus Bereichen mit verschiedener Größe und Formen, aber aus einheitlicher Schattierung zu bestehen, wobei diese Bereiche durch ihre Graustufe unterschieden werden. Diese Bereiche werden Segmente genannt. Je größer die Anzahl der Stufen nach Schwellenwertbildung ist, desto mehr kleine wahrnehmbare Bereiche im Bild gibt es, die die Einzelheiten des Bildes repräsentieren. Ziel der Schwellenwertbildung ist es einerseits, viele kleine Segmente loszuwerden, und deshalb ist eine geringe Schwellenwertbildung mit z. B. 4 Stufen vorzuziehen. Nach Schwellenwertbildung gibt es noch eine Nachverarbeitung, mit der das Bild noch mehr geglättet wird durch Eliminierung von Inseln von der Größe einiger Bildpunkte, die sich stark von ihren Nachbarn unterscheiden. Als Ergebnis der oben erwähnten Maßnahmen, wird das Bild auf Bereiche oder Segmente von unterschiedlichen Größen vereinfacht, aber mit einheitlicher Schattierung (einheitliche Farbe), und die Anzahl der Graustufen (Farben) im Bild ist minimal. Ein Segment ist somit eine einheitliche Menge von benachbarten Bildpunkten, die nach der Vorverarbeitung, Quantisierung und Nachbearbeitung den gleichen Grauskalenwert haben.
Dann wird für jedes Segment ein Bewegungsvektor bestimmt. Als Basis gilt die Tatsache, daß das gleiche Bild im Sender oder im Codierer in Blöcke unterteilt wird (benachbarte Bildflächen von gleicher Größe), wobei ein Blockbewegungsvektor durch eine bekannte Methode wie Blockübereinstimmung für jeden Block bestimmt wird. Auf gewisse Art deckt jeder Block einen Teil des segmentierten Bildes ab. Wenn eine Blockgrenze ein Segment überquert, dann wird das Segment als in zwei geteilt angesehen, wobei ein Teil zu einem Block gehört und der andere Teil zu einem anderen Block gehört. Somit können die Segmente nicht in den Bereich eines Nachbarblocks verlaufen. Das größte Segment in dem Bereich eines Blocks wird zuerst gefunden und es wird das Hauptsegment genannt. Somit kann der Blockbereich vier verschiedene Arten von Segmenten enthalten:
1) ein Hauptsegment;
2) ein oder mehrere Segmente, die nicht das Hauptsegment sind und sich nicht neben einem Segment eines Nachbarblocks befinden;
3) ein oder mehrere Segment, die nicht das Hauptsegment sind und die sich neben dem Hauptsegment eines Nachbarblocks befinden;
4) ein oder mehrere Segmente, die nicht das Hauptsegment sind und die sich neben einem Segment eines Nachbarblocks befinden, das nicht das Hauptsegment ist.
Der gleiche Vektor, der als Bewegungsvektor des "eigenen Blocks" durch eine bereits bekannte Methode erhalten wurde, wird als Kandidat für das Hauptsegment ausgewählt.
Andere Segmente in dem Blockbereich, die sich nicht neben einem Segment eines Nachbarblocks befinden, und die somit nicht neben der Grenze des "eigenen" Blocks sind, aber ganz innerhalb des eigenen Blocks, erhalten als Bewegungsvektor diesen Bewegungsvektor, der auf bekannte Art für den eigenen Block erhalten wurde.
Andere Segmente in dem Blockbereich, die sich neben einem Segment eines Nachbarblocks befinden, aber nicht das Hauptsegment des Nachbarblocks sind, erhalten als Bewegungsvektor diesen Bewegungsvektor, der auf bekannte Art für den eigenen Block erhalten wurde.
Andere Segmente innerhalb des Blockbereichs, die sich neben einem Hauptsegment eines Nachbarblocks befinden, erhalten als Bewegungsvektor den Bewegungsvektorwert des Hauptsegments des Nachbarblocks. Dieser Wert ist somit gleich dem Wert des Wertes, der mit der bereits bekannten Methode für den Bewegungsvektor des Nachbarblocks berechnet wurde.
Ausgenommen dem Hauptsegment, kann ein Segment also als Bewegungsvektor entweder den Bewegungsvektor des eigenen Blocks oder den Bewegungsvektor des Nachbarblocks erhalten.
Nun hat jedes Hauptsegment einen Kandidaten für den Bewegungsvektor. Der endgültige Bewegungsvektor wird so bestimmt, daß wir untersuchen, ob das Hauptsegment in mindestens zwei Nachbarblöcke weitergeht, und ob der Teil in dem benachbarten Bereich ein Hauptsegment ist. In diesem Fall bilden die Segmente das gleiche Objekt, so daß ihre Bewegungsvektoren einheitlich sein sollten. Deshalb wird ein Bewegungsvektorkandidat nicht akzeptiert, wenn er sich von den Bewegungsvektoren der entsprechenden Segmente in den Nachbarblocks unterscheidet, aber der Bewegungsvektor wird als Wert für den Bewegungsvektor der Hauptsegmente der Nachbarblöcke ausgewählt.
Entsprechend einer bevorzugten Realisierung ist die Vorverarbeitung ein Histogrammausgleich, oder eine Glättung der Verteilung. Dies bedeutet, daß wir innerhalb des benutzten Fensters die Proben gemäß der Intensität der Grauskalenwerte, z. B. 0 bis 256 anordnen. Das Ergebnis könnte als ein Histogramm gesehen werden, das eine sehr ungleiche Reihe von Säulen hat. Dann wird die Reihe der Säulen ausgeglichen, so daß es so einheitlich wie möglich ist, woraus ein erhöhter Kontrast resultiert und klar betonte Konturen.
Gemäß einer bevorzugten Realisierung wird Medianfilterung als Nachbearbeitung benutzt.
Die Erfindung wird durch die beiliegenden Beispielabbildungen dargestellt, in denen
Abb. 1 vier Blöcke zeigt, für die die Bewegungsvektoren durch bekannte Mittel erhalten werden;
Abb. 2 die ursprüngliche Bildreihenfolge zeigt;
Abb. 3 ein vergrößerter Bereich der Reihenfolge von Abb. 1 ist;
Abb. 4 die Abb. 3 nach Histogrammausgleich zeigt
Abb. 5 die Abb. 4 nach Quantisierung zeigt;
Abb. 6 die Abb. 5 nach Nachbearbeitung zeigt; und
Abb. 7 die Schritte der Methode als Blockdiagramm zeigt.
Die Bildreihenfolge der Abb. 2 zeigt einen Zug, der durch eine Bahnstation fährt. Ein Bereich mit der Größe 48 · 48 Bildpunkte ist mit weißen Grenzen hervorgehoben. Dies bedeckt vier Blöcke mit 16 · 16 Bildpunkten, wobei jeder einen eigenen Bewegungsvektor hat, der durch jede Blockübereinstimmungsmethode bestimmt werden kann. Gemäß der Erfindung werden die Bewegungsvektoren für bedeutend kleinere Bereiche als für die genannten Bereiche von der Größe 16 · 16 gefunden. Der Bereich, der in Abb. 2 mit weißen Grenzen hervorgehoben ist, wird vergrößert gezeigt und in schwarz und weiß in Abb. 3. Mit Hilfe der folgenden Abbildungen untersuchen wir, wie die verschiedenen Stufen der Methode dieses Bild beeinflussen.
Nach dem ersten Schritt (Schritt 21 in Abb. 7) der Methode wird die ganze Abb. 2 vorverarbeitet. Dort wird zuerst ein Histogrammausgleich der ganzen Abb. 2 gemacht. Die Proben des Bildes werden gemäß der Intensität der Grauskalenwerte geordnet, z. B. mit Proben von 8 Bits ist die Anordnung 0 bis 256. Das Ergebnis kann als Histogramm gesehen werden, bei dem die Höhe jeder Säule proportional zur Anzahl der Proben mit diesem Wert ist. Somit ist die Reihe der Säulen sehr uneben. Die Reihe der Säulen wird dann ausgeglichen, so daß sie so regelmäßig wie möglich ist, wobei der Grauskalenwert von bestimmten Proben erhöht wird und der von anderen verringert wird. Als Ergebnis gibt es einen erhöhten Kontrast im Bild und die Konturen von Oberflächen sind deutlich sichtbar. Das Ergebnis wird in Abb. 4 gezeigt. Diese Abbildung zeigt, wie sich der Bereich von Abb. 3 nach dem Histogrammausgleich verändert hat. Der Kontrast hat zugenommen und die Oberflächenkonturen von verschiedenen Bereichen sind deutlicher sichtbar.
Nach dem Ausgleich wird eine einheitliche Quantisierung des ganzen Bildes durchgeführt (Schritt 22 in Abb. 7), bei der das Bild mit 256 Graustufen (8 Bits) in ein Bild mit 4 Stufen (2 Bits) quantifiziert wird. In Abb. 5 können wir das Ergebnis für die vier Blöcke, die von Interesse sind, sehen. Die Reduzierung der Graustufen macht die Segmente schon deutlich sichtbar. Wir können jedoch kleine Bereiche, die von einigen Bildpunkten geformt werden, deutlich sehen, wo die Grauskala sich leicht von der Umgebung unterscheidet. Um das Bild noch weiter zu vereinfachen und die Segmente auszugleichen, führen wir noch eine Nachbearbeitung durch (Schritt 23 in Abb. 7), um den Wert dieser Bildpunkte mit dem Wert der umgebenden Bildpunkte zu ersetzen. Jede Medianoperation ist für die Nachbearbeitung geeignet. Bei diesem Beispiel benutzten wir ein 9-Punkte-Medianfilter. Die Bildpunkte in einem 3 · 3 Fenster werden einem Filter geliefert, es wird ein Ausgangswert (= der Median der Bildpunkte) bereitgestellt, der den Wert des mittleren Bildpunktes ersetzt. Das erreichte Ergebnis wir in Abb. 6 gezeigt. Wenn wir dieses mit dem ursprünglichen nicht verarbeiteten Bild 3 vergleichen, können wir deutlich sehen, daß sich das Bild in eine Menge von benachbarten Segmenten mit klaren Grenzen geändert hat. Jedes Segment formt somit eine Menge von benachbarten Bildpunkten mit dem gleichen Grauskalenwert.
Für jedes dieser Segmente bestimmen wir nun den eigenen Bewegungsvektor (Schritt 25 in Abb. 7). Das Raster, das in Abb. 6 gezeichnet ist, repräsentiert die Blockgrenzen, mit denen das Bild ursprünglich unterteilt war, und somit hat dann jeder Block einen Bewegungsvektor, der durch eine Blockübereinstimmungsmethode bestimmt wird. Wir wollen nun das durch Blöcke segmentierte Bild untersuchen. Ein Segment wird an der Blockgrenze durchschnitten, wenn es über eine Blockgrenze in einen anderen Block verläuft. Oben links ist zum Beispiel ein großes helles Segment innerhalb der Blöcke A und B. Die Grenzlinie L1 zwischen den Blöcken unterteilt dieses Segment in zwei unabhängige Segmente 1 in Block A und 2 in Block B.
Innerhalb der Blockbereiche können vier Arten von Segmenten sein:
1) Ein Hauptsegment, welches das Segment innerhalb des Blockbereichs mit der größten Anzahl von Bildpunkten ist. Das Segment 1 in Block A und das Segment 2 in Block B sind von dieser Art.
2) Ein oder mehrere Segmente, die nicht das Hauptsegment sind und die nicht an ein Segment des benachbarten Blocks angrenzen. Das Segment 3 in Block ist von dieser Art.
3) Ein oder mehrere Segmente, die nicht das Hauptsegment sind und an das Hauptsegment eines benachbarten Blocks angrenzen. Die Segmente 5 und 6 in Block A und die Segmente 4, 7 und 8 in Block B sind von dieser Art.
4) Ein oder mehrere Segmente, die nicht das Hauptsegment sind und an ein Segment des benachbarten Blocks, das nicht das Hauptsegment ist, angrenzen. Das Segment 4 von Block B ist von dieser Art.
Jeder Vektor ist mit einem Bewegungsvektor gemäß der folgenden Regel ausgestattet:
Der gleiche Vektor, der als Bewegungsvektor des "eigenen" Blocks durch eine bekannte Methode erhalten wurde, wird als Kandidat für das Hauptsegment ausgewählt. Die Vektorkandidaten werden mit Pfeilen in den Hauptsegmenten 1 und 2 gezeigt. Nun hat das Hauptsegment jedes Blocks einen Bewegungsvektorkandidat. Die Korrektheit der Bewegungsvektorkandidaten wird überprüft, wenn sie für die Blöcke ausgewählt werden (Schritt 24 in Abb. 7). Der endgültige Bewegungsvektor wird ausgewählt, indem untersucht wird, ob das Hauptsegment in mindestens zwei benachbarte Segmente verläuft, und ob der Teil im benachbarten Bereich ein Hauptsegment ist. Wenn dies zutrifft, dann bilden die Segmente das gleiche Objekt, und somit sollten ihre Bewegungsvektoren einheitlich sein. Wenn deshalb ein Bewegungsvektorkandidat unterschiedlich zu den Bewegungsvektoren des genannten Segments ist, wird er nicht akzeptiert, sondern der Bewegungsvektor erhält den Bewegungsvektorwert der Hauptsegmente der benachbarten Blöcke. Das Hauptsegment 1 von Block A verläuft zum Beispiel sowohl in Block B und (das nehmen wir an) in Block D, und der Teil des Segments in diesen Blöcken ist auch das Hauptsegment des Blocks. Wenn die Richtung des Vektorkandidaten für das Hauptsegment in Block B z. B. "hoch" wäre, wird der endgültige Vektor korrigiert, um die Richtung "links" zu haben, so daß die Vektoren der Hauptelemente einheitlich sind und alle Bildpunkte des Objekts, das von ihnen gebildet wird, die gleiche Richtung der Bewegung haben.
Andere Segmente in dem Blockbereich, die nicht neben einem Segment eines benachbarten Blocks sind, und die somit nicht neben der Grenze des "eigenen" Blocks sind, aber ganz innerhalb des eigenen Blocks, erhalten als Bewegungsvektor diesen Bewegungsvektor, der auf bekannte Art für den eigenen Block erhalten wurde. Somit erhält das Segment 3 als Bewegungsvektor den gleichen Bewegungsvektor wie Segment 1.
Andere Segmente in dem Blockbereich, die neben einem Segment eines benachbarten Blocks sind, aber nicht das Hauptsegment des benachbarten Blocks, erhalten als Bewegungsvektor diesen Bewegungsvektor, der auf bekannte Art für den eigenen Block erhalten wurde. Somit erhält Segment 4 in Block B als Bewegungsvektor den Bewegungsvektor von Block B (und gleichzeitig des Hauptsegments 2).
Andere Segmente innerhalb des Blockbereichs, die neben einem Hauptsegment eines benachbarten Blocks sind, erhalten als Bewegungsvektor den Bewegungsvektorwert des Hauptsegments in dem benachbarten Block. Somit erhalten die Segmente 7 und 8 von Block B als ihren Bewegungsvektor den Wert, der für den benachbarten Block C berechnet wurde (z. B. hoch nach rechts).
Gemäß bereits bekannter Methode würde der Bewegungsvektor der Segmente 7 und 8 in Block B nach links weisen, aber bei Anwendung der Erfindung weist der Bewegungsvektor nun "hoch nach rechts". Dadurch, daß die Segmente 7 und 8 ganz klar zum Hauptsegment von Block C gehören und somit auch zu dessen Bewegung, würde die Anwendung einer bekannten Technik bei der Bildverarbeitung offensichtliche Fehler an den Kanten eines Objekts hervorrufen. Nun werden keine Fehler erzeugt, denn diese werden korrekt gemäß der Erfindung verarbeitet.
Jedes Segment des Bildes erhält einen Bewegungsvektor gemäß den vorgestellten Prinzipien.
Die Methode ist besonders gut für Fernsehsysteme geeignet, bei denen das Bild senderseitig abhängig von seinem Bewegungsinhalt unterschiedlich codiert wird. Zusätzlich zum codierten Bild werden auch Bewegungsvektoren der Segmente gesendet, so daß der Empfänger die Videosignale abhängig von den Bewegungsinhalten unterschiedlich verarbeiten kann.
Die Methode der Erfindung basiert auf dem Konzept, daß das Bild verarbeitet wird, um deutlich wahrnehmbare Segmente zu erhalten, wobei Objekt und Hintergrund getrennt werden und eine Oberfläche von einheitlicher Schattierung ohne Details bilden. Dann können sie getrennt verarbeitet werden und erhalten Bewegungsvektoren. Somit schränkt die Erfindung in keinster Weise die Methoden, mit denen jeder individuelle Schritt der Methode realisiert wird, ein. Der oben erwähnte Histogrammausgleich und Medianfilterung sind nur einige der bevorzugten Realisierungen, aber sie beschränken die Erfindung in keinster Weise.

Claims

1. Verfahren zum Bestimmen der Bewegungsvektoren in einem Fernsehbild, wenn das Bild zunächst in Blöcke von gleicher Größe und Form unterteilt wird und wenn für jeden Block ein Bewegungsvektor berechnet wurde, der die Größe und Richtung von Bewegungsinhalten für alle Bildpunkte des Blockes repräsentiert, dadurch gekennzeichnet, daß

- das Fernsehbild in einem Vorgang vorverarbeitet wird, bei dem die Grauskalenwerte der Bildpunkte geändert werden, um deren Werteverteilung auszugleichen;

- das vorverarbeitete Bild quantifiziert wird, um die Zahl seiner Graustufen zu verringern, so daß ein Bild entsteht, das gleichförmig schattierte Segmente unterschiedlicher Größen und unterschiedlicher Formen umfaßt, wobei das größte Segment in jedem Block als Hauptsegment definiert ist, wobei davon ausgegangen wird, daß über mehrere Blöcke verlaufende Hauptsegmente zu demselben Objekt gehören, wobei ein einheitlicher Bewegungsvektor wie folgt bestimmt wird:

- der Blockbewegungsvektorwert des jeweiligen Blockes wird zum Bewegungsvektorkandidaten für das Hauptsegment gemacht;

- wenn das Hauptsegment über wenigstens zwei Nachbarblockbereiche verläuft und der Teil in diesen Blockbereichen auch das Hauptsegment der jeweiligen Nachbarblöcke ist, und wenn der Bewegungsvektorkandidat mit den benachbarten Bewegungsvektorkandidaten identisch ist, dann wird der Bewegungsvektorkandidat als der Bewegungsvektor des Hauptsegmentes akzeptiert;

- wenn sich der Bewegungsvektorkandidat von identischen Nachbarkandidaten unterscheidet, dann wird der Bewegungsvektorkandidat zurückgewiesen und das Hauptsegment erhält als seinen Bewegungsvektor den Bewegungsvektor von einem der Nachbarblöcke, ansonsten wird der Bewegungsvektorkandidat als der Bewegungsvektor des Hauptsegmentes akzeptiert;

- andere Segmente in dem Block, die an das Hauptsegment eines Nachbarblockes angrenzen, erhalten als den Bewegungsvektor den Bewegungsvektorwert ihres benachbarten Hauptsegmentes, und

- andere Segmente in dem Blockbereich, die sich nicht neben einem Segment eines Nachbarblockes befinden, erhalten als Bewegungsvektor den Bewegungsvektorwert des eigenen Blockes, und

- andere Segmente in dem Blockbereich, die sich neben einem Segment eines Nachbarblockes befinden, der nicht das Hauptsegment des Nachbarblockes ist, erhalten als Bewegungsvektor den Bewegungsvektorwert des eigenen Blockes.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Vorverarbeitung ein Histogrammausgleich ist.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Quantisierung äquidistant ist und daß 8-Bit-Bildpunkte zu 2-Bit-Bildpunkten quantifiziert werden.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ferner das quantifizierte Bild gefiltert wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Filterung eine Medianfilterung ist.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß es einen 9-Punkte- Medianfilter benutzt.