DE3882285T2

DE3882285T2 - Verfahren zur temporalen Interpolation von Bildern und Einrichtung zur Durchführung dieses Verfahrens.

Info

Publication number: DE3882285T2
Application number: DE88401315T
Authority: DE
Inventors: Philippe Robert
Original assignee: Thomson Grand Public
Current assignee: Thomson Grand Public
Priority date: 1987-06-04
Filing date: 1988-05-31
Publication date: 1993-10-28
Anticipated expiration: 2008-06-01
Also published as: FR2616248B1; JP3161467B2; JPH01503830A; FR2616248A1; WO1988010046A1; EP0315673A1; EP0294282B1; ATE91580T1; ES2041816T3; DE3882285D1; EP0294282A1

Description

Die Erfindung betrifft ein Verfahren zur zeitlichen Interpolation von Bildern, das es ermöglicht, die Werte der Helligkeit der Pixel eines in einer Folge von Bildern eines gleichen Gegenstands fehlenden Bilds wiederherzustellen. Ein solches Verfahren ist beispielsweise anwendbar auf die Übertragung von Videobildern mit sehr geringem Durchsatz, das darin besteht, nur bestimmte Halbbilder mit einer den Informationsdurchsatz reduzierenden Kodierung zu übertragen und die nicht übertragenen Halbbilder durch Interpolation ausgehend von den übertragenen und dekodierten Halbbildern wiederherzustellen. Das Verfahren ist auch anwendbar auf die Umwandlung einer Folge von Videobildern einer Fernsehnorm mit einer Frequenz von 50 Hz in eine Norm mit einer Frequenz von 60 Hz oder umgekehrt. Für eine solche Umwandlung müssen die meisten Halbbilder ausgehend von den mit der Frequenz 50 Hz verfügbaren Halbbildern interpoliert werden, da die Zeitpunkte der Bildaufzeichnung mit der Frequenz von 60 Hz nicht mit denen der Bildaufzeichnung mit der Frequenz von 50 Hz zusammenfallen.
Ziel der Interpolation ist es also, einen Helligkeitswert L (IX,IY,Tj) für jedes Pixel eines zu interpolierenden Halbbilds entsprechend einem Zeitpunkt Tj ausgehend von Helligkeitswerten L(IX,IY,Ta) und L(IX,IY,Tb), der Pixel zweier bekannter Halbbilder entsprechend den Zeitpunkten Ta und Tb zu interpolieren, wobei Tj zwischen Ta und Tb liegt. Die Pixel der Halbbilder werden durch die Koordinaten (IX,IY,) ihres Zentrums in einem orthogonalen Koordinatennetz bezeichnet, das allen Halbbildern gemeinsam ist.
Eine erste Klasse von zeitlichen Interpolationsverfahren, für die ein Beispiel in der Patentanmeldung GB-A 2162018 beschrieben ist, beruht auf einer einfachen linearen Interpolation, die darin besteht, für jedes zu interpolierende Pixel eine lineare Kombination von zwei Helligkeitswerten der Pixel mit dem homologen Koordinaten (IX, IY) in den beiden bekannten Halbbildern zu berechnen, die den Augenblicken Ta und Tb zugeordnet sind und durch die Werte der Zeitdauer Tb - Tj und Tj - Ta nach folgender Formel gewichtet werden:
Die homologen Koordinaten sind genau identisch, wenn die beiden Halbbilder Ta und Tb dieselbe Parität haben und sind bis auf eine halbe Zeile identisch, wenn sie unterschiedliche Paritäten haben.
Diese Klasse von Verfahren ermöglicht eine gute Wiedergabe der festen Zonen in einer Folge von Halbbildern, da dann die für die Interpolation verwendeten Helligkeitswerte tatsächlich einem gleichen Punkt des in der Folge von Halbbildern dargestellten Gegenstands entsprechen. Dagegen werden bewegte Zonen schlecht wiedergegeben und sind umso unschärfer, je größer die Geschwindigkeit der Bewegung ist.
Eine zweite Klasse von Verfahren berücksichtigt die Bewegung des durch zwei bekannte Halbbilder dargestellten Gegenstands. Diese Verfahren beruhen auf der Annahme, daß jeder Punkt eines von der Folge von Halbbildern dargestellten bewegten Gegenstands sich von dem ersten bekannten Halbbild bis zum zweiten bekannten Halbbild mit konstanter Geschwindigkeit gemäß einer elementaren Bewegung verschiebt. Bekannte Verfahren ermöglichen die Bestimmung eines Geschwindigkeitsvektors = (VX,VY) für jedes Pixel des zu interpolierenden Halbbilds. Dieser Vektor gibt eine elementare Verschiebung des Pixels wieder, die nicht unbedingt der Geschwindigkeit des dargestellten Gegenstands, sondern den Veränderungen der Helligkeit der Pixel entspricht, die diesen Gegenstand darstellen.
Diese Verfahren der zweiten Klasse bestehen dann darin, einen interpolierten Helligkeitswert für jedes Pixel zu berechnen unter Berücksichtigung von zwei entgegengesetzten Verschiebungen in den beiden bekannten Halbbildern. Diese beiden Verschiebungen liegen in der Richtung des dem zu interpolierenden Pixel zugeordneten Geschwindigkeitsvektors und haben einen Modul (= Absolutwert) proportional zum Zeitintervall zwischen dem zu interpolierenden Halbbild und jedem der betrachteten bekannten Halbbilder. Jeder interpolierte Helligkeitswert wird also gemäß folgender Formel berechnet:
Diese Klasse von Verfahren ermöglicht eine genauere Wiedergabe der bewegten Zonen und auch der unbewegten Zonen der zu interpolierenden Halbbilder. Die Durchführung eines derartigen Verfahrens stößt sich jedoch an einer erheblichen Schwierigkeit, nämlich der Bestimmung eines Geschwindigkeitsvektors, der jedem zu interpolierenden Pixel zuzuweisen ist. Ein erstes bekanntes Verfahren, das von H. C. Bergman in einem Artikel des International Zürich Seminar on Digital Communications 1984 mit dem Titel "Motion Adaptative Frame Interpolation" beschrieben wurde, besteht darin, jedem zu interpolierenden Pixel den für das Pixel mit denselben Koordinaten in dem ersten bekannten Halbbild geschätzten Geschwindigkeitsvektor zuzuordnen. Diese Zuordnung ist stets mehr oder weniger ungenau, da in den bewegten Zonen diese beiden Pixel nicht denselben Punkt des bewegten Gegenstands darstellen. Diese Zuordnung ist nur genau, solange die benachbarten Punkte des bewegten Gegenstands den gleichen Geschwindigkeitsvektor besitzen, was nicht unbedingt der Fall sein muß, insbesondere, wenn der dargestellte Gegenstand eine Drehung erfährt. Die Genauigkeit der Bildwiedergabe variiert also in den bewegten Zonen, abhängig von der Art der Bewegung dieser Zonen.
Ein zweites bekanntes Verfahren, das von M. Bierling und R. Thoma in der Zeitschrift Signal Processing, Vol. 11, Nr. 4, Dezember 1986 mit dem Titel "Motion compensating field interpolation using a hierachically structured displacement estimator" beschrieben wurde, besteht darin, einen Geschwindigkeitsvektor für jedes Pixel jedes zu interpolierenden Halbbilds zu schätzen, und zwar unabhängig für jedes zu interpolierende Halbbild. Diese Schätzung wird ausgehend von demselben Paar von bekannten Bildern für alle zu interpolierenden Halbbilder gemacht, die Zeitpunkten entsprechen, welche zwischen Ta und Tb liegen, aber sie berücksichtigt nicht die Dauer der Zeitintervalle zwischen dem zu interpolierenden Halbbild und den bekannten Bildern. Daher hat der Geschwindigkeitsvektor, der jedem zu interpolierenden Pixel zugeordnet ist, einen viel genaueren Wert als der, der durch das vorher beschriebene Verfahren zugewiesen wurde. Die Genauigkeit der Wiedergabe der Halbbilder in den bewegten Zonen wird also unabhängig vom Typ der Bewegung. Dagegen hat dieses zweite Verfahren den Nachteil, die für die Berechnung der Geschwindigkeitsvektoren erforderliche Rechenzeit zu vervielfachen, da diese Zeit zur Anzahl der zwischen den beiden bekannten Bildern interpolierenden Halbbilder proportional ist.
Ziel der Erfindung ist es, ein zeitliches Interpolationsverfahren vorzuschlagen, das eine gute Wiedergabegenauigkeit der Halbbilder in den bewegten Zonen unabhängig vom Typ der Bewegung bietet, ohne für die Abschätzung der Geschwindigkeitsvektoren der Pixel der zu interpolierenden Bilder eine allzugroße Rechenzeit zu erfordern.
Gegenstand der Erfindung ist ein Verfahren, das zur zweiten Klasse gehört und im wesentlichen darin besteht, einen Geschwindigkeitsvektor für jedes Pixel eines einzigen Halbbildes abzuschätzen, das die Bewegung definierendes Halbbild genannt wird und das eines der beiden bekannten Halbbilder sein kann, dann in jedem der zu interpolierenden Halbbilder die sogenannten Sohn-Pixel zu bestimmen, die einen Geschwindigkeitsvektor gleich dem Geschwindigkeitsvektor eines sogenannten Vater-Pixels entsprechend einem gleichen Punkt des in der Folge von Halbbildern dargestellten Gegenstands haben, wobei dieser Punkt als sich mit konstanter Geschwindigkeit während des Zeitintervalls Ta bis Tb verschiebend angenommen wird.
Natürlich ist das Verfahren auch auf Bilder anwendbar, die nicht mit versetzten Halbbilder arbeiten.
Erfindungsgemäß ist ein Verfahren zur zeitlichen Interpolation für Bilder, um einen interpolierten Helligkeitswert für jedes Pixel eines zu interpolierenden Bildes ausgehend von Helligkeitswerten der Pixel eines ersten bekannten Bildes und eines zweiten bekannten Bildes zu bestimmen, die den Bildzeitpunkten Ta und Tb entsprechen, wobei der Zeitpunkt Tj zwischen Ta und Tb liegt und wobei das Verfahren darin besteht,
- die Werte der Komponenten eines Geschwindigkeitsvektors jedem Pixel des zu interpolierenden Bilds zuzuordnen,
- in den beiden bekannten Bildern die Koordinaten von zwei Punkten zu bestimmen, die Basispunkte der zeitlichen Interpolation genannt werden, wobei jeder dieser beiden Punkte dem Zentrum des zu interpolierenden Pixels nach einer Verschiebung in der Ebene eines der bekannten Bilder entspricht und der Vektor dieser Verschiebung vom Produkt zwischen dem dem zu interpolierenden Pixel (H) zugeordneten Geschwindigkeitsvektor und der Zeitdauer Tj - Ta bzw. Tb - Tj abhängt,
- den Helligkeitswert jedes der beiden Basispunkte durch eine räumliche Interpolation zwischen jedem dieser Basispunkte benachbarten Pixeln in den beiden bekannten Bildern zu bestimmen,
- einen Helligkeitswert für das zu interpolierende Pixel zu bestimmen, indem eine lineare Kombination der beiden Helligkeitswerte der Basispunkte, die mit der Zeitdauer Tj - Ta bzw. Tb - Tj gewichtet sind, berechnet wird,
- dadurch gekennzeichnet, daß das Verfahren im Hinblick auf die Zuordnung der Komponenten eines Geschwindigkeitsvektors zu jedem zu interpolierenden Pixel darin besteht,
- durch ein klassisches Verfahren die Komponenten eines Geschwindigkeitsvektors für jedes Pixel eines einzigen Bilds abzuschätzen, das die Bewegung definiert, entsprechend einem Zeitpunkt Ti der zwischen Ta und Tb liegt oder mit einem dieser Zeitpunkte zusammenfällt,
- nacheinander für jedes Pixel des die Bewegung definierenden Bilds, Vater-Pixel genannt, die Koordinaten des Zentrums eines zu interpolierenden Pixels, Sohn-Pixel genannt, zu bestimmen, wobei das Sohn-Pixel das Pixel des zu interpolierenden Bilds ist, das einen Punkt entsprechend dem Zentrum des Vater-Pixels nach einer Verschiebung ist, die durch einen Vektor bestimmt ist, der vom Produkt aus dem Geschwindigkeitsvektor des Vater-Pixels mit der Zeitdauer Ti - Tj abhängt,
- nacheinander jedem zu interpolierenden Pixel einen Geschwindigkeitsvektor zuzuordnen, der aus dem Geschwindigkeitsvektor seines Vater-Pixels oder eines seiner Vater-Pixel besteht, sofern mindestens ein Vater-Pixel für dieses zu interpolierende Pixel besteht.
Die Erfindung und weitere Details gehen aus der nachfolgenden Beschreibung und den beiliegenden Figuren hervor.
Figur 1 zeigt das Prinzip der zweiten Klasse von bekannten Verfahren.
Figur 2 zeigt das erfindungsgemäße Verfahren.
Figur 3 zeigt in Form eines Flußdiagramms das erfindungsgemäße Verfahren.
Die Figuren 4 und 7 zeigen in Form zweier Flußdiagramme eine erste Variante des erfindungsgemäßen Verfahrens.
Figur 5 zeigt einen Teil dieses Flußdiagramms.
Figur 6 erläutert die Berechnung, die in dem Flußdiagramm gemäß Figur 5 durchgeführt wird.
Die Figuren 8 und 9 zeigen ein Flußdiagramm einer zweiten Variante des erfindungsgemäßen Verfahrens.
Die Figuren 10 und 11 zeigen ein Flußdiagramm einer dritten Variante des erfindungsgemäßen Verfahrens.
Die Figuren 12 und 15 zeigen das Blockschaltbild eines Ausführungsbeispiels eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens.
Die Figuren 13, 14, und 16 zeigen ein genaueres Schaltbild von 3 Teilen dieser Ausführungsform.
In dem in Figur 1 dargestellten Ausführungsbeispiel soll ein zu interpolierendes Halbbild, das Halbbild Tj genannt wird, da es einem Zeitpunkt Tj entspricht, ausgehend von einem ersten und zweiten bekannten Halbbild interpoliert werden, die Halbbild Ta und Halbbild Tb genannt werden, da sie dem Zeitpunkt Ta vor Tj bzw. dem Zeitpunkt Tb nach Tj entsprechen. All diese Halbbilder werden in dem gleichen Koordinaten-Netz PXY mit einem Pixel als Einheitsdimension dargestellt. Punkte mit gleichen Koordinaten (X,Y) unterscheiden sich durch die den Halbbildern entsprechenden Zeitpunkte, in denen diese Punkte liegen. Nachfolgend werden die Punkte und die Pixel unterschieden, indem jeder Punkt des Halbbilds unendlich kleine Abmessungen besitzt, während jedes Pixel endliche Abmessungen besitzt, die durch die Kennwerte der Tastung bestimmt sind. Die bekannten Halbbilder werden von einer Quelle von Videosignalen geliefert, wie z. B. einer üblichen Fernsehkamera, der ein Analog-Digital-Wandler üblicher Bauart nachgeordnet ist. Jedes Pixel wird durch die Koordinaten seines Zentrums bezeichnet und durch ein gestricheltes Quadrat dargestellt. Jedes Pixel hat einen Helligkeitswert gleich dem Mittelwert der Helligkeiten aller in diesem Pixel enthaltenen Punkte. Es wird angenommen, das jedes zu interpolierende Pixel, das auf einen Punkt Mj in dem zu interpolierenden Halbbild Tj zentriert ist, einen zugeordneten Geschwindigkeitsvektor besitzt. In den bekannten Halbbildern Ta und Tb existieren also zwei Punkte Ma und Mb mit den homologen Koordinaten zu Mj und bilden je das Zentrum eines Pixels das durch ein gestricheltes Quadrat dargestellt wird.
Gemäß der ersten Klasse von bekannten Verfahren wird der Helligkeitswert des zu interpolierenden Pixels berechnet, indem die Helligkeitswerte der auf Mb und Ma zentrierten Pixel linear kombiniert werden. Es ergibt sich ein Fehler aufgrund der Tatsache, daß in jedem Halbbild Tb der dargestellte Gegenstand bezüglich des Halbbilds Tj in der Richtung des Vektors verschoben ist, wogegen in dem Halbbild Ta der dargestellte Gegenstand in Gegenrichtung zum Vektor verschoben ist.
Die zweite Klasse von bekannten Verfahren besteht darin, einen Helligkeitswert zu berechnen, der ausgehend von Helligkeitswerten eines Punktes B des Halbbildes Tb und eines Punktes A des Halbbilds Ta interpoliert ist, die unter Berücksichtigung einer Verschiebung des Gegenstands in den Halbbildern Ta und Tb bezüglich des Halbbilds Tj bestimmt werden. Der Punkt A ergibt sich aus Ma durch eine Verschiebung um - . (Tj-Ta), und der Punkt B ergibt sich aus Mb durch eine Verschiebung um (Tb-Tj), da jeder Punkt eines durch die Folge von Halbbildern dargestellten Gegenstands als zwischen den Zeitpunkten Ta und Tb eine konstante Geschwindigkeit aufweisend angenommen wird. Die Punkte A und B werden nachfolgend Basispunkte der zeitlichen Interpolation genannt. Das erfindungsgemäße Verfahren beruht auf derselben Hypothese.
Figur 2 zeigt den Verfahrensschritt des erfindungsgemäßen Verfahrens bei dem ein Geschwindigkeitsvektor V einem zu interpolierenden Pixel zugeordnet wird, das auf einen Punkt Fj des zu interpolierenden Halbbilds Tj zentriert ist.
In diesem Beispiel gibt es nur ein einziges zu interpolierendes Halbbild Tj, aber in anderen Fällen können mehr Halbbilder interpoliert werden, entsprechend den zwischen Ta und Tb liegenden Zeitpunkten. Für alle zu interpolierende Halbbilder zwischen Ta und Tb werden die zugeordneten Geschwindigkeitsvektoren von den Geschwindigkeitsvektoren der Pixel eines einzigen Halbbildes Tj abgeleitet, das als die Bewegung definierendes Halbbild bezeichnet wird und einem zwischen Ta und Tb liegenden Zeitpunkt entspricht oder auch direkt Ta oder Tb sein kann. Die zur Bestimmung der Geschwindigkeitsvektoren der Pixel des die Bewegung definierenden Halbbildes notwendigen Berechnungen werden ein einziges Mal durchgeführt, unabhängig von der Anzahl der zu interpolierenden Halbbilder zwischen den Zeitpunkten Ta und Tb.
Jedes Pixel des Halbbildes Ti, das die Bewegung definiert, wird als der Vater eines bestimmten Pixels in dem zu interpolierenden Halbbild Tj betrachtet, das Sohn-Pixel bezeichnet wird, wobei diese beiden Pixel einen gleichen Punkt des bewegten Gegenstands darstellen sollen. Dieser Punkt des bewegten Gegenstands hat einen Geschwindigkeitsvektor, der in dem Halbbild Ta bekannt ist. Dieser Punkt wird als diesen Geschwindigkeitsvektor in allen Zeitpunkten zwischen Ta und Tb beibehaltend angesehen, während er durch eine Folge von Pixeln mit unterschiedlichen Koordinaten dargestellt wird, die alle Söhne eines gleichen Vater-Pixels des Halbbilds Ta sind. Das erfindungsgemäße Verfahren besteht darin, in jedem zu interpolierenden Halbbild Tj das Zentrum eines Sohn-Pixels entsprechend einem gegebenen Vater-Pixel in dem die Bewegung definierenden Halbbild Ti zu bestimmen und dann diesem Sohn-Pixel einen Geschwindigkeitsvektor gleich dem Geschwindigkeitsvektor seines Vater-Pixels oder eines seiner Vater-Pixel zuzuweisen.
Beispielsweise hat in Figur 2 ein Pixel G, das auf den Punkt Ci des Halbbilds Ti zentriert ist, als Geschwindigkeitsvektor einen bekannten Vektor . Es besitzt ein Sohn-Pixel H in dem Halbbild Cj, das ihm in etwa aufgrund einer Verschiebung des Vektors- .(Ti-Tj) ausgehend von einem Punkt Cj entspricht, der in dem Halbbild Tj Koordinaten besitzt, die denen des Punktes Ci in dem Halbbild Ti entsprechen. Diese Verschiebung führt zu einer exakten Entsprechung eines Punktes Ej mit dem Punkt Cj. Im allgemeinen fällt der Punkt Ej nicht mit dem Zentrum eines Pixels zusammen. Das Verfahren besteht dann darin, als Sohn-Pixel dasjenige Pixel des Halbbildes Ti zu verwenden, dessen Zentrum Fj dem Punkt Ej am nächsten kommt, indem für jeden Koordinatenwert der nächstliegende ganzzahlige Wert herangezogen wird. Der Geschwindigkeitsvektor des Vater- Pixels G wird dann diesem Sohn-Pixel H zugeordnet.
Es ist zu bemerken, daß manche Pixel des die Bewegung definierenden Halbbilds Ti keine Sohn-Pixel haben; beispielsweise haben die Pixel am Rand des die Bewegung definierenden Halbbilds kein Sohn-Pixel, wenn der Geschwindigkeitsvektor nach innen in dem die Bewegung definierenden Halbbild weist. Es ist auch zu bemerken, daß ein Pixel des zu interpolierenden Halbbilds Tj das Sohn-Pixel mehrerer Vater-Pixel gleichzeitig sein kann. Wenn beispielsweise zwei Vater-Pixel zwei nicht kolineare Geschwindigkeitsvektoren besitzen, dann kann es vorkommen, daß die beiden Verschiebungsvektoren
die diesen Geschwindigkeitsvektoren entsprechen, in einem einzigen Sohn-Pixel konvergieren. Diese besonderen Fälle werden in drei Varianten des erfindungsgemäßen Verfahrens unterschiedlich behandelt und weiter unten beschrieben.
In einem besonderen Fall ist das die Bewegung definierende Halbbild Ti das Halbbild Ta oder das Halbbild Tb. Wenn beispielsweise das betrachtete, die Bewegung definierende Halbbild das Halbbild Tb ist, dann kann die Abschätzung der Geschwindigkeitsvektoren seiner Pixel darin bestehen, durch ein bekanntes Verfahren die Elementarverschiebung zu berechnen, die jeder Punkt des Gegenstands zwischen den Halbbildern Ta und Tb erfahren hat, einen elementaren Verschiebungsvektor (DX, DY) für jedes Pixel des Halbbilds Tb davon abzuziehen und dann einen Geschwindigkeitsvektor für jedes der Pixel gemäß folgender Formel zu berechnen:
Figur 3 zeigt ein Flußdiagramm mit den wesentlichen Schritten des erfindungsgemäßen Verfahrens, und zwar unabhängig von der betrachteten Variante. Dieses Flußdiagramm zeigt die Schritte des zeitlichen Interpolationsverfahrens für ein einziges zu interpolierendes Halbbild entsprechend dem Zeitpunkt Tj. Für jedes zu interpolierende Halbbild, daß sich ebenfalls in dem Intervall (Ta, Tb) befindet, müssen dieselben Verfahrensschritte durchgeführt werden. Figur 3 erwähnt nicht den Verfahrensschritt der Bestimmung der Geschwindigkeitsvektoren der Pixel des die Bewegung definierenden Halbbilds Ti, da es sich hier um einen Verfahrensschritt handelt, der nur einmal für alle zu interpolierende Halbbilder durchgeführt wird, die sich zwischen den beiden den Zeitpunkten Ta und Tb entsprechenden bekannten Halbbildern befinden. Das Halbbild, für das die Abschätzung der Geschwindigkeitsvektoren durchgeführt wird, kann das Halbbild Ta oder das Halbbild Tb oder ein Halbbild sein, dessen Helligkeitswerte unbekannt sind, das aber einem Zeitpunkt Ti entspricht, der zwischen Ta und Tb liegt. Beispielsweise kann es von einem der zu interpolierenden Halbbilder gebildet werden, wobei nur wichtig ist, daß ein Verfahren zur Abschätzung der Geschwindigkeit verwendet wird, das es erlaubt, einen exakten Wert der Komponenten des Geschwindigkeitsvektors für jedes Pixel dieses Halbbilds zu erhalten. Zahlreiche Verfahren zur Abschätzung der Geschwindigkeit können angewendet werden. Diejenigen, die die Bestimmung für jeweils einen Pixelblock oder Pixel für Pixel durchführen, eignen sich besser als die, die diese Bestimmung durch Extraktion der Kennwerte des Halbbilds durchführen, da sie ein dichteres Feld von Geschwindigkeitsvektoren zu erhalten erlauben und damit eine größere Genauigkeit für jedes der Pixel. Beispielsweise ist es möglich, daß Verfahren zur Abschätzung der Geschwindigkeit anzuwenden, das von Netravali und Robbins in dem Patent US-A-4 383 272 beschrieben wird.
Wie in Figur 3 gezeigt, enthält das erfindungsgemäße Verfahren zwei Hauptphasen. Eine erste Phase besteht darin, die Pixel des die Bewegung definierenden Halbbilds Ti abzutasten und, falls vorhanden, ein Vater-Pixel in dem zu interpolierenden Halbbild Tj für jedes Pixel des die Bewegung definierenden Halbbilds zu bestimmen. Wenn alle Pixel die Bewegung definierenden Halbbilds abgetastet worden sind, dann besteht eine zweite Phase darin, alle Pixel des zu interpolierenden Halbbilds Tj nacheinander abzutasten, jedem Pixel dieses zu interpolierenden Halbbilds einen Geschwindigkeitsvektor V abhängig von dem Geschwindigkeitsvektor des dem betrachteten zu interpolierenden Pixel entsprechenden Vater-Pixels oder der entsprechenden Vater-Pixel zuzuordnen, falls mindestens ein Vater-Pixel existiert, für jedes zu interpolierende Pixel zwei Basispunkte der zeitlichen Interpolation in den beiden bekannten Halbbilder Ta und Tb zu bestimmen, die Helligkeit dieser beiden Basispunkte durch eine räumliche Interpolation in den beiden bekannten Halbbildern Ta und Tb zu bestimmen, wenn die Basispunkte nicht die Zentren von Pixeln in diesen bekannten Halbbildern sind, und schließlich einen interpolierten Helligkeitswert für das betrachtete zu interpolierende Pixel durch lineare Kombination der Helligkeitswerte der beiden Basispunkte gemäß der Formel (2) zu bestimmen.
Figur 4 zeigt ein Flußdiagramm der ersten Phase einer ersten Variante des erfindungsgemäßen Verfahrens. In diese Variante wird der Fall, bei dem ein zu interpolierendes Pixel mehrere Vater-Pixel hat, durch Auswahl des Vater-Pixels behandelt, das das beste ist. Das Kriterium ist der Wert einer DFD genannten Funktion, die gleich dem Absolutwert der Differenz der Helligkeitswerte, der beiden Basispunkte A und B ist. Die Auswahl des besten Vater-Pixels besteht darin, die erhaltenen Werte der Funktion DFD zu vergleichen, indem dem zu interpolierenden Pixel der Geschwindigkeitsvektor nacheinander jedes der Vater-Pixel zugewiesen wird. Das als bestes betrachtete Vater-Pixel ist dasjenige, dessen Geschwindigkeitsvektor einen geringsten Wert der Funktion DFD ergibt.
Andererseits wird in diese ersten Variante der Fall eines vaterlosen Pixels, d. h. eines Pixels, das in dem die Bewegung definierenden Halbbild kein Vater-Pixel besitzt, durch Bestimmung eines ausgehend von den den Nachbar-Pixeln in dem zu interpolierenden Halbbild zugeordneten Geschwindigkeitsvektoren interpolierten Geschwindigkeitsvektors behandelt, sofern dies keine vaterlosen Pixel sind. Der Wert der Funktion DFD wird als Kriterium für die Erfassung der Pixel ohne Vater verwendet. Falls es immer noch nicht möglich ist, einen Geschwindigkeitsvektor zuzuordnen, besteht diese Variante darin, dann einen Geschwindigkeitsvektor 0 zuzuordnen.
Die erste Phase der ersten Variante beginnt mit der Initialisierung eines Speichers M2, der den Mindestwert der Funktion DFD speichern soll, die für jedes Pixel des zu interpolierenden Halbbilds Tj bestimmt ist. Dieser Speicher wird mit einem konstanten Wert gleich 255 initialisiert, der dem Höchstwert der Helligkeit der Halbbilder und damit auch der Funktion DFD entspricht. Die betrachtete Folge von Halbbilder besteht nämlich aus einer Folge von verschachtelten Halbbildern, die je als ein unabhängiges Halbbild betrachtet werden. Jedes Halbbild enthält eine Anzahl M von Pixeln je Zeile und eine Anzahl von N Zeilen. Der Speicher M2 hat eine Kapazität von M x N Oktetten.
Dann wird die Koordinate IY auf 0 initialisiert. Diese wird dann um eine Einheit erhöht und IX wird auf 0 initialisiert. Dann wird die Koordinate IX um eine Einheit erhöht. Die Koordinaten (IX, IY) bezeichnen das Zentrum Ci eines Pixels des die Bewegung definierenden Halbbilds Ti, wobei es sich um einen Vater-Pixel handeln kann. Dann wird der Vektor (IX,IY,Ti), der der Geschwindigkeitsvektor dieses Pixels ist, aus einem Speicher MI an eine Adresse entsprechend den Koordinaten dieses Pixels ausgelesen. Der Speicher MI ist ein Speicher mit einer Kapazität von M x N Zellen und wird vorab mit den Werten den Komponenten des Geschwindigkeitsvektors aller Pixel des die Bewegung definierenden Halbbildes geladen, das für die Interpolation der fehlenden Halbbilder im Intervall Ta, Tb verwendet wird.
Dann werden die Koordinaten eines Punkts Ej entsprechend einem Punkt Cj gemäß folgender Formel bestimmt:
j = j - (IX,IY).(Ti-Tj) (4)
Dann werden die Koordinaten des Zentrums Fj eines Sohn- Pixels bestimmt indem der ganzzahlige Teil der Komponenten des folgenden Vektors genommen wird:
j + j + (0,5 ; 0,5)
Hierbei ermöglicht (0,5; 0,5), den nachstliegenden ganzen Wert der Komponenten zu finden und nicht nur den ganzen Teil der Komponenten selbst. ist ein Halbbild-Paritätskorrekturvektor mit folgenden Komponenten:
(0,5 ; 0,5), wenn die Halbbilder Ti und Tj Halbbilder derselben Parität sind,
(0,5 ; 0), wenn das Halbbild Ti ein ungeradzahliges Halbbild und das Halbbild Tj ein geradzahliges Halbbild ist,
(0,5 ; 1), wenn das Halbbild Ti ein geradzahliges Halbbild und das Halbbild Tj ein ungeradzahliges Halbbild ist.
Das zu interpolierende Pixel, das auf den Punkt Fj zentriert ist, ist ein Sohn-Pixel des Pixels mit den Koordinaten (IX,IY) im Halbbild Ti. Das Verfahren besteht dann darin, die Koordinaten von zwei Basispunkten der zeitlichen Interpolation, B und A, in den Halbbildern Tb bzw. Ta gemäß folgenden Formeln zu bestimmen:
= j + (IX,IY).(Tb-Tj) + b (5)
= j - (IX,IY).(Tj-Ta) + a (6)
In diesen Formeln ist der Vektor Zb ein Halbbild-Paritätskorrekturvektor mit den Komponenten:
(0 ; 0), wenn das Halbbild Ta und das Halbbild Tj Halbbilder der gleichen Parität sind,
(0 ; 0,5), wenn das Halbbild Ta ein ungeradzahliges und das Halbbild Tj ein geradzahliges Halbbild ist,
(0 ; -0,5), wenn das Halbbild Ta ein geradzahliges und das Halbbild Tj ein ungeradzahliges Halbbild ist.
Der Vektor b hat analoge Komponenten abhängig von der Parität des Halbbilds, das das Halbbild Tj bildet, und von der Parität des Halbbilds, das das Halbbild Tb bildet.
Die erste Phase der ersten Variante besteht dann darin, die Helligkeitswerte L ( ,Ta) und L ( ,Tb) an den Punkten A und B gemäß einem Rechenverfahren zu berechnen, das weiter unten erläutert wird und aus einer räumlichen Interpolation besteht, die die Helligkeitswerte von vier dem Punkt A bzw. dem Punkt B am nächsten liegenden Pixeln kombiniert, wenn diese Punkte nicht den Zentren von Pixeln des Halbbildes Ta und des Halbbildes Tb entsprechen. Dann besteht das Verfahren darin, den Wert der Funktion DFD zu berechnen, der dem Absolutwert der Differenz der Helligkeit an den Punkten A und B gleich ist, die für diesen Geschwindigkeitsvektor bestimmt sind.
Dann wird der Wert der Funktion DFD mit einem festen Schwellenwert verglichen, der in diesem Beispiel 7 ist. Wenn die Funktion DFD unter dem Schwellwert liegt, bedeutet dies, daß das Pixel mit den Koordinaten (IX,IY) in dem die Bewegung definierenden Halbbilds ein Vater-Pixel für das zu interpolierende und auf den Punkt Fj zentrierte Pixel ist. Das Verfahren besteht dann darin, aus dem Speicher M2 einen Wert DFD' an eine Adresse entsprechend dem Komponenten des Vektors j auszulesen. Wenn der Wert DFD, der für das Vater-Pixel mit den Koordinaten (IX,IY) in dem Halbbild Ti gefunden wurde, niedriger als der Wert DFD' ist, der aus dem Speicher ausgelesen wurde, dann bedeutet dies, daß das Vater-Pixel, das gerade gefunden wurde, besser ist, da sein Geschwindigkeitsvektor den Wert der Funktion DFD kleiner macht. Dessen Geschwindigkeitsvektor wird also berücksichtigt, um dem auf dem Punkt Fj zentrierten Sohn-Pixel zugeordnet zu werden. Dieser Geschwindigkeitsvektor wird in einen Speicher M1 an einer dem Sohn-Pixel entsprechenden Adresse eingeschrieben, d. h. entsprechend den Komponenten des Vektors j. Der Speicher M1 ist ein Speicher mit M x N Zellen zur Speicherung des Werts der Komponenten eines zugeordneten Geschwindigkeitsvektors für jedes zu interpolierende Pixel. Außerdem wird der Wert der Funktion DFD, der gerade berechnet wurde, in den Speicher M2 an der dem Sohn- Pixel entsprechende Adresse anstelle des vorhergehenden Werts DFD' eingeschrieben, der einem anderen Vater-Pixel entspricht, oder der gleich dem Initialisierungswert ist.
Wenn das Sohn-Pixel nicht bereits eines oder mehrere andere Vater-Pixel hatte, dann ist der Wert der Funktion DFD, der aus dem Speicher M2 ausgelesen wurde gleich dem Initialisierungswert des Speichers M2, d.h. 255.
Wenn der berechnete Wert der Funktion DFD größer als 7 ist, dann wird das Pixel mit den Koordinaten (IX,IY) in dem Halbbild Ti nicht als ein Vater-Pixel betrachtet, und die erste Phase setzt sich mit einem Test des von der Koordinaten IX erreichten Werts fort.
Wenn der berechnete Wert der Funktion DFD größer als der Wert DFD' ist, der aus dem Speicher M2 ausgelesen wurde, dann bedeutet dies, daß das Pixel mit den Koordinaten (IX,IY) in dem Halbbild Ti ein Vater-Pixel ist, das nicht besser als ein vorher gefundenes Vater-Pixel ist, welches den gerade aus dem Speicher M2 ausgelesenen Wert DFD' geliefert hat, und wird somit verworfen. Die erste Phase setzt sich dann fort durch den Test der Koordinate IX.
Wenn die Koordinate IX nicht ihren Maximalwert, nämlich M erreicht hat, dann werden die obigen Operationen, nach Inkrementierung von IX erneut durchgeführt. Wenn IX seinen Maximalwert erreicht hat, dann setzt sich die erste Phase durch einen Test bezüglich der Koordinate IY fort. Wenn diese letztere Koordinate nicht ihren Maximalwert N erreicht hat, dann werden die obigen Operationen nach einer inkrementierung von IY erneut durchgeführt, bis IY den Wert N erreicht. Die erste Phase in der ersten Variante ist dann beendet und es beginnt dann die zweite Phase dieser ersten Variante.
Figur 5 zeigt ein Flußdiagramm der Operationen für die Berechnung der Helligkeitswerte L( ,Ta) und L( , Tb) durch räumliche Interpolation in den Halbbildern Ta bzw. Tb.
Figur 6 zeigt dieses Rechenverfahren für den Helligkeitswert L( , Ta) Im allgemeinen fällt der Punkt A nicht mit dem Zentrum eines Pixels des Halbbildes Ta zusammen, sondern liegt zwischen den Zentren G1, G2, G3 und G4 von 4 Pixeln. Die räumliche Interpolation des Helligkeitswerts im Punkt A besteht zuerst darin, den ganzzahligen Wert der Komponenten des Vektors zu bestimmen, um die Koordinaten (XGa, YGa) des Punkt G1 zu bestimmen. Die Koordinaten des Punkts G2 sind dann (XGa+1, YGa). Die Koordinaten des Punkts G3 sind dann (XGa, YGa+1). Die Koordinaten des Punkts G4 sind dann (XGa+1, YGa+1). In diesem Ausführungsbeispiel bildet der Punkt G4 den Bezugspunkt für die Interpolation. Das Verfahren besteht dann darin, die Koordinaten (ΔXa, ΔYa) für den Punkt A bezogen auf den Referenzpunkt G4 zu bestimmen. Diese relativen Koordinaten werden durch die folgende Formel bestimmt.
(ΔXa, ΔYa) = (XGa, YGa) + (1,1) - (7)
Dann besteht das Verfahren darin, aus dem Speicher MA Helligkeitswerte L(XGa, YGa), L(XGa+1,YGa), L(XGa,YGa+1), L(XGa+1,YGa+1) entsprechend den auf die Punkte G1 bis G4 zentrierten Pixeln an Adressen entsprechend den Koordinaten dieser Punkte G1 und G4 auszulesen. Dann wird der Helligkeitswert L( , Ta) gemäß folgender Formel berechnet:
L( ,Ta) = L(XGa+1,YGa+1).(1-ΔXa)(1-ΔYa) + L(XGa,YGa+1).ΔXa.(1-ΔYa) + L(XGa+1,YGa).(1-ΔXa).ΔYa + L(XGa,YGa).ΔXa.ΔYa+0,5 (8)
Die Berechnung des Helligkeitswerts L( ,Tb) ergibt sich durch eine vollständig entsprechende Folge von Operationen.
Figur 7 zeigt das Flußdiagramm der zweiten Phase der ersten Variante des erfindungsgemäßen Verfahrens. Diese zweite Phase beginnt mit einer Nullsetzung einer Koordinate IY', dann mit einer Erhöhung dieser Koordinate um eine Einheit und mit einer Nullsetzung einer zweiten Koordinate IX'. Diese Koordinaten (IX', IY') sind die Koordinaten des Zentrums eines Pixels des zu interpolierenden Halbbildes Tj. Dann besteht das Verfahren darin, die Koordinate IX' um eine Einheit zu erhöhen und den Wert DFD (IX', IY') zu lesen, der in dem Speicher M2 an einer den Koordinaten (IX', IY') entsprechenden Adresse gespeichert ist. Der ausgelesene Wert wird mit einem Schwellwert gleich 255 verglichen, der zu Initialisierung des Speichers M2 herangezogen wurde und der gleich dem Maximalwert der Helligkeit ist.
Wenn der ausgelesene Wert nicht gleich 255 ist, dann bedeutet dies, daß ein Wert der Funktion DFD vorher für dieses zu interpolierende Pixel berechnet wurde, da er das Sohn-Pixel eines Pixels des die Bewegung definierenden Halbbilds Ti ist. Ein Geschwindigkeitsvektor wurde ihm also bereits vorher während der ersten Phase des Verfahrens zugeteilt. Dieser Geschwindigkeitsvektor wird aus dem Speicher M1 an der den Koordinaten (IX', IY') entsprechenden Adresse gelesen und dann zur Berechnung der Vektoren und entsprechend den Gleichungen (5) und (6) verwendet. Diese Vektoren und bestimmen zwei Basispunkte A und B für die zeitliche Interpolation. Sie werden zur Berechnung der Helligkeitswerte L( , Ta) und L( ,Tb) durch eine räumliche Interpolation in den Halbbildern Ta und Tb entsprechend dem in Figur 5 gezeigten Flußdiagramm und der obigen Beschreibung verwendet.
Wenn der Wert der Funktion DFD der aus dem Speicher M2 ausgelesen wird immer noch dem Initialisierungswert 255 gleicht, dann bedeutet dies, daß die ersten Phase des Verfahrens noch nie das Pixel mit den Koordinaten (IX' IY') als Sohn-Pixel eines in dem die Bewegung definierenden Halbbild Ti liegende Vater-Pixel erkannt hat. Das zu interpolierende Pixel mit den Koordinaten (IX', IY') ist damit ein vaterloses Pixel, und es ist notwendig, ihm einen Geschwindigkeitsvektor auf andere Weise zuzuordnen. Gemäß dieser ersten Variante wird ein Geschwindigkeitsvektor berechnet, indem zwischen den Geschwindigkeitsvektoren von vier dem vaterlosen Pixel benachbarten Pixeln interpoliert wird, sofern es sich nicht selbst um vaterlose Pixel handelt. Bei dieser Berechnung werden die Werte der Funktion DFD aus dem Speicher M2 ausgelesen und aus dem Speicher M1 die Komponenten des Geschwindigkeitsvektors für die vier Nachbarpunkte mit folgenden Koordinaten:
(IX', IY'-1), (IX'-1, IY'), (IX'+1, IY'), (IX' , IY'+1)
Dann wird der Wert des interpolierten Geschwindigkeitsvektors Vs gemäß folgender Formel berechnet:
A&sub0;&sub1;. (IX'-1,IY') + A&sub1;&sub0;. (IX'+1,IY') + A&sub1;&sub1;. (IX', IY'] (9)
Hierbei gilt A&sub0;&sub0; = 0 wenn DFD (IX', IY'-1) = 255;
ansonsten: jA&sub0;&sub0; = 1.
A&sub0;&sub1; = 0 wenn DFD (IX'-1, IY') = 255;
ansonsten: A&sub0;&sub1; = 1.
A&sub1;&sub0; = 0 wenn DFD (IX'+1, IY') = 255;
ansonsten: A&sub1;&sub0; = 1.
A&sub1;&sub1; = 0 wenn DFD (IX', IY'+1) = 255;
ansonsten: A&sub1;&sub1; = 1.
s(IX', IY') = (0,0) wenn A&sub0;&sub0; = A&sub0;&sub1; = A&sub1;&sub0; = A&sub1;&sub1; = 0,
daß heißt, wenn die vier benachbarten Pixel ebenfalls vaterlose Pixel sind.
Die Vektoren und werden dann gemäß den Formeln (5) und (6) berechnet, in denen der Vektor von dem interpolierten Vektor s gebildet wird. Dann werden die Helligkeitswerte L( ,Ta) und L( ,Tb) durch eine räumliche Interpolation in den Halbbildern Ta und Tb gemäß dem Flußdiagramm von Figur 5 und der dazugehörigen obigen Beschreibung bestimmt. Dann wird der Wert der Funktion DFD für die so bestimmten Basispunkte A und B berechnet.
Wenn dieser Wert der Funktion DFD kleiner als der Schwellwert 7 ist, dann bedeutet dies, daß der interpolierte Geschwindigkeitsvektor s eine brauchbare Abschätzung des Geschwindigkeitsvektors des betrachteten vaterlosen Pixels ist. Dieser Vektor kann so diesem vaterlosem Pixel zugeordnet werden. Das Verfahren besteht dann darin, den interpolierten Wert L(IX',IY',Tj) der Helligkeit des betrachteten vaterlosen Pixels gemäß der Formel (9) zu berechnen.
Wenn der Wert der Funktion DFD größer als der Schwellwert ist, bedeutet dies, daß der interpolierte Geschwindigkeitsvektor nicht paßt und dem betrachteten vaterlosen Pixel nicht zugeordnet werden kann. Als letzter Ausweg wird ein Geschwindigkeitsvektor 0 dem vaterlosen Pixel zugeordnet. Die beiden Basispunkte der zeitlichen Interpolation, A und B, haben so die gleichen Koordinaten (IX', IY') wie das Zentrum des zu interpolierenden Pixels. Daher sind die Vektoren PB und PA beide gleich und ihre Komponenten sind (IX', IY'). Die Helligkeitswerte L(PA, Ta) und L(PB, Tb) werden dann ohne räumliche Interpolation in den Halbbildern Ta und Tb bestimmt, da IX' und IY' ganzzahlige Werte sind. Sie werden aus dem Speicher MA bzw. dem Speicher MB an den Adressen entsprechend (IX',IY') ausgelesen. Dann wird der interpolierte Wert L(IX',IY', Tj) der Helligkeit nach der folgenden Formel berechnet interpoliert
Jedesmal, wenn ein interpolierter Helligkeitswert L(IX',IY',Tj) berechnet wurde, wird dieser Wert beispielsweise an einem Halbbildspeicher geliefert, der die interpolierten Werte des Halbbildes Tj in Erwartung einer Verwendung dieser Helligkeitswerte speichert. Dann wird der Wert der Koordinaten IX' mit ihrem Maximalwert M verglichen, um festzustellen, ob sie diesen Maximalwert erreicht hat. Ist dies nicht der Fall, dann werden die vorbeschriebenen Operationen nach der Inkrementierung von IX' erneut durchgeführt. Ist der Maximalwert erreicht, dann wir der Wert der zweiten Koordinate IY' mit ihrem Maximalwert M verglichen. Wenn dieser Wert seinen Maximalwert nicht erreicht hat, dann werden die obigen Operationen nach der Inkrementierung IY' erneut durchgeführt. Hat er seinen Maximalwert erreicht, dann bedeutet dies, daß alle zu interpolierenden Pixel behandelt worden sind und daß daher die zeitliche Interpolation des Halbbildes Tj beendet ist.
Figur 8 zeigt ein Flußdiagramm der ersten Phase des erfindungsgemäßen Verfahrens nach einer zweiten Variante die eine Vereinfachung der Berechnungen und einen Wegfall des Speichers M2 ermöglicht, da diese Variante die Funktion DFD nicht benutzt. Die erste Phase beginnt mit einer Initialisierung des Speichers M1 auf den Wert (255, 255), nämlich den Maximalwert der Komponenten des Geschwindigkeitsvektors, der jeden zu interpolierenden Pixel zugeordnet wird. Außerdem wird die Ordinate IY der Pixel des die Bewegung definierenden Halbbilds Ti auf 0 gesetzt. Dann wird diese Ordinate IX um eine Einheit weitergezählt, und die Abszisse IX der Pixel des die Bewegung definierenden Halbbilds Ti wird auf 0 gesetzt. Dann wird diese Abszisse um eine Einheit weitergezählt. Der Wert der Komponenten des Geschwindigkeitsvektors (IX,IY,Ti) wird aus dem Speicher MI ausgelesen und dann zur Berechnung der Komponenten des Vektors j und der Komponenten des Vektors j verwendet. Dann wird dieser Geschwindigkeitsvektor in den Speicher MI an der Adresse entsprechend den Komponenten des Vektors j eingeschrieben, d.h. an der Adresse entsprechend den Koordinaten des Sohn-Pixels.
Dann wird der Wert der Koordinaten IX mit ihrem Maximalwert M verglichen. Wenn dieser Maximalwert noch nicht erreicht ist, dann werden die obigen Operationen wiederholt nach einer Inkrementierung von IX. Wenn er erreicht wurde, dann wird der Wert der Koordinaten IY mit deren Maximalwert M verglichen. Wenn dieser Wert erreicht ist, dann ist die ersten Phase beendet und eine zweite Phase beginnt. Wenn IY seinen Maximalwert M nicht erreicht hat, dann werden die obigen Operationen nach einer Inkrementierung von IY erneut durchgeführt.
Figur 9 zeigt ein Flußdiagramm für die zweite Phase der zweiten Variante des erfindungsgemäßen Verfahrens. Diese zweite Phase beginnt mit einer Nullsetzung der Koordinaten IY' der zu interpolierenden Pixel. Dann besteht es in einer Inkrementierung der Koordinaten IY' und einer Nullsetzung der Koordinaten IX'. Dann folgt eine Inkrementierung der Koordinaten IX' um eine Einheit und ein Auslesen des Geschwindigkeitsvektors (IX',IY',Tj) aus dem Speicher M1 an der Adresse entsprechend den Koordinaten (IX',IY').
Die Komponenten dieses Geschwindigkeitsvektors werden je mit dem Wert 255 verglichen, der der ursprünglich in den Speicher M1 eingeschriebene Wert ist. Wenn die Komponenten des Geschwindigkeitsvektors gleich diesem Ursprungswert sind, bedeutet dies, daß kein Geschwindigkeitsvektor bis dahin dem Pixel mit dem Koordinaten (IX',IY') zugeordnet wurde. Hier handelt es sich also um ein vaterloses Pixel, und es ist notwendig auf andere Weise den Geschwindikeitsvekor zu bestimmen, der diesem Pixel zuzuordnen ist. Ein interpolierter Geschwindigkeitsvektor s wird durch eine räumliche Interpolation ausgehend von den Geschwindigkeitsvektoren von vier benachbarten Pixeln des vaterlosen Pixels berechnet. Die Geschwindigkeitsvektoren dieser vier benachbarten Pixel werden aus dem Speicher M1 ausgelesen und dann linear gemäß Gleichung 9 kombiniert, aber indem man einsetzt:
A&sub0;&sub0; = 0 wenn (IX'-1,IY') = (255, 255);
ansonsten: A&sub0;&sub0; = 1.
A&sub0;&sub1; = 0 wenn (IX'-1,IY') = (255, 255);
ansonsten: A&sub0;&sub1; = 1.
A&sub1;&sub0; = 0 wenn (IX'+1,IY') = (255, 255);
ansonsten: A&sub1;&sub0; = 1.
A&sub1;&sub1; = 0 wenn (IX',IY'+1) = (255, 255);
ansonsten: A&sub1;&sub1; = 1.
s(IX',IY') = (0,0) wenn A&sub0;&sub0; = A&sub0;&sub1; = A&sub1;&sub0; = A&sub1;&sub1; = 0,
daß heißt, wenn die vier benachbarten Pixel ihrerseits vaterlose Pixel sind.
Es ist zu bemerken, daß auch ohne die Funktion DFD die Erkennung, ob ein zu interpolierendes Pixel ein vaterloses Pixel ist oder nicht, möglich ist, und zwar aufgrund der Initialisierung des Speichers M1 auf den Wert (255, 255), was eine Diskriminierung der nicht existierenden Geschwindigkeits vektorwerte erlaubt. Dagegen unterscheidet die erste Phase nicht das beste Vater-Pixel, wenn ein zu interpolierendes Pixel mehrere Vater-Pixel besitzt. Daher wird der dem zuletzt gefunden Vater-Pixel entsprechende Geschwindigkeitsvektor für ein gegebenes zu interpolierendes Pixel verwendet, wenn mehrere Vater-Pixel vorliegen
Wenn der Geschwindigkeitsvektor (IX',IY',Tj) Komponenten ungleich 255 besitzt, bedeutet dies, daß das zu interpolierende Pixel einen zugeordneten Geschwindigkeitsvektor hat, der während der ersten Phase bereits bestimmt wurde. Das Verfahren besteht dann darin, die Vektoren und gemäß den Formeln (5) und (6) für den aus dem Speicher M1 ausgelesenen Geschwindigkeitsvektor oder für den dem Pixel (IX',IY') zugeordneten interpolierten Geschwindigkeitsvektor s zu berechnen. Dann besteht das Verfahren darin, die Helligkeitswerte L( ,Ta) und L( ,Tb) zu berechnen. Wenn der Geschwindigkeits vektor ungleich 0 ist, wird diese Berechnung durch eine räumliche Interpolation in dem Halbbild Ta bzw. Tb gemäß dem Flußdiagramm in Figur 5 und der zugehörigen Beschreibung durchgeführt. Wenn der Geschwindigkeitsvektor 0 ist, dann werden die beiden Helligkeitswerte aus den Speichern MA und MB an der Adresse entsprechend (IX',IY') ausgelesen. Dann besteht das Verfahren darin, den interpolierten Helligkeitswert L(IX',IY',Tj) gemäß der Formel (10) zu berechnen. Der interpolierte Helligkeitswert wird dann beispielsweise an einem Halbbildspeicher geliefert, um in Erwartung einer Verwendung der interpolierten Halbbildes Tj gespeichert zu werden.
Dann wird der Wert der Koordinaten IX' mit ihrem Maximalwert M verglichen. Wenn der Maximalwert nicht erreicht ist, dann werden die obigen Operationen nach einer Inkrementierung IX' erneut durchgeführt. Ansonsten wird der Wert der Koordinaten IY' mit ihrem Maximalwert N verglichen. Wenn dieser Maximalwert nicht erreicht ist, dann werden die obigen Operationen nach der Inkrementierung von IY' erneut durchgeführt. Wenn IY' seinen Maximalwert N erreicht hat, dann ist die Interpolation des Halbbildes Tj beendet.
Figur 10 zeigt ein Flußdiagramm der ersten Phase des erfindungsgemäßen Verfahrens für eine dritte Variante dieses Verfahrens. Diese dritte Variante erfordert keine Berechnung der Funktion DFD und benötigt keinen Speicher M2, genauso wie die zweite Variante. Sie weist im Vergleich zur zweiten Variante den Vorteil auf, eine Speicherung der interpolierten Helligkeitswerte zu erlauben ohne einen Speicher des zusätzlichen Halbbilds zu haben, da diese dritte Variante die erneute Benutzung des Speichers M1 für die Speicherung der interpolierten Helligkeitswerte erlaubt. Anstatt im Speicher M1 die den Sohn-Pixeln zugeordneten Geschwindigkeitsvektoren im Rhythmus der Abtastung der Vater-Pixel des die Bewegung definierenden Halbbilds während der ersten Phase zu speichern, besteht in dieser dritten Variante das Verfahren darin, die interpolierten Helligkeitswerte entsprechend diesen Sohn-Pixeln zu berechnen und in M1 zu speichern. So muß während der zweiten Phase nur noch ein interpolierter Helligkeitswert für jedes vaterlose Pixel berechnet werden. Da der Wert der Komponenten der Geschwindigkeitsvektoren der benachbarten Pixel nicht gespeichert wird, ist es nicht möglich, eine Interpolation zur Berechnung der jedem vaterlosem Pixel zugeordneten Geschwindigkeitsvektor zu verwenden. Der dem vaterlosem Pixel zugewiesene Geschwindigkeitsvektor wird also zu Null gesetzt.
Die erste Phase dieser Variante beginnt mit einer Initialisierung des Speichers M1 auf den Wert 255, der dem Maximalwert der Helligkeit entspricht und so leicht diskriminiert werden kann, um die vaterlosen Pixel zu erfassen, wobei diese Pixel durch die Tatsache diskriminiert werden können, daß der entsprechende Wert der Helligkeit, der im Speicher M1 gespeichert ist, am Ende der ersten Phase des Verfahrens auf 255 verbleibt. Diese erste Phase beginnt auch mit einer Nullsetzung der Koordinaten IX.
Dann wird IY um eine Einheit erhöht und die Koordinate IX auf Null gesetzt. Dann wird die Koordinate IX um eine Einheit erhöht, dann der Geschwindigkeitsvektor (IX,IY,Ti) aus dem Speicher MI ausgelesen. Dann werden die Vektoren j, j, , gemäß den Formeln (4) bis (6) berechnet. Anschließend werden die Helligkeitswerte L( ,Ta) und L( ,Tb) durch eine räumliche Interpolation in den Halbbildern Ta und Tb gemäß dem Flußdiagramm aus Figur 5 und der der zugehörigen Beschreibung berechnet. Dann berechnet man den Wert der interpolierten Helligkeit L( j,Tj) entsprechend dem Sohn-Pixel, das auf den Punkt Fj zentriert ist und zwar gemäß der Formel (10). Schließlich wird dieser Helligkeitswert in den Speicher M1 an der den Komponenten des Vektors j entsprechenden Adresse eingetragen.
Die erste Phase besteht dann darin, den Wert der Koordinaten IX zu überprüfen-um festzustellen, ob sie ihren Maximalwert M erreicht hat. Wenn der Wert M nicht erreicht wurde, dann werden die obigen Operationen nach Inkrementierung von IX erneut durchgeführt. Wenn IX den Maximalwert M erreicht hat, dann wird der Wert der Koordinaten IY mit ihrem Maximalwert N verglichen. Wenn IY den Wert N erreicht hat, dann ist die erste Phase beendet, ansonsten werden die obigen Operationen nach einer Inkrementierung der Koordinaten IY erneut durchgeführt.
Figur 11 zeigt ein Flußdiagramm der zweiten Phase der dritten Variante des erfindungsgemäßen Verfahrens. Diese zweite Phase besteht zuerst darin, die Koordinate IY' eines Pixels des zu interpolierenden Halbbilds Tj auf Null zu setzen. Dann wird diese Koordinate IY' um eine Einheit erhöht und eine zweite Koordinate IX' auf Null gesetzt. Dann wird diese IX' um eine Einheit erhöht und der im Speicher M1 an der den Koordinaten (IX',IY') entsprechenden Adresse gespeicherte Helligkeitswert ausgelesen. Nun wird dieser Helligkeitswert mit dem Wert 255 verglichen, der der ursprünglich in den Speicher M1 eingeschriebene Wert ist.
Wenn der Wert der Helligkeit sich von 255 unterscheidet, dann bedeutet dies, daß ein Helligkeitswert während der ersten Phase für das zu interpolierende Pixel mit den Koordinaten (IX',IY') bestimmt wurde. Ist der Helligkeitswert aber gleich 255, dann bedeutet dies, daß dieses zu interpolierende Pixel kein Vater-Pixel in dem die Bewegung definierenden Halbbild Ti besitzt. In diesem Fall wird ein Geschwindigkeitsvektor 0 diesem vaterlosem Pixel zugewiesen, und die Vektoren und haben die gleichen Komponenten wie der Vektor, der das Zentrum des zu interpolierenden Pixels, d.h. (IX',IY') trägt. Dann werden die Helligkeitswerte L( ,Ta) und L( ,Tb) der beiden Basispunkte der zeitlichen Interpolation aus den Speichern MA und MB an der Adresse entsprechend (IX',IY') ausgelesen. Dann berechnet man einen interpolierten Helligkeitswert L(IX',IY',Tj) gemäß der Formel (9).
Schließlich wird der interpolierte Helligkeitswert in den Speicher M1 an der den Koordinaten (IX',IY') entsprechenden Adresse eingeschrieben, in Erwartung einer Verwendung der Helligkeitswerte des interpolierten Halbbilds Tj. Am Ende der Bearbeitung aller Pixel des zu interpolierenden Halbbilds wird der Speicher M1 durch die interpolierten Helligkeitswerte gefüllt. Der Speicher M1 hat also die Aufgabe des Speicherns des zusätzlichen Halbbilds, das notwendig war, um die interpolierten Helligkeitswerte gemäß der ersten und der zweiten Variante zu speichern, die oben beschrieben wurden.
Dann besteht diese zweite Phase darin, den Wert der Koordinaten IX' mit ihrem Maximalwert M zu vergleichen. Wenn IX' nicht den Maximalwert erreicht hat, dann besteht die zweite Phase weiter darin, die obigen Operationen nach einer Inkrementierung von IX' erneut durchzuführen. Wenn IX' seinen Maximalwert erreicht hat, dann besteht die zweite Phase weiter darin, den Wert der Koordinaten IY' mit ihrem Maximalwert N zu vergleichen. Wenn IY' den Wert N nicht erreicht hat, dann werden die obigen Operationen erneut durchgeführt nach einer Inkrementierung von IX'. Wenn IX' den Maximalwert erreicht hat, dann ist die Verarbeitung aller zu interpolierenden Pixel beendet.
Figur 12 zeigt das Blockschaltbild eines ersten Teils einer Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens gemäß der oben beschriebenen ersten Variante. Dieser erste Teil enthält eine Eingangsklemme 1, eine Multiplexiervorrichtung 2, eine Vorrichtung zur Abschätzung der Bewegung 3, eine Folgeschaltung 4, einen Speicher 5, der MI genannt wird, eine Vorrichtung 7 zur Berechnung des Vektors j, einen Adressen- und Datenbus 9, eine Rechenvorrichtung 10, einen Speicher MA, um die Helligkeitswerte des Halbbilds entsprechend dem Augenblick Ta zu speichern, einen Speicher MB, um die Helligkeitswerte des Halbbilds entsprechend dem Zeitpunkt Tb zu speichern und ein Rechenmittel 5a, um einen Geschwindigkeitsvektor jedem zu interpolierenden Pixel zuzuweisen, das mindestens ein Vater-Pixel besitzt.
Diese Rechenmittel 5a enthalten einen Vorrichtung 6 zur Berechnung des Vektors , eine Vorrichtung 8 zur Berechnung des Vektors , eine Vorrichtung 10 zur Berechnung von L( ,Ta), eine Vorrichtung 11 zur Berechnung L( ,Tb), eine Subtrahierglied 14, zwei Komparatoren 15 und 16, zwei Multiplexer 17 und 18 mit zwei Eingängen und einem Ausgang, ein logisches UND-Tor 19, eine Initialisierungsvorrichtung 20, einen Speicher M1 zum Speichern der den zu interpolierenden Pixeln zugeordneten Geschwindigkeitsvektoren und einen Speicher M2 zum Speichern der Werte der Funktion DFD.
Die Multiplexiervorrichtung 2 besitzt einen Eingang, der an die Eingangsklemme 1 der Interpolationvorrichtung angeschlossen ist, um eine Folge von Helligkeitswerten entsprechend einer Folge von bekannten Halbbildern zu empfangen, die von üblichen Fernsehhalbbildern gebildet werden. Diese Helligkeitswerte werden beispielsweise von einer Fernsehkamera und einem Analog-Digital-Wandler geliefert. Die Vorrichtung 2 besitzt einen Ausgang, der an den Bus 9 angeschlossen ist, bei dem es sich um einen Daten-, Adressen- und Befehlsbus handelt, um die Helligkeitswerte entweder an den Speicher MA oder an den Speicher MB zu senden. Im betrachteten Beispiel soll das dem Zeitpunkt Ta entsprechende Halbbild dem Halbbild vorausgehen, das dem Zeitpunkt Tb entspricht, aber während der Verarbeitung einer Folge von Halbbildern werden die Speicher MA und MB abwechselnd zum Speichern des aktuellsten Halbbilds verwendet.
Die Folgeschaltung 4 liefert Steuersignale an alle Bauteile dieser Ausführungsform und insbesondere an die Vorrichtung 2 synchron mit den Helligkeitswerten, die an die Eingangsklemme 1 gelangen. Die Vorrichtung 3 zum Schätzen der Bewegung besitzt einen Eingang-Ausgang, der mit dem Bus 9 verbunden ist und diesem erlaubt, das Auslesen von Helligkeitswerten aus den Speicher MA und MB sowie das Einschreiben der Werte der Komponenten des Geschwindigkeitsvektors der Pixel aus dem Halbbild Ti in den Speicher MI zu steuern.
Die Vorrichtung 3 ist beispielsweise gemäß der Beschreibung des Patents US-A-4 383 272 ausgebildet. Sie liefert eine Abschätzung der Bewegung, bestehend aus den Komponenten eines Geschwindigkeitsvektors für jedes Pixel eines einem Zeitpunkt Ti zwischen den Zeitpunkten Ta und Tb entsprechenden Halbbilds, abhängig von den Helligkeitswerten der bekannten Halbbilder zu den Zeitpunkten Ta und Tb. Der Speicher MI besitzt einen Adresseneingang, der an einen Ausgang der Folgeschaltung 4 angeschlossen ist, um eine aus den Koordinaten (IX,IY) eines Pixels des die Bewegung definierenden Halbbilds Ti gebildete Adresse zu empfangen. Die Folgeschaltung 4 liefert eine Folge von Koordinaten entsprechend der üblichen Abtastreihenfolge eines Fernsehhalbbilds. Diese Folge von Koordinaten wird auch an einen ersten Eingang der Rechenvorrichtung 7 angelegt. Ein zweiter Eingang der Rechenvorrichtung 7 ist mit einem Datenausgang des Speichers MI verbunden, um den Wert der Komponenten des Geschwindigkeitsvektors (IX,IY,Ti) zu empfangen, der aus dem Speicher MI an der Adressen (IX,IY) ausgelesen wurde. Der Wert dieser Komponenten wird auch an einen Eingang der Rechenvorrichtung 6, an einen Eingang der Rechenvorrichtung 8 und an einen ersten Eingang des Multiplexers 18 angelegt.
Die Rechenvorrichtungen 6, 7 und 8 arbeiten parallel und bestimmen die Komponenten je eines der Vektoren , j und . Für jedes Pixel mit den Koordinaten (IX,IY) in dem Halbbild Ti, das die Bewegung definiert, bestimmt die Rechenvorrichtung 7 das Zentrum Fj eines Sohn-Pixels, falls ein solches existiert. Die Rechenvorrichtungen 6 und 8 bestimmen die Koordinaten der Basispunkte A und B für eine zeitliche Interpolation in Hinblick auf die Berechnung eines Helligkeitswerts des Sohn-Pixels. Die Vorrichtungen 6 und 8 liefern die Komponenten des Vektors bzw. des Vektors an einen Eingang der Rechenvorrichtung 10 und an einen Eingang der Rechenvorrichtung 11.
Die Rechenvorrichtung 10 besitzt einen Eingang und einen Ausgang, die an einen Adresseneingang bzw. Datenausgang des Speichers MA angeschlossen sind, um im Speicher MA das Auslesen der für eine räumliche Interpolation ausgehend von dem Punkt A im Halbbild Ta benachbarten Pixeln erforderlichen Helligkeitswerte zu steuern. In gleicher Weise besitzt die Vorrichtung 11 einen Ausgang und einen Eingang, die an einen Adresseneingang bzw. einen Datenausgang des Speichers MB angeschlossen sind, um dort die für eine räumliche Interpolation zwischen den dem Punkt B in dem Halbbild Tb benachbarten Pixeln erforderlichen Helligkeitswerte zu lesen. Die Helligkeitswerte L( ,Ta) und L( ,Tb), die von der Vorrichtung 10 bzw. der Vorrichtung 11 berechnet wurden, werden an je einen Eingang des Subtrahierglieds 14 angelegt, um einen Wert der Funktion DFD zu berechnen. Das Subtrahierglied 14 liefert einen algebraischen Wert, dessen Absolutwert den Wert der Funktion DFD bildet.
Diese Funktion wird an einen ersten Eingang des Multiplexers 17 und an erste Eingänge der Komparatoren 15 und 16 angelegt. Ein zweiter Eingang des Komparators 15 empfängt einen Wert DFD' der Funktion DFD, der aus dem Speicher M2 an der durch die Komponenten des Vektors j gebildeten Adresse ausgelesen wurde, d.h. des dem gerade verarbeiteten Sohn-Pixel entsprechenden Vektors. Der Komparator 16 besitzt einen zweiten Eingang, der einen Schwellwert empfängt, nämlich den Wert 7. Die Komparatoren 15 und 16 sind je mit einem Ausgang an einen Eingang des logischen UND-Tores 19 angeschlossen, um dieses durchzuschalten, wenn der Wert der Funktion DFD, der vom Subtrahierglied 14 geliefert wird, unter dem Schwellwert 7 und unter dem Wert DFD' liegt, der aus dem Speicher M2 ausgelesen wurde.
Das Tor 19 besitzt einen Ausgang, der an einen Steuereingang des Multiplexers 17 und an einen Steuereingang des Multiplexers 18 geschlossen wird. Der zweite Eingang des Multiplexers 17 ist mit dem Datenausgang des Speicher M2 verbunden. Der erste und der zweite Eingang des Multiplexers 18 sind an den Datenausgang des Speichers MI, der den Vektor (IX, IY, Ti) liefert, bzw. an einen Ausgang des speichers M1 angeschlossen, der den Wert der Komponenten eines Geschwindigkeitsvektors liefert, der an der von dem Komponenten j gebildeten Adresse ausgelesen wird.
Die Speicher M1 und M2 besitzen je einen Adresseneingang, der an den Ausgang der Rechenvorrichtung 7 angeschlossen ist, um den Wert der Komponenten des Vektors j zu empfangen. In einem ersten Schritt steuert die Folgeschaltung 4 in den Speichern M1 und M2 ein Auslesen an der Adressen, die von dem Komponenten des Vektors j gebildet wird. Dieses Auslesen erlaubt die Kenntnis des Werts DFD' der Funktion DFD und des Werts der Komponenten des Geschwindigkeitsvektors, der vorher gefunden worden war, wenn das auf den Punkt Fj zentrierte Pixel mindestens ein Vater-Pixel besitzt, das vorher bestimmt worden war.
Wenn der Wert der Funktion DFD, der vom Subtrahierglied 14 für das Vater-Pixel mit den Koordinaten (IX,IY) geliefert wurde, unter 7 und unter dem Wert DFD' liegt, der für ein anderes, vorher gefundenes Vater-Pixel bestimmt wurde, dann steuert das vom Ausgang des Tors 19 gelieferte Signal die Multiplexer 17 und 18 derart, daß der Wert der Funktion DFD, der vom Subtrahierglied 14 geliefert wurde, bzw. der vom Ausgang des Speichers MI gelieferte Geschwindigkeitsvektor übertragen wird.
Wenn der Wert der Funktion DFD, der vom Ausgang des Subtrahierglieds 14 geliefert wurde, größer als 7 und auch größer als der Wert DFD' ist, der aus dem Speicher M2 ausgelesen wurde, dann übermitteln die Multiplexer 17 und 18 den Wert DFD', der vom Speicher M2 geliefert wurde, bzw. den vom Speicher M1 gelieferten Geschwindigkeitsvektor. Der Ausgang des Multiplexers 17 und der Ausgang des Multiplexers 18 sind an Dateneingänge des Speichers M2 bzw. M1 angeschlossen.
In einem zweiten Schritt steuert die Folgeschaltung 4 ein Einschreiben in diese Speicher, um den Wert der Funktion DFD, der vom Multiplexer 17 übertragen wurde, und den Geschwindigkeitsvektor, der vom Multiplexer 18 übertragen wurde, in diese Speicher einzutragen. Der Inhalt der Speicher M2 und M1 wird also erneuert, wenn ein besseres Vater-Pixel erfaßt wurde.
Eine Initialisierungsvorrichtung 20 besitzt zwei Ausgänge, die an den Adresseneingang bzw. dem Dateneingang des Speichers M2 angeschlossen sind, um ihm eine Folge von Adressenwerten zu liefern, die es erlauben, den Wert 255 in alle Adressen während einer Initialisierungsphase vor der Bearbeitung jedes Halbbilds einzuschreiben. Während dieser Initialisierungsphase werden die Vorrichtung 20 und der Speicher M2 von der Folgeschaltung 4 so gesteuert, daß dieses Einschreiben erfolgt. Der Adresseneingang und der Dateneingang des Speichers M2 sind andererseits an eine Eingangsklemme 26 und eine Eingangsklemme 28 angeschlossen, die mit dem zweiten Teil dieser Ausführungsform in Verbindung stehen. Der Datenausgang des Speichers M2 und der Datenausgang des Speichers M1 sind je an eine Ausgangsklemme 27 bzw. 30 angeschlossen, die mit dem zweiten Teil dieses Ausführungsbeispiels in Verbindung steht. Der Adresseneingang und der Dateneingang des Speichers M1 sind an die Eingangsklemme 28 bzw. eine Eingangsklemme 29 angeschlossen, die mit dem zweiten Teil dieses Ausführungsbeispiels in Verbindung stehen.
Figur 13 zeigt ein genaues Blockschaltbild der Rechenvorrichtungen 6, 7, 8, 10 und 11. Die Vorrichtung 6 enthält einen Multiplizierer 61, eine Vorrichtung 62 zur Korrektur der Halbbildparität und einen Addierer 63. Der Eingang der Vorrichtung 6, der den Wert der Komponenten des Vektors (IX,IY, Ti) empfängt, ist mit einem ersten Eingang des Multiplizierers 61 verbunden. Ein zweiter Eingang des Multiplizierers 61 empfängt dauernd den Wert - (Tj-Ta). Ein Ausgang des Multiplizierers 61 ist an einen Eingang der Vorrichtung 62 angeschlossen und liefert ihm den Wert der Komponenten eines Vektors - (Tj-Ta).
Die Vorrichtung 62 addiert zum Wert dieser Komponenten den Wert der Komponenten des Vektors a, der von der Parität des gerade interpolierten Halbbilds und des Halbbilds Ta abhängt. Die Vorrichtung 62 ist durch nicht dargestellte Verbindungen an Ausgänge der Folgeschaltung 4 angeschlossen, die Steuersignale in Abhängigkeit von der Parität dieser beiden Halbbilder liefert. Die Vorrichtung 62 kann aus Addierern und einem Festwertspeicher bestehen, der den Wert der Komponenten des Vektors a speichert, wobei dieser Festwertspeicher eine Adresse empfängt, die aus den Steuersignalen der Folgeschaltung 4 besteht. Der Addierer 63 enthält einen an den Ausgang der Vorrichtung 62 angeschlossenen Eingang, einen anderen, an den Ausgang der Rechenvorrichtung 7 zum Empfang der Komponenten des Vektors j bestimmten Eingang und einen Ausgang, der den Ausgang der Vorrichtung 6 bildet und den Wert der Komponenten des Vektors liefert.
Die Rechenvorrichtung 8 hat eine Struktur, die der der Rechenvorrichtung 6 stark ähnelt. Sie enthält einen Multiplizierer 81, eine Vorrichtung 82 zur Korrektur der Halbbildparität und einen Addierer 83. Der Multiplizierer 81 empfängt den Wert (Tb-Tj) anstelle des Werts - (Tj-Ta), und die Vorrichtung 82 addiert den Wert der Komponenten des Vektors b anstelle des Werts der Komponenten des Vektors a. Der Wert der Komponenten des Vektors b hängt von den Paritäten des Halbbilds Tj und des Halbbilds Tb ab. Die Vorrichtung 82 ist an die Folgeschaltung 4 über nicht dargestellte Verbindungen angeschlossen, welche Steuersignale abhängig von der Parität dieser Halbbilder liefert.
Die Rechenvorrichtung 7 enthält einen Multiplizierer 71, ein Subtrahierglied 72, eine Vorrichtung 73 zur Korrektur von Halbbildparität und eine Vorrichtung 74 zur Berechnung des nächstliegenden ganzzahligen Werts (VEPP) eines Werts. Ein erster Eingang des Multiplizierers 71 bildet den Eingang der Vorrichtung 7 und empfängt den Wert der Komponenten des Vektors (IX,IY,Ti). Ein zweiter Eingang des Multiplizierers 71 empfängt dauernd den Wert (Ti-Tj). Ein Ausgang des Multiplizierers 71 ist mit einem ersten Eingang des Subtrahierglieds 72 verbunden und liefert ihm den Wert der Komponenten des Vektors (Tj-Tj). Ein zweiter Eingang des Subtrahierglieds 72 empfängt die Koordinaten (IX,IY), die von der Folgeschaltung 4 geliefert werden, um die Komponenten des Vektors j zu bilden. Ein Ausgang des Subtrahierglieds 72 liefert an einen Eingang der Vorrichtung 73 den Wert der Komponenten des Vektors j, der gemäß der Formel (4) berechnet wurde.
Die Vorrichtung 73 addiert zum Wert dieser Komponenten den Wert der Komponenten des Vektors j hinzu, der von den Paritäten des Halbbilds Tj und des Halbbilds Tj abhängt. Die Vorrichtung 73 kann wie die Vorrichtungen 62 und 82 ausgebildet sein. Sie ist mit Ausgängen der Folgeschaltung 4 über nicht dargestellte Leitungen verbunden, die Steuersignale abhängig von den Paritäten der Halbbilder Tj und Ti liefern. Ein Ausgang der Vorrichtung 73 ist an einen Eingang der Vorrichtung 74 angeschlossen.
Die Vorrichtung 74 addiert den Wert 0,5 zu jeder der Komponenten des vom Ausgang der Vorrichtung 73 gelieferten Vektors und nimmt dann den ganzzahligen Wert der so erhaltenen Summe. Die Vorrichtung 74 kann aus zwei Addierern bestehen, die je den konstanten Wert 0,5 addieren. Der ganzzahlige Teil wird entnommen, indem die den Bruchteil bildenden Bits zu Null gesetzt werden. Ein Ausgang der Vorrichtung 74 bildet den Ausgang der Vorrichtung 7 und liefert den Wert von zwei Komponenten des Vektors j. Der Wert dieser Komponenten wird insbesondere als Adressenwert für die Speicher M1 und M2 während des Einschreibens des Wert der Funktion DFD und der Komponenten des Geschwindigkeitsvektors entsprechend dem auf den Punkt Fj zentrierten Sohn-Pixel in diese Speicher verwendet.
Die Rechenvorrichtungen 10 und 11 haben eine ähnliche Struktur, aber die Vorrichtung 10 ist an den Speicher MA gekoppelt, während die Vorrichtung 11 an den Speicher MB gekoppelt ist. Die Vorrichtung 10 enthält eine Rechenvorrichtung 101 für den dem Wert der Komponenten eines Vektors nächstliegenden ganzzahligen Wert, einen Addierer 102, ein Subtrahierglied 103, eine Adressenrechenvorrichtung 104 und eine Rechenvorrichtung 105, die die Formel (8) berechnet und weiter unten anhand der Figur 14 erläutert werden wird.
Ein Eingang der Vorrichtung 101 bildet den Eingang der Vorrichtung 10 und ist auch an einen ersten Eingang des Subtrahierglied 103 angeschlossen. Ein Ausgang der Vorrichtung 101 ist mit einem ersten Eingang des Addierers 102 und einem Eingang der Vorrichtung 104 zur Addressenberechnung verbunden, um ihnen den Wert der Komponenten (XGa, YGa) zu liefern, die aus dem ganzzahligen Teil des Werts der Komponenten des Vektors gebildet werden. Die Vorrichtung 101 kann wie die Vorrichtung 74 ausgebildet sein.
Der Addierer 102 besitzt einen zweiten Eingang, der permanent den Wert der Komponenten eines Vektors (1,1) empfängt, und einen Ausgang, der mit einem zweiten Eingang des Subtrahierglieds 103 verbunden ist. Ein Ausgang des Subtrahierglieds 103 ist mit einer Eingangsklemme 106 der Rechenvorrichtung 105 verbunden und liefert ihr den Wert der Koordinaten bezüglich des Punkts A, nämlich (ΔXa,ΔYa). Die Rechenvorrichtung 105 besitzt eine zweite Eingangsklemme 108, die an einen Datenausgang des Speichers MA angeschlossen ist, und eine Ausgangsklemme 107, die den Ausgang der Vorrichtung 10 bildet und an den ersten Eingang des Subtrahierglieds 14 angeschlossen ist, um diesem den Helligkeitswert L( ,Ta) zu liefern.
Die Adressenrechenvorrichtung 104 besitzt einen Eingang, der an den Ausgang der Vorrichtung 101 angeschlossen ist, um die Koordinaten (XGa, YGa) zu empfangen, und einen Ausgang, der mit dem Adresseneingang des Speichers MA verbunden ist. Die Vorrichtung 104 liefert vier aufeinanderfolgende Adressen an den Speicher MA unter der Wirkung eines Taktsignals, das von der Folgeschaltung 4 stammt, welche vier aufeinanderfolgende Auslesungen aus dem Speicher A steuert, um die Helligkeitswerte, die an den durch die Koordinaten (XGa+1, YGa+1), (XGa, YGa+1), (XGa+1, YGa), (XGa, YGa) gebildeten Adressen gespeichert sind, auszulesen. Die Vorrichtung 103 kann aus vier Registern, vier Addierern und einem Multiplexer bestehen, die von Steuersignalen aus der Folgeschaltung 4 gesteuert werden.
Die Rechenvorrichtung 11 enthält eine Rechenvorrichtung 111 zur Berechnung des nächstliegenden, ganzzahligen Werts der Komponenten eines Vektors, eine Adressenrechenvorrichtung 112, einen Addierer 113, ein Subtrahierglied 114 und eine Rechenvorrichtung 115, wobei diese Elemente analoge Funktionen wie die Elemente 101 bis 105 in der Rechenvorrichtung 110 besitzen.
Figur 14 zeigt das Blockschaltbild eines Ausführungsbeispiels der Rechenvorrichtung 105. Sie enthält sechs Register 120 bis 123 und 133, 135, acht Multiplizierer 124 bis 131, einen Addierer 132 und zwei Subtrahierglieder 134 und 136. Die Vorrichtung 105 berechnet die Formel (8). Die Eingangsklemme 106 ist mit Eingängen der Register 120 bis 123 verbunden, die vier Paare von an die Eingangsklemme 106 angelegten Koordinaten speichern. Die Eingangsklemme 108 ist mit Eingängen der Register 133 und 135 verbunden, die den Wert ΔXa bzw. ΔYa speichern. Die Ausgänge der Register 120 bis 123 sind an erste Eingänge der Multiplizierer 124, 126, 128, 130 angeschlossen. Der Ausgang des Registers 133 ist an einen ersten Eingang des Subtrahierglieds 134, an einen zweiten Eingang des Multiplizierers 126 und an einen zweiter Eingang des Multiplizierers 130 angeschlossen. Der Ausgang der Multiplizierer 124, 126, 128, 130 ist an einen ersten Eingang des Multiplizierers 125 bzw. des Multiplizierers 127 bzw. des Multiplizierers 129 bzw. des Multiplizierers 131 angeschlossen. Der Ausgang des Registers 135 ist mit einem zweiten Eingang des Multiplizierers 129, mit einem zweiten Eingang des Multiplizierers 131 und einem ersten Eingang des Subtrahierglieds 136 verbunden. Das Subtrahierglied 134 besitzt einen zweiter Eingang, der dauernd den Wert 1 empfängt, und einen Ausgang, der mit einem zweiten Eingang des Multiplizierers 124 und einem zweiten Eingang des Multiplizierers 128 verbunden ist. Das Subtrahierglied 136 besitzt einen zweiten Eingang, der permanent den Wert 1 empfängt und einen Ausgang, der an einen zweiten Eingang des Multiplizierers 125 und an einen zweiten Eingang des Multiplizierers 127 angeschlossen ist. Die Ausgänge des Multiplizierers 125, 127, 129, 131 sind an je einen von vier Eingängen des Addierers 132 angeschlossen. Ein fünfter Eingang des Addierers 132 empfängt dauernd den Wert 0,5. Ein Ausgang des Addierers 135 ist mit der Ausgangsklemme 107 verbunden.
Die Subtrahierglieder 134 und 136 liefern den Wert ΔXa-1 bzw. ΔYa-1 Die Multiplizierer 124 und 125 berechnen den ersten Term der Formel (8). Die Multiplizierer 126 und 127 berechnen den zweiten Term. Die Multiplizierer 128 und 129 berechnen den dritten Term. Die Multiplizierer 130 und 131 berechnen den vierten Term. Der Addierer 132 bildet die Summe dieser vier Terme und des konstanten Terms 0,5.
Figur 15 zeigt das Blockschaltbild des zweiten Teils der Ausführungsform einer Vorrichtung zur Durchführung der ersten Variante des erfindungsgemäßen Verfahrens. Dieser zweite Teil entspricht der zweiten Phase des Verfahrens. Er enthält insbesondere Rechenmittel 5b zur Bestimmung eines Geschwindigkeitsvektors der ausgehend von den Geschwindigkeitsvektoren der dem zu interpolierenden Pixel benachbarten Pixel interpoliert wird, wenn das zu interpolierende Pixel kein Vater-Pixel besitzt oder wenn seine Vater-Pixel nicht bestätigt worden sind.
Diese Ausführungsform enthält weiter Rechenmittel 49, um einen Geschwindigkeitsvektor 0 dem zu interpolierenden Pixel zuzuordnen, wenn der interpolierte Geschwindigkeitsvektor nicht bestätigt wird, und um die Helligkeitswerte L( , Ta) und L( ,Tb) der beiden Basispunkte A und B abhängig von dem dem zu interpolierenden Pixel zugeordneten Geschwindigkeitsvektor zu bestimmen, sowie Rechenmittel 50, um einen interpolierten Helligkeitswert abhängig von den Helligkeitswerten der beiden Basispunkte zu berechnen.
Die Rechenmittel 5b enthalten einen Adressengenerator 31, zwei Register 32 und 33, einen Komparator 34, einen Multiplexer 35 mit zwei Eingängen und einem Ausgang, sowie eine Rechenvorrichtung 36 zur Berechnung eines interpolierten Geschwindigkeitsvektors s.
Ein Ausgang des Adressengenerators 31 und eine Ausgangsklemme 58 der Rechenvorrichtung 36 sind an die Eingangsklemme 28 der Rechenmittel 5a angeschlossen, die an die Adresseneingänge der Speicher M1 und M2 angeschlossen sind. Der Adressengenerator 31 liefert eine Folge von Adressen, die aus Koordinaten (IX',IY') entsprechend einem systematischen Abtastung aller zu interpolierenden Pixel des Halbbilds Tj gebildet werden. Jede dieser Adressen kann einen Wert DFD(IX', IY') der Funktion DFD aus dem Speicher M2 und einen Geschwindigkeitsvektor (IX',IY') aus dem Speicher M1 entsprechend einem zu interpolierenden Pixel auslesen. Ein Dateineingang des Registers 32 und eine Eingangsklemme 57 der Rechenvorrichtung 36 sind an die Ausgangsklemme 27 der Rechenmittel 5a angeschlossen und empfangen den Wert DFD(IX',IY') aus dem Speicher M2. Ein Dateneingang des Registers 33 und eine Eingangsklemme 56 der Rechenvorrichtung 36 sind an die Ausgangsklemme 30 der Rechenmittel 5a angeschlossen, die den Wert der Komponenten des Geschwindigkeitsvektors (IX',IY') liefert, welcher aus dem Speicher M1 ausgelesen wird.
Der Wert DFD(IX',Y'), der in dem Register 32 gespeichert ist, wird mit einem Schwellwert, nämlich dem Wert 255, im Komparator 34 verglichen. Ein Ausgang des Komparators 34 ist an einen Steuereingang des Multiplexers 35 angeschlossen.
Ein Ausgang des Registers 33 ist mit einem ersten Eingang des Multiplexers 35 verbunden. Eine Ausgangsklemme 59 der Rechenvorrichtung 36 liefert den Wert der Komponenten eines interpolierten Geschwindigkeitsvektors s an einen zweiten Eingang des Multiplexers 35. Ein Ausgang des Multiplexers 35 bildet einen Ausgang der Mittel 5b und ist mit einem ersten Eingang der Rechenmittel 49 verbunden, um einen Geschwindigkeitsvektor t zu liefern.
Wenn der Wert der Funktion DFD, der vom Register 32 geliefert wird, unter dem Schwellwert 255 liegt, dann steuert der Komparator 34 den Multiplexer 35 so, daß er den Wert der Komponenten des Vektors , der in dem Register 33 gespeichert ist, überträgt, da dieser Geschwindigkeitsvektor passend ist. Wenn der Wert der Funktion DFD gleich 255 ist, dann bedeutet dies, daß das zu interpolierende Pixel kein Vater-Pixel hat. Daher ist es notwendig, einen Geschwindigkeitsvektor durch eine Interpolation ausgehend von den Geschwindigkeitsvektoren der benachbarten Pixel zu bestimmen. Der Komparator 34 steuert dann den Multiplexer 35 so, daß er den Wert der Komponenten des interpolierten Geschwindigkeitsvektors s überträgt, der von der Rechenvorrichtung 36 geliefert wird.
Ein Blockschaltbild der Rechenvorrichtung 36 ist in Figur 16 dargestellt. Sie enthält einen Adressengenerator 150, zehn Register 151 bis 154 und 165 bis 168, fünf Komparatoren 156 bis 159, vier Multiplizierer 161 bis 164, zwei Addierer 170 und 171, einen Teilerkreis 172 und einen Multiplexer 173 mit zwei Eingängen und einem Ausgang.
Der Adressengenerator 150 besitzt einen Eingang, der an die Eingangsklemme 60 angeschlossen ist, um die Folge der Koordinaten (IX', IY') jedes Pixels des zu interpolierenden Halbbilds Tj zu empfangen. Weiter besitzt er einen Ausgang, der mit der Ausgangsklemme 58 verbunden ist, um nacheinander vier Koordinatenwerte (IX'',IY'') für jedes zu interpolierende Pixel zu liefern. Jedes Koordinatenpaar (IX'', IY'') entspricht einem Nachbarpixel des zu interpolierenden Pixels auf derselben Spalte oder auf derselben Zeile des Halbbilds und bildet eine Leseadresse, um aus dem Speicher M1 die diesen benachbarten Pixeln zugeordneten Geschwindigkeitsvektoren auszulesen, sofern sie einen zugeordneten Geschwindigkeitsvektor haben, und um aus dem Speicher M2 die Werte der Funktion DFD entsprechend diesen benachbarten Pixeln auszulesen, die angeben, ob es ein Vater-Pixel gibt oder nicht.
Die Register 151 bis 154 besitzen je einen Dateneingang, der mit der Eingangsklemme 56 verbunden ist, um die Werte der Funktion DFD, die aus dem Speicher M2 ausgelesen werden und den vier Nachbarpunkten entsprechen, zu empfangen und zu speichern. Die Register 165 bis 168 besitzen je einen Dateneingang, der an die Eingangsklemme 57 angeschlossen ist, um den Wert der Komponenten der Geschwindigkeitsvektoren zu empfangen, der aus dem Speicher M1 ausgelesen wird und den vier benachbarten Punkten entspricht. Die Register 151 bis 154 besitzen Ausgänge, die an erste Eingänge der Komparatoren 156 bis 159 angeschlossen sind. Die Komparatoren 156 bis 159 besitzen zweite Eingänge, die einen konstanten Wert gleich 255 empfangen. Ihre Ausgänge sind an erste Eingänge der Multiplizierer 161 bis 164 angeschlossen und an je einen von vier Eingängen des Addierers 170. Die Komparatoren 156 bis 159 liefern je ein logisches Signal des Werts 1, wenn der an ihrem ersten Eingang angelegten Wert unter 255 liegt, und einen Wert 0, wenn der an den ersten Eingang angelegte Wert gleich 255 ist. Die Werte dieser logischen Signale werden im Addierer 170 addiert. Der Ausgang des Addierers 170 ist mit einem ersten Eingang des Teilerkreises 172 und mit einem Steuereingang des Multiplexers 173 verbunden.
Die Ausgänge der Register 165 bis 168 sind an zweite Eingänge der Multiplizierer 161 bis 164 angeschlossen. Die Multiplizierer 161 bis 164 multiplizieren die Werte der Komponenten der Geschwindigkeitsvektoren mit den Werten der logischen Signale, die von den Komparatoren 156 bis 159 geliefert werden, und liefern das Ergebnis an Ausgänge, die an vier Eingänge des Addierers 171 angeschlossen sind. Der Ausgang des Addierers 171 ist an einen zweiten Eingang des Teilerkreises 172 angeschlossen. Ein Ausgang des Teilerkreises 172 liefert den Wert der Komponenten eines interpolierten Geschwindigkeitsvektors gemäß der Formel (10). Ein Ausgang des Multiplexers 173 ist an die Ausgangsklemme 59 der Rechenvorrichtung 36 angeschlossen.
Wenn die vom Addierer 170 berechnete Summe nicht 0 ist, dann steuert der Wert, den er an seinem Ausgang liefert, den Multiplexer 173 so, daß dieser den Wert der Komponenten des interpolierten Vektors überträgt. Wenn der Wert der vom Addierer 170 berechneten Summe gleich 0 ist, d. h., wenn die vier benachbarten Pixel kein bestätigtes Vater-Pixel haben, dann steuert der Wert 0, der an den Steuereingang des Multiplexers 173 gelangt, die Übertragung eines Vektors 0, um den Vektor s zu bilden, der von der Rechenvorrichtung 36 geliefert wird.
Die Rechenmittel 49 des zweiten Teils der Ausführungsform, deren Blockschaltbild in Figur 15 gezeigt ist, enthalten zwei Hälften, die parallel die Helligkeitswerte der Basispunkte A und B und den Wert der Funktion DFD für den Geschwindigkeitsvektor t berechnen, der von den Rechenmitteln 5b und für einen Geschwindigkeitsvektor 0 geliefert wird. Diese beiden parallelen Berechnungen erlauben einen Zeitgewinn, wenn sich schließlich herausstellt, daß der Geschwindigkeitsvektor, der von den Rechenmitteln 5b geliefert wird, nicht bestätigt wird, da die entsprechende Information DFD einen Wert größer als den Schwellwert 7 besitzt.
Diese Rechenmittel 49 enthalten eine Rechenvorrichtung 37, zur Berechnung des Vektors für den Geschwindigkeitsvektor t, eine Rechenvorrichtung 38 zur Berechnung eines Vektors PB für den Geschwindigkeitsvektor t, eine Rechenvorrichtung 41 zur Berechnung eines Helligkeitswerts L( , Ta) für den Geschwindigkeitsvektor t, eine Rechenvorrichtung 42 zur Berechnung eines Helligkeitswerts L( , Tb) für den Geschwindigkeitsvektor t, eine Vorrichtung 43 zum Lesen von L( , Ta) an der Adresse (IX',IY') im Speicher MA und eine Vorrichtung 44 zum Lesen L( , Tb) an der Adressen (IX', IY') im Speicher MB, was einem Geschwindigkeitsvektor 0 entspricht, ein Subtrahierglied 45 und Subtrahierglied 46, um den Wert der Funktion DFD für den Geschwindigkeitsvektor t bzw. für einen Geschwindigkeitsvektor 0 zu bestimmen, einen Komparator 48 und einen Multiplexer 47 mit acht Eingängen und vier Ausgängen.
Die Rechenvorrichtung 37 ähnelt der Rechenvorrichtung 6, die oben beschrieben und in Figur 13 dargestellt wurde. Die Rechenvorrichtung 38 ähnelt der Rechenvorrichtung 8, die oben beschrieben und in Figur 13 dargestellt wurde. Die Rechenvorrichtungen 41 und 42 ähneln der Rechenvorrichtung 10 bzw. der Rechenvorrichtung 11, wie sie oben beschrieben und in Figur 13 dargestellt wurden. Die Lesevorrichtungen 43 und 44 sind mit je einem Eingang-Ausgang an dem Bus 9 angeschlossen. Sie haben eine sehr einfache Struktur, die aus Puf ferregistern besteht, welche von durch die Folgeschaltung 4 gelieferten Signalen über nicht dargestellte Verbindungen gesteuert werden.
Die Rechenvorrichtungen 37 und 38 besitzen je einen Eingang, der an den ersten Eingang der Rechenmittel 49 angeschlossen ist, um den Wert der Komponenten des Vektors t zu empfangen. Die Ausgänge der Rechenvorrichtungen 37 und 38 sind mit den Eingängen der Rechenvorrichtung 41 bzw. der Rechenvorrichtung 42 verbunden. Der Ausgang der Vorrichtung 41 ist an einen ersten Eingang des Subtrahierglieds 45 und einen Eingang mit der Bezeichnung a1 des Multiplexers 47 angeschlossen. Der Ausgang der Vorrichtung 42 ist an einen zweiten Eingang des Subtrahierglieds 45 und an einen Eingang mit der Bezeichnung b1 des Multiplexers 47 angeschlossen. Der Ausgang der Vorrichtung 43 ist an einen ersten Eingang des Subtrahierglieds 46 und an einen Eingang mit der Bezeichnung a2 des Multiplexers 47 angeschlossen. Der Ausgang der Vorrichtung 47 ist mit einem ersten Eingang des Subtrahierglieds 46 und mit einem Eingang mit der Bezeichnung b2 des Multiplexers 47 verbunden.
Der Ausgang des Subtrahierglieds 45 ist an einen ersten Eingang des Komparators 48 und an einen Eingang mit der Bezeichnung d1 des Multiplexers 47 angeschlossen. Der Ausgang des Subtrahierglieds 46 ist an einen Eingang mit der Bezeichnung b2 des Multiplexers 47 angeschlossen. Der Multiplexer 47 besitzt weiter einen Eingang mit der Bezeichnung c1, der an dem ersten Eingang der Rechenmittel 49 angeschlossen ist, um den Vektor t zu empfangen, einen Eingang mit der Bezeichnung c2, der einen Geschwindigkeitsvektor 0 empfängt, vier Ausgänge mit den Bezeichnungen a, b, c, d, die einen ersten, zweiten, dritten und vierten Ausgang der Rechenmittel 49 bilden, und einen Steuereingang, der an den Ausgang des Komparators 48 angeschlossen ist.
Das Subtrahierglied 45 berechnet den Wert der Funktion DFD für das zu interpolierende Pixel mit dem Vektor t als zugeordneter Geschwindigkeitsvektor. Der Wert der Funktion DFD wird mit dem Schwellwert 7 im Komparator 48 verglichen. Wenn der Wert der Funktion DFD kleiner oder gleich 7 ist, dann überträgt der Multiplexer 47 die Informationen, die an die Eingänge a1, b1, c1, d1 angelegt werden, auf die Ausgänge a, b, c, d. Wenn der Wert der Funktion DFD entsprechend dem Vektor t größer als der Schwellwert 7 ist, dann wird der Multiplexer 47 so gesteuert, daß er die an den Eingängen a2, b2, c2, d2 anliegenden Informationen an die Ausgänge a, b, c, d überträgt.
Auf diese Weise liefern der erste Ausgang und der zweite Ausgang der Rechenmittel 49 einen Helligkeitswert L( ,Ta) bzw. L( ,Tb) entsprechend dem gewählten Geschwindigkeitsvektor, der dem zu interpolierenden Pixel zugeordnet werden soll. Der zweite und der dritte Ausgang der Rechenmittel 49 liefern den Geschwindigkeitsvektor, der den Vektor V(IX',IY',Ti) bilden soll, der dem zu interpolierenden Pixel zugeordnet ist, bzw. den Wert der Funktion DFD entsprechend diesem zu interpolierenden Pixel (IX',IY',Ti).
Der dritte und der vierte Ausgang der Rechenmittel 49 sind an die Eingangsklemmen 26 bzw. 29 der Rechenmittel 5a angeschlossen zum Einschreiben des zugeordneten Geschwindigkeitsvektors und des Werts der Funktion DFD in die Speicher M1 und M2 an der Adresse, die von den Koordinaten (IX',IY') gebildet werden. Dieser Geschwindigkeitsvektor und dieser Wert der Funktion DFD werden dann im weiteren für die Berechnung der interpolierten Geschwindigkeitsvektoren für vaterlose Pixel verfügbar.
Die Rechenmittel 50 besitzen zwei Eingänge, die an dem ersten bzw. zweiten Ausgang der Rechenmittel 49 angeschlossen sind, um die beiden Helligkeitswerte der Basispunkte A und B entsprechend dem zu interpolierenden Pixel zu empfangen. Die Rechenmittel 50 enthalten zwei Multiplizierer 51 und 52 sowie einen Addierer 53. Der Multiplizierer 51 besitzt einen ersten Eingang, der an dem ersten Ausgang der Mittel 49 angeschlossen ist, einen zweiten Eingang ,der einen konstanten Wert (Tj-Ta)/(Tb-Ta) empfängt, und einen Ausgang, der an einen ersten Eingang des Addierers 53 angeschlossen ist. Der Multiplizierer 52 besitzt einen ersten Eingang, der an den zweiten Ausgang der Mittel 49 angeschlossen ist, einen zweiten Eingang, der einen konstanten Wert = (Tb-Tj)/(Tb-Ta) empfängt, und einen Ausgang, der mit einem zweiten Eingang des Addierers 53 verbunden ist. Der Addierer 53 besitzt einen Ausgang, der an die Ausgangsklemme 51 der zeitlichen Interpolationsvorrichtung angeschlossen ist, um dieser einen interpolierten Helligkeitswert L(IX',IY,Ti) entsprechend dem zu interpolierenden Pixel mit den Koordinaten (IX',IY',Ti) zu liefern, der gemäß der Formel (9) berechnet wurde. Diese Helligkeitswerte können in Echtzeit benutzt werden, sobald sie berechnet wurden, oder aber in einem nicht dargestellten Halbbildspeicher gespeichert werden.
Die Erfindung ist nicht auf die oben beschriebenen Ausführungsbeispiele beschränkt, sondern umfaßt vielmehr zahlreiche Varianten, die im Rahmen des fachmännischen Vorgehens liegen. Insbesondere liegt es im fachmännischen Ermessen, das oben beschriebene Ausführungsbeispiel so zu verändern, daß die oben beschriebenen zweiten und dritten Varianten des Verfahrens realisiert werden.
Die Erfindung ist in Echtzeit insbesondere auf Vorrichtungen zu Normumsetzung von Fernsehhalbbildern und auf die Wiederherstellung von Halbbildern anwendbar, die mit sehr geringem Durchsatz, d.h. mit Unterdrückung einer gewissen Anzahl von Halbbildern übertragen wurden.

Claims

1. Verfahren zur zeitlichen Interpolation von Bildern, um einen interpolierten Helligkeitswert für jedes Pixel eines zu interpolierenden Bildes (Tj) ausgehend von Helligkeitswerten der Pixel eines ersten bekannten Bildes (Ta) und eines zweiten bekannten Bildes (Tb) zu bestimmen, die den Bildzeitpunkten Ta und Tb entsprechen, wobei der Zeitpunkt Tj zwischen Ta und Tb liegt und wobei das Verfahren darin besteht,

- die Werte der Komponenten eines Geschwindigkeitsvektors jedem Pixel (H) des zu interpolierenden Bilds (Tj) zuzuordnen,

- in den beiden bekannten Bildern (Ta, Tb) die Koordinaten von zwei Punkten (A, B) zu bestimmen, die Basispunkte der zeitlichen Interpolation genannt werden, wobei jeder dieser beiden Punkte dem Zentrum (Fj) des zu interpolierenden Pixels (H) nach einer Verschiebung in der Ebene eines der bekannten Bilder (Ta, Tb) entspricht und der Vektor dieser Verschiebung vom Produkt zwischen dem dem zu interpolierenden Pixel (H) zugeordneten Geschwindigkeitsvektor und der Zeitdauer Tj - Ta bzw. Tb - Tj abhängt,

- den Helligkeitswert jedes der beiden Basispunkte (A, B) durch eine räumliche Interpolation zwischen jedem dieser Basispunkte (A, B) benachbarten Pixeln in den beiden bekannten Bildern (Ta bzw. Tb) zu bestimmen,

- einen Helligkeitswert für das zu interpolierende Pixel (H) zu bestimmen, indem eine lineare Kombination der beiden Helligkeitswerte der Basispunkte (A, B), die mit der Zeitdauer Tj - Ta bzw. Tb - Tj gewichtet sind, berechnet wird,

- dadurch gekennzeichnet, daß das Verfahren im Hinblick auf die Zuordnung der Komponenten eines Geschwindigkeitsvektors zu jedem zu interpolierenden Pixel (H) darin besteht,

- durch ein klassisches Verfahren die Komponenten eines Geschwindigkeitsvektors ( ) für jedes Pixel (G) eines einzigen Bilds (Tj) abzuschätzen, das die Bewegung definiert, entsprechend einem Zeitpunkt Ti der zwischen Ta und Tb liegt oder mit einem dieser Zeitpunkte zusammenfällt,

- nacheinander für jedes Pixel (G) des die Bewegung definierenden Bilds (Ti), Vater-Pixel genannt, die Koordinaten des Zentrums (Fj) eines zu interpolierenden Pixels (H) Sohn- Pixel genannt, zu bestimmen, wobei das Sohn-Pixel das Pixel des zu interpolierenden Bilds ist, das einen Punkt (Ej) entsprechend dem Zentrum (Cj) des Vater-Pixels nach einer Verschiebung ist, die durch einen Vektor bestimmt ist, der vom Produkt aus dem Geschwindigkeitsvektor (V) des Vater-Pixels mit der Zeitdauer Ti - Tj abhängt,

- nacheinander jedem zu interpolierenden Pixel (H) einen Geschwindigkeitsvektor zuzuordnen, der aus dem Geschwindigkeitsvektor ( ) seines Vater-Pixels (G) oder eines seiner Vater-Pixel besteht, sofern mindestens ein Vater-Pixel für dieses zu interpolierende Pixel (H) besteht.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zu Bestimmung der Koordinaten des Zentrums (Fj) eines Sohn-Pixels (H) entsprechend einem gegebenen Vater-Pixel (G) das Verfahren darin besteht,

- die Koordinaten eines Punkts (Ej) des zu interpolierenden Bilds (Tj) zu bestimmen, die dem Zentrum (Cj) des Vater-Pixels (G) nach einer Verschiebung entsprechen, deren Vektor gleich dem Geschwindigkeitsvektor des Vater-Pixels multipliziert mit der Zeitdauer Tj - Tj ist,

- dann das Pixel (H) des zu interpolierenden Bilds (Tj) zu bestimmen, dessen Zentrum (Fj) dem so bestimmten Punkt (Ej) am nächsten kommt, sodaß dieses Pixel dann das Sohn-Pixel zu dem gegebenen Vater-Pixel (G) bildet.

3. Verfahren nach Anspruch 1 in Anwendung auf Bilder, die aus Fernsehhalbbildern bestehen, dadurch gekennzeichnet, daß zur Bestimmung der Koordinaten des Zentrums (Fj) eines Sohn-Pixels entsprechend dem Zentrum (Cj) eines gegebenen Vater-Pixels das Verfahren darin besteht,

- die Koordinaten eines Punkts (Ej) des zu interpolierenden Halbbilds (Tj) entsprechend dem Zentrum (Cj) des Vater- Pixels (G) nach einer Verschiebung zu bestimmen, deren Vektor gleich dem Geschwindigkeitsvektor des Vater-Pixels multipliziert mit der Zeitdauer Ti - Tj ist, indem eine der Koordinaten des Punkts (Ej) des zu interpolierenden Bilds entsprechend dem Zentrum (Cj) des Vater-Pixels (G) um einen Wert gleich 0 oder - 0,5 oder +0,5 Pixel verschoben wird, je nach der Parität des das zu interpolierende Bild (Tj) darstellenden Halbbilds und der Parität des Halbbilds, das das die Bewegung definierende Bild (Ti) darstellt,

- dann das Pixel (H) des zu interpolierenden Bilds (Tj) zu bestimmen, dessen Zentrum (Fj) dem so bestimmten Punkt (Ej) am nächsten kommt, sodaß dieses Pixel dann das Sohn-Pixel des gegebenen Vater-Pixels (G) darstellt,

und daß zur Bestimmung der Koordinaten der beiden Basispunkte (A, B) in den beiden bekannten Bildern (Ta, Tb) das Verfahren außerdem darin besteht, eine der Koordinaten dieser beiden Punkte (A, B) um 0 oder - 0,5 oder + 0,5 Pixel, je nach den Paritäten der die beiden bekannten Bilder (Ta, Tb) darstellenden Halbbilder und der Parität des das zu interpolierende Bild (Tj) darstellenden Halbbilds zu verschieben.

4. Verfahren nach einem der Ansprüche 1 bis 3 dadurch gekennzeichnet, daß für jedes zu interpolierende Pixel (H), das mindestens ein Vater-Pixel hat, das Verfahren außerdem darin besteht, den Geschwindigkeitsvektor des Vater-Pixels (G) zu bestätigen, indem der sogenannte DFD-Wert des zu interpolierenden Pixels berechnet wird, der die Differenz der Helligkeiten der beiden Basispunkte (A, B) der zeitlichen Interpolation darstellt, und indem überprüft wird, ob der DFD-Wert unter einem festen Schwellwert liegt,

und daß für den Fall, daß der Geschwindigkeitsvektor keines einzigen Vater-Pixels bestätigt wurde, oder daß das zu interpolierende Pixel kein Vater-Pixel hat, das Verfahren weiter darin besteht,

- dem zu interpolierenden Pixel einen Geschwindigkeitsvektor zuzuordnen, der abhängig von den Geschwindigkeitsvektoren interpoliert wurde, die zu Nachbar-Pixeln des zu interpolierenden Pixel gehören, wenn der DFD-Wert des zu interpolierenden Pixels, der für den interpolierten Geschwindigkeitsvektor berechnet wurde, unter einem festen Schwellwert liegt,

- und ansonsten dem zu interpolierenden Pixel einem Geschwindigkeitsvektor 0 zuzuordnen.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß für den Fall, daß ein zu interpolierendes Pixel (H) mehrere Vater-Pixel (G) besitzt, der diesen zu interpolierenden Pixel zugeordnete Geschwindigkeitsvektor aus dem Geschwindigkeitsvektor des Vater-Pixels gebildet wird, für den der DFD-Wert des zu interpolierenden Pixels am kleinsten ist.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für den Fall, daß ein zu interpolierendes Pixel (H) mehrere Vater-Pixel (G) hat, der diesen zu interpolierenden Pixel zugeordnete Geschwindigkeitsvektor aus dem Geschwindigkeitsvektor des Vater-Pixels gebildet wird, der zuletzt bestimmt worden war.

7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es außerdem darin besteht, für jedes zu interpolierende Pixel (H), das kein Vater-Pixel hat, einem Geschwindigkeitsvektor zuzuordnen, der abhängig von den den Nachbar-Pixeln des zu interpolierenden Pixels zugeordneten Geschwindigkeitsvektoren interpoliert wurde, sofern es Nachbar-Pixel gibt, die einen zugehörigen Geschwindigkeitsvektor besitzen, während ansonsten dem zu interpolierenden Pixel ein Geschwindigkeitsvektor 0 zugeordnet wird.

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es außerdem darin besteht, jedem zu interpolierenden Pixel (H), das kein Vater-Pixel (G) hat, einen Geschwindigkeitsvektor 0 zuzuordnen.

9. Vorrichtung zur zeitlichen Bildinterpolation und zur Durchführung des Verfahrens gemäß Anspruch 1, die eine Folge von Helligkeitswerten zugeführt bekommt, die die Pixel eines ersten bekannten Bilds (Ta), das zu einem Zeitpunkt Ta aufgenommen wurde, und die Pixel eines zweiten bekannten Bilds (Tb) darstellen, das zu einem Zeitpunkt Tb aufgenommen wurde, wobei die Vorrichtung weiter eine Folge von Werten zugeführt erhält, die die Komponenten des Geschwindigkeitsvektors der Pixel eines dritten Bilds (Ti) darstellen, das die Bewegung definierendes Bild genannt wird und einem Zeitpunkt Ti entspricht, der zwischen Ta und Tb liegt oder mit einem dieser Zeitpunkte zusammenfällt, und wobei die Vorrichtung eine Folge von interpolierten Helligkeitswerten liefert, die die Helligkeit der Pixel eines zu interpolierenden Bilds (Tj) entsprechend einem zwischen Ta und Tb liegenden Zeitpunkt Tj darstellen, dadurch gekennzeichnet, daß die Vorrichtung enthält:

- einen ersten Speicher (MA) und einen zweiten Speicher (MB), um die Helligkeitswerte des ersten bekannten Bilds (Ta) bzw. des zweiten bekannten Bilds (Tb) zu speichern,

- erste Rechenmittel (7), um für jedes Pixel des die Bewegung definierenden Bilds (Ti), Vater-Pixel (G) genannt, die Koordinaten des Zentrums (Fj) eines Pixels zu berechnen, das Sohn-Pixel (H) genannt wird, sich in dem zu interpolierenden Bild (Tj) befindet und dessen Zentrum (Fj) dem Zentrum (Cj) des Vater-Pixels nach einer Verschiebung entspricht, deren Vektor vom Produkt aüs dem Geschwindigkeitsvektor (V) des Vater-Pixels und der Dauer Ti - Tj abhängt,

- zweite Rechenmittel (5a, 5b), um jedem Pixel (H) des zu interpolierenden Bilds (Tj) einen Geschwindigkeitsvektor zuzuordnen, der der Geschwindigkeitsvektor seines Vater-Pixels (G) oder eines seiner Vater-Pixel ist, sofern mindestens eines existiert,

- dritte Mittel (49) zur Berechnung der Koordinaten von zwei Basispunkten (A, B) der zeitlichen interpolation in den beiden bekannten Bildern (Ta, Tb) zu berechnen, wobei jeder dieser beiden Punkte (A, B) dem Zentrum des zu interpolierenden Pixels (H) nach einer Verschiebung entspricht, deren Vektor vom Produkt aus dem dem zu interpolierenden Pixel zugeordneten Geschwindigkeitsvektor mit der Zeitdauer Tj - Ta bzw. Tb - Tj entspricht,

- und vierte Rechenmittel (50) zur Berechnung der Helligkeitswerte der beiden Basispunkte (A, B) und zur Ableitung eines Helligkeitswerts für das zu interpolierende Pixel (H), indem eine lineare Kombination von zwei Helligkeitswerten der beiden Basispunkte berechnet wird, die durch die Zeitdauer Tj - Ta bzw. Tb - Tj gewichtet sind.

10. Vorrichtung nach Anspruch 9 zur Durchführung des Verfahrens nach Anspruch 2, dadurch gekennzeichnet, daß die ersten Rechenmittel (7) aufweisen:

- einen Multiplizierer (71) zur Berechnung eines Vektors, indem der Geschwindigkeitsvektor des Vater-Pixels (G) mit der Zeitdauer Ti - Tj multipliziert wird,

- ein Subtrahierglied (72), um von dem im Multiplizierer (71) berechneten Vektor einen Vektor abzuziehen, dessen Komponenten die Koordinaten (IX, IY) des Zentrums (Cj) des Vater-Pixels (G) sind,

- eine Vorrichtung (74) zur Berechnung des nächstliegenden ganzzahligen Werts jeder der Komponenten des im Subtrahierglied (72) berechneten Vektors, wobei jede dieser Komponenten eine Koordinate des Zentrums (Fj) des Sohn-Pixels (H) bildet.

11. Vorrichtung nach Anspruch 10 zur Durchführung des Verfahrens nach Anspruch 3, dadurch gekennzeichnet, daß es außerdem eine Vorrichtung (73) zur Halbbildparitätskorrektur aufweist, um einen Korrekturvektor zum durch das Subtrahierglied (72) berechneten Vektor zu addieren, wobei diese Korrekturvorrichtung zwischen das Subtrahierglied (72) und die Vorrichtung (74) zur Berechnung des nächstliegenden ganzzahligen Werts jeder Komponente eingefügt ist und wobei die Korrekturvorrichtung (73) abhängig von der Parität der Halbbilder entsprechend den Zeitpunkten Ti und Tj gesteuert wird.

12. Vorrichtung nach Anspruch 9 zur Durchführung des Verfahrens nach Anspruch 4, dadurch gekennzeichnet, daß die zweiten Rechenmittel (5a, 5b) aufweisen:

- zwei erste Rechenvorrichtungen (6, 8) zur Berechnung der Koordinaten von zwei Basispunkten (A, B) der zeitlichen Interpolation in den beiden bekannten Bildern (Ta bzw. Tb) ausgehend von den Koordinaten des zu interpolierenden Pixels (H) nach einer Verschiebung, die vom Geschwindigkeitsvektor eines Vater-Pixels (G) zum zu interpolierenden Pixel, falls mindestens ein Vater-Pixel existiert, sowie von der Zeitdauer Tj - Ta bzw. Tb - Tj abhängt,

- zwei zweite Rechenvorrichtungen (10, 11), um die Helligkeitswerte der beiden Basispunkte (A, B) über eine räumliche Interpolation in den beiden bekannten Bildern (Ta bzw. Tb) zu berechnen,

- ein Subtrahierglied (14), um den Absolutwert, DFD genannt, der Differenz der beiden durch die zweiten Rechenvorrichtungen (10, 11) berechneten Helligkeitswerte für das zu interpolierende pixel zu berechnen,

- einen ersten Komparator (16), um den Wert von DFD mit einem vorgegebenen Schwellwert zu vergleichen und den Geschwindigkeitsvektor des betrachteten Vater-Pixels zu bestätigen, wenn der Wert von DFD unter dem schwellwert liegt,

- einen ersten Speicher (M1), um für jedes zu interpolierende Pixel einen zugeordneten Geschwindigkeitsvektor zu speichern,

- Rechenmittel (5b), um einem zu interpolierenden Pixel einen interpolierten Geschwindigkeitsvektor ausgehend von benachbarten Pixeln zugeordneten Geschwindigkeitsvektoren zuzuweisen, wobei letztere Gsechwindigkeitsvektoren aus dem ersten Speicher (M1) ausgelesen werden, wenn das zu interpolierende Pixel kein Vater-Pixel mit einem bestätigten Geschwindigkeitsvektor besitzt.

13. Vorrichtung nach Anspruch 12 zur Durchführung des Verfahrens nach Anspruch 5 dadurch gekennzeichnet, daß die zweiten Rechenmittel (5a, 5b) außerdem enthalten:

- einen zweiten Speicher (M2) zum Speichern des Werts von DFD für jedes zu interpolierende Pixel,

- einen zweiten Komparator (15), um jeden Wert von DFD, der für ein zu interpolierendes Pixel berechnet wurde, mit einem vorher für dasselbe zu interpolierende Pixel gespeicherten Wert von DFD zu vergleichen,

- Mittel (4, 18), um in den ersten Speicher (M1) den Geschwindigkeitsvektor eines Vater-Pixels (G) für ein zu interpolierendes Pixel (H) einzuschreiben, wenn der Wert von DFD, der für diesen Geschwindigkeitsvektor berechnet wurde, unter dem im zweiten Speicher (M2) an der diesem zu interpolierenden Pixel (H) entsprechenden Adresse gespeicherten Wert liegt,

- Mittel (4, 17), um in den zweiten Speicher (M2) den Wert von DFD, der für diesen Geschwindigkeitsvektor berechnet wurde, an der dem zu interpolierenden Pixel (H) entsprechenden Adresse einzuschreiben.