DE69218577T2 - Verfahren zur kantenadaptiven Interpolation eines Fernsehbildes - Google Patents

Description

• Die Erfindung bezieht sich auf ein Verfahren, bei dem eine neue Zeile zwischen den Zeilen in einem abgetasteten Fernsehbild unter Verwendung einer Kantendetektion, die die Kantenrichtung detektiert, interpoliert wird.
• Ein empfangenes Fernsehbild umfaßt bekanntermaßen zwei Halbbilder, die auf dem Fernsehbildschirm so abgetastet werden, daß sie verschachtelt sind, d. h. zuerst werden die ungeraden Halbbildzeilen abgetastet und anschließend werden zwischen diesen die geraden Halbbildzeilen abgetastet. Die verschachtelte Abtastung in Verbindung mit einer niedrigen Halbbildfrequenz (50 Hz oder 60 Hz) erzeugt sichtbare Unannehmlichkeiten, wie z. B. ein Flimmern zwischen den Zeilen, eine Zeilenverschiebung und ein Flimmern in großen Bildbereichen. Es wurden verschiedene Verfahren entwickelt, um das Zeilenflimmern und das Weiß-Halbbildflimmern zu reduzieren und das Bild auf andere Weise zu verbessern, so daß das empfangene Bild durch Erhöhen der Abtastfrequenz mittels Signalverarbeitungseinrichtungen verbessert wird. In den folgenden Beispielen wird ein System mit 50 Hz Halbbildfrequenz verwendet, jedoch ist das Prinzip in einem 60 Hz-System dasselbe. Es ist somit möglich, ein ursprüngliches Bild mit dem Format 625/2:1/50 Hz in ein progressiv angezeigtes Bild mit dem Format 625/1:1/50 Hz umzusetzen. Das unverschachtelte Bild umfaßt dann die ursprünglichen und die interpolierten Zeilen. Die Halbbildfrequenz, die nun gleich der Bildfrequenz ist, bleibt dieselbe, jedoch wird die Zeilenfrequenz verdoppelt. Jedes Halbbild enthält daher abwechselnd ursprüngliche Zeilen und interpolierte Zeilen. Es ist ferner möglich, ein Bild zu erzeugen, bei dem die Anzahl der Zeilen gegenüber dem empfangenen Bild verdoppelt wird. Die interpolierten Zeilen werden abwechselnd mit den ursprünglichen Zeilen angezeigt. Das Bild umfaßt dann zwei verschachtelte abgetastete Halbbilder von jeweils 625 Zeilen, so daß sich das Format 1250/2:1/50 Hz ergibt. Die Halbbildfrequenz ist dieselbe wie beim ursprünglichen Bild, jedoch wird die Zeilenfrequenz verdoppelt. Als dritte Alternative kann ein Bild erzeugt werden, bei dem jedes zweite Halbbild ein ursprüngliches Halbbild ist und jedes zweite Halbbild vollständig interpoliert ist. Die ursprünglichen und die interpolierten Halbbilder werden mit einer Frequenz von 100 Hz angezeigt, so daß zwischen zwei sequentiell empfangenen Halbbildern zwei neue Halbbilder interpoliert werden. Dieser Fall wird beschrieben durch AB'A'B, wobei A' und B' die vollständig interpolierten Halbbilder darstellen. Das neue Bild besitzt dann das Format 1250/2:1/100 Hz, so daß sowohl die Halbbildfrequenz als auch die Zeilenfrequenz verdoppelt werden. Es gibt auch andere Einrichtungen zum Verbessern des empfangenen Bildes, jedoch besitzen die obenbeschriebenen Verfahren das gemeinsame Merkmal, daß mit Hilfe alter Zeilen neue Zeile erzeugt werden müssen, wobei ein geeigneter Interpolationsalgorithmus verwendet wird.
• Es wurden verschiedene Verfahren entwickelt, um neue Zeilen zu erzeugen, indem deren Bildelemente mit Hilfe der Bildelemente im selben und/oder im vorangegangenen Halbbild interpoliert werden. Das einfachste Verfahren ist, die Zeile zu wiederholen, so daß die Zeile genau der vorangegangenen ursprünglichen Zeile entspricht. Dies wird in den bewegten Bereichen des Bildes geeignet eingesetzt, wenn sich in der Fläche keine interessierenden diagonalen oder horizontalen Kanten befinden. Wenn Kanten vorhanden sind, verursachen diese ein Kantenflimmern und eine gezackte Anzeige diagonaler Kanten. Ein weiteres Verfahren ist, die Bildelemente der neuen Zeile als Mittelwerte der Bildelemente an der entsprechenden Position der vorangegangenen und der nächsten Zeile zu erzeugen. Dieses Verfahren ist einfach, verursacht in der zweidimensionalen Bildverarbeitung jedoch unscharfe Kanten und ebenfalls eine sichtbare Zackung von Kanten, insbesondere in stationären Bildbereichen. Ein drittes Verfahren ist, das Halbbild zu verschieben, wobei ein vollständiges neues Halbbild dasselbe ist wie das vorangegangene Halbbild, d. h. die Zeilen des Halbbildes sind Kopien der Zeilen des vorangegangenen Halbbildes. Dieses Verfahren ist nur in unbewegten Bereichen des Bildes brauchbar.
• Die drei obenerwähnten Verfahren stellen Verfahren dar, die feste Algorithmen verwenden. Mit Ausnahme des zuletzt erwähnten Verfahrens erfordern sie sehr wenig Speicher, wobei die Algorithmen einfach sind. Signalprozessoren machen es jedoch. möglich, effektivere Verfahren zu verwenden, die Medianoperationen nutzen, wodurch die Interpolationsalgorithmen selbsttätig adaptiv gemacht werden können. Bei der Medianoperation werden die Eingangssignale, die die Bildelemente darstellen, oder die Abtastwerte, die durch deren Verarbeitung erhalten werden, entsprechend ihrer Größe geordnet, wobei der Ausgangswert der Operation der Medianwert der Eingangswerte ist. Einige der Eingangswerte können gewichtet sein, wobei die Medianoperation ferner lineare Teilstrukturen enthalten kann. Die Medianoperation kann Bildelemente aus der Nachbarschaft des interpolierten Bildelements sowohl vom selben Halbbild als auch vom vorangegangenen Halbbild abdecken. Ein einfacher Drei-Punkt-Interpolierer ist eine Medianoperation, bei der die Eingangssignale die bekannten Punkte oberhalb und unterhalb des interpolierten Punktes sowie der Punkt auf der vorangegangenen Zeile sind, der dem interpolierten Punkt entspricht. Dieser Interpolierer neigt dazu, die räumlichen und zeitlichen Inhalte des Bildes beizubehalten, jedoch werden diagonale Linien als gezackte Linien angezeigt, da die räumliche Interpolation auf die Vertikalrichtung beschränkt ist. Um die Einschränkungen des Drei-Punkt-Interpolierers zu beseitigen, wurden komplexere Filterstrukturen entwikkelt, wie z. B. das Sieben-Punkt-Medianfilter, bei dem einige Eingangswerte gewichtete Werte sein können. Filter dieses Typs sind jedoch eingeschränkt, da sie nicht fähig sind, Linien mit einer Breite von nur einem halben Bildelement wiederzugeben, was zu einer Faltung in den Bildbereichen führt, die hohe Frequenzen enthalten. Außerdem tritt eine Zackung der Kantenlinien auf, wobei insbesondere dann, wenn gewichtete Faktoren verwendet werden, in Bildbereichen mit hohen vertikalen Frequenzen ein Flimmern auftritt. Andererseits erhält der Sieben-Punkt- Median stufenähnliche Kanten und Kanten, die von zwei abwärtsgeneigten Linien ("Dach"-Form) gebildet werden, sehr gut.
• Die adaptiven Verfahren bilden die dritte Gruppe von Interpolationsverfahren. Ihre Grundidee ist, den Algorithmus in Abhängigkeit vom Bewegungsgehalt des Bildes auszuwählen. Somit wird für Bildbereiche, die Bewegung enthalten, eine räumliche Interpolation verwendet, während für stationäre Bereiche eine zeitliche Interpolation verwendet wird. In Bereichen, die Bewegung enthalten, soll ferner eine gute Wiedergabe der Kanten erreicht werden. Die Schwierigkeit bei diesem Verfahren liegt insbesondere darin, wie eine zuverlässige Erkennung von Bewegung und deren Richtung erreicht wird und wie eine Kante und deren Richtung erkannt werden.
• Ferner ist ein Interpolationsverfahren ALFRED (Adaptive Line Flicker Reduction) bekannt, das in der europäischen Patentanmeldung EP 0192292 beschrieben ist. Es verwendet zwei verschiedene Interpolationsalgorithmen: einen Algorithmus einer Linearoperation (Mittelung) und einen auf der Grundlage einer Medianoperation (Drei-Punkt-Median). Der Grund für die Verwendung zweier Interpolierer ist, daß ein Drei-Punkt-Medianfilter bei der Frequenz 1/3 fg eine Nullantwort und bei der Frequenz 1/2 fg eine Phasenverschiebung von 180º aufweist. Es ist daher ratsam, bei diesen Frequenzen die Verwendung eines Medianfilters für die Filterung zu vermeiden und statt dessen eine Linearinterpolation zu verwenden. Das ALFRED-Verfahren besitzt einen adaptiven Steuerblock, der die spektrale Energie der Signalkomponenten untersucht. Wenn die Energie eine bestimmte Grenze überschreitet, leitet der Maskierungsblock die Interpolation allmählich von der Medianfilterung zur Linearinterpolation über, wobei dann, wenn die Energie erneut unter die Grenze fällt, die Interpolation wieder allmählich zur Medianoperation übergeleitet wird.
• Der Vorteil aller obenerwähnten bekannten Verfahren liegt darin, daß sie offensichtlich einfach sind. Ferner ist allen gemeinsam, daß sie in keiner Weise die Richtung der Kanten im Bild untersuchen, so daß deutlich zu sehen ist, wie gerade Kanten in gezackte Linien umgesetzt werden. Bei einigen Verfahren, insbesondere bei der Drei-Punkt- Medianoperation, kann eine gerade Linie unterbrochen werden. Zackungen, Linienunterbrechungen und Unschärfen der Kantenbereiche hängen sehr stark von der Richtung des Kantenbereichs und ferner vom Bewegungsgehalt des Bildes ab. Um diese ungünstigen Auswirkungen zu reduzieren, sollte ein Verfahren entwickelt werden, das die Richtung einer Kante untersucht und, falls diese gefunden wird, auf der Grundlage der Kanteninformationen den Interpolationsalgorithmus auswählt. T. Doyle u. a. haben ein solches Verfahren vorgestellt, das einen richtungsabhängigen Medianfilter DDMF verwendet (T. Doyle, M. Looymans, "Progressive Scan Conversion Using Edge Information", Proceedings of the Third International Workshop on Signal Processing for HDTV, Turin, Italien, 1989). Fig. 1 zeigt das Operationsfenster dieses Filters. Die Abtastwerte A, B und C sind bekannte benachbarte Abtastwerte in der Zeile n-1, während die Abtastwerte A', B' und C' bekannte benachbarte Abtastwerte an denselben Vertikalpositionen in der nächsten Zeile desselben Halbbildes sind. Die Kante wird hierbei auf der Grundlage von Korrelationsmessungen ermittelt, in welchen die absoluten Differenzen D1, D2 und D3 der zwei entsprechenden Abtastwerte berechnet werden, die definiert sind durch: D1 = A - C'; D2 = B - B' und D3 = C - A'. Die Dimension {D1,D2,D3} = MAX{D1,D2,D3} - MIN{D1,D2,D3} wird als Meßwert der Korrelation verwendet. Wenn die Dimension klein ist, liegen die Antworten in unterschiedlichen Richtungen nahe beieinander, was eine klar erkennbare Kante anzeigt. Wenn die Dimension groß ist, dann wird angenommen, daß die Korrelation in der Richtung der Kante stark ist und in den anderen Richtungen schwach ist, wobei die Richtung der Kante aus den absoluten Differenzen abgeleitet werden kann. In Fig. 1 zeigen die Pfeillinien die Bildelemente, deren Differenz berechnet wird. Bei diesem Verfahren ist die Untersuchung auf Kanten mit den Richtungen von 45º, 90º und 135º beschränkt, um die Komplexität der Ausrüstung zu vereinfachen. Die Schwäche dieses Verfahrens liegt darin, daß es nicht fähig ist, auf einem gleichmäßigen Hintergrund eine Linie mit der Breite von einem Bildelement zu erkennen. Es interpoliert nur dann korrekt, wenn eine solche Linie vertikal ausgerichtet ist; in allen anderen Fällen wird die Linie unterbrochen, da die Interpolation Bildelemente des Hintergrunds einschließt. Eine falsche Interpolation erscheint als Flimmern.
• Die europäische Patentanmeldung EP-A-0 396 229 offenbart ein Verfahren und eine Vorrichtung zum räumlichen Interpolieren zwischen den Zeilen eines Videosignals durch: horizontales Interpolieren zwischen den Abtastwerten des Videosignals, um ein überabgetastetes Signal zu erzeugen; Ermitteln des Ausmaßes der Übereinstimmung zwischen zwei Blöcken von Abtastwerten des überabgetasteten Signals für jeden Abtastwert des überabgetasteten Signals; Auswählen des Gradientenvektors für jeden Abtastwert der zu interpolierenden Zeile, der dem horizontalen Versatz zugeordnet ist, der das größte Ausmaß der Übereinstimmung zwischen den zwei Blöcken erzeugt; sowie räumliches Interpolieren zwischen den Abtastwerten des Videosignals, um die Abtastwerte der interpolierten Zeile zu erzeugen, wobei die Richtung der Interpolation des räumlichen Interpolierers in Abhängigkeit vom ausgewählten Gradientenvektor gesteuert wird.
• Diese Erfindung beschreibt ein adaptives Verfahren zum Interpolieren eines neuen Bildelements, wobei das Verfahren keinen der obenerwähnten Nachteile aufweist. Es ist eine Aufgabe der Erfindung, für das Verfahren eine im wesentlichen korrekte Kantendetektion zu entwickeln, die dem Interpolationsalgorithmus zugrunde liegt.
• Die Kantendetektion ist bei der Erkennung eines Objekts wesentlich. Erstens, wenn das menschliche Auge auf ein unbekanntes Objekt liegt, untersucht es zuerst die Konturen. Zweitens wird eine Formanalyse und Erkennung durchgeführt, nachdem die Konturen identifiziert sind. Drittens enthalten viele Bilder keine konkreten Objekte, wobei die Wahrnehmung dieser Bilder von deren Struktureigenschaften abhängt, die mit der Kantendetektion eng verbunden ist. Es kann daher gesagt werden, daß die Kantendetektion möglicherweise der wichtigste Teil der Bildanalyse ist. Wenn wir ein Objekt betrachten, schauen wir zuerst auf dessen Kanten und Ecken sowie auf deren Zackung und Schärfe. Es ist daher wichtig, die lokalen Bildinhalte zu erkennen und in Abhängigkeit von diesen zu interpolieren. Fig. 2 zeigt einen Satz typischer Kantenformen: Fig. 2a zeigt zwei Formen von Stufenkanten, Fig. 2b zeigt drei Formen von Dachkanten und Fig. 2c zeigt drei Formen von Linienkanten (Zahnkanten). Das Verfahren muß fähig sein, die Richtung von Kanten dieser Typen zu erkennen. Das Verfahren der Erfindung verwendet dasselbe Grundprinzip wie das obenbeschriebene DDMF- Filter, bei dem die Parameter aus den Bildelementen des Abtastfensters berechnet werden, die unterschiedliche Horizontalpositionen besitzen. Das Verfahren ist insbesondere vorgesehen für die Untersuchung der Bildbereiche, die Bewegung enthalten, weshalb nur eines der verschachtelten ursprünglichen Halbbilder für die Interpolation verwendet werden kann. Das zweite ursprüngliche Halbbild ist nutzlos, wobei anschließend mittels Interpolation ein neues Halbbild erzeugt wird. Die Zeilen des neuen Halbbildes können progressiv zwischen den Zeilen des ersten ursprünglichen Halbbildes angezeigt werden, wodurch das Verfahren für die Beseitigung der Verschachtelung gut geeignet ist. Somit wird bei diesem Verfahren die richtige Interpolationsrichtung gefunden und anschließend in Abhängigkeit von dieser der Interpolierer ausgewählt. Um die richtige Interpolationsrichtung zu finden, muß die richtige Kanteninformation in der Nachbarschaft des interpolierten Bildelements erhalten werden.
• Das Verfahren ist im Anspruch 1 definiert, während die Anordnung im Anspruch 5 definiert ist.
• Das Verfahren verwendet eine 6 3-Kantendetektionsmaske, die bei der Berechnung der Kantenschätzwerte in der Nachbarschaft des interpolierten Bildelements verwendet wird. Die Kantendetektionsmaske wird in vertikalen und horizontalen Richtungen bewegt, so daß die Kantendetektionsschätzwerte, die für jede Position der Maske berechnet werden, eine 5 3-Maske um das interpolierte Bildelement bilden. Die endgültige Interpolationsrichtung wird aus der geschätzten Maske in Abhängigkeit von der Richtung ermittelt, die die maximale Anzahl von Minimalrichtungen in der geschätzten Maske besitzt. Es wurde überraschend festgestellt, daß die bestmögliche Kantendetektion erreicht wird, wobei im Gegensatz zu den bekannten Verfahren keine Linienunterbrechungen im endgültig angezeigten Bild auftreten, das Zeilen enthält, die in Abhängigkeit von der Kantendetektionsinformation interpoliert werden, wenn das Abtastfenster der Kantendetektionsmaske entsprechend der Erfindung ausgewählt wird, und wenn die Kantendetektionsschätzwerte in der vorliegenden Weise berechnet werden. Das Verfahren, das sowohl bewegungsadaptiv als auch kantenadaptiv ist, verwendet für die Interpolation die lokalen Bildinhalte, d. h. die Zeilen oberhalb und unterhalb der interpolierten Zeile. Die Interpolation ist insofern zeitlich, als sie auch eine Zeile des vorangegangenen Halbbildes verwendet. Die Kantendetektion beruht auf der Addition der absoluten Differenzsignale, die in einem 6 3-Fenster berechnet worden sind, und auf der abwechselnden Größenordnung ihrer Antwortsignale. Es ist möglich, Kanten in neun Richtungen zu erkennen, nämlich 26, 35, 45, 64, 90, 116, 135, 146 und 154 Grad (für quadratische Bildelemente). Die Kantendetektion nutzt die Tatsache, daß dann, wenn ein Fenster eine Kante enthält, die Differenz zwischen zwei Bildelementen in der Richtung der Kante sehr klein ist und dementsprechend in der Richtung quer zur Kante sehr groß ist. Mit anderen Worten, die Minimalantwort wird mit hoher Wahrscheinlichkeit in der Richtung der Kante erhalten. Selbst wenn die Interpolation Zeilen oberhalb und unterhalb des interpolierten Bildelements verwendet, verwendet die Bestimmung der Interpolationsrichtung die Bildelemente, die in zwei vorangegangenen Zeilen und zwei nachfolgenden Zeilen angeordnet sind, so daß eine große Anzahl von Bildelementen, insgesamt 40 Bildelemente, bei der Auswahl der Kanteninformationen verwendet wird. Dies schafft eine sehr hohe Wahrscheinlichkeit für eine richtige Kanteninformation.
• Die Erfindung wird mit Hilfe der folgenden schematischen Zeichnungen genauer beschrieben, in welchen:
• Fig. 1 das Filterfenster zeigt, das in einem bekannten Kantendetektionsverfahren verwendet wird;
• Fig. 2 einige Formen einer Grundform einer Kante zeigt;
• Fig. 3 das Abtastfenster zeigt, das bei der Berechnung der Kantendetektionsschätzwerte verwendet wird;
• Fig. 4 eine dreidimensionale Darstellung der interpolierten Zeilen und deren Umgebung ist;
• Fig. 5a-5i Bildelemente zeigen, die in der Filterfensterberechnung enthalten sind;
• Fig. 6 die 5 3-Maske zeigt, die von den Kantendetektionsschätzwerten gebildet wird;
• Fig. 7 eine grundlegende Darstellung der Kantendetektionsmaskenbewegung für die Berechnung der benötigten Kantendetektionsschätzwerte ist;
• Fig. 8 eine Schaltkreisanordnung zeigt, die die Kantentransmissionsschätzwerte erzeugt;
• Fig. 9 die Interpoliereranordnung zeigt, die verwendet wird, um das interpolierte Bildelement zu berechnen;
• Fig. 10 die Speicher zeigt, die bei der Kantendetektion und bei der Interpolation benötigt werden; und
• Fig. 11 Speicher zeigt, die benötigt werden, um die Konsistenz der Kanteninformationen zu überprüfen.
• Die Inhalte der Fig. 1 und 2 sind oben in Verbindung mit der Beschreibung des Standes der Technik bereits beschrieben worden. Fig. 6 zeigt die 5 3-Maske, die von den Kantendetektionsschätzwerten gebildet wird. Die Schätzwerte sind mit em1...em15 bezeichnet, wobei 15 Schätzwerte vorhanden sind. Es wird angenommen, daß diese Maske so positioniert wird, daß der interpolierte Punkt auf dem Kanteninformationsschätzwert em8 liegt. Die Kanteninformationsschätzwerte em1...em15 werden mit Hilfe der Bildelemente in den ursprünglichen Zeilen unter Verwendung des in Fig. 3 dargestellten 3 6-Filterfensters berechnet. Die Interpolation entsprechend der Kanteninformationsmaskenschätzwerte wird später beschrieben. Zuerst wird beschrieben, wie die Schätzwerte unter Verwendung des in Fig. 3 gezeigten Fensters erzeugt werden. Zu diesem Zweck wird zuerst auf Fig. 7 Bezug genommen. Diese zeigt einen bestimmten Bildbereich, in dem die Bildelemente 1-10 der Zeile m - 3, die Bildelemente 11-20 der Zeile m - 1, die Bildelemente 21-30 der Zeile m + 1 sowie die Bildelemente 31-40 der Zeile m + 3 die Bildelemente von aufeinanderfolgenden Zeilen im selben Halbbild darstellen. Zwischen diesen Zeilen müssen die neuen Zeilen m - 2, m und m + 2 interpoliert werden. Im folgenden wird der Fall untersucht, in dem ein Bildelement zwischen dem Bildelement 15 (Zeile m - 1) und dem Bildelement 25 (Zeile m + 1) interpoliert werden soll. Zu diesem Zweck werden die obenerwähnten Kantendetektionsschätzwerte e1...e15 berechnet. Bei der Berechnung des Schätzwerts em1 befindet sich das für diese Berechnung verwendete 3 6-Fenster in einer Position, die durch das obere Rechteck dargestellt ist.
• Wenn em1 berechnet worden ist, wird das Fenster um ein Bildelement nach rechts bewegt, woraufhin der Schätzwert em2 berechnet wird. Dies wird fortgesetzt, bis nach der Berechnung des Schätzwerts em5 das Fenster nach links und nach unten bewegt wird, so daß die Bildelemente der Zeilen m - 1 und m + 1 innerhalb des Fensters liegen. Nun wird das Fenster nach rechts bewegt, wobei die Schätzwerte em6...em11 berechnet werden. In entsprechender Weise wird das Fenster nach unten bewegt, um die Schätzwerte em11...em15 zu berechnen. Wenn der letzte Schätzwert em15 berechnet worden ist, befindet sich das Fenster in der Position, die durch das untere Rechteck dargestellt ist.
• Das bei der Berechnung der jeweiligen Schätzwerte verwendete und in Fig. 3 gezeigte Fenster umfaßt sechs benachbarte Bildelemente r1, r2, r3, r4, r5 und r6 in der Zeile m - 1 und in ähnlicher Weise sechs Bildelemente r7, r8, r9, r10, r11 und r12 in der Zeile m + 1 desselben Halbbildes t. Mit Hilfe der Bildelemente dieser Zeilen soll der Wert des Kantenschätzwerts berechnet werden, der mit einem Fragezeichen markiert ist. Hierbei ist das ursprüngliche Bild orthogonal abgetastet dargestellt, jedoch kann auch ein beliebiges anderes Abtastmuster verwendet werden. Das in Fig. 4 gezeigte Koordinatensystem zeigt deutlich die bei der Interpolation verwendeten Zeilen von Bildelementen und die zu interpolierende Zeile. Die Fig. 5a bis 5i zeigen mögliche Kantenlinienrichtungen und im jeweiligen Fall die in die Berechnung einzuschließenden Bildelementpaare. In Fig. 5a wird untersucht, ob die Linie einen Winkel von 90º aufweist, während in den Figuren b, d, f und h untersucht wird, ob die Linie in den Richtungen 116, 135, 146 und 154 Grad nach links geneigt ist, und in den Figuren c, e, g und i untersucht wird, ob die Linie in den Richtungen 26, 34, 45 und 64 Grad nach rechts geneigt ist. Diese neun Fälle werden in drei zu untersuchende Gruppen unterteilt: die mittlere Gruppe Rk, die die untersuchten Richtungen 64, 90 und 116 Grad (Figuren a, b und c) umfaßt; die rechte Gruppe Ro, die die untersuchten Richtungen 26, 34 und 45 Grad (Figuren e, g und i) umfaßt; sowie die linke Gruppe Rv, die die untersuchten Richtungen 135, 146 und 154 Grad (Figuren d, f und h) umfaßt. Jede mögliche Kantenrichtung wird untersucht, indem vier Bildelemente verwendet werden und die Summe der Absolutwerte der Differenzen der Bildelemente berechnet werden. In Fig. 5 sind die Bildelementpaarorte durch die Spitzen der durchgezogenen Linienpfeile gezeigt. Zuerst werden die Antworten für jede Kantenrichtung wie folgt berechnet:
Mittlere Gruppe Rk:
• Vertikal = r3 - r9 + r4 - r10
• rechts1 = r3 - r8 + r4 - r9
• links1 = r2 - r9 + r3 - r10
Linke Gruppe Rv:
• links2 = r2 - r10 + r3 - r11
• links3 = r1 - r10 + r2 - r11 (1)
• links4 = r1 - r11 + r2 - r12
Rechte Gruppe Ro:
• rechts2 = r4 - r8 + r5 - r9
• rechts3 = r4 - r7 + r5 - r8
• rechts4 = r5 - r7 + r6 - r8
• Im folgenden wird die Berechnung der Kanteninformationsschätzwerte mit Bezug auf die Fig. 3 und 8 beschrieben. Die Antworten für die jeweiligen Richtungen werden in den Berechnungsblöcken 1 bis 9 berechnet, wobei die mittels der Formeln (1) erhaltenen Bildelementwerte als Eingangswerte für jeden Block (links1...links4; vertikal; rechts1...rechts4) verwendet werden. Wenn die Antworten für alle neun Richtungen berechnet worden sind, werden sie in der Reihenfolge ihrer Größe angeordnet, oder es werden die maximalen und minimalen Antworten derselben gefunden, oder es wird nur die minimale Antwort gefunden. Im Organisationsblock 81 werden die Antworten der Gruppe Rv organisiert, während im Block 82 die Antworten der Gruppe Rk organisiert werden und im Block 83 die Antworten der Gruppe Ro organisiert werden. Wenn die minimale Antwort jeder Gruppe gefunden ist, wird deren Richtung im Speicher 84 gespeichert. Die Größe des minimalen Antwortwerts und möglicherweise auch der maximale Antwortwert, der in jedem der Blöcke 81, 82 und 83 organisiert worden ist, werden dem dritten Organisationsblock 84 zugeführt, der anschließend den niedrigsten Wert der in den Blöcken 81, 82 und 83 gefundenen Minimalwerte, das mit TOTmin bezeichnete minimale Minimum, findet. Der Wert TOTmin wird im Speicher 84 gespeichert. In der Praxis ist es ausreichend, im Speicher nur die Identifikation dieser Gruppe (Ro, Rk oder Rv) zu speichern, in der TOTmin gefunden worden ist.
• Wenn im Fenster der Fig. 3 der Wert und die Richtung des Minimums jeder Gruppe unter Verwendung der dargestellten Formeln berechnet worden sind, und wenn ermittelt worden ist, in welcher Gruppe sich TOTmin befindet, werden diese Informationen als der Schätzwert "em" im Speicher 84 gespeichert. Wenn somit das Fenster in der in Fig. 7 gezeigten Position angeordnet ist, in der der Wert des Schätzwerts em1 berechnet wird, umfaßt der Wert des Schätzwerts em1 die Informationen bestehend aus vier Teilen:
• 1) die Richtung der minimalen Antwort der Gruppe Ro;
• 2) die Richtung der minimalen Antwort der Gruppe Rv;
• 3) die Richtung der minimalen Antwort der Gruppe Rk;
• 4) TOTmin, der anzeigt, welche Gruppe die kleinste minimale Antwort besitzt.
• Anschließend gleitet das Fenster ein Bildelement nach rechts, wobei der Wert des Schätzwerts em2 in der oben dargestellten Weise berechnet wird. Die Schätzwerte em1- em5 können berechnet werden, indem das Fenster vier mal nach rechts geschoben wird. Anschließend wird das Fenster nach links in seine Ausgangsposition zurückbewegt und nach unten bewegt, so daß das Bildelement in der oberen linken Bildelementposition des Fensters das Bildelement 11 der Zeile m - 1 ist, wie in Fig. 7 gezeigt ist. Die Kanteninformationsschätzwerte em6-em10 werden nun berechnet, indem das Fenster nach rechts geschoben wird. In entsprechender Weise werden die Kantenschätzwerte e11-e15 der untersten Zeile im 5 3-Schätzfenster durch Verschieben des 6 3-Fensters berechnet.
• Nun sind ausreichende Kanteninformationen der Nachbarschaft des interpolierten Bildelements im Speicher 84 gespeichert. Auf der Grundlage dieser Kanteninformationen, oder der Schätzwerte em1-em15, wird die nächste abschließende Interpolationsrichtung ausgewählt. Dies wird so bewerkstelligt, daß mit Hilfe dieser Schätzwerte berechnet wird, wie viele TOTmin-Werte in der linken Gruppe Rv, in der mittleren Gruppe Rk und in der rechten Gruppe Ro vorliegen. Die Gruppe, die die größte Anzahl von TOTmin-Werten enthält, wird als diejenige Gruppe ausgewählt, innerhalb der die endgültige Interpolation in einer bestimmten Richtung durchgeführt wird. Wenn angenommen wird, daß die Gruppe Rv die größte Anzahl von TOTmin-Werten aufweist, wird die endgültige Interpolation entsprechend der minimalen Richtung dieser Gruppe durchgeführt. Es ist günstig, eine bestimmte Grenze zu setzen, die die Anzahl der TOTmin-Werte überschreiten muß, so daß sie als die Gruppe akzeptiert wird, die die Interpolationsrichtung angibt. Ein geeigneter Wert ist z. B. 10. Wenn die Anzahl unter dieser Grenze liegt, kann gefolgert werden, daß der Bildbereich keine deutliche Kante aufweist, woraufhin die Interpolation entsprechend der Richtung der minimalen Antwort der mittleren Gruppe Rk durchgeführt wird. Dies bedeutet, daß die Interpolation vertikal oder nahezu vertikal durchgeführt wird.
• Fig. 9 zeigt eine Ausführungsform für die Verbindung der Interpolierer. Die Anordnung besitzt als Eingangswerte die Bildelemente r1-r12 des 3 6-Kantendetektionsfensters und die Zeile m des vorangegangenen Halbbildes t - 1, aus denen ein Eingangswert pwn des Drei-Punkt-Medians erhalten wird, wobei n die Horizontalposition des Bildelements im Fenster darstellt. Die Eingangswerte r1-r11 stellen entsprechend der Fig. 3 die bekannten Bildelemente in der Zeile oberhalb und unterhalb des zu interpolierenden Bildelements dar, das mit PW3 bezeichnet ist. Somit gibt es entsprechend den untersuchten Richtungen neun Drei- Punkt-Medianinterpolierer. Die Ausgangswerte 910-918, links4 usw. von den Drei-Punkt-Medianinterpolierern beziehen sich hier auf die möglichen Kantenrichtungen des Bildes 5. Zuerst werden die Mittelwerte der Bildelemente in den Zwei-Punkt-Linearinterpolierern berechnet, die durch die acht Rechtecke 91-98 auf der linken Seite der Figur dargestellt sind. Es sei angenommen, daß gemäß dem Muster der Fig. 6 ermittelt worden ist, das die Kante in der Richtung links1 liegt (Fig. 5b) und der durch PW3 dargestellte Punkt interpoliert werden soll. Der Drei- Punkt-Medianfiltereingangswerte sind dann der Mittelwert der Bildelemente r2 und r3 der oberen Zeile, der im Interpolierer 92 berechnet wird, der Mittelwert der Bildelemente r9 und r10 der unteren Zeile, der im Interpolierer 97 berechnet wird, sowie der Wert pw3 der mittleren Zeile, der derselbe ist wie der (bekannte) Wert der Zeile in dieser Position. Diese mittelnden Interpolierer 92 und 97 funktionieren wie lineare Teustrukturen des Drei-Punkt-Medianfilters 913. Alle anderen mittelnden Interpolierer funktionieren in entsprechender Weise.
• Es ist jedoch zu beachten, daß die Drei-Punkt-Medianfilter 910, 912, 926 und 918 nicht die obenerwähnten linearen Teilstrukturen aufweisen, sondern jeder Eingangswert nur einen Bildelementwert darstellt. Der Multiplexer 919 wählt einen dieser Eingangswerte für den Ausgangswert aus, wobei dieser Ausgangswert ein Bildelement in der zu interpolierenden Zeile bildet. Der Multiplexer 919 wird gesteuert durch die Auswahl von Zeilen, die von einer Entscheidungsschaltung zugeführt werden, die mit Hilfe der Kanteninformationsschätzwerte em1-em15 die Richtung berechnet, in der die endgültige Interpolation durchgeführt wird. Die Entscheidungsschaltung, die mit dem Speicher 84 verbunden ist, führt dem Multiplexer 919 die ausgewählten Zeilen zu. Diese Steuerinformationen steuern den Multiplexer so, daß er seinen Ausgang mit dem Eingang verbindet, der durch die Steuerinformationen definiert ist. Der Ausgangswert ist nun dasjenige Bildelement, das ein Bildelement in der zu interpolierenden Zeile bildet. Die anderen Bildelemente der Zeile werden im Prinzip in der gleichen Weise erzeugt, wie auch die Bildelemente aller anderen Zeilen.
• In der vorangegangenen Beschreibung wurde nicht gesondert erläutert, wie die Richtungen der minimalen Antworten im Speicher gespeichert werden. Ein Fachmann kennt mehrere unterschiedliche Wege, einen minimalen Speicherbedarf zu erreichen. Eine Möglichkeit ist, Drei-Bit-Identifizierer zu verwenden, bei denen das erste Bit die minimale Richtung anzeigt. Wenn TOTmin ebenfalls drei Bits besitzt, kann das erste Bit die Gruppe anzeigen, in der sich das Minimum befindet, woraufhin es ausgehend von der Identifikation dieser Gruppe einfach ist, das erste Bit zu finden, das die genaue Richtung des Minimums anzeigt. Es gibt auch viele andere Mittel. Fig. 10 zeigt die Speicher, die für die Kantendetektion und die Interpolation benötigt werden. Die eingegebenen Zeilenbildelementwerte (Helligkeitswerte) werden dem Zeilenspeicher 101 zugeführt, wodurch es möglich ist, aus diesem Speicher die Bildelemente r1-r6 der oberen Zeile zu lesen, die in der 3 6-Maske verwendet werden. Die Blöcke hinter dem Zeilenspeicher 101 in Fig. 10 stellen Verzögerungseinrichtungen dar, an deren Ausgängen es möglich ist, gleichzeitig die Werte von sechs aufeinanderfolgenden Bildelementen zu lesen. Da die Interpolation auch Zeilen des vorangegangenen Halbbildes verwendet ist ein Halbbildspeicher 102 erforderlich, aus dem die Zeilen einzeln in den Zeilenspeicher 103 eingelesen werden. Vom Zeilenspeicher werden die Zeilenbildelemente den Verzögerungseinrichtungen zugeführt, die als Einheitsspeicher funktionieren, so daß es möglich ist, aus diesen den Bildelementwert des vorangegangenen Halbbildes zu lesen, der bei der Interpolation benötigt wird. Der Zeilenspeicher kann mit dem Schalter 104 im Fall eines geraden Halbbildes umgangen werden, zwischen dessen Zeilen die neuen Zeilen interpoliert werden; ansonsten muß der Zeilenspeicher 103 verwendet werden. Schließlich werden die in der 6 3-Maske benötigten Bildelemente r7-r12 aus der Speichereinrichtung des unteren Zweiges erhalten.
• Falls gewünscht ist, Speicher einzusparen, und falls es möglich ist, die Bildqualität zu opfern, dann kann auch das beschriebene Verfahren gemeinsam mit Interpolierern innerhalb des Halbbildes verwendet werden. Dann können der Halbbildspeicher 102 und der Zeilenspeicher 103 weggelassen werden. Hierbei wird eine lineare Interpolation in Kantenrichtung verwendet. Wenn die Kante innerhalb des Intervalls 26 bis 154 Grad liegt, ergeben sich keine Probleme, wobei das Ergebnis genauso gut ist wie bei dem Verfahren mit der Interpolation zwischen Halbbildern. Andererseits werden die horizontalen und nahezu horizontalen Kanten aufgrund der linearen Interpolation verwischt. Statt eines Drei-Punkt-Medians verwendet die Linearinterpolation einen Interpolierer, der den Mittelwert der Punkte oberhalb und unterhalb der Zeile berechnet.
• Schließlich zeigt Fig. 11 die Speicher, die erforderlich sind, um die Konsistenz der Kanteninformationen zu überprüfen, d. h. die Speicher, in denen die berechneten Kanteninformationsschätzwerte em1-em15 gespeichert werden. Diese Schätzwerte befinden sich in einer 3 5-Maske, was konsekutive Zeilenspeicher 111 und 112 erfordert, aus denen die Schätzwerte em1-em5 den Ausgängen der Verzögerungseinrichtungen zugeführt werden, sowie einen Zeilenspeicher 113, aus dem die Mittelzeilenschätzwerte em6- em10 der Maske den Ausgängen der Verzögerungseinrichtungen zugeführt werden. Die Schätzwerte der unteren Zeile der Maske werden, sobald sie berechnet worden sind, den Einheitsspeichern des unteren Zweigs der Fig. 11 zugeführt, wobei diese Einheitsspeicher konsekutive Verzögerungselemente umfassen.
• Das beschriebene Verfahren schafft einen effizienten Weg zum Interpolieren von Bildelementen unter Berücksichtigung einer im Bild möglicherweise auftretenden Linie und deren Richtung. Das Verfahren unterbricht die Linien nicht, wobei keine Stufenbildung auftritt, wie im Fall der bisher verwendeten Verfahren. Es ist klar, daß die praktische Verwirklichung der im Verfahren verwendeten Schaltung stark variieren kann. Bei der praktischen Verwirklichung wird versucht, die Verwendung von Speichern zu minimieren, wobei diese Forderung die Struktur im sehr hohen Maß vorgibt. Daher ist ein Fachmann fähig, eine praktische Konstruktion in zahlreichen unterschiedlichen Arten zu verwirklichen, die alle in den Umfang der Ansprüche fallen.

Claims (10)

1. Verfahren für kantenadaptive Interpolation einer neuen Zeile aus einem Abtastsequenz-Videosignaleingang mittels eines Fensters, in welches Abtastsignale von drei bekannten Zeilen aufgenommen werden und in welchem das interpolierte Bildelement sich auf der mittleren Zeile befindet,

dadurch gekennzeichnet, daß:

- ein 3 6-Fenster verwendet wird;

- zwei benachbarte Abtastsignale von der oberen und von der unteren Zeile im Fenster ausgewählt werden, so daß imaginäre parallele Zeilen, die die oberen und unteren Zeilenabtastsignale verbinden, neun unterschiedliche Richtungen gegenüber der Horizontalebene erhalten;

- der Summenwert der Absolutwerte der Differenzen zwischen Abtastsignalpaaren, die durch parallele Zeilen verbunden sind, in jeder Richtung berechnet wird, so daß wenn die Abtastsignale in der oberen Reihe des Fensters von links nach rechts mit dem Symbolen r1, r2, r3, r4, r5 und r6 bezeichnet werden und die Abtastsignale in der unteren Reihe dementsprechend mit den Symbolen r7, r8, r9, r10, r11 und r12 bezeichnet werden, die Summenwerte in unterschiedlichen Richtungen wie folgt berechnet werden:

links1 = r2 - r9 + r3 - r10

links2 = r2 - r10 + r3 - r11

links3 = r1 - r10 + r2 - r11

links4 = r1 - r11 + r2 - r12

Vertikal = r3 - r9 + r4 - r10

rechts1 = r3 - r8 + r4 - r9

rechts2 = r4 - r8 + r5 - r9

rechts3 = r4 - r7 + r5 - r8

rechts4 = r5 - r7 + r6 - r8

- die Summenwerte in Gruppen berechnet werden, so daß die erste Gruppe (Rv) die Richtungen links4, links2, links3 umfaßt; die zweite Gruppe (Rk) die Richtungen links1, vertikal, rechts1 umfaßt; und die dritte Gruppe (Ro) die Richtungen rechts2, rechts3 und rechts4 umfaßt; und

das Verfahren außerdem die Schritte umfaßt, bei denen:

a) für jede Gruppe der Minimalwert der Summenwerte gefunden wird und seine Richtungsinformation und Gruppeninformation in einem Speicher abgespeichert wird;

b) der Minimalwert (TOTmin) der erhaltenen Minimalwerte gefunden wird und seine Gruppeninformation in einem Speicher gespeichert wird, wodurch die Information in dem Speicher eine Kanteninformationsabschätzung (em) bildet;

c) das Fenster in unterschiedliche Positionen sowohl in der horizontalen als auch in der vertikalen Ebene bewegt wird, so daß das Fenster Abtastsignale von zwei Zeilen vor der zu interpolierenden Zeile und von zwei Zeilen nach ihr enthält;

d) die Schritte a) bis c) in jeder Position wiederholt werden, so daß Kanteninformationsabschätzungen (em2 - em15) erhalten werden, die einen 3 5-Bereich über das zu interpolierende Bildelement bilden, wenn es sich im Zentrum der mittleren Zeile des besagten Bereichs befindet;

e) die Gruppe mit der Maximalzahl der Minimalwerte (TOTmin) bestimmt wird; und

f) die Interpolation durchgeführt wird in die Richtung, die durch die Richtungsinformation des Minimalwertes dieser Gruppe unter Verwendung des 3 6- Fensters angezeigt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es möglich ist, die Interpolation in einer der Richtungen 26º, 35º, 45º, 64º, 90º, 116º, 135º, 146º und 154º durchzuführen.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Interpolation einen 3-Punkt-Medianfilter verwendet, dessen erster Eingang der Durchschnittswert zweier benachbarter Bildelemente der oberen Zeile ist, dessen zweiter Eingang der Durchschnittswert zweier benachbarter Bildelemente der unteren Zeile ist; und dessen dritter Eingang das Bildelement (pw3) des vorangehenden Feldes ist, das dem zu interpolierenden Bildelement entspricht.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während der Interpolation in den Richtungen 154º, 135º, 45º und 26º der erste Eingang das obere Abtastsignal des Fensters in der entsprechenden Richtung ist und der zweite Eingang das untere Abtastsignal ist.

5. Schaltkreisanordnung für die kantenadaptive Interpolation einer neuen Zeile aus einem Abtastsequenz-Videosignaleingang mittels eines Fensters, in welches Abtastsignale von drei bekannten Zeilen aufgenommen werden, und in welchem das interpolierte Bildelement sich auf der mittleren Zeile befindet, dadurch gekennzeichnet, daß sie in einem 3 6-Fenster arbeitet und umfaßt:

- Berechnungsabschnitte (1, 2, 3, 4, 5, 6, 7, 8, 9), in welche die Bildelemente der oberen und unteren Zeilen des Fensters eingespeist werden und welche den Summenwert der Absolutwerte der Differenzen von zwei benachbarten Bildelementpaaren berechnen, wobei die Bildelemente des Paars sich auf unterschiedlichen Zeilen befinden, wodurch die Paare ausgewählt werden, so daß die imaginären parallelen Zeilen, die sie verbinden, neun unterschiedliche Richtungen gegenüber der Horizontalebene in dem Fenster einnehmen;

- Verwaltungsabschnitte (81, 82, 83, 84) zur Verwaltung der Summenwerte;

- einen Abspeicherungs-Berechnungsabschnitt (85) zum Speichern der Ausgänge der Verwaltungsabschnitte;

- Interpolierer (910, 922, 912, 913, 914, 915, 916, 917, 918) zum Interpolieren eines Bildelementes; und

- einen Multiplexer (919), der einen der Ausgänge des Interpolierers mit seinem Ausgang verbindet unter Steuerung durch Information, die in dem Abspeicherungs-Berechnungsabschnitt (85) abgespeichert ist.

6. Schaltkreisanordnung nach Anspruch 5, dadurch gekennzeichnet, daß die Berechnungsabschnitte die Summen so berechnen, daß wenn die Abtastsignale in der oberen Reihe des Fensters von links nach rechts mit den Symbolen r1, r2, r3, r4, r5 und r6 bezeichnet werden und die Abtastsignale in der unteren Reihe dementsprechend mit den Symbolen r7, r8, r9, r10, r11 und r12 bezeichnet werden, die Summenwerte in den unterschiedlichen Richtungen wie folgt berechnet werden:

links1 = r2 - r9 + r3 - r10

links2 = r2 - r10 + r3 - r11

links3 = r1 - r10 + r2 - r11

links4 = r1 - r11 + r2 - r12

Vertikal = r3 - r9 + r4 - r10

rechts1 = r3 - r8 + r4 - r9

rechts2 = r4 - r8 + r5 - r9

rechts3 = r4 - r7 + r5 - r8

rechts4 = r5 - r7 + r6 - r8

7. Schaltkreisanordnung nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß die Verwaltungsabschnitte einen ersten, einen zweiten und einen dritten Verwaltungsabschnitt (81, 82, 83), wobei jeder von diesen aus den drei ihm eingespeisten Summenwerten den Minimalwert und die Richtung, in welcher er erhalten wurde, findet, und einen vierten Verwaltungsabschnitt (84), umfassen, dessen Ausgang die Information (TOTmin) des Minimalwertes der Minimalwerte darstellt.

8. Schaltkreisanordnung nach Anspruch 5, dadurch gekennzeichnet, daß die Interpolierer 3-Punkt-Medianfilter sind, deren erster Eingang der Durchschnittswert von zwei benachbarten Bildelementen der oberen Zeile ist, deren zweiter Eingang der Durchschnittswert von zwei benachbarten Bildelementen der unteren Zeile ist; und deren dritter Eingang das Bildelement (pw3) des vorangehenden Feldes ist, das dem zu interpolierenden Bildelement entspricht.

9. Schaltkreisanordnung nach Anspruch 8, dadurch gekennzeichnet, daß die Interpolierer (910, 912, 916, 918), die in die Richtungen 154º, 135º, 45º und 26º als ersten Eingang das obere Abtastsignal des Fensters in entsprechender Richtung und als zweiten Eingang das untere Abtastsignal haben.

10. Schaltkreisanordnung nach Anspruch 8, dadurch gekennzeichnet, daß der 3-Punkt-Medianfilter als Substruktur einen 2-Punkt-Linearinterpolierer hat.