DE69310635T2

DE69310635T2 - Verfahren und Apparat zur Verdoppelung der vertikalen und horizontalen Frequenz eines Videosignals

Info

Publication number: DE69310635T2
Application number: DE1993610635
Authority: DE
Inventors: Jouni Salonen
Original assignee: Nokia Technology GmbH
Current assignee: Nokia Technology GmbH
Priority date: 1992-08-25
Filing date: 1993-08-12
Publication date: 1997-10-16
Anticipated expiration: 2013-08-13
Also published as: EP0584662A1; FI923808A0; EP0584662B1; FI93295C; FI93295B; DE69310635D1; FI923808A

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung, mit der ein im Zeilensprungverfahren gemäß dem normalen Standard erzeugtes und auf einer Kathodenstrahlröhre angezeigtes Bild durch Bestimmung der Kanteninformation in ein hochauflösendes Fernsehbild (HDTV) umgewandelt wird, wobei die Zahl der Bildelemente sowohl in horizontaler als auch in vertikaler Richtung verdoppelt wird.
Ein dem üblichen Standard (z.B. PAL, NTSC) entsprechendes Fernsehbild mit einem Seitenverhältnis von 4:3 wird aus einem im Zeilensprungverfahren abgetasteten Bild gebildet, wobei ein Halbbild aus 625 Zeilen besteht, von denen 575 Zeilen aktiv sind. Wenn ein analoges Videosignal in ein digitales Videosignal umgewandelt wird, werden für jede einzelne Zeile 720 aktive Proben gebildet, so daß das normale Standardbildformat als 720*576/50 Hz/2:1 bezeichnet werden kann. Ein völlig neuartiges Fernsehverfahren ist HDTV (High Definition Television), bei welchem das Seitenverhältnis 16:9 und die Anzahl der Zeilen 1250 beträgt, von denen 1152 aktive Zeilen sind. Die Anzahl der Proben pro Zeile ist 1440, so daß das HDTV-Format als 1440*1152/50 Hz/2:1 bezeichnet werden kann. Die Anzahl der Bildpunkte ist damit viermal so groß wie bei den derzeitig benutzten Systemen.
Das HDTV-System wird schrittweise eingeführt, so daß das mit einer herkömmlichen Kamera aufgenommene Material auch in der Zukunft noch bei Fernsehsendungen zum Einsatz kommen und auch im herkömmlichen Format ausgestrahlt werden kann. Aus diesem Grund ist es von Wichtigkeit, daß der Eigentümer eines HDTV-Empfängers in der Lage ist, diese Sendungen zu empfangen. So muß beim HDTV-Fernsehen die Möglichkeit bestehen, die Anzahl der Proben sowohl horizontal als auch vertikal zu verdoppeln. Diese Verdoppelung kann so vorgenommen werden, daß die vertikale und horizontale Verarbeitung getrennt erfolgt, die Vergrößerung der Probenzahl also in zwei Bearbeitungsschritten vorgenommen wird. Die Verarbeitung in den beiden Richtungen kann allerdings auch gleichzeitig erfolgen.
Ein Verfahren zur Erhöhung der Anzahl der Bildelemente in beiden Richtungen ist aus der finnischen Patentanmeldung FI-A-37425, Salora Oy, bekannt. Die Bildelemente des Anfangsbildes bei diesem Verfahren bilden ein orthogonales Probenmuster. Dieses Muster wird zuerst in ein Quincunx- Probenmuster umgewandelt, indem im ersten Interpolator die ersten neuen Bildelemente zwischen den Originalzeilen interpoliert werden, wobei dann die neuen Bildelemente neue optionale Zeilen bilden. Das auf diese Weise gebildete Quincunx-Probenmuster wird dann durch Interpolieren der neuen Bildelemente zwischen den Bildelementen sowohl der originalen als auch der neuen Zeilen im zweiten Interpolator in ein orthogonales Muster umgewandelt, so daß die Dichte der Bildelemente sowohl horizontal als auch vertikal verdoppelt wird. Dieses Verfahren kann sowohl innerhalb desselben Halbbildes als auch zwischen verschiedenen Halbbildern eingesetzt werden, wobei sich jedoch im zweiten Fall der Nachteil ergibt, daß das Bild mit einem in der Technik bekannten Verfahren in ein progressives Bild umgewandelt werden muß, das nicht verschachtelt ist. Bei diesem Verfahren wie auch bei den meisten der anderen bekannten Verfahren wird weder eine separate Kantenbestimmung durchgeführt noch ein ergebnisorientierter Interpolator eingesetzt; es wird jedoch angstrebt, die Kante dadurch festzulegen, daß der Probenkandidat mit dessen Nachbarn verglichen wird und indem Grenzwerte für die Probenwerte festgelegt werden. Da eine Kantenbestimmung wegfällt, vereinfachen sich die Verfahren dadurch, daß konstante Algorithmen verwendet werden können.
Die Kantenbestimmung ist jedoch unumgänglich, wenn ein Objekt erkannt werden soll. Bei der Betrachtung eines Objekts wird dieses anhand seiner Kanten und Ecken sowie der damit verbundenen Sägezähne und Schärfe identifiziert. Bei der Bildverarbeitung ist es deshalb wichtig, Interpolationen aufgrund des im voraus bestimmten lokalen Bildinhaltes durchzuführen. Sägezähne, Zeilenunterbrechungen und Schärfeverlust in den Kantenbereichen sowie verwischte Bilddetails, die gewöhnlich bei den Verfahren mit konstantem Algorithmus auftreten, hängen wesentlich von der Ausrichtung des Kantenbereichs ab. Es ist deshalb Aufgabe der Kantenbestimmung, die korrekte Interpolationsrichtung zu bestimmen und festzulegen. Um die korrekte Richtung zu finden, muß zuerst zuverlässige Kanteninformation in der Bildelementumgebung des zu interpolierenden Bildelements ermittelt werden. Nach Auffinden der Richtung kann der für eine bestimmte Richtung geeignete Interpolator gewählt werden.
Bei den neueren Verfahren zur Erhöhung der Probendichte handelt es sich in der Tat um adaptive Kanteninterpolationsverfahren. Ein Verfahren zur Kantenbestimmung ist aus der finnischen Patentanmeldung FI-A-921676 der Anmelderin Salon Televisiotehdas Oy, die der EP-A-0 565 948, veröffentlicht am 20.10.1993 entspricht, bekannt. Demgemäß ist es möglich, die Probendichte des horizontal und vertikal abzubildenden Bildes so zu verdoppeln, daß in einem 3*3 Fenster die Richtung der Probe in der Mitte des Fensters mit geeignet gewählten Operatoren überprüft wird. Die Richtung kann horizontal, vertikal, bei 45º, bei 135º oder in einer anderen, nicht genau definierten Richtung liegen. Nach der Berechnung der Kanteninformation, wird die Übereinstimmung ebenfalls im 3*3 Fenster überprüft und die Kanteninformation gegebenenfalls korrigiert. Anschließend werden zusätzlich zu der Probe in der Fenstermitte noch drei neue Proben in der von der Kanteninformation angezeigten Richtung interpoliert, wobei sich zwei dieser Proben in der zu bildenden Zeile befinden. Dieses Verfahren hat den Nachteil, daß das ursprüngliche Bild progressiv sein muß und daß die Kantenbestimmung "nur" in vier Richtungen erfolgt.
In der finnischen Patentanmeldung FI-A-916195 der Anmelderin Salon Televisiotehdas Oy, die der EP-A-0 550 231, veröffentlicht am 7.7.1993, entspricht, auf die hiermit ausdrücklich in der gegenwärtigen Anmeldung Bezug genommen wird, wird ein leistungfähiger Kantendetektor für ein 6*3 Fenster beschrieben, womit die Kante in neun unterschiedlichen Richtungen bestimmt werden kann. Die Erkennung erfolgt innerhalb des Halbbildes. In der Figur 1 ist das für die Bestimmung benutzte 6*3 Fenster dargestellt, das aus 6 nebeneinander liegenden Bildelementen c1, c2, c3, c4, c5 und c6 der Zeile m-1, sowie aus weiteren 6 nebeneinander liegenden Bildelementen c7, c8, c9, c10, c11 und c12 der nachfolgenden Zeile m+1 im selben Halbbild t besteht. Mit Hilfe der Bildelemente in diesen Zeilen muß der geschätzte, mit einem Fragezeichen ? markierte Kantenwert eines Bildelements in der zu interpolierenden Zeile berechnet werden. In den Figuren 2a - i sind die möglichen Richtungen der Kantenlinie sowie die in jedem Beispiel bei den Berechnungen berücksichtigten Bildelementpaare dargestellt. In der Figur 1a wird überprüft, ob die Kantenlinie einen Winkel von 90º bildet, in den Figuren b, d, f und h, ob die Linie in einer der Richtungen 116, 135, 146 und 154 Grad nach links geneigt ist und in den Figuren c, e, g und i wird überprüft, ob die Linie in einer der Richtungen 26, 34, 45 und 64 Grad nach rechts geneigt ist.
Diese neun unterschiedlichen Fälle sind in drei Gruppen unterteilt, die im folgenden untersucht werden sollen: die mittlere Gruppe Rk, welche die zu untersuchenden Richtungen 64, 90 und 116 Grad (Figuren a, b, c) einschließt, die rechte Gruppe Ro, welche die zu untersuchenden Richtungen 26, 34 und 45 Grad (Figuren e, g, j) einschließt, sowie die linke Gruppe Rv, welche die zu untersuchenden Richtungen 135, 146 und 154 Grad (Figuren d, f, h) einschließt. Alle möglichen Kantenrichtungen werden geprüft, indem vier Bildelemente durch Summierung der aus der Differenz der Bildelementwerte gebildeten Absolutwerte berechnet werden. In Figur 2 zeigen die Endpunkte der Doppelpfeile auf die Positionen der bei der Berechnung der Differenz verwendeten Bildelementpaare. Zuerst werden die Lösungen für jede Kantenrichtung folgendermaßen berechnet:

Mittlere Gruppe Rk:

Vertical = c3 - c9 + c4- c10
Right 1 = c3 - c8 + c4 - c9
Left 1 = c2 - c9 + c3 - c10

Linke Gruppe Rv:

Left 2 = c2 - c10 + c3 - c11
Left 3 = c1 - c10 + c2 - c11
Left 4 = c1 - c11 + c2 - c12

Rechte Gruppe Ro:

Right 2 = c4 - c8 + c5 - c9
Right 3 = c4 - c7 + c5 - c8
Right 4 = c5 - c7 + c6 - c8
Nachdem die Lösungen in allen neun Richtungen für jede der Gruppen berechnet worden sind, wird ein niedrigster Ansprechwert für alle Gruppen bestimmt. Nach der Berechnung des niedrigsten Ansprechwertes für jede einzelne Gruppe wird der kleinste Wert von allen niedrigsten Werten bestimmt, das Minimum aller niedrigsten Werte, das mit TOTmin bezeichnet wird.
Nachdem der niedrigste Wert und die dazugehörige Richtung in jeder Gruppe mit den der im Fenster von Figur 1 dargestellten Formaten berechnet und für jede Gruppe die Position von TOTmin ermittelt wurde, werden diese Daten als Schätzwert gespeichert. Demnach setzt sich der Schätzwert des mit einem Fragezeichen markierten Bildelements aus vier Datenelementen zusammen:
1) Richtung der Minimallösung der Gruppe Ro
2) Richtung der Minimallösung der Gruppe Rv
3) Richtung der Minimallösung der Gruppe Rk
4) TOTmin, was anzeigt, in welcher Gruppe der niedrigste Ansprechwert den kleinsten Wert hat.
Durch Verschieben des Fensters wird ein Schätzwert für das Bildelement rechts von dem mit einem Fragezeichen markierten Bildelement berechnet, usw., danach werden die Schätzwerte für die Bildelemente der nachfolgenden zu interpolierenden Zeile berechnet, bis genügend Kanteninformation in der Umgebung des zu interpolierenden und mit einem Fragezeichen markierten Bildelements gespeichert ist. Aufgrund dieser Kanteninformation, d.h. Schätzwerten em, wird die endgültige Kanteninformation dann in der Übereinstimmungskontrollschaltung bestimmt, wobei diese durch Vergleich der Kanteninformation mit der Kanteninformation des angrenzenden Bildelements und mit Hilfe von geeigneten Methoden zur Übereinstimmungsbestimmung feststellt, ob die Kanteninformation annehmbar ist. Anschließend wird eine Interpolation in der von der Kanteninformation angegebenen Richtung durchgeführt.
Die vorliegende Erfindung gibt ein Verfahren an, mit dem die für PAL-, NTSC- und SECAM-Systeme typische vertikale und horizontale Frequenz in einer einzigen Bearbeitungsstufe mittels adaptiver Interpolation so verdoppelt werden kann, daß die Kanten in verschiedenen Richtungen unverändert bleiben und das Bild nicht an Schärfe verliert. In den übrigen Halbbildern des Bildes werden die interpolierten Bildelementwerte so korrigiert, daß sich eine bessere Übereinstimmung mit den korrekten Punkten im HDTV-Raster ergibt. Falls keine Korrektur vorgenommen wird, tritt bei bestimmten bewegten Szenen ein sogenanntes "Bewegungs-Verwackeln" auf, oder anders ausgedrückt, die Bewegung läuft nicht gleichförmig, sondern unstetig ab.
Die wesentlichen Merkmale der Erfindung sind in den unabhängigen Ansprüchen 1 und 6 beschrieben. Weitere beispielhafte Ausführungsformen sind den abhängigen Ansprüchen zu entnehmen.
Erfindungsgemäß wird der in der früheren Patentanmeldung FI-A-916195 beschriebene Kantendetektor dazu verwendet, um die Kantenrichtung der zu interpolierenden Bildelementpunkte zu bestimmen. Dementsprechend werden die Eingabewerte für die Schaltung zur Erhöhung der Probendichte von sechs aufeinanderfolgenden Bildelementen einer bestimmten Zeile im gleichen Halbbild, von sechs Bildelementen unterhalb der genannten Bildelemente im gleichen Halbbild der folgenden Zeile, sowie von drei Bildelementen eines vorhergehenden Halbbildes, das zwischen den Bildelementen dieser Zeilen abgetastet wurde, gebildet. Damit hat die Schaltung fünfzehn Eingänge, die ein 6*3 Fenster bilden, bei dem die mittlere Zeile der Proben unvollständig ist.
Nach dem ersten Ausführungsbeispiel der Erfindung ist die Interpolation von neuen Proben unabhängig davon, ob das originale Eingabehalbbild gerade oder ungerade Referenznummern besitzt. Zuerst wird das Originalraster so verdichtet, daß die vier Rasterpunkte des neuen Halbbildes jetzt dem Rasterpunkt der Originalprobe entsprechen, auf den hin die neuen Werte dann interpoliert werden. Die nötige Kanteninformation am Rasterpunkt der Originalprobe, oder anders ausgedrückt, die Richtung der Kante an diesem Punkt, wird demnach von den Bildelementen in den obersten und untersten Zeilen des Fensters bestimmt. Wenn diese Richtung bekannt ist, berechnen die gewählten neuen Proben die Interpolatoren aufgrund der Kanteninformation. Alle Proben des Fensters werden bei der Berechnung der neuen Proben verwendet.
Gemäß des zweiten Ausführungsbeispiels der Erfindung werden die übrigen neuen Probenwerte der beispielsweise ungeraden Halbbilder gemäß dem ersten Ausführungsbeispiel berechnet, wobei jedoch bei der Interpolation der Proben des anderen, in diesem Beispiel des geraden Halbbildes, die gemäß dem ersten Ausführungsbeispiel berechneten Probenwerte nicht ausreichend sind. Auf diesen beruhend werden dann ebenfalls neue endgültige Probenwerte berechnet. Auf diese Weise kann ein "Verwackeln der Bewegung" wirksam ausgeschaltet werden. Dabei spielt es keine Rolle, ob die zusätzlichen Interpolationen in den ungeraden oder geraden Halbbildern durchgeführt werden.
Die Erfindung wird in den beiliegenden schematischen Zeichnungen näher erläutert, wobei dargestellt ist in:
Figur 1 das bei der Kantenbestimmung verwendete Fenster,
Figur 2 die bei der Kantenbestimmung verwendeten Bildelemente in den verschiedenen Richtungen gemäß dem bekannten Verfahren,
Figur 3 das von den Eingabebildelementen gebildete 6*3 Fenster nach dem erfindungsmäßigen Verfahren,
Figur 4 die HDTV-Bildfläche innerhalb des mit den Bildelementen des in Figur 3 dargestellten Fensters zu bildenden Halbbildes,
Figur 5a die Berechnung von neuen Proben gemäß dem zweiten Ausführungsbeispiel,
Figuren 5b u.c die Berechnung von neuen Proben des zweiten Halbbildes gemäß dem zweiten Ausführungsbeispiel,
Figur 6 die bei der Kantenbestimmung zu verwendenden Bildelemente bei Verwendung des in der Figur 5 angegebenen Rasters, und
Figur 7 die HDTV-Bildfläche.
Die Figuren 1 und 2, die sich auf die bei der Kantenbestimmung verwendete Methode beziehen, wurden bereits obenstehend näher besprochen; soweit zum Verständnis der Beschreibung notwendig, wird auf diese nachfolgend Bezug genommen.
In der Figur 3 ist das Eingaberaster der für das Verfahren benutzten Schaltung dargestellt. Sechs nachfolgende Proben aus jeder der nachfolgenden Zeilen m-1 und m+1 des gleichen Halbbildes t werden dem Eingang zugeführt: c1, c2, c3, c4, c5 und c6 der Zeile m-1, Bildelemente c7, c8, c9, c10, c11 und c12 mit einer entsprechenden horizontalen Position aus der folgenden Zeile m+1. Das Symbol c (aktuell) bezieht sich auf das aktuelle Halbbild t. Zusätzlich werden dem Eingang drei nachfolgende Bildelemente p2, p3 und p4 (das Symbol p bezieht sich auf die vorherige Zeile) der Zeile m, die zwischen den Zeilen m-1 und m+1 abgetastet wird und vom vorhergehenden Halbbild t-1 stammt, zugeführt, so daß das Bildelement p3 in horizontaler Richtung gesehen die gleiche horizontale Position einnimmt wie die Bildelemente c3 und c9. Gemäß Figur 3 bilden damit die Eingabebildelemente ein 6*3 Fenster, das auch als Eingaberaster bezeichnet werden kann.
Als endgültiges Ausgangsraster muß sich eine Figur ähnlich wie Figur 4 ergeben, wobei die dunklen Bildelemente solche Bildelemente sind, die aus den Zeilen m-1 und m+1 der ursprünglichen Figur 3 erhalten wurden, und die hellen Quadrate zwischen den Bildelementen die neuen interpolierten Bildelemente darstellen. Selbstverständlich kann das ursprüngliche Bildelement durch das interpolierte Bildelement ersetzt werden, was jedoch wenig sinnvoll ist. Der ursprüngliche Rasterpunkt c3 ist in vier Rasterpunkte unterteilt, wobei es sich bei den mit einem Fragezeichen markierten Bildelemente um diejenigen Bildelemente handelt, die in dem Fenster berechnet werden. Die oberste Zeile ist jetzt die Zeile m'-2 des HDTV-Halbbildes, die nächste Zeile ist Zeile m', die vollständig interpoliert werden muß; dementsprechend sind dann die beiden nachfolgenden Zeilen m'+2 und m'+4. Es wird somit deutlich, daß sich die Probendichte sowohl horizontal als auch vertikal verdoppelt hat, so daß der Ausgang ein Probenraum im Sinne der hochauflösenden TV-Norm (HDTV) ist. Da das Fenster ständig mit neuen Proben beaufschlagt wird, werden für jede eingegebene Probe vier Proben als HDTV-Halbbild interpoliert.
Die folgende Darstellung gemäß Figur 5a beschreibt, wie die neuen, dem ursprünglichen Bildelement c3 entsprechenden Bildelemente gebildet werden. Die Beschreibung ist jedoch auf alle neu zu bildenden Bildelemente anwendbar, da beim Empfang des Halbbildes das Fenster dauernd mit neuen Bildelementen beaufschlagt wird, wie in Figur 3 dargestellt ist. Die Bildelemente p2, p3 und p4 des vorherigen Halbbildes werden aus dem Speicher gelesen.
In der Figur 5a entspricht die erste gerasterte Probenzeile der Zeile m'-2 des hochauflösenden Halbbildes, die zweite gerasterte Zeile entspricht der Zeile m' des hochauflösenden Halbbildes t und die dritte gerasterte Zeile der Zeile m'+2 des hochauflösenden Halbbildes t. Die zu berechnenden Proben sind mit den Buchstaben A, B, C und D markiert. Daraus ist ersichtlich, daß die Position der Probe A identisch mit der Position der bekannten Probe c3 ist, woraus sich der Vorteil ergibt, daß der Wert von c3 mit diesem Wert identisch ist, also A = c3 ist. Der aus den angrenzenden bekannten Proben gebildete Mittelwert wird als Wert für die Probe B gewählt, die dem mit einem Fragezeichen markierten Bildelement entspricht, das sich in der Figur 4 rechts von der bekannten Probe c3 befindet, womit sich B = 1/2*(c3 + c4) ergibt. Somit ist jedes zweite Bildelement dieser Zeile eine bekannte ursprüngliche Probe, während alle übrigen Bildelemente neue interpolierte Proben sind.
Bei der Berechnung der Werte für die neuen Bildelemente C und D, die den mit Fragezeichen markierten Bildelementen in Zeile m' von Figur 4 entsprechen, muß die Richtung der möglichen Kante am Ort der Bildelemente C und D (vgl. Figur 5a), oder anders ausgedrückt, Kanteninformation, berechnet werden. Dafür werden nur Proben in den obersten und untersten Zeilen des Fensters in Figur 3 verwendet, also Proben, die aus dem gleichen ursprünglichen Halbbild t der nachfolgenden Zeilen m-1, m+1 stammen. Die Kantenbestimmung geschieht somit im wesentlichen nach dem gleichen Verfahren wie bereits oben beschrieben, oder anders ausgedrückt, als Schätzwert für die Kanteninformation wird derjenige Punkt für das zu interpolierende Bildelement eingesetzt, der dem Mittelpunkt des Rasterfensters nach Figur 6 entspricht. Die Kantenbestimmung wird in neun Richtungen durchgeführt, wobei in jeder dieser Richtungen die zu berücksichtigenden Bildelemente in den Figuren 6a - 6i mit Pfeilspitzen markiert sind. Die Berechnungsformate (Formate (1)) sind auf der vorherigen Seite 4 angegeben. Demnach stellen die Figuren 6a - 6i das 6*3 Berechnungsfenster von Figur 5 dar, worin zur einfacheren Darstellung die bekannten Proben nur als dunkle Quadrate dargestellt sind. Im Text unter den Figuren bedeutet die eingeklammerte Zahl die Kantenrichtung; so ist beispielsweise in der Figur h eine diagonal verlaufende negative Kante mit einer Richtung von 154 Grad dargestellt. Daraus ergibt sich, daß Figur 6 mit Figur 2 identisch ist, wenn angenommen wird, daß die weiß eingezeichneten Nullproben bei der Abbildung eliminiert werden.
Wenn der Schätzwert für die Kanteninformation des zu interpolierenden Bildelements C (Figur 5a) zwischen den Bildelementen c3 (=A) und c9 berechnet und der gewählte Typ der Übereinstimmungskontrolle durchgeführt wurde, ergibt sich die endgültige Kanteninformation. Bei der Übereinstimmungskontrolle kann es sich auch um einen Typ handeln der von der Beschreibung in der oben erwähnten finnischen Anmeldung FI-A-016195 abweicht. Der endgültige Zahlenwert für die Proben C und D kann nunmehr auf der Grundlage der im Fenster von Figur 3 dargestellten Proben berechnet werden.
Die bei der Berechnung der Zahlenwerte verwendeten Zentralwert- und Linearoperationen werden gemäß der Kanteninformation folgendermaßen definiert: Falls der neuen zu interpolierenden Zeilenprobe C in der neuen Zeile unterhalb der Probe c3 von der Übereinstimmungskontrolle die Kanteninformation "Left 4" zugewiesen wurde (siehe Figur 5a) oder anders ausgedrückt, falls die Kante negativ diagonal mit einem Winkel von 154 Grad ist, so haben die Bildelemente A und B die bereits weiter oben erwähnten Werte, und die Werte für die Bildelemente C und D werden mit Hilfe der 3- Punkt Linear- und Zentralwertoperationen bestimmt. Die Formate für die Berechnungen sind wie folgt:
Left 4 A = c3
B = 1/2*(c3 + c4)
C = Med3(c1, p3, c11)
D = 1/2*{Med3(c1, p3, c11)+Med3(c2, p4, c12)}
Je nach Richtung des bei der Übereinstimmungkontrolle erhaltenen Winkels werden für die Proben A, B, C und D die folgenden Werte berechnet:
Left 3 A = c3
B = 1/2*(c3 + c4)
C = 1/2*{Med3(c1, p2, c10)+Med3(c2, p3, c11)}
D = Med3(c2, p3, c11)
Left 2 A = c3
B = 1/2*(c3 + c4)
C = Med3(c2, p3, c10)
D = 1/2*{Med3(c2, p3, c10)+Med3(c3, p4, c11)}
Left 1 A = c3
B = 1/2*(c3 + c4)
C = 1/2*{Med3(c2, p2, c9)+Med3(c3, p3, c10)}
D = Med3(c3, p3, c10)
Vertical A = c3
B = 1/2*(c3 + c4)
C = Med3(c3, p3, c9)
D = 1/2*{Med3(c3, p3, c9)+Med3(c4, p4, c10)}
Right 1 A = c3
B 1/2*(c3 + c4)
C = 1/2*{Med3(c3, p3, c8)+Med3(c4, p3, c9)}
D = Med3(c4, p3, c9)
Right 2 A = c3
B = 1/2*(c3 + c4)
C = Med3(c4, p3, c8)
D = 1/2*{Med3(c4, p3, c8)+Med3(cS, p4, c9)}
Right 3 A = c3
B = 1/2*(c3 + c4)
C = 1/2*{Med3(c4, p2, c7)+Med3(c5, p3, c8)}
D = Med3(c5, p3, c8)
Right 4 A = c3
B = 1/2*(c3 + c4)
C = Med3(c5, p3, c7)
D = 1/2*{Med3(c5, p3, c7)+Med3(c6, p4, c8)}
In den oben angegebenen Formaten bedeutet Med3 ( ) eine 3-Punkt Zentralwertoperation, bei der der Ausgang des Interpolators der Zentralwert der drei Eingänge ist. Es ist ersichtlich, daß das Bildelement B stets als Mittelwert der bekannten Bildelemente c3 und c4 interpoliert wird und damit unabhängig von der Kantenrichtung ist, während andrerseits der Wert der Bildelemente C und D von der Kantenrichtung abhängt.
Die Probendichte wird durch das oben angegebene Verfahren erhöht, und zwar unabhängig davon, ob das Empfangshalbbild gerade oder ungerade ist. Während der gleichmäßig fortschreitenden Bewegung von bestimmten gleichmäßig fortschreitenden Bildbereichen entsteht jedoch eine verwackelte Bewegung, da die Werte der neuen Proben nicht exakt mit deren Position im HDTV-Raster übereinstimmen. Es ist deshalb vorteilhafter, die neuen Bildelemente der empfangenen geraden und ungeraden Halbbilder auf andere Weise zu interpolieren. Diese äußerst vorteilhafte erfindungsmäßige Ausgestaltung wird anhand der Figuren 5a - c, besonders anhand der Figuren 5b und 5c, näher beschrieben.
Es wird im folgenden angenommen, daß ein ungerades Halbbild t im Standardformat empfangen wird. Dessen Probendichte wird nun genauso erhöht wie zuvor in der Figur 5a dargestellt wurde, oder anders ausgedrückt, die Probenwerte A (=c3), B, C und D werden mit Hilfe der oben dargestellten Berechnungsformate interpoliert. Wenn ein gerades Halbbild (t-1, falls das vorherige gerade Halbbild untersucht wird, t+1, falls das nachfolgende ungerade Halbbild untersucht wird) empfangen wird, werden die neuen Proben A = (c3'), B, C und D aufgrund der Proben (c1', c2' ... c12') des Halbbildes und der Proben p2', p3' und p4' des vorherigen Halbbildes mit Hilfe des gleichen Fensters und der gleichen Interpolatoren in genau der gleichen Weise berechnet, wie in der Beschreibung von Figur 5 erläutert wurde. Die "ungestrichelten" Bildelemente der ungeraden Halbbilder t-1 werden dabei durch die "gestrichelten" Bildelemente der geraden Halbbilder ersetzt. Das Ergebnis ist die in Figur 5b dargestellte Situation. Bisher ist alles gemäß der ersten Ausführungsform (siehe Figur 5) abgelaufen. Unter Verwendung der interpolierten Bildelemente A, B, C und D des geraden Halbbildes t-1 und der Bildelemente im 6*3 Fenster des Halbbildes werden weitere zusätzliche Berechnungen durchgeführt, aus welchen sich dann als Ergebnis die endgültigen neuen interpolierten Bildelemente E, F, G und H der ungeraden Halbbilder ergeben. Der von der Figur 5b auf die Figur 5c gerichtete Pfeil deutet auf diese zusätzliche Operation hin.
Diese neuen Werte für die Bildelemente werden folgendermaßen berechnet:
E = (A + C)/2
F = (B + D)/2
G = (C + c9') /2H = (D + c9' + c10)/3.
Wenn diese Operationen beim Empfang des geraden Halbbildes auf alle Bildelemente angewendet werden, wird ein neues HDTV-Halbbild gebildet, bei dem alle Bildelemente interpoliert sind, wobei keine der ursprünglich empfangenen Bildelemente erhalten bleiben. Bei einem ungeraden HDTV- Halbbild (Figur 5a) blieben die ursprünglichen Bildelemente erhalten (A = c3).
Die zusätzlichen Operationen in der obigen Beschreibung wurden beim Empfang eines geraden Halbbildes durchgeführt. Mit diesem Verfahren können die Operationen jedoch auch bei einem ungeraden Halbbild und einem geraden Halbbild durchgeführt werden, wie das bereits im Zusammenhang mit der Beschreibung der Figur 5 erläutert wurde. Der eingeklammerte Text in den Figuren 5a - c beschreibt diese Wahlmöglichkeit. Es ist deshalb unerläßlich, daß die Werte von jedem anderen neuen Halbbild dahingehend korrigiert werden, daß sie mit ihrer Position im HDTV-Raster besser übereinstimmen.
In dem obenstehend beschriebenen Verfahren wird deshalb zuerst aufgrund der Bildelemente in dem zu diesem Zeitpunkt vorhandenen Halbbild die Kanteninformation bestimmt, woraufhin aufgrund der daraus abgeleiteten Richtung drei neue, dem bekannten Bildelement c3 benachbarte Bildelementwerte unter Zuhilfenahme von Bildelementen des vorherigen Halbbildes bei der Interpolation berechnet werden. Die neu erhaltenen Werte werden in jedem anderen Halbbild korrigiert. Beim Empfang eines im traditionellen Videoformat ausgestrahlten Videosignals werden die zuvor beschriebenen Operationen kontinuierlich auf jedes Bildelement angewendet, wobei ein Halbbild im HDTV-Format entsteht, das in der Figur 7 teilweise dargestellt ist. Die dunklen Quadrate darin stellen die originalen Bildelemente dar, während die hellen Quadrate interpolierte neue Bildelemente darstellen. Dementsprechend ist die Probendichte des originalen PAL- Halbbildes oder eines anderen gleichwertigen Halbbildes auf das Vierfache erhöht. Der besondere Vorteil dieses Verfahrens besteht darin, daß diese vierfache Vergrößerung der Probendichte in einem einzigen Bearbeitungsschritt durchgeführt wird. Dies wird möglich durch die Benutzung des 6*3 Fensters sowohl für die Kantenbestimmung als auch für die Interpolation der neuen Bildpunkte.

Claims

1. Ein Verfahren zum gleichzeitigen Verdoppeln der Probendichte in horizontaler und vertikaler Richtung eines abgetasteten ankommenden Zeilensprungvideosignals durch adaptive Kanteninterpolation für jede bekannte Probe einer ersten neuen Probe (A) und einer zweiten neuen Probe (B) in der gleichen Zeile sowie einer dritten neuen Probe (C) und einer vierten neuen Probe (D) in der darunter zu bildenden Zeile in einem 6*3 Fenster, dadurch gekennzeichnet, daß

- die Zeile (m-1) des Halbbildes (t) gleichzeitig auf die erste Reihe des 6*3 Fensters und die folgende Zeile (m+1) des gleichen Halbbildes (t) auf die letzte Reihe des besagten Fensters zu gerichtet werden und daß zwischen diesen Zeilen eine Zeile (m) des vorhergehenden Halbbildes (t-1) auf die mittlere Reihe des Fensters zu abgetastet werden muß, worauf sich in der obersten bzw. der untersten Reihe des Fensters sechs nachfolgende Proben c1, c2, c3, c4, c5, c6; c7, c8, c9, c10, c11, c12 und in der mittleren Reihe drei nachfolgende Proben p2, p3, p4 befinden und worauf die neuen Proben so gebildet werden, daß sie der dritten in der oberen Reihe zu dem betreffenden Zeitpunkt befindlichen Probe entsprechen,

- eine Summierung der Absolutdifferenzsignale eines Probenpaars in der obersten Reihe des Fensters und eines Probenpaars in der untersten Reihe des Fensters in neun Richtungen durchgeführt wird, um die Richtung einer etwaigen Kante in dem Fenster (left1, left2, left3, left4, vertical, right1, right2, right3, right4) zu bestimmen,

- in den Proben des Fensters Linearoperationen und 3-Punkt- Zentralwertoperationen (M3) durch Anlegen der neuen Proben, und zwar der ersten (A), der zweiten (B), der dritten(C) und der vierten (D), in der durch die Kante angezeigten Richtung interpoliert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zwecks Bestimmung der Kanteninformation:

- hinsichtlich jeder Kantenrichtung der Proben in der obersten und untersten Reihe des Fensters Ansprechwerte berechnet werden, wie folgt:

90º = c3 - c9 + c4- c10

64º = c3 - c8 + c4 - c9

116º = c2 - c9 + c3 - c10

135º = c2 - c10 + c3 - c11

146º = c1 - c10 + c2 - c11

154º = c1 - c11 + c2 - c12

45º = c4 - c8 + c5 - c9

34º = c4 - c7 + c5 - c8

26º = cS - c7 + c6 - c8

- in der durch den niedrigsten Ansprechwert angezeigten Richtung neue Proben interpoliert werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß

- die erste neue Probe (A) der dritten Probe (c3) in der obersten Reihe des Fensters gleich ist und die zweite neue Probe (B) der Mittelwert der besagten dritten Probe und der darauffolgenden Probe (c4) ist,

- bei Interpolation einer dritten neuen Probe (C) und einer vierten neuen Probe (D) das Produkt eines 3-Punkt- Zentralwertinterpolators eine bekannte Probe aus jeder Reihe des Fensters ist und die Interpolationsrichtung in Abhängigkeit von der Kantenrichtung (90º, 64º, 116º, 135º, 146º, 154º, 45º, 34º, 26º) wie folgt ausgewählt wird:

154º C = Med3(c1, p3, c11)

D = 1/2*{Med3(c1, p3, c11)+Med3(c2, p4, c12)}

146º C= 1/2*{Med3(c1, p2, c10)+Med3(c2, p3, c11)}

D = Med3(c2, p3, c11)

135º C= Med3(c2, p3, c10)

D = 1/2*{Med3(c2, p3, c10)+Med3(c3, p4, c11)}

116º = 1/2*{Med3(c2, p2, c9)+Med3(c3, p3, c10)}

D = Med3(c3, p3, c10)

90º C = Med3(c3, p3, c9)

D = 1/2*{Med3(c3, p3, c9)+Med3(c4, p4, c10)}

64º C = 1/2*{Med3(c3, p2, c8)+Med3(c4, p3, c9)}

D = Med3(c4, p3, c9)

45º C = Med3(c4, p3, c8)

D = 1/2*{Med3(c4, p3, c8)+Med3(c5, p4, c9)}

34º C = 1/2*{Med3(c4, p2, c7)+Med3(c5, p3, c8)}

D = Med3(c5, p3, c8)

26º C = Med3(c5, p3, c7)

D = 1/2*{Med3(c5, p3, c7)+Med3(c6, p4, c8)}

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Ansprechwerte hinsichtlich mehrerer Proben rings um die neue zu interpolierende Probe (C) berechnet werden und eine Übereinstimmungskontrolle der Ansprechwerte vorgenommen wird, deren Ergebnis die endgültige Kanteninformation bildet.

5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zusätzlich zu dem Empfang jedes anderen Haibbildes

- die erste gewonnene neue Probe (A) durch den Mittelwert dieser Probe und der dritten neuen Probe (C) ((A+C)/2) substituiert wird,

- die zweite gewonnene neue Probe (B) durch den Mittelwert dieser Probe und der vierten neuen Probe (D) ((B+D)/2) substituiert wird,

- die dritte gewonnene neue Probe (C) durch den Mittelwert dieser Probe und der dritten neuen Probe (C9) in der untersten Reihe des Fensters (C+C9)/2) substituiert wird,

- die vierte gewonnene neue Probe (D) durch den Mittelwert dieser Probe und der dritten Probe (C9) sowie der vierten Probe (C10) in der untersten Reihe des Fensters substituiert wird ((D + c9' + c10')/3).

6. Apparat für gleichzeitiges horizontales und vertikales Verdoppeln der Probendichte eines abgetasteten ankommenden Zeilensprungvideosignals durch adaptive Kanteninterpolation für jede bekannte Probe einer ersten neuen Probe (A) und einer zweiten neuen Probe (B) in der gleichen Zeile sowie einer dritten neuen Probe (C) und einer vierten neuen Probe (D) in der darunter zu bildenden Zeile innerhalb eines 6*3- Fensters, in das die Zeilen des Videosignais gerichtet werden und aus dem heraus die dem betreffenden Zeitpunkt entsprechenden Proben zwecks weiterer Verarbeitung gleichzeitig gerichtet werden können, gekennzeichnet durch:

- Berechnungsmittel zur Berechnung der Absolutdifferenzsignale in verschiedenen Richtungen,

- Interpolationsmittel, die hinsichtlich jeder bekannten Probe adaptive Kanteninterpolation einer ersten neuen Probe (A) und einer zweiten neuen Probe (B) in der gleichen Zeile sowie einer dritten neuen Probe (C) und einer vierten neuen Probe (D) in einer darunter zu bildenden Zeile bewirken, wobei

- sich in der ersten Reihe des besagten Fensters gleichzeitig sechs nachfolgende Proben (c1, c2, c3, c4, c5, c6) der Zeile (m-1) des Haibbildes (t), in der untersten Reihe des besagten Fensters sechs nachfolgende Proben c7, c8, c9, clo, c11, c12 der folgenden Zeile (m+1) des gleichen Halbbildes (t) und in der mittleren Reihe des besagten Fensters drei Proben p2, p3, p4 der zwischen den besagten Zeilen abzutastenden Zeile (m) des vorhergehenden Haibbildes (t-1) befinden,

- die Berechnungsmittel Schaltungen zum Summieren der Absolutdifferenzsignale des Probenpaars in der obersten Reihe des Fensters und des Probenpaars in der untersten Reihe des Fensters in neun verschiedenen Richtungen umfassen, während andere Schaltungen zwecks Bestimmung der Kantenrichtung in dem Fenster mit den besagten Summierschaltungen gekoppelt sind,

- mit den Berechnungsmitteln verbundene Interpolatoren, die in der bestimmten Kantenrichtung neue Proben (A, B, C und D) durch Durchführung von Linearoperationen und 3-Punkt- Zentraiwertoperationen an den Fensterproben interpolieren.

7. Apparat nach Anspruch 6, dadurch gekennzeichnet, daß zwecks Bestimmung der Kanteninformation:

- das Berechnungsmittel auf Grund der Proben in der obersten und in der untersten Reihe des Fensters in jeder Kantenrichtung Ansprechwerte berechnet, wie folgt:

90º = c3 - c9 + c4- c10

64º = c3 - c8 + c4 - c9

116º = c2 - c9 + c3 - c10

135º = c2 - c10 + c3 - c11

146º = c1 - c10 + c2 - c11

154º = c1 - c11 + c2 - c12

45º = c4 - c8 + c5 - c9

34º = c4 - c7 + c5 - c8

26º = c5 - c7 + c6 - c8

- die Interpolatoren die neuen Proben in der durch den Mindestansprechwert bestimmten Richtung interpolieren.

8. Apparat nach Anspruch 7, dadurch gekennzeichnet, daß

- die erste neue Probe (A) als mit der dritten Probe (c3) in der obersten Reihe des Fensters identisch und die zweite neue Probe (B) als der Mittelwert der besagten dritten neuen Probe (c3) und der darauffolgenden Probe (c4) bestimmt wird,

- bei Interpolation einer dritten neuen Probe (C) und einer vierten neuen Probe (D) das Produkt des 3-Punkt- Zentralwertoperators eine Probe aus jeder Reihe des Fensters ist, wobei die Ergebnisse von der Kantenrichtung (90º, 64º, 116º, 135º, 146º, 154º, 45º, 34º, 26º) abhängen, wie folgt:

154º C = Med3(c1, p3, c11)

D = 1/2*{Med3(c1, p3, c11)+Med3(c2, p4, c12)}

146º C = 1/2*{Med3(c1, p2, c10)+Med3(c2, p3, cii)}

D = Med3(c2, p3, c11)

135º C = Med3(c2, p3, c10)

D = 1/2*{Med3(c2, p3, c10)+Med3(c3, p4, c11)}

116º C = 1/2*{Med3(c2, p2, c9)+Med3(c3, p3, c10)}

D = Med3(c3, p3, c10)

90º C = Med3(c3, p3, c9)

D = 1/2*{Med3(c3, p3, c9)+Med3(c4, p4, c10)}

640 C = 1/2*{Med3(c3, p2, c8)+Med3(c4, p3, c9)}

D = Med3(c4, p3, c9)

45º = Med3(c4, p3, c8)

D = 1/2*{Med3(c4, p3, c8)+Med3(cS, p4, c9)}

34ºn C = 1/2*{Med3(c4, p2, c7)+Med3(c5, p3, c8)}

D = Med3(c5, p3, c8)

C = Med3(cS, p3, c7)

D = 1/2*{Med3(c5, p3, c7)+Med3(c6, p4, c8)}

9. Apparat nach Anspruch 8, dadurch gekennzeichnet, daß zusätzlich zu dem Empfang jedes anderen Halbbildes die neuen interpolierten Proben des Fensters von ihren Eingabewerten ausgehend einem Mittel zur Berechnung ihrer Mittelwerte zugeführt werden, dessen Ausgangswert

- anstelle der ersten neuen Probe (A) tritt, wenn immer das Produkt die erste neue Probe (A) und die dritte neue Probe (C) ist,

- anstelle der zweiten neuen Probe (B) tritt, wenn immer das Produkt die zweite neue Probe (B) und die vierte neue Probe (D) ist,

- anstelle der dritten neuen Probe (C) tritt, wenn immer das Produkt die besagte Probe und die dritte Probe (c9) in der untersten Reihe des Fensters ist,

- anstelle der vierten neuen Probe (D) tritt, wenn immer das Produkt die besagte Probe (D), die dritte Probe (c9) und die vierte Probe (c10) in der unteren Reihe des Fensters ist.

10. Apparat nach Anspruch 7, dadurch gekennzeichnet, daß ein Speicher mit dem Berechnungsmittel, in das die bekannten Proben des Fensters betreffende Kanteninformation eingespeist wird, sowie mit einer Übereinstimmungskontrollschaltung in Verbindung steht, die hinsichtlich der aus dem Speicher abgelesenen Kanteninformation eine Übereinstimmungskontrolle durchführt, deren Ergebnis die endgültige Kanteninformation bildet.