-
Die vorliegende Erfindung betrifft
die Verarbeitung von Videosignalen und insbesondere die Verarbeitung
eines vom Ausgang eines Sensors kommenden Farbbildes, welcher sich
unter einem Mosaik-Farbfilter befindet.
-
Es gibt mehrere Möglichkeiten, ein Vollfarbbild
aufzunehmen. Zum Beispiel kann man unter Verwendung verschiedener
Filter nacheinander rote, grüne
und blaue Teilbilder aufnehmen, wie das bei vielen Scannern der
Fall ist. Alternativ kann weißes Licht
durch ein Objektiv fokussiert und in drei Farbbilder aufgeteilt
werden. Jedes Teilbild wird dann durch einen separaten Sensor aufgenommen,
wie das bei „3-Chip"-Kameras der Fall
ist. Bei dem Verfahren der vorliegenden Erfindung wird eine einzige
Sensormatrix mit vielen Pixeln verwendet, bei der ein sich wiederholendes
Mosaik von Farbfiltern so angebracht ist, dass auf jedes Pixel nur
von eine Farbe fällt.
Dieses Verfahren wird bei der überwiegenden
Mehrzahl digitaler und Videokameras verwendet. Ein Grund hierfür besteht
darin, dass durch die Verwendung lediglich eines einzigen Sensors
die gleichzeitige Aufnahme der drei Farben, von bewegten Objekten
am kostengünstigsten
ist. Dieses Verfahrens bedient sich nämlich auch das menschliche
Auge bei der Farberkennung.
-
Um dieses Verfahren mit einer einzigen
Sensormatrix genauer zu beschreiben, wird in 1 eine Matrix von Pixeln 102 dargestellt,
die einen Sensor umfasst. Eine einzelne Reihe 104 dieser
Pixel bildet zusammen eine Abtastzeile „Y". Wenn aus der Matrix ein Bild ausgelesen
wird, werden die Pixel in einer solchen Abtastzeile nacheinander
entlang der Abtastzeile ausgelesen. Das Mosaikfilter besteht aus Farbspalten,
die in den Streifen rot 202, grün 204 und blau 206 angeordnet
sind. Ein solches Mosaik wird als Streifen-Farbmatrix bezeichnet.
Wenn aus der Abtastzeile 104 nacheinander Pixel ausgelesen
werden, wird eine wiederholte Folge 105 von roten, grünen und
blauen Pixeln ausgelesen.
-
Bei jedem über einem Einzelsensor angeordneten
Mosaik, das aus Farbfiltern besteht, werden die Farben praktisch
nach einem durch das Mosaik vorgegebenen Muster codiert. Wenn zum
Beispiel im Fall der Streifen-Farbmatrix jede dritte Spalte hell war,
kann man davon ausgehen, dass das Aufnahmeobjekt eine einzige helle
Farbe hatte. Eine weitere wenig wahrscheinliche, aber nicht unmögliche Deutung
bestünde
darin, dass das Aufnahmeobjekt eng benachbarte vertikale Linien
enthielt. Insbesondere bei Aufnahmeobjekten, die sowohl feine Strukturen
als auch Farben besitzen, entstehen in dem aufgenommenen Bild Muster,
die entweder als Farbe oder als Strukturelement interpretiert werden können. Ein
Farbdecodierungs-Algorithmus muss jedes Muster entweder einem Farb-
oder einem Strukturelement zuordnen. Wenn die Zuordnung fehlerhaft ist,
entstehen Abbildungsfehler wie zum Beispiel schillernde Farben auf
einem Schiedsrichterhemd, wenn man es auf einem Fernsehbildschirm
nach der NTSC-Norm betrachtet.
-
Zum besseren Verständnis der
Decodierung der Farben aus einer Streifen-Farbmatrix wird das Problem
im Folgenden im Frequenzbereich dargestellt. 3 zeigt ebenfalls eine Streifen-Farbmatrix 302,
die über
einer Pixelmatrix angebracht ist. Wenn aus der Matrix eine Pixelzeile
ausgelesen wird, wird entsprechend der Farbe des durch die Matrix
abgebildeten Bildes ein Muster ausgelesen. Wenn das Abbildungsobjekt
zum Beispiel hellgrün
ist, bewirken die Sensoren unter den grünen Streifen 304,
dass die Ausgabewerte 306 der Pixelzeile wiederholt Spitzenwerte 308 aufweisen,
deren Frequenz jedem dritten Pixel entspricht. Wenn das Aufnahmeobjekt
stattdessen hellblau ist, bewirken die blauen Streifen 310, dass
die Ausgabewerte 312 Spitzenwerte 314 mit denselben
Abständen,
aber an anderen Stellen aufweisen. Somit wird das Vorliegen einer
hellen Farbe durch eine bestimmte Frequenz und der Farbton dieser
Farbe durch die Phase dieser Frequenz wiedergegeben.
-
Für
den vorliegenden Zweck soll der Frequenz einer reinen Farbe (die
zum Beispiel durch die Signale 306 und 312 von 3 dargestellt und im Folgenden
als Farbträger
bezeichnet wird) willkürlich eine
Frequenz 1,0 zugeordnet werden. Daraus folgt dann, dass die Pixelmatrix
selbst für
jeden Farbzyklus drei Pixel hat und daher mit einer Frequenz 3,0 abtastet.
Die Nyquistfrequenz der Pixelmatrix, welche die maximale Aufnahmefrequenz
ist, bei der aufeinander folgende Pixel hell und dunkel sind, beträgt die Hälfte von
3,0, also 1,5, und die Nyquistfrequenz einer reinen Farbe beträgt die Hälfte von
1,0, also 0,5.
-
4 zeigt
eine Folge 402 von roten, grünen und blauen Streifen 408 (die
danach mit rot 410 beginnend usw. wiederholt werden). Obwohl
diese Farben in einer Reihe 404 liegen, kann man sie sich
wegen des Wiederholungscharakters als Farbkreis 406 vorstellen. 5 erweitert diesen Kreis
und zeigt, wie die Farben durch Vektoren auf diesem Kreis dargestellt
werden können.
Ein grünes
Aufnahmeobjekt würde
beispielsweise einen Spitzenwert erzeugen, wenn der Kreis an der
Spitze des grünen
Vektors 502 vorbeikommt. Jeder Farbton lässt sich
als Vektorrichtung auf diesem Kreis darstellen. Zwei Farbtöne von besonderem
Interesse sind der Vektor „I" 504, der
die „Gleichtakt"-Komponente des NTSC-Fernsehens darstellt,
und der Vektor „Q" 506, der
die „Quadratur"-Phase des NTSC-Fernsehens
darstellt. Der Vektor I wurde so ausgewählt, dass er der in der realen Welt
am häufigsten
vorkommenden Farbtonrichtung, also der Farbtonachse orange-blau
entspricht, und dass der Vektor Q der am seltensten vorkommenden Richtung,
also der Farbtonachse grün-magenta
entspricht.
-
In 6 werden
die Auswirkungen der Farbstreifen im Frequenzbereich dargestellt.
Um sich dieser Darstellung bedienen zu können, werden die Farben durch
drei Komponenten dargestellt, und zwar der Helligkeit (Leuchtdichte)
bzw. der Komponente „Y" 602 sowie
zwei Farbkomponenten, und zwar der Komponente „I" 604 und der später dargestellten
Komponente „Q" 610.
-
Reine Helligkeitswerte, die einem schwarz-weißen Aufnahmeobjekt
entsprechen, durchlaufen alle Farbfilter in derselben Weise, sodass
eine Abtastzeile so präsentiert
wird, wie wenn überhaupt
keine Filter vorhanden wären.
Dies wird in 6 durch
die Kurve Y 602 dargestellt, die einen durch das Aufnahmeobjekt
bestimmten Raumfrequenzinhalt aufweist, der durch Unschärfen im
Sensor und der zugehörigen
Optik geschwächt
und durch die reine Nyquistfrequenz der Sensormatrix auf eine Frequenz
von 1,5 Einheiten des Farbträgers
begrenzt ist, wie oben erläutert
wurde.
-
Da die Farbkomponenten an denselben
Bildkanten entstehen wie die Helligkeitskomponente, ist ihre Raumfrequenzform
der der Helligkeitskomponente sehr ähnlich, jedoch kleiner.
-
Insbesondere sind alle Farben einschließlich der
Komponente I normalerweise wesentlich kleiner als die Komponente
Y, sodass die Kurve 604 der Komponente I dieselbe Form
wie die Kurve 602 der Komponente Y hat, aber wesentlich
flacher ist. Da die Farbe durch die Farbstreifen wirksam verstärkt oder verändert wird,
kommt es außerdem
bei der Farbträgerfrequenz
1,0 zu einem Spitzenwert und einem über die Frequenz 1,0 hinaus
reichenden oberen Seitenband 606 sowie einem spiegelbildlich
nach unten reichenden unteren Seitenband 608. Das Signal
Q ist in den meisten Fällen
kleiner als I, da die Richtungen der Vektoren I und Q so gewählt wurden,
dass dieser Größenunterschied
für durchschnittliche
Aufnahmeobjekte möglichst
groß ist. Üblicherweise
ist dieser Unterschied, wie in 6 gezeigt,
ziemlich groß,
da hier die Kurve Q 610 wesentlich flacher ist als die Kurve
I 604. Wie man sieht, nehmen die Kurven I und Q zentrisch
zum Farbträger 612 denselben
Frequenzraum ein. Da sie jedoch beide zwei Seitenbänder haben,
können
sie anhand ihrer Phase voneinander unterschieden werden. Die beiden
Farbkomponenten I und Q überlappen
auch Frequenzen der Helligkeitskomponente Y 602. Diese Überlappung
führt bei
einem Farbverfahren mit einem Einzelsensor zu Abbildungsfehlern.
Beim Stand der Technik ist die Trennung nur unvollkommen, und die
vorliegende Erfindung beabsichtigt die Trennung der Komponenten zu
verbessern.
-
Das von einer Einzelsensormatrix
unter einer Farbfiltermatrix abgeleitete Signal hat im Prinzip ein in
das Signal codiertes Farbsignal, das zur Erzeugung eines brauchbaren
Farbbildes decodiert werden muss. Ein Standardverfahren nach dem
Stand der Technik besteht in der Decodierung in einzelne Farbkomponenten,
indem jede Abtastzeile 104 von 2 in drei Abtastzeilen YR 208,
YG 210 und YB 212 aufgeteilt wird. Da jede dieser
Abtastzeilen nur aus Pixeln derselben Farbe besteht und somit nur
ein Drittel der Pixelzahl der ursprünglichen Zeile umfasst, ist
jede wie oben beschrieben auf eine Nyquistfrequenz 0,5 beschränkt.
-
Dieser Ansatz wies jedoch mehrere
Nachteile auf. Der offensichtlichste besteht darin, dass die effektive
Auflösung
der Matrix bei Schwarz-Weiß-Strukturen
auf ein Drittel der gesamten physisch in der Matrix enthaltenen
Pixel beschränkt
war. Zudem führten
alle optischen Bildelemente über
die niedrige Nyquistfrequenz von 0,5 hinaus zu Abbildungsfehlern,
die bei den ersten Digitalkameras zu der bekannten Erscheinung führten, dass
ein Auge rot und ein Auge blau abgebildet wurde.
-
Ein weiterer möglicher Ansatz nach dem Stand
der Technik ging im Gegensatz zu dem soeben beschriebenen davon
aus, dass Bilder grundsätzlich rein
schwarz-weiß sind.
Diese Annahme ist natürlich richtig,
wenn beispielsweise Text abgetastet wird, der mit schwarzer Tinte
auf weißes
Papier gedruckt wurde. In diesem Fall zeigen die Farbstreifen keine
Wirkung. Dementsprechend wird die gesamte Bandbreite 1,5 (z. B.
die Hälfte
der Matrix-Abtastfrequenz 3,0) in Anspruch genommen. Dies führt zu einer
im Vergleich zum oben beschriebenen ersten Verfahren dreimal so
großen
Bandbreite, erfordert jedoch in seiner reinen Form, dass das Abbildungsobjekt
keinerlei Farbanteile enthält,
da alle Frequenzen unter der Annahme decodiert werden, dass sie
von Helligkeitsunterschieden stammen.
-
Die beiden oben beschriebenen Verfahren nach
dem Stand der Technik sind davon ausgegangen, dass nur ein geringer
Informationsgehalt vorlag, der auf die drei Farben mit einer Bandbreite
von je 0,5 verteilt oder einem Monochromsignal der Bandbreite 1,5
oder einer beliebigen Kombination zugewiesen werden kann. Eine gute
Kompromisslösung beim
Stand der Technik bestand darin, der Helligkeit eine Bandbreite
0,75 und der Farbe eine Bandbreite 0,25 zuzuweisen. Aus 6 ist zu erkennen, dass die
Helligkeits- und die Farbkomponente bei einer Frequenz 0,75 (die
0,25 unter der Farbträgerfrequenz
1,0 612 liegt) ungefähr
gleich groß sind.
Statistisch ist dies daher das Kriterium für die optimale Frequenz, unterhalb
der das Signal als Helligkeit und oberhalb der es als Farbe interpretiert
wird.
-
Man sieht, dass die höchsten Frequenzen der
Matrix im Bereich von 1,5 keinem Kanal zugewiesen werden, sondern
verloren gehen, wenn der Farbe weniger Bandbreite zugewiesen wird.
Wenn bei der Trennfrequenz 0,75 die Hälfte der Information von der
Farbe und die andere Hälfte
von der Helligkeit stammt, reicht außerdem die Hälfte über diese „Kriteriums"-Frequenz hinaus
in den falschen Interpretationsbereich und führt zu Abbildungsfehlern.
-
Bei einem dritten Verfahren wurde
ein Medianfilter verwendet, um die Kantenpositionen zu ermitteln
und für
die Kanten größere Bandbreiten
zu erreichen. Eine handelsübliche
Ausführung
dieses Systems erzeugte eine Bandbreite von genau 0,75. Da es sich
jedoch hierbei um ein nichtlineares Verfahren handelte, enthielt
das entstehende Bild üblicherweise deutliche
unerwünschte
Abbildungsfehler.
-
Die Erfindung stellt daher ein Verarbeitungsverfahren
nach Anspruch 1 bereit. Gemäß einem zweiten
Aspekt stellt die vorliegende Erfindung eine Vorrichtung nach Anspruch
22 bereit.
-
Bei einer bevorzugten Ausführungsart
umfasst das Signal ein Streifenmatrixsignal mit einer Farbträgerfrequenz
(Fcc) und den Komponenten Y, Q und I einer Matrix, welche eine Nyquistfrequenz
Fn definieren, wobei das Verfahren die folgenden Schritte umfasst:
Tiefpassfilterung
des Matrixsignals, um ein erstes Signal zu erzeugen;
Abtasten
des ersten Signals, um ein zweites Signal zu erzeugen;
Tiefpassfilterung
des zweiten Signals, um eine modifizierte Komponente Y des Matrixsignals
zu erzeugen;
Demodulieren des zweiten Signals, um ein drittes
Signal zu erzeugen;
Tiefpassfilterung des dritten Signals,
um eine modifizierte Komponente Q des Matrixsignals zu erzeugen;
Erzeugen
eines vierten Signals, welches aus der Differenz zwischen dem ersten
Signal und der modifizierten Komponente Y besteht;
Abtasten
des vierten Signals, um ein fünftes
Signal zu erzeugen;
Demodulieren des fünften Signals, um ein sechstes Signal
zu erzeugen; und
Tiefpassfilterung des sechsten Signals, um
eine modifizierte Komponente I des Matrixsignals zu erzeugen.
-
Bei einer bevorzugten Ausführungsart
umfasst das Reduzierungsmittel:
ein Mittel zum Subtrahieren
eines Teils des ermittelten unteren Seitenbandes vom Matrixsensorsignal, wobei
der Farbträger
eine Farbträgerfrequenz
definiert. Das Subtraktionsmittel umfasst: ein Mittel zum erneuten
Abtasten des Matrixsensorsignals vor dem Demodulieren bei der doppelten
Farbträgerfrequenz und
bei einer Phase, die den dominierenden Farbvektor aufhebt. Ebenso
definiert das Bild vorzugsweise einen durch die Vorrichtung demodulierten
Bildbereich, um die Helligkeit zu demodulieren, und ferner definiert
das Bild Bildfarben, die in der Nähe des Bildbereichs liegen;
wobei der dominierende Farbvektor als Funktion von diesen in der
Nähe liegenden
Bildfarben ausgewählt
wird.
-
Vorzugsweise enthält das Mittel zum Demodulieren
des Farbvektors I ein Mittel zum Filtern des Videosignals durch
das asymmetrische Seitenbandfilter, wobei dieses Filter mehr vom
oberen Seitenband als vom unteren Seitenband durchlässt.
-
Bei einer bevorzugten Ausführungsart
umfasst die Vorrichtung ferner ein Mittel zum Ausführen einer
Matrixtransformation der Komponenten Y, Q und I, um entsprechende
Komponenten R, G bzw. B des Matrixsignals zu erzeugen. Die obere
Grenzfrequenz Fc des Mittels zur Tiefpassfilterung des Matrixsignals
wird gleich der Nyquistfrequenz Fn der Matrix gesetzt (diese obere
Grenzfrequenz Fc wird üblicherweise
gleich 1,5 Fcc gesetzt). Das Mittel zum Abtasten des ersten Signals
hat eine Nennfrequenz von 2 Fcc und kleiner als 2 Fc. Durch das
Abtasten werden Frequenzen oberhalb Fcc auf niedrigere Frequenzen umgesetzt.
-
Ferner haben bei der bevorzugten
Ausführungsart
die Abtastwerte aus dem Mittel zum Abtasten der ersten Signals dieselbe
Phase wie die Komponente Q. Das Mittel zur Tiefpassfilterung des
zweiten Signals umfasst ein Tiefpassfilter, das so eingestellt ist,
dass die Komponente Q um die Frequenz Fcc herum entfernt wird, um
eine modifizierte Komponente Y des Matrixsignals zu erzeugen. Der
Nennwert der oberen Grenzfrequenz dieser Tiefpassfilterung des zweiten
Signals liegt im Bereich von 0,5 Fcc bis Fcc. Das Mittel zum Demodulieren
des Signals hat eine Nennfrequenz von 2 Fcc. Das Mittel zum Demodulieren
des zweiten Signals verändert
die Abtastwerte des zweiten Signals, um das dritte Signal zu erzeugen,
dessen benachbarte Abtastwerte die gleiche Polarität wie die
Komponente Q haben. Das Mittel zum Demodulieren des zweiten Signals
kehrt das Vorzeichen jedes zweiten Abtastwertes des zweiten Signals
um.
-
Ferner liegt bei der bevorzugten
Ausführungsart
der Nennwert der Mittenfrequenz der Tiefpassfilterung des dritten
Signals unterhalb 0,5 Fcc. Das Mittel zum Abtasten des vierten Signals
hat eine Nennfrequenz von 2 Fcc. Die Abtastwerte aus dem Mittel
zum Abtasten des vierten Signals haben dieselbe Phase wie die Komponente
I. Das Mittel zum Demodulieren des fünften Signals hat eine Nennfrequenz
von 2 Fcc. Das Mittel zum Demodulieren des fünften Signals verändert die
Abtastwerte des fünften Signals,
um das sechste Signal zu erzeugen, dessen benachbarte Abtastwerte
dieselbe Polarität
wie die Komponente I haben. Das Mittel zum Demodulieren des fünften Signals
kehrt das Vorzeichen jedes zweiten Abtastwertes des fünften Signals
um. Der Nennwert der Mittenfrequenz des Mittels zur Tiefpassfilterung
des sechsten Signals beträgt
0,5 Fcc.
-
Somit kann bei einer bevorzugten
Ausführungsart
durch eine Sensormatrix mit Farbstreifen ein Bild als Videosignal
aufgenommen werden, das aus einzelnen Pixeln besteht. Bei der Verarbeitung
des Sensorsignals interpretiert das System zuerst die höchsten Frequenzen
des Signals als oberes Seitenband der Farbkomponente I in der im
Folgenden beschriebenen Weise, wodurch die nutzbare Bandbreite der
Farbelemente verdoppelt wird.
-
Aus dem oberen Seitenband des Signal
wird das entsprechende untere Farbseitenband vorhergesagt und dieses
dann von der Helligkeitskomponente subtrahiert, aus welcher wiederum
ein Bild erzeugt wird. Dabei werden die Schärfe des dadurch erzeugten Bildes
verbessert und gleichzeitig die Abbildungsfehler verringert.
-
Vorzugsweise wird aus einem solchen
Streifenmatrix-Sensorsignal
die Farbe demoduliert, was den Schritt des Demodulierens des überwiegenden Farbvektors
I aus dem Farbträgersignal
mittels eines asymmetrischen Seitenbandfilters beinhaltet. Hierdurch
wird letztlich das obere Seitenband stärker erweitert als das untere
Seitenband, wodurch es zu dem asymmetrischen Seitenbandfilter kommt.
Insbesondere bedient man sich vorzugsweise der Frequenzfaltung,
um eine reinere Komponente Y des aufgenommenen Videobildes zu erhalten.
Das Ursprungssignal ist auf die natürliche Nyquistfrequenz begrenzt,
wird jedoch bei der doppelten Nyquistfrequenz abgetastet, um die
Komponente Y zu erzeugen. Die Abtastfrequenz ist doppelt so hoch
wie die Farbträgerfrequenz
und hat dieselbe Phase wie die Komponente Q, wodurch die Frequenzen
oberhalb der Farbträgerfrequenz
wieder auf die unteren Frequenzen zurück umgesetzt werden.
-
Infolge der Phasenanpassung wird
das untere Seitenband der starken Komponente I durch diese Umsetzung
aufgehoben, wodurch die durch die Komponente I in der Komponente
Y erzeugten Abbildungsfehler beseitigt werden. Die umgesetzten Frequenzen
der kleineren Komponente Q liefern jedoch einen zusätzlichen
Beitrag, indem sie die durch die Komponente I in der Komponente
Y erzeugten Abbildungsfehler verdoppeln. Da jedoch die Farbtöne der Komponente
Q in der Natur nur selten vorkommen, machen sich die verdoppelten
Q-Abbildungsfehler normalerweise wesentlich geringer bemerkbar als die
Summe der einfachen Abbildungsfehler der Komponenten I plus Q nach
dem Stand der Technik.
-
Die sich daraus ergebende Komponente
Q wird ferner tiefpassgefiltert, um die Komponente Q um die Farbträgerfrequenz
herum zu beseitigen. Dann wird die optimale Komponente Y von einer zweiten
Kopie des aufgenommenen Videosignals subtrahiert, wobei das untere
Seitenband der Komponente I zurückbleibt,
welches zuvor in der stärkeren
Komponente Y enthalten war. Dieser Rest, der das untere Seitenband
der Komponente I umfasst, wird anschließend demoduliert, um eine Komponente
I mit großer
Bandbreite zu erzeugen. Im Endeffekt werden Frequenzen im oberen
Seitenband als I gedeutet, wodurch Komponenten von Q fälschlicherweise
auf I umgesetzt werden. Die dadurch bedingte Farbverschiebung ist
jedoch nur gering, da die Farbtöne
der Komponente Q in der Natur nur relativ selten vorkommen. Im Gegenzug
erhält
man bei der Mehrzahl der wiedergegebenen Farben einschließlich der Fleischtöne im Großen und
Ganzen eine verdoppelte Farbauflösung.
-
Durch ein solches Bildbearbeitungsverfahren
kann man mit einem Farbabbildungssystem mit einem Einzel-Farbmosaiksensor
schärfere
Bilder mit weniger Abbildungsfehlern erzeugen und die gesamte Raumfrequenzinformation
des Sensors vollständig ausnutzen,
wobei gleichzeitig das Ansprechverhalten im wesentlichen linear
ist.
-
Im Folgenden wird eine bevorzugte
Ausführungsart
der Erfindung anhand eines Beispiels unter Bezug auf die folgenden
Zeichnungen ausführlich beschrieben:
-
1 stellt
ein Sensormatrixmuster mit einer hervorgehobenen Abtastzeile Y dar;
-
2 veranschaulicht
ein Farbstreifenmuster mit einer hervorgehobenen Abtastzeile Y und
drei hervorgehobenen Farbabtastzeilen;
-
3 veranschaulicht
das Abtastsignal der abgetasteten Zeile Y bei bestimmten auf den
Sensor auftreffenden Lichtfarben, die zu einer definierten Frequenz
1,0 des Abtastsignals führen;
-
4 veranschaulicht
das Konzept eines Farbkreises;
-
5 ist
eine schematische Darstellung, welche die Richtung der Vektoren
I und Q im Farbkreis zeigt;
-
6 ist
ein repräsentativer
Kurvenverlauf der Raumfrequenzkomponenten Y, I und Q eines von einem
Sensor mit Farbstreifen abgeleiteten Signals, wenn dieser durch
ein typisches Bild angeregt wird;
-
7 ist
ein Blockschaltbild einer bevorzugten Ausführungsart der Erfindung;
-
8 ist
ein Kurvenverlauf des Raumfrequenzspektrums der Signalkomponenten
in 7 an der Stelle 708;
-
9 ist
ein Kurvenverlauf des Raumfrequenzspektrums der Signalkomponenten
in 7 an der Stelle 709;
-
10 ist
ein Kurvenverlauf des Raumfrequenzspektrum der Signalkomponenten
in 7 an der Stelle 710;
-
11 ist
ein Blockschaltbild eines Systems mit der Matrix, welche das Sensormatrixmuster
erzeugt.
-
Wenn die Matrix 302 in 3 entsprechend der vorangehenden
Erörterung
rein grünes
Licht abtastet, wird ein Abtastsignal 306 bei einer Frequenz 1,0
erzeugt. Wenn die Matrix blaues Licht abtastet, wird in derselben
Weise ein anderes Abtastsignal 312 bei der Frequenz 1,0
erzeugt. Ein Vergleich zwischen den Signalen 306 und 312 zeigt
jedoch, dass zwischen den beiden Abtastsignalen ein Phasenunterschied
besteht. Wenn man sich in 4 vorstellt, dass
die Folge der Streifen rot, grün
und blau (R, G, B) 402 durch den nächsten roten Streifen 410 fortgesetzt
wird und diese Streifen (wie durch die Reihenfolge zwischen der
Zeile 404 und dem Kreis 406 gezeigt) zu einem
Kreis 406 „umgebogen" werden, erscheint
das durch das grüne
Licht erzeugte Signal durch einen auf den grünen Winkel des Kreises 406 zeigenden
Vektor, der in 5 durch
Vektor 502 dargestellt wird.
-
In 5 sind
zwei Vektoren, und zwar der Vektor I 504 und der Vektor
Q 506, von besonderem Interesse. Betrachtet man eine NTSC-Fernsehsendung
in einer Vektordarstellung oder Ähnlichem,
stellt man fest, dass viele Bilder der realen Welt vorwiegend aus
der Komponente I und nur zum geringen Teil aus der Komponente Q
bestehen. Da die Farbfilter der Streifen 402 von 4 oft pastellfarben bzw. weniger
gesättigt
sind, um mehr Licht durchzulassen, neigen sie außerdem dazu, der roten und
blauen Farbe einen grünen
Anteil beizumischen und umgekehrt, wodurch die Komponente Q 506 des
Ausgangssignals weiter abgeschwächt
wird. Der dominierende Winkel des Ausgangssignals der Sensormatrix
kann als I 504 definiert werden. Es kann gezeigt werden, dass
dieser Winkel I dem NTSC-Winkel
zwar nicht identisch ist, diesem jedoch nahe kommt.
-
In 6 ist
der Kurvenverlauf des Raumfrequenzspektrums einer Abtastzeile 104 von 2 einer Sensormatrix unter
den Farbstreifen 214 gezeigt, wobei die Signalstärke auf
der Ordinate und die Frequenz auf der Abszisse dargestellt wird.
Das hier gezeigte Spektrum veranschaulicht die Komponenten I 604 und
Q 610 sowie die monochrome Helligkeitskomponente Y 602.
-
Die drei oben genannten Komponenten
I, Q und Y weisen im Wesentlichen gleiche Bandbreiten auf, da sie
denselben Abbildungsprozessen entstammen, obwohl sich die Größen ihrer
Signale voneinander unterscheiden. 6 soll
einen subjektiven Eindruck davon vermitteln, wie die Signalgrößen durchschnittlicher
realer Fotos aussehen könnten.
-
Man sieht, dass die Komponenten I
604 und Q 610 zwar zusammenfallen, sich aber wie oben erwähnt durch unterschiedliche
Phasen voneinander unterscheiden. Ferner ist zu sehen, dass die
Funktionen I und Q um die Trägerfrequenz 612 1,0
herum ein doppeltes Seitenband aufweisen, d. h. das Frequenzspektrum
doppelt belegen. Somit füllen
die beiden Signale 604 und 610 das Spektrum doppelt
aus, und es kommt zur „Informationsblockade". Zur Unterscheidung
der unterschiedlichen Phasen werden beide Seitenbänder benötigt. Weitere
Grundlagen hierzu sind in den bekannten Monografien zur Theorie der
Datenübertragung
und zur NTSC-Theorie zu finden.
-
Abgesehen von der durch die passenden Seitenbänder der
Spektren I und Q ermöglichten Phasenunterscheidung
erschweren alle Frequenzüberlappungen
wie in 6 die Interpretation.
Solche Probleme können
durch zahlreiche in der Technik bekannte Abbildungsfehler veranschaulicht
werden, zu denen es üblicherweise
kommt, wenn ein NTSC-Fernsehdecoder überlappende Farb- und Helligkeitssignale
zu trennen versucht.
-
Beim Stand der Technik kommt es durch
Zusammenfassung des unteren Seitenbandes 608 von etwa 1,0
bis 0,75 und des oberen Seitenbandes von 1,0 bis 1,25 zu einer Bandbreite
von 0,50 für
beide Komponenten I und Q zusammen bzw. einer Bandbreite von 0,25
für jede
einzelne Komponente. Die Frequenzen von 0,0 bis 0,75 werden als
Information Y interpretiert, und die Überlappungen führen zu
den Abbildungsfehlern.
-
Wie bereits beschrieben werden jedoch
die Nennfrequenzen von 1,25 bis 1,5 dazu verwendet, eine schärfere Farbauflösung zu
erzielen und Abbildungsfehler zu unterdrücken. Da die entsprechenden Frequenzen
des unteren Seitenbandes 608 durch Y 602 dominiert werden,
ist die Phasenerkennung im Allgemeinen unmöglich. Unter der oben erläuterten Annahme,
dass das Farbsignal zum größten Teil
aus der Komponente I besteht, kann man jedoch davon ausgehen, dass
die Aktivität
von 1,25 bis 1,5 im Wesentlichen dem Farbsignal I entspricht. Dadurch
verdoppelt sich die Bandbreite des Kanals I und dadurch die Bandbreite
des größten Teils
der Farbe auf 0,5. Geht man ferner von der Phase der Komponente
I bei diesen hohen Frequenzen aus, kann man das untere Seitenband
zuverlässig
vorhersagen und subtrahieren, wodurch die Vermischung zwischen der
Farbe und den als Helligkeit Y interpretierten Frequenzen zwischen
den Nennfrequenzen 0,5 und 0,75 verringert wird.
-
In 7 ist
eine Ausführungsart
eines Systems dargestellt, welches sich der Frequenzfaltung bedient,
um eine reinere Komponente Y zu erhalten. Es wird daran erinnert,
dass zuerst ein Ursprungssignal 712 einer Abtastzeile 104 von 2 durch die Matrix unter
den Farbstreifen 214 erzeugt wird. Dieses Ursprungssignal 712 wird
durch ein entsprechendes digitales Tiefpassfilter 714 begrenzt,
das auf die Nyquistfrequenz der Matrix, also auf 1,5 eingestellt ist.
Der Ausgangswert des Tiefpassfilters 708 wird dann durch
eine Abtasteinheit 711 geleitet, deren Abtastfrequenz doppelt
so hoch ist wie die Farbträgerfrequenz
(z. B. F = 2,0) und dieselbe Phase wie die Komponente Q hat, d.
h., dass das Abtasten immer dann erfolgt, wenn ein Signal Q einen
positiven oder negativen Extremwert hat. Diese Abtasten erfolgt durch
Abtasten des digitalen Signals zu den durch die Abtastfrequenz festgelegten
Zeitpunkten und beinhaltet insbesondere keine weitere Tiefpassfilterung außer der
in Block 714 festgelegten, wodurch bewusst in gewissem
Umfang eine Umsetzung zugelassen wird (da die festgelegte Abtastfrequenz
geringer als das Doppelte der Grenzfrequenz des Tiefpassfilters
in Block 714 ist). Durch dieses Abtasten werden die Frequenzen
oberhalb der Trägerfrequenz wieder
zu den niedrigeren Frequenzen zurück umgesetzt. Infolge dieser
Phasenanpassung an das Signal Q werden das untere Seitenband der
starken Komponente I durch die Umsetzung entfernt und somit die durch
die in der Komponente Y 709 enthaltene Komponente I erzeugten Abbildungsfehler
beseitigt. Die umgesetzten Frequenzen der kleineren Komponente Q
liefern jedoch leider einen zusätzlichen
Beitrag und verdoppeln die durch die in der Komponente Y enthaltene
Komponente Q erzeugten Abbildungsfehler. Der Ausgangswert 709 der
Abtastwerte wird anschließend
durch ein geeignetes Tiefpassfilter 716 geleitet, um die
Komponente Q um die Farbträgerfrequenz
1,0 herum zu entfernen, wobei ein solches Tiefpassfilter zum Beispiel
eine Grenzfrequenz mit dem Nennwert 0,75 hat. Der entstehende Ausgangswert 718 des
Tiefpassfilters 716 kann dadurch als Komponente Y des Eingangssignals 712 nach
der oben beschriebenen Videobearbeitung angesehen werden.
-
Die Auswirkungen der obigen erneuten
Abtastung werden in den 8 und 9 im Frequenzbereich grafisch
veranschaulicht.
-
In 8 wird
das Spektrum an Punkt 708 in 7 gezeigt.
Die Komponente 602 des Kanals Y, die Komponente 604 des
Kanals I und die Komponente 610 des Kanals Q durchlaufen
das Tiefpassfilter 714, um das mit 6 vergleichbare Spektrum zu erzeugen.
-
In 9 wird
das Spektrum an Punkt 709 in 7 gezeigt.
Das obere Seitenband 606 der Komponente I in 6 ist auf das untere Seitenband 608 gefaltet
worden, um eine Auslöschung
zu erreichen. Eine anschauliche, aber ungenauere Erklärung besteht
darin, dass das Abtasten bei den Spitzenwerten der Q-Welle erfolgt und
die Komponenten Q und I um 90 Grad phasenverschoben sind; aus diesem
Grunde erfolgt das Abtasten immer dann, wenn die oszillierende Komponente
I den Nullpunkt durchläuft,
sodass die Komponente I in dem in 9 gezeigten Abtastsignal
nicht in Erscheinung tritt. Die Größe der Komponente Q 910 wird
jedoch verdoppelt. Dieses soll später erörtert werden.
-
Das Ausgangssignal 718 des
ersten Tiefpassfilters 716 wird dann zusammen mit dem aus dem
Tiefpassfilter 714 kommenden Ausgangssignal 708 zur
weiteren Bearbeitung einer Subtraktionsfunktion 720 unterzogen.
Diese Subtraktionsfunktion 720 dient dazu, dieses beste
Signal Y 718 von der zweiten Kopie des an Punkt 708 vorhandenen
Eingangssignals 712 zu subtrahieren, woraufhin das untere
Seitenband der Komponente I übrig
bleibt, welches sich zuvor in der stärkeren Komponente Y befand.
Dieses Signal 722 wird anschließend durch eine Abtasteinheit 724 geleitet,
die wiederum in derselben Weise wie die Abtasteinheit 711 eine
Abtastfrequenz hat, welche doppelt so hoch ist wie die Farbträgerfrequenz
und dieselbe Phase hat wie die Komponente I. Der Ausgangswert 726 dieser
Abtasteinheit wird anschließend
zu einem Demodulator 728 geleitet, um am Ausgang 730 eine
Komponente I mit großer
Bandbreite bereitzustellen, welche nach Durchlaufen eines Tiefpassfilters 732 mit
einer Grenzfrequenz von 0,5 das Ausgangssignal I 710 ergibt.
Ein Demodulator kehrt das Vorzeichen jedes zweiten Abtastwertes
um und verleiht einem Signal wie dem Signal I, welches zwischen
plus und minus wechselt, eine konstante Polarität.
-
In 10 erkennt
man, dass im Ergebnis dieser Verarbeitung im Spektralbereich vorwiegend die
decodierte Komponente I 1002 enthalten ist. Ebenso ist
auch ein Rest des Signals Y 1004 enthalten, der mit der
Frequenz zunimmt. Im Gegensatz zum Stand der Technik, bei dem die
Störung
durch Y weiter zunimmt, wird sie bei dem hier beschriebenen Ansatz
oberhalb einer Frequenz 1008 deutlich geschwächt; dadurch
kann der Kanal I eine größere Bandbreite
beanspruchen und eine höhere
Farbauflösung
erreichen. Ein Merkmal dieses Verfahrens besteht darin, dass für die Schwächung von
Y 1004 eine geringfügige
Einkopplung von Q in Kauf genommen wird, die im Mittel viel weniger
stört.
-
In 7 erkennt
man, dass die Frequenzen des oberen Seitenbandes praktisch als I
interpretiert werden, sodass jede Komponente Q fälschlicherweise auf I umgesetzt
wird, was an den Kanten grüner und
purpurroter Objekte zu geringen Farbverfälschungen führt. Solche Probleme können jedoch leicht
vernachlässigt
werden im Vergleich zum Vorteil der deutlichen Verbesserung der
Farbauflösung
um den Faktor in der Größenordnung
von zwei bei einer deutlichen Mehrzahl von Farben einschließlich der Hauttöne.
-
Das Signal wird durch die mit Q in
Phase befindliche Abtasteinheit 711 abgetastet, durch den oben
erörterten
Demodulator 734 demoduliert, und dann wird der Ausgangswert 736 durch
ein Tiefpassfilter 738 mit einer Grenzfrequenz vom Nennwert 0,25
geleitet. Der Ausgangswert dieses Tiefpassfilters wird dadurch als
Komponente Q 740 angesehen. (Siehe auch 7). Diese Komponenten Y, Q und I 718, 710 bzw. 740 werden
dann in eine in der Technik üblicherweise
bekannte Matrix 742 eingegeben, wodurch die aufeinander folgenden
bekannten Komponenten R, G und B 744, 746 bzw. 748 gebildet
werden.
-
In 9 ist
wie oben erwähnt
ebenfalls zu erkennen, dass die Größe der Einkopplung des Kanals
Q in den Kanal Y durch den hier beschriebenen Ansatz im Vergleich
zu den Verfahren nach dem Stand der Technik verdoppelt wird, was
zur Beseitigung der Störung
des Kanals I in Kauf genommen wird. Daraus, dass Q fast immer wesentlich
kleiner als I ist, ergibt sich, dass Q plus Q fast immer kleiner als
I plus Q ist. Genauer gesagt, die Störung der Helligkeit besteht
in der Summe der Quadrate der umgesetzten I- und Q-Werte, sodass
es fast optimal ist, I vollständig
zu beseitigen und gleichzeitig Q zu verdoppeln. Nimmt man beispielsweise
an, dass I viermal größer als
Q ist, bleiben bei optimaler Beseitigung nicht 0%, sondern 22% von
I zurück,
und Q nimmt nicht auf 200%, sondern auf 188% zu. Um das oben Erwähnte zu
realisieren, ist es wünschenswert, die
oberen Seitenbänder
vor dem Abtasten der Q-Phase am Bezugspunkt 711 von 7 auf 88% abzuschwächen, was
zur Erzeugung der gefalteten Y-Werte verwendet wird.
-
Bei einer weiteren Ausführungsart
und Weiterentwicklung der obigen Darlegungen kann man jeden Bildbereich
untersuchen, um die Phase und die relativen Größen der Komponenten I und Q
lokal zu ermitteln. Dieses adaptive Verfahren kann im Endeffekt
dazu führen,
dass die Phase der Farbelemente mit hoher Frequenz auf die angrenzenden
Farbelemente mit niedriger Frequenz abgestimmt wird. Die gesamte
obige Beschreibung ist bis auf die Tatsache gültig, dass dieses adaptive
Verfahren im Gegensatz zum NTSC-Fernsehen, bei dem die I- und Q-Werte für einen
Mittelwert aller Aufnahmeszenen gewählt werden, einen lokalen I1-Wert, der mit der dominierenden Farbkomponente
in einem Bereich des Bildes im „Gleichtakt" ist, und einen Q1-Wert festlegt, der die „Quadratur" zu dieser lokalen dominierenden Farbe darstellt.
-
Um I1 zu
finden, wird das Signal an der Stelle 708 in 7 einer Bandpassfilterung
bei der Frequenz F = 1,0 und einer geringen Bandbreite vom Nennwert
0,1 unterzogen, um den Farbträger
abzutrennen. Der Absolutwert des entstehenden Signals weist Spitzenwerte
auf, welche die I1-Abtastfrequenz von Block 729 definieren.
Die Abtastfrequenz von Block 711 Q1 ist
gegenphasig und tritt zwischen den I1-Abtastwerten
auf. Außerdem
wird die Phase von I1 in Bezug auf I gemessen,
und die Koeffizienten der Farbmatrix 750 werden einheitlich
mittels Standardverfahren zur Farbraumumwandlung bestimmt.
-
Insbesondere kann der abgetrennte
Farbträger
durch eine Sperrbandbreite mit dem Nennwert 0,01 unmittelbar bei
1,0 gesperrt werden, um einen Farbstich der gesamten Aufnahmeszene
zu beseitigen, und der Absolutwert des Signals kann in Resonanz
gebracht werden, indem es vor dem Messen der die I1-Abtastfrequenz definierenden
Spitzenwerte durch ein Bandpassfilter mit der Nennbandbreite von 0,1
genau um die Frequenz 2,0 herum tritt.
-
11 zeigt
ein System, das ein Objektiv 1102 umfasst, welches ein
Bild von einem Objekt 1104 auf eine Sensormatrix 1106 fokussiert.
Vor der Sensormatrix ist eine Farbfiltermatrix 1108 angeordnet,
welche farbige Schatten mit einem Muster auf die Sensormatrix 1106 wirft,
welches durch die Farbfiltermatrix 1108 vorgegeben ist.
-
Ein Rechner 1110 wie zum
Beispiel ein von IBM hergestellter Personal Computer PS/2 (Warenzeichen
von International Business Machines Corporation) enthält einen
Bus 1112 zur Datenübertragung. Durch
eine Adapterkarte 1114 können Daten von der Sensormatrix 1106 digitalisiert
und auf den Bus 1112 geschickt werden. An den Bus ist auch
ein Prozessor 1116 angeschlossen, der über den Bus Daten von der Matrix
empfängt
und gemäß dem oben
beschriebenen Ansatz interpretiert. An den Bus 1112 ist
auch ein Speicher 1118 angeschlossen, um die Steuerschritte
für den
Prozessor 1116 und die durch den Prozessor interpretierten
Daten zu speichern. Eine Grafikkarte 1120 empfängt durch
den Prozessor 1116 erzeugte Bilddaten und wandelt diese
in eine elektrische Form um, die mit einer Bildschirmanzeige 1122 kompatibel
ist. Über
einen Tastaturadapter 1124 und eine Tastatur 1126 kann
ein Bediener Programme eingeben und die Arbeitsschritte des Rechners
steuern.