DE69733882T2

DE69733882T2 - Kamera mit einem einzigen bildaufnehmer

Info

Publication number: DE69733882T2
Application number: DE69733882T
Authority: DE
Inventors: K. Andrew JUENGER; Werner Metz
Original assignee: Polaroid Corp
Current assignee: Intellectual Ventures I LLC
Priority date: 1996-03-14
Filing date: 1997-03-14
Publication date: 2006-04-06
Anticipated expiration: 2017-03-15
Also published as: EP0886975B1; JP2000506702A; WO1997034424A2; US5778106A; JP4563514B2; EP0886975A2; WO1997034424A3; DE69733882D1

Description

Hintergrund der Erfindung
Die vorliegende Erfindung bezieht sich allgemein auf eine Vorrichtung und ein Verfahren zum Abtasten und Interpolieren von Bilddaten, und insbesondere bezieht sich die Erfindung auf eine Vorrichtung und ein Verfahren zur Unterabtastung von Farbbilddaten und zum darauffolgenden Interpolieren von nicht farbigen unterabgetasteten Bilddaten, wodurch wirksam der Farbsaum vermindert und Einzelheiten aufrechterhalten werden und wobei im Wesentlichen ein Schärfeausgleich in jeder der zwei orthogonalen Abtastrichtungen erfolgt und gleichzeitig eine Wahl der Gesamtbilddatenmenge möglich wird.
Elektronische Kameras zur Aufzeichnung von Standbildern sind allgemein bekannt. Derartige Kameras können eine Mehrzahl von Standbildern auf einer einzigen Magnetdisk oder einem Band entweder in Analogform oder in Digitalform aufzeichnen, um sie danach auf einer Ausgabevorrichtung, beispielsweise einer Kathodenstrahlröhre (CRT), wiederzugeben. Es können auch in Verbindung mit derartigen Kameras Drucker in bekannter Weise benutzt werden, um Hartkopien der aufgezeichneten Bilder zu erzeugen.
Derartige elektronische Standbildkameras benutzen oft zweidimensionale Bildsensoranordnungen, beispielsweise ladungsgekoppelte Einrichtungen (CCD), die das einfallende Szenenlicht während einer vorbestimmten Zeit integrieren, um ein elektronisches Informationssignal zu erzeugen, das der Szenenlichtintensität entspricht, die auf der Bildsensoranordnung auffällt. Derartige Anordnungen umfassen im typischen Fall eine vorbestimmte Zahl von diskreten Bildsensorelementen oder Pixeln, wobei jedes Bildsensorelement auf die einfallende Beleuchtung anspricht und ein elektronisches Informationssignal entsprechend der Intensität der einfallenden Beleuchtung liefert.
Um Farbbilder aufzuzeichnen, wird die einfallende Beleuchtung derart gefiltert, dass verschiedene Bildsensorelemente unterschiedlich gefärbte Beleuchtung empfangen. Die Filter sind in bekannter Weise über der Fläche der Bildsensoranordnung angeordnet, beispielsweise in einem sich wiederholenden Muster von roten, grünen und blauen (RGB) Streifen. Stattdessen können einzelne Sensorelemente oder Pixel in einem sich wiederholenden Muster von roten, grünen, blauen und grünen Filtern in einer Zwei-mal-Zwei-Mosaikanordnung gefiltert werden, wie dies bekannt ist.
Bei RGB-Streifen-Farbfiltersensoren beträgt der Abstand von einem roten Pixel nach dem nächsten roten Pixel drei Pixel in Richtung orthogonal zur Richtung der Streifen, während der Abstand von einem roten Pixel nach dem nächsten roten Pixel ein Pixel in Richtung längs der Streifen beträgt. Daher ist die Abtastfrequenz in Rot ein Drittel der monochromen Abtastfrequenz des gleichen Sensors ohne Farbfilteranordnung in Richtung orthogonal zur Richtung der Streifen, während die Abtastfrequenz in Rot gleich der monochromen Abtastfrequenz in Richtung längs der Streifen ist. Dies gilt auch für die grünen und blauen Signale.
Das kontinuierliche räumliche Signal muss vorgefiltert werden, um in allen Farben einer Signalverfälschung entgegenzuwirken, und dies gilt mehr noch für das Signal in Richtung orthogonal zu den Streifen als es bei einem monochromen System mit dem gleichen Sensor, aber in Richtung längs der Streifen notwendig wäre, und das kontinuierliche Signal kann in einer Weise vorgefiltert werden, die die Bedingungen des monochromen Falles berücksichtigt.
Es ist bekannt, dass zur Vorfilterung eines optischen Signals in anisotroper Weise ein optisches Element mit den Eigenschaften verschiedener Unschärfecharakteristiken in jeder der Richtungen in den optischen Pfad eingefügt werden kann. Es wurden doppelt brechende Materialien, beispielsweise Quarzplatten, erfolgreich für diesen Zweck angewandt, weil sie eine minimale Unschärfe in einer Richtung und eine Zweipunktunschärfe in der orthogonalen Richtung aufweisen, wobei der Abstand zwischen den Punkten auf die Dicke der Platte und den Unterschied der Brechungsindizes zwischen der üblichen und einer außergewöhnlichen Polarisationsrichtung bezogen ist. Wenn die Eigenschaften einer Zweipunktunschärfe benutzt werden, dann wird ein kontinuierliches räumliches optisches Signal aufgespalten und die Hälfte wird in der einen Richtung um eine vorbestimmte Distanz verschoben und auf die andere Hälfte des ursprünglichen optischen Signals überlagert. Auf diese Weise enthält ein einziger Punkt in einer Szene zwei Punkte, die um einen bekannten Abstand getrennt sind.
Im Falle einer streifenförmigen Dreifarben-Filteranordnung wird die Dicke des Quarzes so eingestellt, dass der Abstand der Verschiebung der übereinandergefügten Bilder halb so groß ist wie der Abstand einer Farbtriade. Demgemäß wird das Bild repliziert und um eineinhalb Pixel verschoben, wodurch wirksam jeder Frequenzgehalt in dem kontinuierlichen optischen Signal bei der Triadenfrequenz ausgelöscht wird und der Frequenzgehalt im optischen Signal in der Nähe der Triadenfrequenz abgeschwächt wird, während der Übertragungsfrequenzgehalt des Signals entfernt von der Triadenfrequenz im Wesentlichen übertragen wird. Dies verringert die Wahrscheinlichkeit und Größe eines zu beanstandenden unterabgetasteten Farbbildfehlers, d.h. periodische Helligkeitsfluktuationen im Bild der Szene bei Frequenzen in der Nähe der Triadenfrequenz, die durch eine Farbunterabtastung bei niedrigeren Farbfrequenzmodulationen verfälscht werden, sind geringer. Die eindimensionale oben beschriebene optische Vorfilterung zur Vermeidung einer Verfälschung vermindert notwendigerweise das Frequenzansprechen der elektronischen Standbildkamera in Richtung orthogonal zur Richtung der Farbstreifen, und infolgedessen wird die Schärfe des Systems in jener Richtung verringert.
Die Pixel sind bei einer herkömmlichen CCD in ihrer Form quadratisch. Bei streifenförmigen Dreifarben-Filteranordnungen und optischen Zweipunkt-Antialiasierungsfiltern auf den CCDs mit quadratischen Pixeln ist das Frequenzansprechen in der Streifenrichtung und der orthogonalen Richtung nicht ausgeglichen. Da außerdem jedes Bildsensorelement nur eine Farbe der Beleuchtung detektieren kann, muss die Farbinformation für die anderen nicht detektierten Farben durch jenes Bildsensorelement ausgefüllt werden. Das Ausfüllen in der fehlenden Farbinformation wird im Allgemeinen dadurch bewirkt, dass die detektierten Bilddaten für jede Farbe interpoliert werden, um Farbwerte für alle Farben für jedes Bildsensorelement zu bestimmen.
Eine Zweipunkt-Antialiasierung mit Farbstreifenfiltern vermindert die Farbunregelmäßigkeiten, die von periodischen Helligkeitsfluktuationen herrühren, aber es werden nicht die Farbsaum-Bildfehler von periodischen Helligkeitsstrukturen in Szenen, beispielsweise mit scharfen Rändern, vermindert. Herkömmliche Interpolationen können Bilder mit störenden Farbsaum-Bildfehlern in der Nähe scharfer Ränder erzeugen. Die herkömmlichen Maßnahmen, um dieses Problem zu lösen, bestehen darin, den Farbsaum auf Kosten der Bildschärfe zu verhindern, indem eine Weichzeichnung des Bildes erfolgt, bevor eine Abtastung über den Betrag hinaus erfolgt, der notwendig ist, um monochrome und periodische Farbverfälschungen zu mildern. Außerdem werden bei herkömmlichen Interpolationsverfahren für fehlende Farben die Szeneneinzelheiten bei jedem Pixel aus einer etwas ausgewogeneren Verteilung jeder Farbe an jeder Pixelstelle rekonstruiert, d.h. aus Anteilen einer einzigen ursprünglichen Farbabtastung und aus zwei interpolierten Farbabtastungen. Da das Verfahren der Interpolation ein Nachbarschaftsprozess ist, tragen die interpolierten Farbwerte eine räumliche Information von den Pixeln, aus denen sie interpoliert wurden. Dies ist in ihrer Wirkung eine Unschärfefunktion, die in die Einzelheiten des rekonstruierten Bildes eingeführt wird.
Die US-A-4,663,655, die US-A-4,774,565 und die US-A-4,724,395 beschreiben eine verbesserte Technik, die Farbsaum-Bildfehler infolge scharfer Randübergänge in Szenen eliminiert, ohne dass eine zusätzliche optische Antialiasierungs-Vorfilterung erforderlich wäre. Der Effekt dieser verbesserten Technik des Fehlens einer Farbinterpolation besteht darin, Bildeinzelheiten in der Reproduktion der Szene vollständig aus den ursprünglichen Farbpixeln an jeder Pixelstelle zu schaffen, unabhängig von der Farbe des abgetasteten Pixels. Es gibt keine zusätzliche Unschärfe infolge des Fehlens der Farbinterpolation.
In der US-A-4,663,655 existiert nach der Interpolation der Bildsignale ein Triplet von Farben für jede Farbstelle im Bild. Der nächste Schritt besteht darin, erste und zweite Gruppen elektronischer Informationssignale, zweite und dritte Gruppen elektronischer Informationssignale und erste und dritte Gruppen elektronischer Informationssignale zu kombinieren, um drei Differenzsignale für jede Pixelstelle zu erhalten. Diese Differenzsignale werden danach modifiziert, indem das elektronische Informationssignal, das jedem Bildsensorelement entspricht, durch den Medianwert der elektronischen Informationssignale ersetzt wird, die einer gewählten Zahl von Bildsensorelementen in der Nähe hiervon entsprechen, um ein elektronisches Medianinformationssignal für jedes Bildsensorelement zu schaffen.
Die Medianfilterung wird dreifach durchgeführt, und sie ist daher zeitraubend und computermäßig kostspielig.
Der Erfindung liegt die Aufgabe zugrunde, die Rekonstruktion des Bildes einfacher und schneller durchzuführen. Dies wird erreicht durch die im Kennzeichnungsteil des Anspruchs 1 angegebenen Merkmale.
Bei dieser verbesserten Technik zur Vermeidung einer Farbinterpolation kann das Frequenzansprechen einer elektronischen Standbildkamera durch die Geometrie der Elemente des Systems beschrieben werden ohne Bezug auf die Farbe der Abtastpixel. Dadurch, dass das Frequenzansprechen einer elektronischen Standbildkamera durch die Geometrie der optischen Elemente beschrieben wird und die Möglichkeit besteht, unterabgetastete Farbbildfehler zu vermeiden, ist es erwünscht, ein CCD und hiermit eine elektronische Standbildkamera zu schaffen, die Bilder mit verminderten Farbfehlern und einer verbesserten Schärfe liefert, die in Streifenrichtung und Orthogonalrichtung ausgeglichen sind.
Zusammenfassung
Im Vorliegenden wird eine Erfindung beschrieben, die ein Bildverarbeitungsverfahren betrifft, um ein verarbeitetes Bild mit verminderten Farbfehlern zu schaffen, wobei das Bild durch mehrere Bildsignale in drei Farben repräsentiert wird. Das Verfahren ist nützlich in Verbindung mit einer elektronischen Standbildkamera und umfasst die Schritte der Abtastung des Bildes einer Szene in einer Farbunterabtastweise, wobei dann ein verbessertes Vollfarbbild der Szene geschaffen wird, indem die unterabgetasteten Farbpixelwerte verarbeitet werden.
Beispielsweise werden herkömmliche CCDs mit Farbstreifen hergestellt, die über dem CCD liegen, so dass die Farben gefiltert werden, wodurch die einzelnen Pixel jeweils nur einer Farbe zugeordnet sind. Diese einzelnen Pixel werden in Farbebenen eingebracht. Wenn demgemäß die gefärbten RGB-Streifen im CCD benutzt werden, dann können die jeder einzelnen Farbe zugeordneten Pixel in eine rote Farbebene, eine grüne Farbebene und eine blaue Farbebene eingebracht werden.
Wenn diese Farben getrennt werden, entstehen dort Lücken, wo vorher Farben bestanden haben, d.h. in der roten Farbebene werden die Pixelstellen, wo vorher Grün und Blau existierte, nunmehr freigelassen. Demgemäß besteht der nächste Schritt darin, die interpolierten Bildsignale in jeder der Farbebenen einzuschießen, die den Bildsignalstellen entsprechen, die durch den Trennungsschritt freigelassen wurden. Dies bildet nunmehr ein Triplet für jede Farbstelle im Bild. Früher hätte eine einzelne Pixelstelle nur die Information für eine Farbe, beispielsweise für Rot, enthalten. Nunmehr hat mit den interpolierten Daten jede Pixelstelle eine zugeordnete RGB-Information.
Als Nächstes werden zwei Differenzsignale an jeder Pixelstelle erzeugt, die die Differenz zwischen einem Kanal und einem zweiten und dem ersten Kanal und dem dritten Kanal innerhalb des RGB-Triplet repräsentieren. Bei dem vorherigen Beispiel, bei dem RGB benutzt wurde, können jene Differenzsignale irgendwelche Kombinationen von Rot oder Grün oder Blau sein, solange aus diesen drei Farben zwei unterschiedliche Differenzsignale erzeugt werden. Gemäß dem bevorzugten Ausführungsbeispiel wird R-G und B-G benutzt. Die Differenzsignale werden dann unter Benutzung eines Medianfilters gefiltert, der Farbbildfehler verringert oder ausscheidet.
Als Nächstes wird das Bild aus den ursprünglichen Bildsignalen und den gefilterten Differenzsignalen wieder hergestellt, um ein verarbeitetes Bild zu schaffen, das im Wesentlichen Details und verminderte Farbbildfehler zeigt. Die verbesserten RGB-Triplets, die auf diese Weise von den interpolierten RGB-Triplets erzeugt wurden, haben die gleiche Pixelgeometrie wie die ursprünglichen Einfarbenpixel.
Das verbesserte Farbrekonstruktionsverfahren erhält die Bildeinzelheiten durch Injizieren abrupter Helligkeitsübergänge, die von irgendeinem Originalpixel festgestellt werden, unabhängig von der Farbe in den rekonstruierten fehlenden Farbpixelwerten. Diese Eigenschaft vermindert die Unschärfe, die einer Farbunterabtastung zugeordnet ist auf jene Unschärfe, die der Geometrie der optischen Elemente in der elektronischen Standbildkamera zugeordnet ist und der Unschärfe bei der Erzeugung quadratischer Pixel aus rechteckigen Pixeln. Gemäß der Erfindung wird die Pixelgeometrie im Hinblick auf eine ausgeglichene Schärfe in jeder Abtastrichtung optimiert, die die zugeordneten Unschärfefunktionen von anderen optischen Elementen und die Bildverarbeitung durch Analyse des Frequenzansprechens des Systems und eine Quantifizierung der Schärfe durch einen Gütefaktor liefert, der die Frequenzansprecheigenschaften des menschlichen Sichtsystems berücksichtigt.
Kurzbeschreibung der Zeichnungen
Die verschiedenen Merkmale der vorliegenden Erfindung sind aus der folgenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlicher erkennbar. In der Zeichnung zeigen:
1A und 1B zeigen Pixelpositionen, wie sie sich auf einer CCD bzw. einem repräsentativen Beispiel finden;
2A und 2B zeigen die Pixelpositionen gemäß 1A bzw. 1B, nachdem eine lineare Interpolation durchgeführt wurde;
3 zeigt das repräsentative Beispiel gemäß 1B und 2B während der Durchführung der Medianfilterung;
4 zeigt das Ergebnis des Medianfilters auf das Beispiel gemäß 3;
5 zeigt eine Rekonstruktion von Pixeln;
6A, 6B und 6C zeigen Pixelwerte, die nach einer Medianfilterung der Farbdifferenzsignale rekonstruiert wurden, wobei sich die Pixelwerte nach der Mittelwertbildung in der Richtung normal zur Hauptachse der rechteckigen Pixel befinden und die Pixelwerte nach der Interpolation längs der Hauptachse der rechteckigen Pixel;
7 zeigt eine charakteristische Kurve des Frequenzansprechens eines menschlichen Sichtsystems;
8 zeigt eine charakteristische Kurve des Frequenzansprechens der optischen Elemente einer elektronischen Standbildkamera;
9 zeigt eine charakteristische Kurve des Frequenzansprechens der Bildverarbeitung, die der Erzeugung quadratischer Pixel aus rechteckigen Pixeln zugeordnet ist; und
10 zeigt ein repräsentatives Beispiel der Beziehung der Schärfe in Abhängigkeit von der Pixelgeometrie.
Einzelbeschreibung
Die vorliegende Erfindung ist auf einem weiten Gebiet fotografischer Vorrichtungen anwendbar, beispielsweise als Videokamera, und sie kann in verschiedener Form verwirklicht werden, jedoch wird sie vorteilhafterweise in Verbindung mit einer elektronischen Standbildkamera benutzt. Da dies die Anwendung des bevorzugten Ausführungsbeispiels ist, wird die Erfindung in Verbindung mit diesem Ausführungsbeispiel beschrieben, das jedoch in keiner Weise beschränkend sein soll.
Wie vorstehend erläutert, zeichnen herkömmliche elektronische Bilderzeugungskameras Farbbilder unter Benutzung eines Bildsensorfeldes auf, das aus einer vorbestimmten Zahl diskreter Bildsensorelemente oder Pixel besteht, die in einer zweidimensionalen Anordnung vorgesehen sind, wobei die Bildsensorelemente auf die einfallende Beleuchtung ansprechen, um ein elektronisches Informationssignal zu liefern, das der Intensität der einfallenden Beleuchtung entspricht. Ein solches Bildsensorfeld kann aus einer CCD der Rahmenübertragungstype bestehen. Es ist bekannt, die Farbbilder unter Benutzung eines einzigen zweidimensionalen CCD-Feldes abzutasten, indem die auf das Bildsensorfeld auffallende Beleuchtung gefiltert wird, so dass unterschiedliche Gruppen von Bildsensorelementen, die in bekannten Mustern über das Bildsensorfeld angeordnet sind, unterschiedliche Wellenlängen für eine Farbbeleuchtung empfangen. So wird jede Beleuchtungsfarbe durch jede Gruppe von Bildsensorelementen abgetastet und danach interpoliert, um Farbwerte zu erzeugen, die den anderen Gruppen von Bildsensorelementen entsprechen. Das Vollfarbbild wird daher zwischen den verschiedenen Gruppen von Bildsensorelementen oder Pixeln berechnet oder interpoliert, um alle Farben für jedes Bildsensorelement oder Pixel auszufüllen. Herkömmliche Interpolationstypen liefern Bilder mit zu beanstandenden Aliasierungs-Bildfehlern, beispielsweise von Farbsäumen in der Nähe scharfer Ränder. Ein Beispiel, wie ein scharfer Rand in einem aufzuzeichnenden Beispiel Farbsäume erzeugen kann, wenn das Bild einer Rekonstruktion unter Benutzung herkömmlicher Interpolationsverfahren unterworfen wird, ergibt sich aus der weiter unten folgenden Beschreibung.
Wie oben erwähnt, umfasst eine typische CCD-Anordnung Farbfilterstreifen darauf, derart, dass einzelne Streifen der Pixel nur das Licht einer einzigen Farbe intensitätsmäßig messen. 1A zeigt eine typische Anordnung eines CCD unter Benutzung von Farbstreifen, wobei die individuellen Pixel mit R, G oder B bezeichnet sind, was die rote, grüne und blaue Farbe repräsentiert. Numerische, den Farben zugeordnete Bezeichnungen, d.h. R₁, G₁ und B₁ beziehen sich zusammen auf ein Triplet.
Um die Erfindung zu veranschaulichen, ist für jeden Schritt ein Beispiel dargestellt. Das Beispiel ist ein Bild mit einem scharfen Kontrast, beispielsweise einem scharfen Weiß-Schwarz-Übergang. Das Beispiel beginnt in 1B, wo ein Lichtintensitätspegel grafisch für einen Weiß-Schwarz-Übergang in einem Bild dargestellt ist. In 1B repräsentiert die durchgezogene Linie den Randübergang in einem ursprünglich kontinuierlichen Bild der Szene vor der Abtastung. Der Kreis repräsentiert eine ursprünglich rote Probe, das Dreieck repräsentiert eine ursprünglich grüne Probe und das Quadrat repräsentiert eine ursprünglich blaue Probe. Es ist aus der Darstellung ersichtlich, dass für ein ursprünglich kontinuierliches Bild der Abfall während des Übergangs im Wesentlichen vertikal verläuft. Dies zeigt einen scharfen Übergang an. Eine Neigung im Abfall würde einen mehr graduellen oder weniger scharfen Übergang anzeigen.
2A zeigt wiederum eine Pixelauslegung der Pixel gemäß 1A, aber hier wurden die Pixel dem Schritt einer Interpolation unterworfen. Gemäß dem bevorzugten Ausführungsbeispiel ist dies eine lineare Interpolation, wie dies im Einzelnen weiter unten beschrieben wird. Hier repräsentiert ein Großbuchstabe die ursprünglichen rohen Daten und ein Kleinbuchstabe repräsentiert die interpolierten Daten. Demgemäß sind die Farben, die zwischen R₁ und R₂ interpoliert wurden, mit r₁' und r₁'' bezeichnet. Unter Benutzung einer linearen Interpolation enthält r₁' 2/3 der Intensität von R₁ und 1/3 der Intensität von R₂. In gleicher Weise enthält r₁'' 1/3 der Intensität von R₁ und 2/3 der Intensität von R₂. Durch lineare Interpolation durchgehender Werte für Rot, Grün und Blau können die Farben in drei Farbebenen derart zerlegt werden, dass sie nunmehr in Triplets für jede individuelle Pixelposition existieren, während vorher nur rohe Daten in einer Farbe für jede Position existierten.
Es soll das Beispiel 2B fortgesetzt werden. Es zeigt den Schritt der linearen Interpolation am Weiß-Schwarz-Übergang, der in 1B dargestellt ist. Wie in 1B dargestellt, zeigen die Linien die Pfade der linearen Interpolation, wobei die Kreise, die Dreicke und die Quadrate die ursprünglichen roten, grünen und blauen Proben repräsentieren und die x's die interpolierten Werte repräsentieren. 2B veranschaulicht, wie die Interpolation den scharfen Übergang, der vorher im Bild vorhanden war, durch Interpolation zu verwaschen sucht, wobei die strichlierte Linie Rot repräsentiert, die strichpunktierte Linie Grün repräsentiert und die ausgezogene Linie Blau repräsentiert. Die Neigung der Linie zeigt einen weniger scharfen Übergang an, wodurch das Bild unscharf und verwaschen wird. 2B zeigt auch, wie die Interpolation Farbsaum-Bildfehler zu erzeugen sucht. Bei dem ursprünglichen Weiß-Schwarz-Übergang wurde die rote, grüne und blaue Intensität an der gleichen räumlichen Position übertragen, während aus 2B ersichtlich ist, dass das rote Signal nach der Interpolation einen Übergang vor dem grünen Signal einleitet, das wiederum den Übergang vor dem blauen Signal einleitet. Ein aus den Daten gemäß 2B rekonstruiertes Bild würde einen vorherrschend Weiß-Cyan-Purpur-Blau-Schwarz-Farbsaum zeigen.
Ein nächster Schritt besteht darin, zwei unterschiedliche Signale an jeder Position zu erzeugen. Der Farbsaum-Bildfehler an dem Weiß-Schwarz-Übergang in der Szene, gefolgt durch Interpolation innerhalb der Farbebenen, würde als plötzlicher Anstieg im Farbdifferenzsignal erscheinen, gefolgt von einem entsprechenden plötzlichen Abfall oder als plötzlicher Abfall, gefolgt von einem plötzlichen Anstieg. Es ist dieser schelle Anstieg oder Abfall in der Differenz zwischen den Farben, der charakteristisch für eine zu beanstandende Farbsaumbildung ist und nicht einfach ein plötzlicher Anstieg in der Differenz zwischen Farben, was eine Änderung von einer Farbe auf eine andere Farbe anzeigt. So ist es unwahrscheinlich, dass eine wirkliche Szene zur Erzeugung einer solchen Farbspitze führen könnte und es ist nicht erwünscht, eine solche Farbspitze als Ergebnis einer gewählten Interpolation zu erzeugen.
3 veranschaulicht die vorerwähnten Farbspitzen, wenn bei dem vorerwähnten Ausführungsbeispiel die Differenzsignale dadurch erhalten werden, dass die Subtraktion der Intensität von Grün von der Intensität von Rot abgezogen wird und indem die Intensität von Grün von den Intensität von Blau abgezogen wird, d.h. R-G und B-G. Der Fachmann erkennt, dass die tatsächliche Farbwahl, die die Differenzsignale bestimmt, etwas willkürlich ist. Eine nach der Wahl gemachte Konsistenz ist von primärer Bedeutung. Deshalb können andere Farbsignale ohne Nachteile für die Erfindung gewählt werden. 3(i) veranschaulicht grafisch die Ergebnisse des Differenzsignals für R-G für das in 2B dargestellte Signal. 3(iii) veranschaulicht grafisch B-G.
Nunmehr können verschiedene Verfahren angewandt werden, um die Farbaberration zu entfernen. Gemäß dem bevorzugten Ausführungsbeispiel wird ein Medianfilter benutzt. Einfach gesagt, nimmt ein Medianfilter eine Reihe von Pixeln, beispielsweise jene gemäß 3(ii) und ersetzt den Pixelwert in der Mitte des Filterbereichs durch den Medianwert aller Pixel in diesem Bereich. Obgleich alle möglichen Pixelzahlen benutzt werden können, benutzt das bevorzugte Ausführungsbeispiel des Medianfilters neun Pixel und führt den Medianwert der neun Pixel zurück. Wenn daher das Filter horizontal über dem Signal bewegt wird, ist ersichtlich, dass, wenn nicht die Spitze länger als die Hälfte der Filterlänge ist, die Spitze im Signal im Wesentlichen ausgelöscht wird.
4 veranschaulicht die Ergebnisse beim Anlegen des Medianfilters über den Differenzsignalen, wobei 4(i) dem R-G-Differenzsignal gemäß 3(i) entspricht und 4(ii) dem B-G-Differenzsignal gemäß 3(iii) entspricht, wobei diese Signale nunmehr als (R-G)' bzw. (B-G)' bezeichnet werden können. Die Differenzen sind nunmehr flach, und die rekonstruierten Farben bleiben nunmehr in Bezug zueinander vor, während und nach der Farbübertragung im Wesentlichen konstant. Dazu wird wiederum auf 1B Bezug genommen, welche ein Beispiel hierfür darstellt.
Ein nächster Schritt ist in 5 dargestellt, wo die Pixel aus den ursprünglichen Rohdaten RGB und den gefilterten (R-G)'- und (B-G)'-Differenzsignalen ausgefiltert wurden. Die Farben wurden unter Benutzung der folgenden Beziehungen wieder hergestellt. R@R = R R@G = G + (R-G)' R@B = B – (B-G)' + (R-G)' G@R = R – (R-G)' G@G = G G@B = B – (B-G)' B@R = R – (R-G)' + (B-G)' B@G = G + (B-G)' B@B = B
Diese Beziehungen veranschaulichen die Eigenschaften der Erhaltung der ursprünglich abgetasteten Werte und die extrahierten Details an jedem Pixel, unabhängig von seiner ursprünglichen Farbe. Die Detailextraktions-Eigenschaft wird erreicht durch Entfernung der plötzlichen Spitzen in den Farbdifferenzsignalen, wodurch wirksame örtliche Farbsäume erzeugt werden, so z.B. in den Bereichen scharfer Randübergänge, wo die ursprünglich abgetasteten Pixelwerte sich gemäß den Randübergängen ändern, wobei die rekonstruierten vermissten Farbwerte den ursprünglichen Werten folgen. Diese Eigenschaft injiziert die Detailinformation in alle drei Kanäle.
5 veranschaulicht die Rekonstruktion, wo anstelle der Diagonallinien, die den Übergang zwischen den Farben zeigen, der Verlust an Schärfe und die Farbsäume veranschaulicht sind, wobei die Übergangspunkte der kleinen schwarzen Punkte die rekonstruierten roten, grünen und blauen Pixel repräsentieren, die an einer im Wesentlichen identischen Stelle derart angeordnet sind, dass die Schärfe erhalten bleibt und Farbsäume vermieden werden. Um das resultierende Bild auf den zumeist kommerziell verfügbaren CRTs und den meist kommerziell verfügbaren Druckern wiederzugeben, muss ein quadratisches Pixel erlangt werden. Da zahlreiche CCDs und speziell jene des bevorzugten Ausführungsbeispiels rechteckige Pixel mit einem Aspektverhältnis von 2 : 1 haben, besteht eine Möglichkeit zum Lösen dieses Problems darin, den Mittelwert zweier benachbarter Pixel R₁ und r₁' beispielsweise zu bilden, um ein einziges quadratisches Pixel an jener Stelle zu erzeugen. Die 6A zeigt Pixelwerte von einem RGB-Streifensensor als rechteckige Pixelwerte mit einem Aspektverhältnis von 2 : 1 nach Rekonstruktion von den ursprünglichen abgetasteten Farbwerten und den median gefilterten Farbdifferenzsignalen.
6B zeigt Pixelwerte auf einem quadratischen Gitter nach Durchschnittsbildung benachbarter Werte. Dies ergäbe eine Bildauflösung, die beispielsweise eine Million Pixel aufweist, und es würde ein Bild erzeugt, das dem Benutzer dargestellt wird mit 500.000 Dreifarbpixeln. Ein anderes Verfahren zur Erzeugung quadratischer Pixel wird in dem bevorzugten Ausführungsbeispiel wahlweise benutzt. Anstatt eine Durchschnittsbildung horizontal durchzuführen, werden die Pixel vertikal interpoliert, wie dies in 6C dargestellt ist.
In 6C(i) ist eine ursprüngliche Zeile von RGB-Daten dargestellt und in 6C(iii) eine zweite Zeile von RGB-Daten, getrennt durch 6C(ii), d.h. durch eine interpolierte Zeile von RGB-Daten. Die Interpolation zwischen diesen Zeilen kann so einfach wie eine nächste Nachbarschaftsinterpolation sein, die im Wesentlichen die vorherige Zeile verdoppelt, um eine neue Zeile zu schaffen. Die bevorzugten Verfahren umfassen eine lineare Interpolation, eine bi-kubische Konvulations-Interpolation oder eine Frequenzdomänen-Interpolation, beispielsweise eine Fourier-, DCT-, Wavelet-Interpolation usw..
Die interpolierte Zeile in 6C(ii) erzeugt zusätzliche Pixel, die für die Darstellung verfügbar sind. Demgemäß wären nunmehr bei einem Beispiel mit einer Million Pixel zwei Millionen Dreifarbpixel verfügbar. Das heißt, wenn das farbrekonstruierte Bild 1600 × 600 × 3 beträgt, von denen die drei die drei Farbebenen repräsentieren, würde eine Interpolation zu 1600 × 1200 × 3 verfügbaren Pixeln führen.
Im Gegensatz zu den bekannten Verfahren eines Beginns und einer Beendigung mit quadratischen Pixeln resultiert das erfindungsgemäße Verfahren als solches nicht in quadratischen Pixeln. Die Pixelgeometrie wurde tatsächlich nicht geändert. Das Verfahren arbeitet, da Ausgabevorrichtungen die Geometrie der Pixel, die der Vorrichtung zugeführt werden, tatsächlich nicht kennen und stattdessen einfach eine Darstellung gemäß einem elektronischen Signal vornehmen. Daher werden rechteckige Pixel entweder getrennt durch eine interpolierte Zeile dargestellt, die die Farbinformationen führt, die den Übergang zwischen den rechteckigen Pixeln bilden oder sie werden über eine Durchschnittsbildung in Quadrate umgeformt. Dies dient zur Eliminierung der Verzerrung, die sonst auftreten würde und eine quadratische Pixelgeometrie simulieren würde.
7 veranschaulicht eine Charakterisierung des relativen Frequenzansprechens des menschlichen Sichtsystems unter einem normalen Druckbetrachtungsabstand. Diese Charakterisierung wurde durch psycho-visuale Studien von Personen gemäß periodischen Lichtgittern bei verschiedenen Frequenzen von Zyklen pro Grad einer visualen Erstreckung durchgeführt. Zur Benutzung bei einer Optimierung der Pixelgeometrie eines Sensors für eine elektronische Standbildkamera werden die Frequenzen ausgedrückt als Zyklen pro Millimeter, die einen normalen Zwölf-Zoll-Druckbetrachtungsabstand liefern. Eine Charakterisierung des relativen Frequenzansprechens des menschlichen Sichtsystems in Zyklen pro Grad der visuellen Erstreckung ist durch die folgende Gleichung gegeben: HVS(cy/°) ≅ 5.05 × e(–.138×cy/°) × (1 – e(–.1×cy/°))
Die Beziehung zwischen Zyklen pro Grad der visuellen Erstreckung und Zyklen pro Millimeter, gegeben bei einem speziellen Betrachtungsabstand D in Zoll, ist gegeben durch: cy/° = π × (cy/mm) × D × 25.4/180
Es trifft im Allgemeinen zu, dass die räumliche Reproduktion des Bildes einer Szene, die von einer elektronischen Standbildkamera eingefangen wird, eine Vergrößerung erfordert. Die Sensoren sind im Allgemeinen sehr klein relativ zur Darstellung der CRT oder relativ zu einem Ausdruck der Bilder, die von der elektronischen Standbildkamera eingefangen werden. Die Charakterisierung des Frequenzansprechens der Elemente eines solchen Systems zur Berechnung einer Schärfeanordnung, die auf das menschliche visuelle System anspricht, umfasst notwendigerweise einen nominalen Verstärkungsfaktor.
8 zeigt das Frequenzansprechen in Abhängigkeit von Zyklen pro Millimeter für eine repräsentative Linse für Pixel und für einen Antialiasierungsfilter bei einem repräsentativen Verstärkungsfaktor von zehn. Die repräsentativen Frequenzansprechkurven sind durch die folgenden Gleichungen gegeben:
AA(f) = cos(π × f × M × aa)
Dabei: L(f) ist das Linsenfrequenzansprechen in Zyklen pro Millimeter f, was eine Vergrößerung M und einen charakteristischen Unschärfeabstand b in der Sensorebene ergibt; P(f) ist das Pixelansprechen bei gegebenem M und Sensorpixelbreite p; und AA(f) ist das Antialiasierungsansprechen für M und einen Zweipunkt-Trennabstand aa in der Sensorebene. Bei dem repräsentativen Ausführungsbeispiel gemäß 8 war: M = 10, b = 0,01 mm, p = 0,006 mm und aa = 0,009 mm.
Gemäß dem bevorzugten Ausführungsbeispiel ist der Sensor mit rechteckigen Pixeln und einem Aspektverhältnis von 2 : 1 (Höhe : Breite) mit streifenförmigen Farbfiltern hergestellt, die längs der Hauptachse der Pixel angeordnet sind. Diese Ausbildung, die für eine maximale und ausgeglichene Schärfe bei verminderten Farbfehlern optimiert ist, ermöglicht einen Doppelauflösungsmodus. Wie oben beschrieben, erfordert das Verfahren zur Erzeugung von Pixelwerten, die geeignet sind zur Darstellung auf einer Vorrichtung mit einem quadratischen Raster entweder die Verminderung der Zahl der Pixelwerte durch einen Faktor von zwei in der Richtung normal zur Hauptachse der rechteckigen Pixel, die im Folgenden als Horizontalrichtung bezeichnet werden soll oder stattdessen muss die Zahl der Pixelwerte um einen Faktor von zwei in Richtung längs der Richtung der Hauptachse der Pixel erhöht werden, die hier als Vertikalrichtung bezeichnet wird. Der Fachmann erkennt, dass es zahlreiche Techniken gibt, um eine Wiederabtastung durchzuführen, einschließlich auf Konvulation basierenden und auf Frequenz basierenden Techniken, um paarweise eine nachbarschaftliche Durchschnittsbildung in Horizontalrichtung und eine paarweise lineare Interpolation in Vertikalrichtung als Beispiele vorzunehmen. Außerdem erkennt der Fachmann, dass andere Aspektverhältnisse als 2 : 1 und demgemäß andere Rückabtastfaktoren als zwei oder eine Hälfte benutzt werden können, ohne vom Rahmen der Erfindung abzuweichen.
9 zeigt das Frequenzansprechen einer horizontalen Durchschnittsbildung und einer vertikalen Interpolation für repräsentative Geometrien von M = 10, p = 0,006 mm für horizontale Durchschnittsbildung und p = 0,012 mm für vertikale Interpolation. Das repräsentative Frequenzansprechen ist durch die folgenden Gleichungen gegeben: Av(f) = cos(π × f × M × p) I(f) = 0.5 + cos(π × f × M × p)/2dabei ist Av(f) das horizontale Durchschnittsfrequenzansprechen in der Fourier-Transformation von zwei Delta-Funktionen im Maßstab von 0,5-Bereichen im Abstand von einem Pixel von der Sensorebene entfernt. Dies modelliert das Frequenzansprechen des paarweisen Durchschnittsverfahrens. Das Modell der linearen Interpolation für einen festen Abtastungsfaktor von zwei ist gegeben durch eine Hälfte der Transformation der Einheits-Delta-Funktion, zentriert am Ursprung, da jede andere Zeile der Daten unberührt ist, plus eine Hälfte der Transformation eines Paars skalierter Delta-Funktionen im Abstand von einem Pixel von der Sensorebene entfernt, da jede interpolierte Zeile von gleichen Teilen benachbarter Zeilen gebildet wird. I(f) ist das zugeordnete Frequenzansprechen für diese repräsentative Interpolation.
Eine Analyse des Frequenzansprechens der Komponententeile einer elektronischen Standbildkamera ermöglicht ein Anrufen der zweckmäßigen Eigenschaft der Charakterisierung eines Systems durch Kaskadenbildung des schrittweisen Ansprechens der Komponenten. Das heißt, das Gesamtsystemansprechen bei einer einzigen Frequenz ist gegeben durch Multiplikation des Ansprechens der Komponenten jeweils mit anderen an jener Frequenz. Dieses Verfahren wird für jede interessierende Frequenz wiederholt.
Um die Schärfe zu berechnen, müssen die Charakteristiken des menschlichen Sichtsystems berücksichtigt werden. Möglichkeiten der Schärfeleistung für das Frequenzansprechen eines Abbildungssystems sind allgemein bekannt. Beispielsweise sind ausgedehnte Arbeiten veröffentlicht worden über eine CMT-Konturenschärfe, eine AMT-Konturenschärfe und SQF. Ein Beispiel einer derartigen Leistung wird nachstehend in dem repräsentativen Beispiel von 10 angegeben.
Dabei ist R(f) das Gesamtsystemansprechen und f ist in Zyklen pro Millimeter angegeben. Die Integrationsgrenzen dieses Leistungsbeispiels überspannen den Bereich der größten visuellen Empfindlichkeit gemäß 7.
10 zeigt die Beziehung zwischen der Schärfe S in Horizontalrichtung und Vertikalrichtung für beide Auflösungsfälle und Pixelgeometrie. Es ist aus 10 ersichtlich, dass bei dem bevorzugten Ausführungsbeispiel von RGB-Streifen-Farbfiltern mit Zweipunkt-Antialiasierung, Medianfilterfarberholung und einer Doppelauflösungsfähigkeit der Schärfe in Horizontal- und Vertikalrichtung zum größten Teil ausgeglichen ist durch die rechteckigen Pixel. Außerdem ist ersichtlich, dass der Ausgleich im Falle einer horizontalen Durchschnittsbildung mit einem Aspektverhältnis von etwas mehr als 2 : 1 gegeben ist und im Falle einer vertikalen Interpolation mit einem Aspektverhältnis von etwas weniger als 2 : 1. Gemäß dem bevorzugten Ausführungsbeispiel beträgt das Aspektverhältnis der Sensorpixel 2 : 1, so dass ein Ausgleich bei jedem Auflösungsmodus erreicht wird.

Claims

Verfahren zur Verarbeitung eines Bildes, das von einer Bildakquisitionsvorrichtung aufgenommen wurde, die einen einzigen Bilddetektor mit einer zweidimensionalen Pixelmatrix besitzt, um ein vollfarbiges Bild mit verminderten Farbfehlern zu erzeugen, wobei das Verfahren die folgenden Schritte aufweist: – es wird das Bild in einem Farb-Unterabtastmodus derart abgetastet, dass eine einzige Farbmessung für jedes Pixel bekannt wird; – es wird ein vollfarbiges Bild der Szene konstruiert, indem die durch Unterabtastung erlangten Farbpixelwerte verarbeitet werden, um mehrere Farbwerte an jeder Pixelstelle zu erzeugen; – es werden die Kanäle an jeder Pixelstelle mit Differenzsignalen kombiniert; – es werden die Differenzsignale mit einem Medianfilter gefiltert dadurch gekennzeichnet, dass zwei Differenzsignale an jeder Pixelstelle erzeugt werden, die die Differenz zwischen einem Kanal und einem zweiten Kanal und dem ersten Kanal und dem dritten innerhalb des RGB-Triplets repräsentieren und dass die Pixel dann aus den ursprünglichen Roh-RGB-Daten und den gefilterten Differenzsignalen rekonstruiert werden und dass die Farben unter Benutzung geeigneter Beziehungen wieder hergestellt werden.