-
Die
vorliegende Erfindung bezieht sich auf eine Vorrichtung zum Aufzeichnen
eines Bilds, z.B. für
Digitalkameras und für
einen verbesserten Entwurf für
ein Farbsensorarray zu einer Verwendung bei Digitalkameras und dergleichen.
-
Ein
digitales Farbbild besteht gewöhnlicherweise
aus einem Array von Pixelwerten, die die Intensität des Bilds
bei jedem Punkt auf einem regelmäßigen Gitter
darstellen. Typischerweise werden drei Farben verwendet, um das
Bild zu erzeugen. Bei jedem Punkt auf dem Gitter ist die Intensität jeder
dieser Farben spezifiziert, wodurch sowohl die Intensität als auch
die Farbe des Bilds bei diesem Gitterpunkt spezifiziert sind.
-
Eine
herkömmliche
Farbfotografie zeichnet die relevanten Bilddaten durch ein Verwenden
von drei überlappenden
Farberfassungsschichten auf, die Empfindlichkeiten in unterschiedlichen
Bereichen des Spektrums aufweisen (gewöhnlich Rot, Grün und Blau).
Digitalkameras verwenden dagegen typischerweise ein Array von Sensoren
in einer einzigen „Schicht".
-
Die
EP-A-0,804,037 offenbart einen Prozess und ein System zum Erzeugen
von Farbbildern und/oder Mehrspektralbildern, bei dem eine optische
Anordnung eine Szene auf einen CCD-Bildsensor abbildet, wobei der Sensor
durch ein Mosaikfilter mit einem sich periodisch wiederholenden
Grundmuster bedeckt ist. Das Grundmuster besteht aus mindestens
fünf unterschiedlichen
Filterelementen (R, B, G, G',
G'').
-
Wenn
lediglich ein Sensorarray verwendet wird, um Farbbilder zu erfassen,
kann lediglich eine Farbe bei irgendeiner gegebenen Sensorposition
erfasst werden. Folglich erzeugen diese Sensoren kein Farbbild in dem
traditionellen Sinn, sondern vielmehr eine Sammlung von einzelnen
Farbabtastwer ten, die von der Zuweisung von Farbfiltern zu einzelnen
Sensoren abhängen.
Diese Zuweisung wird als das Farbfilterarray (CFA = Color Filter
Array) oder das Farbmosaikmuster bezeichnet. Um ein Echtfarbbild
mit einem vollen Satz von Farbabtastwerten (gewöhnlich Rot, Grün und Blau)
bei jeder Abtastposition zu erzeugen, ist eine erhebliche Menge
an Berechnung erforderlich, um die fehlenden Informationen zu schätzen, da
lediglich eine einzige Farbe ursprünglich bei jeder Position in
dem Array erfasst wurde.
-
Es
gibt eine breite Vielfalt von Ansätzen zu dem Rekonstruktionsproblem,
was häufig
als die „Mosaikrückbildungs"-Aufgabe bezeichnet wird. Die Leistungsfähigkeit
aller derartiger Algorithmen hängt
von der Beschaffenheit des zugrundeliegenden CFA-Musters ab. Ein
derartiges Muster wird in dem US-Patent Nr. 3,971,065 gelehrt. Dieses
Muster wird durch einen sich wiederholenden 2 × 2-Kernel erzeugt, der zwei
Grünsensoren,
einen Rotsensor und einen Blausensor enthält, wie es unten dargestellt
ist:
-
-
Es
ist zu beachten, dass dieses Muster zweimal so viele Sensoren in
dem grünen
Bereich des Spektrums wie in dem blauen oder roten Bereich des Spektrums
aufweist. Die Befürworter
dieses Musters rechtfertigen diese Wahl mit den Gründen, dass
das menschliche visuelle System (HVS = Human Visual System) für Grün empfindlicher
ist. Zusätzlich
weisen die Befürworter
dieses Schemas auf die Tatsache hin, dass dasselbe zu relativ einfachen
Mosaikrückbildungsalgorithmen
führt.
Falls ein Farbkanal dichter als der Rest abgetastet wird, kann derselbe
genauer gesagt am einfachsten interpoliert werden und dann verwendet
werden, um die Interpolation der weniger dicht abgetasteten Farbkanäle zu führen.
-
Das
Argument, dass das HVS empfindlicher für den grünen Abschnitt des Spektrums
ist, ist grundsätzlich
fehlerhaft, wenn dasselbe auf Digitalkamerasysteme angewendet wird.
Der Grund dafür,
dass das menschliche Auge es sich leisten kann, mehr grüne Zapfen
als rote Zapfen und viel weniger blaue Zapfen zu haben, besteht
darin, dass die Optiken des Auges die roten und blauen Teile des
Spektrums stärker
wirksam tiefpassfiltern als die grünen. Daher kann das Auge zusätzliche
Abtastwerte in dem roten und dem blauen Bereich des Spektrums nicht
wirksam verwenden. Tatsächlich
weist das Auge eine schlechte räumliche
Auflösung
für Bilder
in dem roten und dem blauen Bereich des Spektrums auf.
-
Digitalkameras
leiden dagegen nicht unter dieser Begrenzung; daher gibt es keinen
logischen Grund für
ein Begrenzen der Abtastdichte bei irgendeiner Wellenlänge. Falls
die Abtastdichte bei irgendeinem der Farbkanäle reduziert ist, gibt es eine
erhöhte
Mehrdeutigkeit zwischen räumlichen
Intensitätsschwankungen und
einer Farbzusammensetzung der ursprünglichen Szene. Da derartige
Mehrdeutigkeiten vermieden werden sollen, sollten Abtastdichten
bei jeder der Farben die gleichen sein.
-
Ein
anderes Problem bei dem kleinen 2 × 2-Kernel, der oben beschrieben
ist, liegt in der Unfähigkeit desselben,
farbliche und räumliche
Schwankungen von Bildkomponenten zu unterscheiden, deren räumliche Abmessungen
verglichen mit der Größe des Kernel
klein sind. Man betrachte eine schmale rote Linie (weniger als einen
Sensor breit), die vertikal durch das Bild verläuft. Falls die Linie positioniert
ist, derart, dass dieselbe über
der Spalte von Sensoren ist, die lediglich Blau- und Grün-Sensoren
aufweist, wird das System Schwierigkeiten bei einem Erfassen der
Linie haben. Falls tatsächlich
weder die Blau- noch die Grün-Sensoren
zumindest eine gewisse Antwort in dem roten Bereich des Spekt rums
aufweisen, kann die Linie überhaupt
nicht erfasst werden. Es versteht sich von selbst, dass ein genaues
Bestimmen der Farbe dieser Linie schwierig wäre.
-
Kleine
Kernels können
ferner Probleme bei einem Mosaikrückbilden von Szenen mit Texturen
darstellen. Man betrachte ein Bildmerkmal, das auf der Größenordnung
der Größe des Kernel
ist. Mosaikrückbildungsalgorithmen
haben Schwierigkeiten bei einem Bestimmen, ob das resultierende
Sensormuster einem glatten Bereich in der Szene mit einer gesättigten
Farbe oder einem texturierten Bereich entspricht, der eine sich
schnell verändernde
Intensität
einer neutraleren Farbe aufweist.
-
Daher
sollte die Größe des Kernel
relativ groß sein,
um sicherzustellen, dass Szenentexturen nicht die Erscheinung von
Farbvariationen geben. Es ist jedoch zu beachten, dass es eine Begrenzung
auf der Größe des Kernel
gibt. Wenn die Kernelgröße wächst, erhöhen sich
typischerweise die Implementierungskosten des Mosaikrückbildungsalgorithmus.
Daher ist im allgemeinen ein Kompromiss zwischen Kosten und Bildqualität impliziert.
-
Es
ist ferner zu beachten, dass Menschen interessierende Bilder häufig lineare
Kanten sowie Linien umfassen. Somit sollte das Sensormuster entworfen
sein, um sicherzustellen, dass ein jegliches lineares Merkmal in
dem Bild immer durch Sensoren seines Farbtyps verläuft. Ferner
sollte der Abstand entlang des linearen Merkmals zwischen Farbsensoren
des gleichen Typs so klein wie möglich
sein. Ein Nichterfüllen
dieser Anforderung resultiert in einer Farbmehrdeutigkeit bei den
Kanten von Objekten in dem Bild.
-
Das
oben beschriebene 2 × 2-Muster
ist offensichtlich eine schlechte Wahl angesichts dieser Anforderungen.
Erstens weist dasselbe einen sehr kleinen Kernel auf. Zweitens unterabtastet
dasselbe zwei der Farbkanäle.
Drittens sind die Rot- und Blau-Sensoren niemals benachbart zu Sensoren der
gleichen Farbe. Schließlich
verlaufen horizontale und vertikale lineare Merkmale niemals durch
alle drei der Sensortypen.
-
Eine
Lösung
des Stands der Technik für
die obigen Probleme verwendet große Kernels, die pseudozufällige Verteilungen
der unterschiedlichen Sensorfarben enthalten, um die Wahrscheinlichkeit
zu minimieren, dass Texturen Farben in dem mosaikrückgebildeten
Bild bewirken. Derartige pseudozufällige Muster bringen jedoch
andere Probleme ein. Zusätzlich
zu einem Erhöhen
der Berechnungskosten einer Mosaikrückbildung des Bilds, gibt es
Bereiche, in denen es einen zu großen Abstand zwischen Farbsensoren
der gleichen Farbe in einem Bereich des Bilds gibt. Dies kann es
für den
Mosaikrückbildungsalgorithmus
schwierig machen, zwischen räumlichen
Intensitätsschwankungen
und Farbschwankungen zu unterscheiden, wenn derselbe versucht, ein
volles Farbbild zu rekonstruieren.
-
Die
vorliegende Erfindung versucht, eine verbesserte Bildaufzeichnung
zu schaffen.
-
Gemäß einem
Aspekt der vorliegenden Erfindung ist eine Vorrichtung zum Aufzeichnen
eines Bilds gemäß Anspruch
1 vorgesehen.
-
Das
bevorzugte Ausführungsbeispiel
stellt ein verbessertes Farbbildsensorarray bereit. Dasselbe kann
ferner einen Bildsensor bereitstellen, der auf einem Kernel basiert,
der größer als
der oben beschriebene 2 × 2-Kernel
ist. Vorzugsweise verlaufen lineare Merkmale durch Sensoren für zumindest
drei unterschiedliche Farben, deren Spektralantworten linear unabhängig sind.
Vorteilhafterweise sind Farbsensoren für die gleiche Farbe benachbart
zueinander positioniert, um Mehrdeutigkeiten zu minimieren, die
durch sich schnell verändernde
Intensitätsmuster
in dem Bild eingebracht werden.
-
Das
bevorzugte Ausführungsbeispiel
stellt eine Vorrichtung zum Aufzeichnen eines Bilds bereit, die ein
zweidimensionales Array von Bildsensoren umfasst. Jeder Bildsensor
liefert eine Messung der Lichtintensität in einem ausgewählten Spektralbereich.
Das zweidimensionale Array ist aus einer Mehrzahl von identischen
Blöcken
von Sensoren erzeugt, wobei die Blöcke nebeneinander angeordnet
sind, um das Array zu bilden. Jeder der Blöcke weist gleiche Anzahlen
von Sensoren für
jeden der Spektralbereiche auf, wobei die Anzahl von unterschiedlichen
Spektralbereichen zumindest drei ist. Die Sensoren in den Blöcken sind
in einem zweidimensionalen Array angeordnet, das eine Mehrzahl von
Zeilen und Spalten aufweist. Die Sensoren in den Blöcken sind
angeordnet, derart, dass irgendeine gerade Linie, die durch einen
gegebenen Sensor verläuft,
ebenfalls durch Sensoren von zumindest drei unterschiedlichen Farben
verläuft,
deren Spektralantworten alle linear unabhängig sind.
-
Bei
dem bevorzugten Ausführungsbeispiel
liegen alle drei derartigen Sensoren innerhalb einer Scheibe, die
bei dem ersten Sensor zentriert ist und einen Radius aufweist, der
nicht größer als
fünf mal
die Mitte-zu-Mitte-Beabstandung der Blöcke in dem Sensorarray beträgt. Bei
dem bevorzugten Ausführungsbeispiel ist
jeder der Sensoren, die einem der ausgewählten Spektralbereiche in den
Blöcken
nicht benachbart zu einer Kante des zweidimensionalen Arrays entspricht,
benachbart zu einem Sensor, der dem gleichen Spektralbereich entspricht.
-
Ein
Ausführungsbeispiel
der vorliegenden Erfindung ist unten lediglich durch ein Beispiel
mit Bezug auf die zugehörigen
Zeichnungen beschrieben, in denen:
-
1 eine
Draufsicht eines bevorzugten Ausführungsbeispiels eines Bildsensors
ist;
-
2 eine
Draufsicht eines anderen Ausführungsbeispiels
eines Bildsensors ist; und
-
3 eine
Draufsicht eines dritten Ausführungsbeispiels
eines Bildsensors ist.
-
Man
nehme nun Bezug auf 1, die eine Draufsicht eines
Ausführungsbeispiels
eines Farbbildsensors 10 ist, der auf einem replizierenden
4 × 3-Kernel
basiert, der aus horizontal verschobenen Zeilen von abwechselnd
Rot-, Grün-
und Blau-Sensoren
besteht, wie es bei 12 gezeigt ist.
-
Das
bei dem Sensor 10 verwendete CFA-Muster ist ein Zick-Zack-Muster, bei
dem jeder des roten, grünen
und blauen Kanals auf eine Zick-Zack-Weise von dem oberen Ende des
Arrays zu dem unteren Ende verfolgt werden kann. Ein Abschnitt des
Zick-Zack-Musters für
einen Satz von Grün-Sensoren ist bei 13 gezeigt.
Die Zick-Zack-Beschaffenheit stellt sicher, dass lineare Bildmerkmale
nicht durch einen Teilsatz der Sensoren verlaufen können, der
einen oder mehrere der Farbkanäle
ausschließt.
-
Es
ist ferner zu beachten, dass ein Sensor für eine der Farben benachbart
zu zwei anderen Sensoren dieser Farbe überall in dem CFA für Pixel
weg von den Kanten des Arrays ist. Dieses Merkmal des Musters macht
es für
den Mosaikrückbildungsalgorithmus
einfacher, zu bestimmen, ob ein sich schnell veränderndes Merkmal das Ergebnis
einer Veränderung
bei einer Farbe oder einer Veränderung
bei einer Intensität
(d.h. einer Textur) ist. Andere Mitglieder der gleichen Klasse von
Zick-Zack-Mustern können
durch ein Einstellen der Größe und Anordnung
der Zeilen des Kernels erzeugt werden, um die Beschaffenheit des
Zick-Zacks zu verändern.
Zum Beispiel könnte
sich das Muster für
fünf aufeinanderfolgende
Zeilen zu der rechten verschieben, bevor dasselbe umkehrt und sich
für die
nächsten
fünf Zeilen
zu der linken verschiebt, usw. Ein Sensor bei diesem Muster ist
in 2 bei 20 gezeigt. Der Sensor 20 ist
aus einem 3 × 8-Kernel
aufgebaut, der bei 22 gezeigt ist. Das Zick-Zack-Muster
weist lineare Segmente auf, die sich über fünf Pixel erstrecken, bevor
dieselben eine Richtung ändern,
wie es bei 23 gezeigt ist.
-
Allgemein
muss das Muster kein Zick-Zack sein und die Anzahl von Farbsensoren
ist nicht auf drei beschränkt.
Zum Beispiel ist ein Sensor, der auf einem CMYG-Farbschema (CMYG
= cyan, magenta, yellow, and green) basiert, in 3 bei 30 gezeigt.
Der Kernel ist bei diesem Fall ein 3 × 4-Pixelarray, das bei 32 gezeigt
ist. Dieses Muster verschiebt sich für drei aufeinanderfolgende
Reihen zu der rechten und springt dann zwei Zeilen zu der linken,
um sich selbst zu wiederholen. Die Zick-Zack-Muster und dieses letztere
Muster haben die Eigenschaft gemein, dass dieselben alle durch zyklische
Permutationen einer Zeile erzeugt sind, die gleiche Anzahlen aller
Farbsensoren enthält.
Fachleuten auf dem Gebiet ist aus der obigen Erörterung ersichtlich, dass die
gleiche Strategie auf eine Spalte angewendet werden kann.
-
Diese
Muster weisen eine Anzahl von vorteilhaften Eigenschaften auf. Erstens
wird das Muster durch ein Replizieren eines relativen kleinen Kernel
erzeugt. Dies vereinfacht die mathematischen Operationen, die bei
Mosaikrückbildungsalgorithmen
betroffen sind, basierend auf linearen Modellen, die verschiedene
Verzerrungen berücksichtigen,
die durch eine Linse, Farbantworten, etc. eingebracht werden.
-
Zweitens
durchläuft,
wenn irgendeine lineare Grenze in dem Bild überquert wird, die Grenze wiederholt
Farbsensoren von zumindest drei linear unabhängigen Farben über einem
relativ kurzen Abstand entlang der Länge der Grenze. Dies liefert
die Daten, die benötigt
werden, um Farbvariationen von Texturvariationen entlang der Grenze
zu unterscheiden. Da das menschliche Auge besonders für lineare
Kanten empfindlich ist, liefert dieses Merkmal erhebliche Vorteile.
Die Strecke, die entlang der linearen Grenze überquert werden muss, bevor
Pixel aller der unterschiedlichen Farben durchlaufen werden, hängt von
der Ausrichtung der linearen Grenze und dem speziellen Kernel ab.
Bei dem bevorzugten Ausführungsbeispiel
ist der Kernel gewählt, derart,
dass irgendeine Linie, die durch die Mitte einer Scheibe verläuft, deren
Radius fünf
Mal der Abstand zwischen den Mitten von zwei benachbarten Kernels
ist, zumindest drei Farben durchläuft, deren Spektralantworten
linear unabhängig
innerhalb dieser Scheibe sind.
-
Innerhalb
des Körpers
des Musters ist drittens jedes Pixel irgendeiner gegebenen Farbe
benachbart zu anderen Pixeln dieser Farbe. Dies liefert die Daten,
die benötigt
werden, um Farbvariationen von Texturvariationen innerhalb allgemeinerer
Bilder zu unterscheiden.
-
Viertens
weist der Kernel gleiche Anzahlen von Farbsensoren jeder Farbe auf.
Dies stellt sicher, dass alle Farben mit der gleichen Dichte bei
dem resultierenden CFA-Muster abgetastet werden. Dies hilft wiederum eine
gute Bildqualität über einem
breiten Bereich unterschiedlicher Szenenbeleuchtungsbedingungen,
von weißglühender Beleuchtung
bis zu Beleuchtungsquellen sicherzustellen, die stark zu dem blauen
Ende des Spektrums hin vorgespannt sind.
-
Die
obigen Ausführungsbeispiele
der vorliegenden Erfindung wurden hinsichtlich Sensoren für spezifische
Abschnitte des Spektrums beschrieben. Fachleuten auf dem Gebiet
ist jedoch ersichtlich, dass andere Wahlen von Spektralbereichen
verwendet werden können,
ohne von den Lehren hierin abzuweichen.
-
Verschiedene
Modifikationen an den beschriebenen Ausführungsbeispielen werden Fachleuten
auf dem Gebiet aus der vorhergehenden Beschreibung und den zugehörigen Zeichnungen
ersichtlich.
