DE102017110129B4

DE102017110129B4 - Verbesserung eines Pixelqualitätswertes

Info

Publication number: DE102017110129B4
Application number: DE102017110129.2A
Authority: DE
Inventors: Jörg Kunze
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2017-05-10
Filing date: 2017-05-10
Publication date: 2020-07-09
Anticipated expiration: 2037-05-11
Also published as: CN108881748B; CN108881748A; DE102017110129A1

Abstract

Bildverarbeitungseinrichtung zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes (13) von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, wobei die Bildverarbeitungseinrichtung ausgebildet ist, aus dem ersten Bild (13) ein zweites Bild (15) zu berechnen, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist,wobei der aus dem zweiten Bild (15) ermittelte Pixelqualitätswert größer ist als der gegebene Pixelqualitätswert des Bildsensors, undwobei für ein erstes Bild (13), das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird, der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes (15) größer ist als für benachbarte Pixel des ersten Bildes (13),wobei die Bildverarbeitungseinrichtung ausgebildet ist, den Wert eines Pixels des zweiten Bildes (15) durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes (13) angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes (13) in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen,wobei der lokale Bildverarbeitungsoperator angepasst ist, den Wert des Pixels des zweiten Bildes (15) als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.

Description

Die Erfindung betrifft eine Bildverarbeitungseinrichtung zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, sowie eine Digitalkamera, die einen Bildsensor zum Erzeugen eines ersten Bildes und die Bildverarbeitungseinrichtung umfasst. Die Erfindung betrifft ferner eine Verwendung der Bildverarbeitungseinrichtung, ein entsprechendes Bildverarbeitungsverfahren, ein Auslegungsverfahren zum Auslegen einer Digitalkamera sowie eine Computerprogramvorrichtung und eine Computerprogram-Produkt.
HINTERGRUND DER ERFINDUNG
Digitale Kameras werden häufig im industriellen Umfeld eingesetzt. Dies ist z.B. in der DE-Patentanmeldung DE 10 2013 000 301 A1 beschrieben. Dabei kommt eine Vielzahl verschiedener Modelle mit einer Vielzahl verschiedener Bildsensoren zum Einsatz.
1 zeigt schematisch und exemplarisch den Aufbau einer Digitalkamera 10 mit einem Objektiv 12. Eine Bildszene 11 wird über das Objektiv 12 auf einen Bildsensor abgebildet, welcher eine regelmäßige Anordnung lichtempfindlicher Elemente, sogenannter Pixel, aufweist. Der Bildsensor übermittelt ein erstes Bild 13 in Form elektronischer Daten an eine zumeist in der Kamera 10 befindliche Recheneinheit 14, die beispielsweise einen Prozessor, einen digitalen Signalprozessor (DSP) oder ein sogenanntes Field-Programmable-Gate-Array (FPGA) umfasst. Es kann dabei erforderlich sein, analoge Bilddaten in digitale Bilddaten zu konvertieren, z.B. mittels eines Analog-Digital-Konverters (in der Figur nicht gezeigt). In der Recheneinheit 14 werden gegebenenfalls noch gewünschte mathematische Operationen, beispielsweise eine Farbkorrektur oder eine Umrechnung in ein anderes Bildformat, auf den Bilddaten ausgeführt. Dadurch wir ein zweites Bild 15 erhalten, das anschließend über eine Schnittstelle (Interface) 16 ausgegeben wird. Alternativ kann das Ausgangsbild auch außerhalb der Digitalkamera 10 berechnet werden, z.B. mit Hilfe eines Computers.
Die Bildqualitätsparameter digitaler Kameras werden häufig gemäß dem Standard 1288 der European Machine Vision Association, dem sogenanntem EMVA-Standard 1288 (Release 3.0 vom 29. November 2010) ermittelt. Das gilt in besonderem Maße für Kameras für den industriellen Einsatz. Dieser Standard beschreibt dabei ein physikalisches Modell einer Kamera, die Durchführung von Messungen, die Auswertung der Messdaten und die Darstellung der Ergebnisse in Form von EMVA-Standard 1288 Datenblättern. Durch diesen Standard kann ein Anwender verschiedene Kameramodelle von verschiedenen Herstellern miteinander vergleichen und so eine geeignete Kaufentscheidung treffen.
Ein wichtiger Wert in einem EMVA-Standard 1288 Datenblatt ist die Quanteneffizienz (QE vom engl. „quantum efficiency“), die dort als η(λ) geschrieben wird. Dieser Wert, der abhängig ist von der einstrahlenden Wellenlänge λ, beschreibt das Verhältnis der pro Pixel pro Belichtungszeit erzeugten mittleren statistischen Anzahl an Photoelektronen µ_e zu den innerhalb der gleichen Belichtungszeit auf den Pixel einfallenden mittleren Anzahl an Photonen µ_p. Ein kleiner QE-Wert bedeutet, dass im statistischen Mittel nur wenige Photonen zu Photoelektronen umgewandelt werden. Der Bildsensor ist dann fast blind. Ein großer QE-Wert bedeutet, dass viele Photonen in Photoelektronen umgewandelt werden. Die Kamera ist dann lichtempfindlicher. Dies wird von den meisten Anwendern bevorzugt.
2 zeigt in vereinfachter Form das dem EMVA-Standard 1288 zugrunde liegende physikalische Modell eines Pixels einer digitalen Kamera. Während der Belichtungszeit trifft eine Anzahl n_p von Photonen p auf einen Pixel. Ein Teil der Photonen wird dort in Elektronen e umgewandelt und gespeichert. Die Anzahl der Elektronen beträgt dann n_e . Diese Umwandlung erfolgt mit einer statistischen Wahrscheinlichkeit, die als Quanteneffizienz bezeichnet wird. Nach Beendigung der Belichtungszeit wird die Anzahl n_e der Elektronen e in einen Pixelwert y umgewandelt, der in digitalen Einheiten (DN vom engl. „digital number) angegeben wird. Diese Umwandlung erfolgt mit dem sogenannten Conversion Gain (K), der somit eine Proportionalitätskonstante darstellt. Die im EMVA-Standard 1288 beschriebenen weiteren Terme, wie etwa das Dunkelrauschen n_d oder das Quantisierungsrauschen σ_q , werden an dieser Stelle aus Gründen der Einfachheit vernachlässigt.
Eine große Anzahl von Patentschriften widmet sich der Frage, wie man die QE verbessern kann. Beispielhaft seien hier die US-Patentschriften US 4 822 748 A , US 5 005 063 A , US 5 055 900 A , US 6 005 619 A , US 6 259 085 B1 , US 6 825 878 B1 , US 7 038 232 B2 und US 8 304 759 B2 genannt. Die Verbesserung der Quanteneffizienz wird hierbei jeweils durch Maßnahmen während der Entwicklung oder der Herstellung des Bildsensors erreicht. Die Entwicklung eines Bildsensors ist sehr kostenintensiv und erfordert oftmals Investitionen im mindestens siebenstelligen Eurobereich. Auch die Entwicklung oder Verbesserung eines Herstellungsverfahrens für Bildsensoren ist ausgesprochen teuer.
Weiterhin nachteilig an diesen Ansätzen ist es, dass dadurch jeweils nur ein bestimmter Bildsensortyp, eine bestimmte Fertigungstechnologie, wie beispielsweise CCD (vom engl. „charge-coupled device“) oder CMOS (vom engl. „complementary metal oxide semiconductors“), oder nur eine bestimmte Bildsensorfamilie eines Herstellers verbessert wird. Wird für eine Vielzahl von Kameramodellen eine Vielzahl verschiedener Bildsensoren verwendet, so müssen die Maßnahmen für jeden der Bildsensoren durchgeführt werden, wodurch diese Kosten sogar mehrfach anfallen.
Ein weiterer Ansatz zur Verbesserung der Quanteneffizienz findet sich in der Kodak Application Note „NIR-Enhanced Mode Operation of Kodak Interline CCDs for use with Kodak KAI-1003, KAI-2000, KAI-2093, KAI-4000, KAI-4010 and KAI-4020 interline CCD image sensors“ in der Revision 1 vom 11. November 2002. Hier wird erläutert, wie die QE für infrarotes Licht durch eine besondere elektrische Betriebsweise der genannten CCD-Bildsensoren erhöht werden kann. Nachteilig an diesem Ansatz ist, dass er die QE nur in einem bestimmten Wellenlängenbereich, nämlich Infrarot, verbessert, nur für bestimmte CCD-Bildsensoren eines bestimmten Herstellers, nämlich Kodak, anwendbar ist, elektronische Veränderungen in der Beschaltung und im Betrieb der Kamera benötigt, und darüber hinaus bei einer Überbelichtung vergrößerte Probleme mit „Blooming“-Artefakten auftreten können.
Ein zweiter wichtiger Wert in einem EMVA-Standard 1288 Datenblatt ist die Sättigungskapazität (C_sat vom engl. „saturation capacity“). Dieser Wert beschreibt die Anzahl an Elektronen n_e , die ein Pixel maximal aufnehmen kann. Da jedes detektierte Elektron das Ergebnis eines Zufallsprozesses ist, unterliegt die Anzahl der Elektronen einer statistischen Schwankung. Entsprechend dem Gesetz der großen Zahlen sinkt der relative Fehler mit der Wurzel von n_e . Eine hohe Sättigungskapazität erlaubt eine große Anzahl an Elektronen und somit einen kleinen relativen Fehler und wird daher von vielen Anwendern bevorzugt.
Auch der Erhöhung der Sättigungskapazität widmen sich zahlreiche Patentschriften, wie beispielsweise die US-Patentschriften US 6 515 703 B1 und US 7 115 855 B2 . Auch diese beziehen sich auf die Entwicklung und Herstellung von Bildsensoren und weisen die oben diesbezüglich genannten Nachteile auf.
Ein dritter wichtiger Wert in einem EMVA-Standard 1288 Datenblatt ist das maximale Signal-Rausch-Verhältnis (maxSNR vom engl. „maximum signal-to-noise ratio“). Der SNR-Wert erlaubt eine gute Vorhersage, in wie weit sich schwache Details in einem Bild erkennen lassen, bevor sie im Rauschen verschwinden. Die statistische Natur der Photonen p und der daraus generierten Elektronen e erlaubt nur die Angabe eines maximalen SNR-Werts, der bestenfalls der Wurzel der Anzahl n_e der Elektronen entspricht. Für qualitativ hochwertige digitale Kameras ist ein hoher maxSNR-Wert wünschenswert und stellt somit ein für den Anwender wichtiges Auswahlkriterium dar.
Der Erhöhung des SNR widmen sich unter anderem die US-Patentschriften US 5 250 824 A , US 6 124 606 A und US 6 822 213 B2 . Diese beziehen sich wiederum auf die Entwicklung und Herstellung von Bildsensoren und weisen die oben diesbezüglich genannten Nachteile auf.
Ein vierter wichtiger Wert in einem EMVA-Standard 1288 Datenblatt ist der Dynamikbereich (DR vom engl. „dynamic range“). Ein hoher Dynamikbereich hilft, Details in hellen und dunklen Bereichen eines Bildes gleichzeitig erkennen zu können. Somit besitzt auch der DR für Anwender eine große praktische Bedeutung und kann ein wichtiges Kriterium für die Wahl einer digitalen Kamera darstellen.
Der Erhöhung des Dynamikbereichs widmet sich eine ausgesprochen große Anzahl von Patentschriften. Hier seien beispielhaft die US-Patentschriften US 6 864 920 B1 , US 7 446 812 B2 , US 7 518 645 B2 , US 7 554 588 B2 und US 7 636 115 B2 angeführt. Diese befassen sich wiederum mit Maßnahmen in der Entwicklung, Herstellung oder im Betrieb des Bildsensors. Hinsichtlich der Entwicklung und Herstellung eines Bildsensors sind wiederum die oben genannten Nachteile anzuführen. Hinsichtlich des Betriebs des Bildsensors ergibt sich der Nachteil, dass die Kamera mit dem entsprechenden Aufwand diesbezüglich angepasst werden muss. Die Anpassung funktioniert zumeist nur für einen bestimmten Bildsensor oder eine Bildsensorfamilie und muss für andere Bildsensoren oder Bildsensorfamilien mit entsprechendem Aufwand erneut durchgeführt werden. Weiterhin führt der geänderte Betrieb des Bildsensors häufig zu Problemen, die darin begründet sind, dass von der üblichen Art und Weise, wie Bilder aufgenommen werden, abgewichen wird. Beispielsweise setzt eine zweifache Belichtung voraus, dass in der aufgenommenen Szene keine Bewegung stattfindet. Wenn dies doch der Fall ist, kann es zu sehr störenden Bewegungsartefakten kommen. Weiterhin reduziert eine höhere Anzahl von Teilaufnahmen für ein Bild die maximale erreichbare Bildrate einer Kamera, was sich ebenfalls stark nachteilig auswirkt.
Zusammenfassend kann festgehalten werden, dass eine Erhöhung der Quanteneffizienz, der Sättigungskapazität, des maxSNR oder des Dynamikbereichs nach dem Stand der Technik generell aufwändig und teuer ist, insbesondere, da die Maßnahmen jeweils nur für spezielle Bildsensoren, Arten von Bildsensoren oder Bildsensorfamilien durchführbar sind.
Die US-Anmeldung US 2015 / 0256760 A1 offenbart Verfahren zum Korrigieren von saturierten Pixeldaten. Das Verfahren funktioniert so, dass Pixel, die einen Saturierungsschwellwert Tsat überschreiten (saturierte Pixel), entsaturiert werden und dabei insbesondere an die jeweils benachbarten nicht-saturierten Pixel angepasst werden. Die Verarbeitung erfolgt dabei kanalweise und insbesondere so, dass z.B. der Blau-Wert eines saturierten Pixels durch das gewichtete Mittel der Blau-Werte benachbarter nicht-saturierter Pixel ersetzt wird. Die Gewichtung hängt jeweils von der Korrelation bzw. der Differenz zwischen den Farbwerten der saturierten Pixel und der benachbarten nicht-saturierten Pixel ab.
Die US-Anmeldung 2004 / 0196408 A1 offenbart, dass Pixel in einem Fenster, das zu der Position eines Eingangspixel korrespondiert und eine vorgegebene Größe aufweist, aus einem verkleinerten Bild, das durch Reduzieren eines Eingangsbildes auf eine vorgegebene Skala erhalten wurde, extrahiert werden. Ersatzdaten, die zur Ersetzung des Werts des Eingangspixels verwendet werden, werden basierend auf den extrahierten Pixeln in dem Fenster erzeugt. Der Differenzwert zwischen den Ersatzdaten und dem Wert des Eingangspixels wird berechnet und mit einem ersten Schwellenwert verglichen. Wenn der Differenzwert kleiner als der erste Schwellenwert ist, wird der Wert des Eingangspixels durch die Ersatzdaten ersetzt. Somit kann eine niederfrequente Rauschreduzierung mit minimalem Aufwand erreicht werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, eine Bildverarbeitungseinrichtung zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, bereitzustellen, die es ermöglicht, auf eine einfache, preiswerte und bildsensorunabhängige Weise den Pixelqualitätswert, z.B., die Quanteneffizienz, die Sättigungskapazität, das maximale Signal-Rausch-Verhältnis oder den Dynamikbereich, zu verbessern.
Gemäß einem ersten Aspekt der Erfindung wird eine Bildverarbeitungseinrichtung zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, bereitgestellt, wobei die Bildverarbeitungseinrichtung ausgebildet ist, aus dem ersten Bild ein zweites Bild zu berechnen, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist,
wobei der aus dem zweiten Bild ermittelte Pixelqualitätswert größer ist als der gegebene Pixelqualitätswert des Bildsensors, und
wobei für ein erstes Bild, das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird, der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes größer ist als für benachbarte Pixel des ersten Bildes,
wobei die Bildverarbeitungseinrichtung ausgebildet ist, den Wert eines Pixels des zweiten Bildes durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen,
wobei der lokale Bildverarbeitungsoperator angepasst ist, den Wert des Pixels des zweiten Bildes als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Der Erfindung liegt die Erkenntnis des Erfinders zugrunde, dass der Pixelqualitätswert, z.B., die Quanteneffizienz oder die Sättigungskapazität, einer digitalen Kamera nicht zwangsläufig identisch sein muss mit dem Pixelqualitätswert des Bildsensors der digitalen Kamera. Diese Idee stellt eine bahnbrechende Neuerung dar, da bisher beispielwese die Werte für die Quanteneffizienz von Bildsensor und digitaler Kamera als unverrückbar identisch galten. Dies gilt auch weitgehend für die Sättigungskapazität, sofern nicht spezielle Bildsensoren oder spezielle Bildaufnahmetechniken verwendet werden. Indem aus dem Bild von dem Bildsensor (erstes Bild) ein zweites Bild so berechnet wird, dass der aus dem zweiten Bild ermittelte Pixelqualitätswert - auf Kosten einer Erhöhung des Korrelationskoeffizienten für benachbarte Pixel des zweiten Bildes im Vergleich zu benachbarten Pixeln des ersten Bildes, das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird - im Vergleich zu dem gegebenen Pixelqualitätswert des Bildsensors erhöht (verbessert) ist, kann eine Verbesserung des Pixelqualitätswertes mit weitgehend allen am Markt frei erhältlichen, preiswerten Bildsensoren erzielt werden, ohne dass diese mit teuren Maßnahmen bautechnisch oder produktionstechnisch verändert werden müssten. Wie der Erfinder in Experimenten festgestellt hat, lässt sich so der Pixelqualitätswert in relevantem Maße verbessern, ohne dass die Erhöhung der Korrelation zwischen benachbarten Pixel des zweiten Bildes dabei zu einer relevanten visuell wahrnehmbaren Verschlechterung des zweiten Bildes führen würde. Das aus dem Bild von dem Bildsensor (erstes Bild) berechnete zweite Bild kann dann als das Bild der digitalen Kamera verwendet werden und, falls die Bildverarbeitungseinrichtung von der digitalen Kamera umfasst ist, beispielsweise über eine geeignete Schnittstelle ausgegeben werden (siehe unten).
Durch die Eingrenzung der Verarbeitung des lokalen Bildverarbeitungsoperators auf eine vorbestimmte und mehrere Pixel umfassende Umgebung des ersten Bildes in Bezug auf den entsprechenden Pixel ist der Rechenaufwand für die Berechnung des Wertes des Pixels des zweiten Bildes begrenzt.
Wenn der Bildsensor ein monochromer Bildsensor ist, können bevorzugt die Werte aller Pixel der vorbestimmten Umgebung verarbeitet werden. Dies gilt jedoch nicht für Farbsensoren, die ein sogenanntes Mosaikfilters, beispielsweise das sogenannte Bayer-Pattern, welches aus der US-Patentschrift US 3 971 065 A (dort insbesondere die 6) bekannt ist, verwenden. Dabei befindet sich auf den Pixeln ein regelmäßiges Muster aus Farbfiltern für die Farben Rot (R), Grün (G) und Blau (B), so dass jeder Pixel nur für Licht der jeweiligen Farbe empfindlich ist. Im Bayer-Pattern ist Grün doppelt so häufig vertreten wie Rot bzw. Blau. Hier ist es von Vorteil, wenn jeweils nur die Werte derjenigen Pixel der vorbestimmten Umgebung verarbeitet werden, deren Farbe (und gegebenenfalls Phasenlage) gleich der Farbe (und Phasenlage) des entsprechenden Pixels ist.
Gemäß einer vorteilhaften Weiterbildung weist die vorbestimmte Umgebung den entsprechenden Pixel als ersten, vorzugsweise zentralen Pixel auf und/oder ist die vorbestimmte Umgebung eine Umgebung mit einer gleichen, insbesondere ungeraden Anzahl Zeilen wie Spalten, bevorzugt der Größe 3x3 oder mehr Pixel. Durch die Verwendung einer quadratischen Form kann der Bildverarbeitungsoperator sehr gut symmetrisch ausgestaltet werden (siehe unten). Zudem gibt es durch Wählen einer ungeraden Anzahl von Zeilen und Spalten immer eine mittlere Zeile und eine mittlere Spalte, so dass die vorbestimmte Umgebung zentriert auf dem Mittelpunkt des entsprechenden Pixels des ersten Bildes zu liegen kommt.
Gemäß einer weiteren vorteilhaften Weiterbildung liegt das Verhältnis zwischen dem Gewicht des Wertes des entsprechenden Pixels und der Summe der Gewichte der Werte der übrigen Pixel der vorbestimmten Umgebung im einem Verhältnisbereich von 2,2247 bis 40,4298, bevorzugt von 4,2913 bis 40,4298, noch bevorzugter von 10,3385 bis 40,4298, am bevorzugtesten von 20,3562 bis 40,4298. Mit diesen Werten liegt eine Verbesserung beispielsweise der Quantenteffizienz in einem Bereich von 5% bis 100%, bevorzugt von 5% bis 50%, noch bevorzugter von 5% bis 20%, am bevorzugtesten von 5% bis 10%. Damit kann der Pixelqualitätswert in relevantem Maße verbessert werden, ohne dass die Erhöhung der Korrelation zwischen benachbarten Pixel des zweiten Bildes dabei zu einer relevanten visuell wahrnehmbaren Verschlechterung des zweiten Bildes führen würde. Verbesserungen des Pixelqualitätswerts um weniger als 5% sind nicht sinnvoll, da die Ermittlung beispielsweise der Quanteneffizienz gemäß dem EMVA-Standard 1288 die Messung der Bestrahlungsstärke E mittels einer kalibrierten Photodiode erfordert. (Dies ist notwendig, um die mittlere Anzahl von Photonen µ_p, die während der Belichtungszeit t_exp eine Fläche A des Pixels treffen, über die Gleichung µ_p = (A·E·t_exp) / (h·(c/λ) zu berechnen, wobei h die Plank-Konstante und c die Lichtgeschwindigkeit ist.) Die Genauigkeit dieser Photodioden liegt typischerweise zwischen 3% und 5%, je nachdem welche Lichtwellenlänge verwendet wird. Laut EMVA 1288 ist diese Abweichung dann der minimale systemische Fehler der Quanteneffizienz.
Gemäß einer weiteren vorteilhaften Weiterbildung
ist der Pixelqualitätswert die Quanteneffizienz bei einem gegebenen Wellenlängenband oder die Sättigungskapazität, wobei der Quotient des Quadrats der Summe der Gewichte durch das Quadrat der L2-Norm des lokalen Bildverarbeitungsoperators gleich einem Pixelqualitätsverbesserungsfaktor ist,
wobei der aus den zweiten Bildern ermittelte Pixelqualitätswert im Wesentlichen um den Pixelqualitätsverbesserungsfaktor größer ist als der gegebene Pixelqualitätswert des Bildsensors.
Gemäß einer weiteren vorteilhaften Weiterbildung ist die Summe der Gewichte gleich einem Helligkeitsänderungsfaktor, wobei eine aus den zweiten Bildern ermittelte Helligkeit um den Helligkeitsänderungsfaktor gegenüber einer aus den ersten Bildern ermittelten Helligkeit verändert ist.
Gemäß einer weiteren vorteilhaften Weiterbildung ist der aus den zweiten Bildern ermittelte Pixelqualitätswert im Wesentlichen um einen Pixelqualitätsverbesserungsfaktor größer ist als der gegebene Pixelqualitätswert des Bildsensors, wobei der Pixelqualitätsverbesserungsfaktor in einem Pixelqualitätsverbesserungsbereich von 5% bis 100%, bevorzugt von 5% bis 50%, noch bevorzugter von 5% bis 20%, am bevorzugtesten von 5% bis 10% liegt, und/oder eine aus den zweiten Bildern ermittelte Helligkeit ist um einen Helligkeitsänderungsfaktor gegenüber einer aus den ersten Bildern ermittelten Helligkeit verändert.
Gemäß einer weiteren vorteilhaften Weiterbildung umfasst die Bildverarbeitungseinrichtung Bedienmittel zum Einstellen des Pixelqualitätsverbesserungsfaktors und/oder des Helligkeitsänderungsfaktors, bevorzugt nicht oberhalb des Pixelqualitätsverbesserungsbereichs.
Gemäß einer weiteren vorteilhaften Weiterbildung sind die Bedienmittel so ausgebildet, dass eine Änderung des Pixelqualitätsverbesserungsfaktors die aus den zweiten Bildern ermittelte Helligkeit nicht verändert und/oder dass eine Änderung des Helligkeitsänderungsfaktors den aus den zweiten Bildern ermittelten Pixelqualitätsverbesserungsfaktor nicht verändert.
Gemäß einer weiteren vorteilhaften Weiterbildung ist der lokale Bildverarbeitungsoperator in Zeilen- und Spaltenrichtung spiegelsymmetrisch sowie 90° drehsymmetrisch. Dadurch können im Ergebnis Verschiebungen, Asymmetrien und Anisotropien vermieden werden, die sich in den zweiten Bildern störend bemerkbar machen könnten.
Gemäß einem weiteren Aspekt der Erfindung wird eine Digitalkamera, bevorzugt eine Industriekamera, bereitgestellt, wobei die Digitalkamera umfasst:

- einen Bildsensor zum Erzeugen erster Bilder; und
- die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 9 zum Verarbeiten der ersten Bilder von dem Bildsensor.

Gemäß einer vorteilhaften Weiterbildung umfasst die Digitalkamera des Weiteren:

- eine Schnittstelle,

Gemäß einem weiteren Aspekt der Erfindung wird eine Verwendung der Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 9 zur Verbesserung eines Pixelqualitätswertes einer Digitalkamera, bevorzugt einer Industriekamera, mit einer Schnittstelle, bereitgestellt, wobei das zweite Bild über die Schnittstelle ausgegeben wird, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Bildverarbeitungsverfahren zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, bereitgestellt, wobei das Bildverarbeitungsverfahren ausgebildet ist, aus dem ersten Bild ein zweites Bild zu berechnen, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist,
wobei der aus dem zweiten Bild ermittelte Pixelqualitätswert größer ist als der gegebene Pixelqualitätswert des Bildsensors, und
wobei für ein erstes Bild, das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird, der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes größer ist als für benachbarte Pixel des ersten Bildes,
wobei das Bildverarbeitungsverfahren ausgebildet ist, den Wert eines Pixels des zweiten Bildes durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen,
wobei der lokale Bildverarbeitungsoperator ausgebildet ist, den Wert des Pixels des zweiten Bildes als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Auslegungsverfahren zum Auslegen einer Digitalkamera, bevorzugt einer Industriekamera, für einen gewünschten Pixelqualitätswert, bereitgestellt, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist, wobei die Digitalkamera einen Bildsensor zum Erzeugen eines ersten Bildes umfasst, welcher einen gegebenen Pixelqualitätswert aufweist, wobei der gegebene Pixelqualitätswert des Bildsensors schlechter ist als der gewünschte Pixelqualitätswert, wobei das Auslegungsverfahren ausgebildet ist, aus dem ersten Bild ein zweites Bild zu berechnen, wobei der aus dem zweiten Bild ermittelte Pixelqualitätswert im Wesentlichen gleich dem gewünschten Pixelqualitätswert ist,
wobei das Auslegungsverfahren ausgebildet ist, den Wert eines Pixels des zweiten Bildes durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen,
wobei der lokale Bildverarbeitungsoperator ausgebildet ist, den Wert des Pixels des zweiten Bildes als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Gemäß einem weiteren Aspekt der Erfindung wird eine Computervorrichtung, bereitgestellt, wobei die Computervorrichtung eine Recheneinheit umfasst, die zur Durchführung des Bildverarbeitungsverfahrens nach Anspruch 13 ausgestaltet ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm-Produkt bereitgestellt, wobei das Computerprogramm-Produkt Codemitteln umfasst zum Veranlassen einer Computervorrichtung zum Ausführen des Bildverarbeitungsverfahrens nach Anspruch 13, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
Es versteht sich, dass die Bildverarbeitungseinrichtung nach Anspruch 1, die Digitalkamera nach Anspruch 10, die Verwendung der Bildverarbeitungseinrichtung nach Anspruch 12, das Bildverarbeitungsverfahren nach Anspruch 13, das Auslegungsverfahren nach Anspruch 14, die Computervorrichtung nach Anspruch 15 und das Computerprogramm-Produkt nach Anspruch 16 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
Figurenliste
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 schematisch und exemplarisch den Aufbau einer Digitalkamera zeigt,
2 in vereinfachter Form das dem EMVA-Standard 1288 zugrunde liegende physikalische Modell eines Pixels einer digitalen Kamera zeigt,
3 schematisch und exemplarisch zeigt, wie ein erstes Bild durch eine Berechnung in ein zweites Bild überführt wird,
4 schematisch und exemplarisch eine Darstellung zur Erläuterung einer modellhaften Vorstellung des Problems der Begrenzung der Quanteneffizienz zeigt,
5 schematisch und exemplarisch zeigt, wie das zweite Bild aus Werten virtueller Pixel zusammengesetzt wird, deren Fläche die Fläche der Pixel des Bildsensors etwas übersteigt,
6 schematisch und exemplarisch eine Bildung eines Überschneidungsbereiches virtueller Pixel zeigt,
7 schematisch und exemplarisch einen linearen Filter für 3x3 Koeffizienten zeigt,
8 schematisch und exemplarisch zeigt, wie mittels einer Filterung der digitalen Pixelwerte y des ersten Bildes mittels eines Filters, ein zweites Bild mit Werten z erhalten wird,
9 schematisch und exemplarisch Bedienelement BH und BQ, die auf den Filter wirken, zeigt,
10 schematisch und exemplarisch zeigt, wie der gewünschte lokale Bildverarbeitungsoperator durch Ausführen mehrerer Filterungsschritte hintereinander realisiert werden kann,
11 schematisch und exemplarisch einen Punktfilter zeigt,
12 schematisch und exemplarisch Ergebnisse der Anwendung der erfindungsgemäßen Filterung für die Quanteneffizienz zeigt,
13 schematisch und exemplarisch Ergebnisse der Anwendung der erfindungsgemäßen Filterung für die Sättigungskapazität zeigt,
14 schematisch und exemplarisch Ergebnisse der Anwendung der erfindungsgemäßen Filterung für das maximale Signal-Rausch-Verhältnis zeigt, und
15 schematisch und exemplarisch Ergebnisse der Anwendung der erfindungsgemäßen Filterung für den Dynamikbereich zeigt

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
Wie beschrieben wird gemäß der Erfindung aus einem ersten Bild von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert, z.B., Quanteneffizienz, Sättigungskapazität, maximales Signal-Rausch-Verhältnis oder Dynamikbereich, aufweist, ein zweites Bild mit einem verbesserten Pixelqualitätswert berechnet - auf Kosten einer Erhöhung des Korrelationskoeffizienten für benachbarte Pixel des zweiten Bildes im Vergleich zu benachbarten Pixeln des ersten Bildes, das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird.
Wie dies vorteilhafterweise erfolgen kann, wird im Folgenden bespielhaft für die Quanteneffizienz beschrieben, wobei zunächst anhand von 4 eine modellhafte Vorstellung des Problems der Begrenzung der Quanteneffizienz erläutert werden soll. Als wichtigster Grund für die in der Praxis auftretende Begrenzung der Quanteneffizienz eines Pixels 20 wird in dieser Vorstellung erachtet, dass die effektive lichtempfindliche Fläche 22 des Pixels 20 kleiner ist als seine Gesamtfläche. In modernen Bildsensoren wird die lichtempfindliche Fläche beispielsweise durch Abschattungen von Leiterbahnen oder Elektroden elektronischer Bauelemente reduziert, oder durch Bereiche im darunter liegenden Silizium, die nicht zum Sammeln von Elektronen beitragen, beispielsweise weil dort entstehende Elektronen rekombinieren, diffundieren oder wegdriften.
Letztendlich lässt sich unabhängig von den einzelnen Ursachen einer real auftretenden Quanteneffizienz von deutlich unter 100% diese auch so auffassen, als weise der Pixel zwar eine perfekte QE auf, sei dabei jedoch nicht vollflächig lichtempfindlich. Dafür wird hier der neue Begriff der Effektiven Lichtempfindlichen Fläche (ELA vom engl. „effective light sensitive area“) eingeführt. Damit werden Defizite in der Quanteneffizienz konzeptionell auf die Pixelfläche umgelegt.
Daraus resultiert die erfinderische Idee, zu einer Korrektur oder zu einer Verbesserung der Quanteneffizienz die ELA auf das gewünschte Maß anzupassen. Dazu wird vorteilhafterweise ein zweites Bild 41 (siehe 3) aus „virtuellen“ Pixeln aufgebaut, welche auf mathematischem Wege aus den Pixeln eines ersten Bildes 40 vom dem Bildsensor der digitalen Kamera berechnet werden. Die Berechnung kann dabei in einer Bildverarbeitungseinrichtung, beispielsweise der Recheneinheit 14 der digitalen Kamera 10 (siehe 1), vorgenommen werden. Sie kann jedoch auch nachgelagert in einer externen Recheneinheit erfolgen.
Gemäß der 5 wird vorgeschlagen, das zweite Bild 41 aus Werten virtueller Pixel 32 zusammenzusetzen, deren Fläche A2 die Fläche (A vom engl. „area“) der Pixel des Bildsensors 30 etwas übersteigt. Dabei ist die Seitenlänge des virtuellen Pixels größer als der Abstand der Mittelpunkte der ersten Pixel. Dadurch steigt auch die ELA 31 eines virtuellen Pixels gegenüber der ELA 22 eines ersten Pixels 30 an, weil diese über einen Anteil an der Fläche A definiert ist, die Fläche A2 des virtuellen Pixels größer ist als A, und somit auch die ELA des virtuellen Pixels größer ausfällt als die ELA des ersten Pixels. Dies führt dazu, dass bei einer gleichen mittleren Zahl an Photonen n_p , die auf den Pixel 30 einfallen, durch die größere ELA des virtuellen Pixels während der Belichtungszeit eine größere mittlere Zahl an Elektronen µ_e im virtuellen Pixel gesammelt werden. Da sich die Quanteneffizienz als Quotient von µ_e durch µ_p errechnet, entspricht dies einer höheren QE. Somit kann durch Verwendung einer virtuell vergrößerten Pixelfläche A das Problem der zu kleinen ELA ursächlich adressiert und gelöst, mehr Elektronen gesammelt und die Quanteneffizienz gesteigert werden.
Zur Berechnung eines Wertes eines virtuellen Pixels wird bevorzugt auf Werte benachbarter Pixel 35 oder 36 zurückgegriffen. Durch die zu kleine ELA gehen Photonen verloren, die nicht zur Bildung von Elektronen führen. Daher werden zusätzliche Elektronen benötigt, die nur in der Umgebung (Nachbarschaft) zu finden sind. So können tatsächlich mehr Elektronen zum Wert des virtuellen Pixels beitragen und die Quanteneffizienz steigt.
Durch die Vergrößerung der Fläche A2 des virtuellen Pixels 32 gegenüber der Fläche A des ersten Pixels 30 ist im Allgemeinen die in der 6 dargestellte Kantenlänge wp des virtuellen Pixels größer als der Abstand der Mittelpunkte 53 und 54 benachbarter virtueller Pixel dp, wobei letzterer identisch ist mit dem Abstand der Mittelpunkte benachbarter erster Pixel. Dieser Sachverhalt gilt sowohl in vertikaler als auch in horizontaler Richtung.
Dadurch kommt es zur Bildung eines Überschneidungsbereiches 51 der virtuellen Pixel. Elektronen, die konzeptionell dem Überschneidungsbereich 51 zugeordnet werden, tragen zu den Signalen mehrerer virtueller Pixel bei. Diese Überschneidung wird bewusst in Kauf genommen.
Wird mit dem Bildsensor ein Bild bei einer homogenen, konstanten Helligkeit aufgenommen, so liegt im ersten Bild zumeist ein Rauschen vor, bei dem die Helligkeitswerte im Allgemeinen nicht korreliert sind. Da nun aber der Überschneidungsbereich 51 zu den Werten der virtuellen Pixel 50 und 52 beiträgt, entsteht eine Korrelation zwischen den Werten der beiden virtuellen Pixel. Damit verschwindet bei einer entsprechenden Messung auch die Kovarianz zwischen jeweils benachbarten Pixeln nicht mehr, sondern nimmt Werte an, die sich signifikant von Null unterscheiden. Der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes 41 ist daher größer als für benachbarte Pixel des ersten Bildes 40.
Die Überschneidung 51 führt zu dem grundsätzlich nachteiligen Effekt, dass es dadurch zu einem leichten Absinken der Modulationstransferfunktion (MTF) und dadurch zu einer geringeren Bildschärfe im zweiten Bild kommen kann. Dieser Nachteil wird nach der Durchführung praktischer Experimente als akzeptabel eingestuft, da sie bei einer moderaten Erhöhung der QE von den meisten Betrachtern mit bloßem Auge im Bild nicht erkennbar ist.
Es wird vorgeschlagen, die Berechnung des virtuellen Pixels durch einen linearen Filter, d.h. einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes in Bezug auf den entsprechenden Pixel verarbeitet, vorzunehmen. Ein solcher Filter ist beispielhaft in der 7 dargestellt für 3x3 Koeffizienten c00, c01, c02, c10, c11, c12, c20, c21 und c22. Durch diesen Filter wird der Wert des Pixels des zweiten Bildes als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung berechnet. Die Gewichte sind dabei gerade die Filterkoeffizienten c00, c01, c02, .... Da das Modell des Pixels in der EMVA 1288 linear ist, führt die Verwendung eines linearen Filters auf Grundlage linearer Pixel des Bildsensors zu linearen virtuellen Pixeln, die ihrerseits wieder dem linearen Modell des Pixels in der EMVA 1288 genügen.
Dem liegt die Erkenntnis zugrunde, wie sich eine lineare Filterung auf die Messwerte nach dem Standard EMVA 1288 auswirkt.
Im EMVA-Standard 1288 wird vereinfachend ausgedrückt aus den digitalen Pixelwerten y ein Mittelwert µ_y und ein Rauschwert σ_y ermittelt. Aus dem Rauschwert kann durch Quadrieren eine Rauschvarianz σ_y ² bestimmt werden. Gemäß der sogenannten Photon-Transfer-Methode kann beim Vergleich heller und dunkler Bilder aus dem Verhältnis der Differenzen der Mittelwerte µ_y , welche hier als Δµ_y bezeichnet werden, und der Differenzen der Varianzen σ_y ² , welche hier als Δσ_y ² bezeichnet werden, der Conversion Gain K berechnet werden. Dieser erlaubt es, den Mittelwert des digitalen Signals µ_y in einen Mittelwert für die Zahl der Elektronen µ_e zurückzurechnen, indem µ_y durch K dividiert wird. Für monochrome Bildsensoren wird die Quanteneffizienz für eine „einzige“ Wellenlänge mit einer Bandbreite nicht breiter als 50 nm bestimmt. Für Farbsensoren werden die Quanteneffizienzwerte für jeden Farbkanal bestimmt.
Erfolgt nun, wie schematisch und exemplarisch in der 8 dargestellt, eine Filterung der digitalen Pixelwerte y des ersten Bildes 40 mittels eines Filters F, so wird ein zweites Bild 41 mit Werten z erhalten. Dieses weist einen anderen Mittelwert µ_z und eine andere Standardabweichung σ_z mit einer anderen Varianz σ_z ² auf. Aus der Differenz der Mittelwerte Δµ_z und der Differenz der Varianzen Δσ_z ² kann nun ein virtueller Conversion Gain K2 bestimmt werden, mit dessen Hilfe eine virtueller Mittelwert µ_e.2 der Anzahl der virtuellen Elektronen n_e.2 und eine virtuelle Quanteneffizienz QE2 erhalten werden kann. Zum besseren Verständnis sei hier angemerkt, dass die Zahl der virtuellen Elektronen keineswegs nur gedacht ist, sondern auf der vergrößerten ELA tatsächlich real vorliegt. Somit kann durch die Filterung F ein neuer Wert QE2 für die Quanteneffizienz erzielt werden, welcher den ersten QE-Wert bei Wunsch übersteigen kann.
Der erfindungsgemäße Filter ist bevorzugt ein relativ schwacher Filter, durch den der Pixelqualitätswert nur in relevantem Maße verbessert wird, ohne dass die Erhöhung der Korrelation zwischen benachbarten Pixel des zweiten Bildes dabei zu einer relevanten visuell wahrnehmbaren Verschlechterung des zweiten Bildes führen würde. Dies wird vorteilhafterweise dadurch erreicht, dass der Filterkoeffizient für den entsprechenden Pixel (c11 in der 7) deutlich größer ist als die Filterkoeffizienten für die übrigen Pixel (c00, c01, c02, c10, c12, c20, c21, c22 in 7). Das Verhältnis von c11 zur Summe der übrigen Filterkoeffizienten gibt an, wie stark gefiltert wird. Hat das Verhältnis einen hohen Wert, so ist die Filterung eher schwach (da c11 groß ist), ist das Verhältnis eher gering, so ist die Filterung stärker, da nun auch die Werte der übrigen Pixel stärker in das Ergebnis der Filterung einfließen. Insbesondere ist es vorgesehen, dass das Verhältnis zwischen dem Gewicht (Filterkoeffizient) des Wertes des entsprechenden Pixels und der Summe der Gewichte (Filterkoeffizienten) der Werte der übrigen Pixel der vorbestimmten Umgebung in einem Verhältnisbereich von 2,2247 bis 40,4298, bevorzugt von 4,2913 bis 40,4298, noch bevorzugter von 10,3385 bis 40,4298, am bevorzugtesten von 20,3562 bis 40,4298 liegt. Mit diesen Werten liegt die Verbesserung der Quantenteffizienz in einem Bereich von 5% bis 100%, bevorzugt von 5% bis 50%, noch bevorzugter von 5% bis 20%, am bevorzugtesten von 5% bis 10%.
Als zwei beispielhafte Filter seien die beiden nachfolgend dargestellten 3x3 Filter genannt:

0,00563 0,00603 0,00563

0,00603 0,95331 0,00603

0,00563 0,00603 0,00563

und

0,01875 0,02041 0,01875

0,02041 0,84333 0,02041

0,01875 0,02041 0,01875
Der erste Filter hat ein Verhältnis von 20,4398 und die Quanteneffizienz wird durch den Einsatz dieses Filters um 10,03% erhöht. Der zweite Filter hat ein Verhältnis von 5,3839 und die Quanteneffizienz wird durch den Einsatz dieses Filters um 40,27% erhöht.
Es wird ferner vorgeschlagen, einen Helligkeitsänderungsfaktor H vorzugeben, um den eine aus dem zweiten Bild 41 ermittelte Helligkeit gegenüber einer aus dem ersten Bild ermittelten Helligkeit verändert sein soll (d.h., um den das zweite Bild durch die Filterung heller/dunkler werden soll). Dann ist es zweckmäßig, den linearen Filter F so zu wählen, dass seine Koeffizientensumme den Wert H annimmt, weil dann bei Anwendung des Filters die gewünschte Helligkeit erreicht wird. Unter der Koeffizientensumme wird hierbei die Summe der Filterkoeffizienten c00, c01, c02, ... verstanden.
Eine zweckmäßige Wahl für den Helligkeitsänderungsfaktor H ist beispielsweise der Wert 1. In diesem Fall hat der Bildverarbeitungsoperator keine Wirkung auf die Bildhelligkeit. Bei geeigneter Wahl der Filterkoeffizienten ergibt sich eine jeweils umgekehrte Wirkung auf QE2 und auf K2. So kann eine erhöhte zweite Quanteneffizienz QE2 erzielt werden, ohne dass sich der Wertebereich der digitalen Werte des zweiten Bildes 41 gegenüber dem ersten Bild 40 verändert. Wenn der Wertebereich der digitalen Werte y gut ausgenutzt war, ist dadurch auch der Wertebereich der digitalen Werte z in gleicher Weise gut ausgenutzt und es entfallen beispielsweise Sättigungsprobleme durch ein erforderliches Clipping, welches numerische Überläufe verhindert.
Eine weitere gute Wahl für H ergibt sich dann, wenn das mittlere Element des Filters, beispielsweise in 7 das Element c11, gleich eins ist. Dadurch wird der zweite Conversion Gain K2 gegenüber dem ersten Conversion Gain K konstant gehalten und die Veränderung der zweiten Quanteneffizienz QE2 gegenüber der ersten Quanteneffizienz QE wird sofort in der Bildhelligkeit korrekt erkennbar. Diese Wahl für H ist besonders intuitiv, weil sie die Verbesserung der Lichtempfindlichkeit der Digitalkamera durch die höhere Quanteneffizienz sofort auf die vom Anwender intuitiv erwartete Art und Weise sichtbar macht.
Es kann ein Bedienelement BH für das Einstellen des Helligkeitsänderungsfaktor H vorgesehen werden. Dieses kann beispielsweise als Dreh- oder Schieberegler in Hardware oder Software, als digitales Register oder als kundenprogrammierbarer Befehl in einem Programmierinterface (API) ausgeführt werden. Das Bedienelement BH mit Wirkung auf den Wert H, der wiederum auf den Filter F wirkt, ist auf der linken Seite der 9 dargestellt.
Dieses Bedienelement BH kann mit der Wirkung verbunden werden, dass die Koeffizienten c00, c01, c02, ... des Filters F gemeinsam proportional zum gewünschten Wert skaliert werden. Dadurch ändert sich ausschließlich die Bildhelligkeit über den Wert K2, während der Wert von QE2 von einer Einstellung von BH unabhängig bleibt.
Es wird des Weiteren vorgeschlagen, einen Faktor Q (Pixelqualitätsverbesserungsfaktor) vorzugeben, um den die Quanteneffizienz durch die lineare Filterung angehoben oder bei Bedarf auch abgesenkt wird.
Es kann ein Bedienelement BQ für das Einstellen des Wertes Q vorgesehen werden. Wie das Bedienelement BH kann dieses ebenfalls beispielsweise als Dreh- oder Schieberegler in Hardware oder Software, als digitales Register oder als kundenprogrammierbarer Befehl in einem Programmierinterface (API) ausgeführt werden. Das Bedienelement BQ mit Wirkung auf den Wert Q, der wiederum auf den Filter F wirkt, ist auf der rechten Seite der 9 dargestellt.
Es wird vorgeschlagen, den linearen Filter F so zu wählen, dass der Quotient des Quadrats der Koeffizientensumme durch das Quadrat der L2-Norm der Koeffizienten den Wert Q annimmt. Die L2-Norm wird dabei als Quadratwurzel der Summe der Quadrate der Koeffizienten des Filters berechnet. Im Falle eines eindimensionalen Filters entspricht die L2-Norm der Euklidischen Norm und im Falle eines zweidimensionalen Filters der Frobeniusnorm.
Dem liegt die Erkenntnis zugrunde, wie sich die Anwendung eines linearen Filters F mit Elementen c00, c01, c02, ... auf den Mittelwert µ_z und das Rauschen σ_z auswirkt: Unter der Annahme, dass die Mittelwerte der ersten Pixel alle gleich dem Wert µ_y sind, lässt sich der Zusammenhang herleiten, dass der Mittelwert der zweiten Pixel µ_z aus dem Mittelwert der ersten Pixel µ_y durch Multiplikation mit der Summe der Koeffizienten hervorgeht. Unter der Annahme, dass das Rauschen der ersten Pixel mit den Werten y00, y01, y02, ... im statistischen Mittel gleich ist, jeweils den Wert σ_y annimmt und zwischen verschiedenen Pixeln nicht korreliert ist, lässt sich mit Hilfe der Gaußschen Fehlerfortpflanzung herleiten, dass das mittlere Rauschen der zweiten Pixel µ_z aus dem mittleren Rauschen der ersten Pixel durch Multiplikation mit einem Faktor hervorgeht, dessen Wert genau die Wurzel der Quadrate der Elemente des Filters beträgt. Das Rauschen wird dabei jeweils in digitalen Zahlen DN gemessen. Somit entspricht die Rauschzahl der linearen Filterung gerade der L2-Norm des linearen Filters F.
Somit lässt sich weiterhin herleiten, dass K2, wenn der Wert nach dem Standard EMVA 1288 bestimmt wird, aus dem Wert K1 durch Multiplikation mit dem Quadrat der L2-Norm des Filters geteilt durch die Koeffizientensumme des Filters hervorgeht. Setzt man nun den Wert K2 in die Bestimmungsgleichung von µ_e.2 ein, so lässt sich damit der Wert QE2 als Quotient von n_e.2 durch n_p berechnen. Es ergibt sich, dass QE2 aus QE durch Multiplikation mit dem Quadrat der Koeffizientensumme des Filters geteilt durch das Quadrat der L2-Norm des Filters hervorgeht. Da nun aber die Quanteneffizienz gerade um einen Faktor Q angehoben werden soll, ist es folglich günstig, den Filter so zu wählen, dass der Quotient des Quadrats der Koeffizientensumme des Filters geteilt durch das Quadrat der L2-Norm des Filters genau diesen Wert Q ergibt, weil so genau der gewünschte Effekt erzielt wird.
Es wird vorgeschlagen, die Berechnung des virtuellen Pixels durch einen in vertikaler, horizontaler und 45°-diagonaler Richtung symmetrischen Filter vorzunehmen. Dadurch wird eine störende Verschiebung, Asymmetrie oder Anisotropie vermieden.
Es wird weiterhin vorgeschlagen, einen linearen Filter quadratischer Form mit einer ungeraden Anzahl an Zeilen und der gleichen ungeraden Zahl an Spalten von mindestens dem Wert 3 zu verwenden. Durch Verwendung der quadratischen Form können die zuvor geforderten Symmetrieeigenschaften gut erfüllt werden. Und durch Wahl einer ungeraden Anzahl an Zeilen und Spalten gibt es immer eine mittlere Zeile und eine mittlere Spalte, so dass der Filter zentriert auf dem Mittelpunkt 37 des Pixels 30 zu liegen kommt. Dadurch lässt sich ein virtueller Pixel 32 erzielen, dessen Mittelpunkt mit dem Mittelpunkt 21 des Pixels 20 identisch ist. Dadurch werden räumliche Fehler vermieden. Ein solcher Filter ist in 7 für drei Zeilen und für drei Spalten dargestellt.
Ein linearer Filter mit diesen Eigenschaften kann beispielsweise erzielt werden, wenn für die in 7 gezeigten Koeffizienten gilt, dass c00 = c02 = c20 = c22 und c01 = c10 = c12 = c21 ist.
Alternativ zur genannten Filterung mit einem Filter der L2-Norm F kann der gewünschte lokale Bildverarbeitungsoperator auch durch Ausführen mehrerer Filterungsschritte hintereinander realisiert werden. Dann ist es zweckmäßig, die Filter so zu wählen, dass das Produkt ihrer jeweiligen Quotienten des Quadrats der jeweiligen Koeffizientensumme des jeweiligen Filters geteilt durch das Quadrat der jeweiligen L2-Norm des jeweiligen Filters den Wert Q annimmt. Dadurch wird die gewünschte Veränderung der Quanteneffizienz erreicht.
Ein Beispiel hierfür ist in der 10 gezeigt. Es kann zunächst eine Filterung mit einem eindimensionalen vertikalen Filter, z.B. mit Elementen a0, a1, a2, wie in der 10 (a), und anschließend eine Filterung mit einem eindimensionalen horizontalen Filter, z.B. mit Elementen b0, b1, b2, wie in der 10 (b), erfolgen. Da beide Filter linear sind, ist auch eine Anwendung der Filter in umgekehrter Reihenfolge möglich und führt zum selben Ergebnis. Das Ergebnis ist auch identisch mit der Filterung eines zweidimensionalen Filters, der aus dem äußeren Produkt der beiden gezeigten eindimensionalen Filter hervorgeht.
Dabei kann die oben genannte vertikale bzw. horizontale Symmetrieeigenschaft erfüllt werden, wenn der vertikale bzw. horizontale Filter symmetrisch gewählt wird. Für das in der 10 gezeigte Beispiel ist dies der Fall, wenn a0 = a2 bzw. b0 = b2 gewählt wird.
Weiterhin kann die oben genannte 45° diagonale Symmetrieeigenschaft erfüllt werden, wenn die Koeffizienten des vertikalen und des horizontalen Filters einander gleich sind, also wenn für die Filterkoeffizienten in der 10 gilt a0 = b0, a1 = b1, a2 = b2.
Damit für die mehreren hintereinander ausgeführten Filter das Produkt ihrer jeweiligen Quotienten des Quadrats der jeweiligen Koeffizientensumme geteilt durch das Quadrat der jeweiligen L2-Norm den Wert Q annimmt, kann es zweckmäßig sein, die Filter jeweils so zu wählen, dass jeweils der Quotient des Quadrats der jeweiligen Koeffizientensumme geteilt durch das Quadrat der jeweiligen L2-Norm den Wert der n-ten Wurzel aus Q annimmt, wobei n die Anzahl der hintereinander ausgeführten Filter beschreibt. Somit ist sichergestellt, dass für die Filter das Produkt ihrer jeweiligen Quotienten des Quadrats der jeweiligen Koeffizientensumme des jeweiligen Filters geteilt durch das Quadrat der jeweiligen L2-Norm des jeweiligen Filters den Wert Q annimmt.
Eine Möglichkeit, einen Filter so zu bestimmen, dass der Quotient des Quadrats der Koeffizientensumme des Filters geteilt durch das Quadrat der L2-Norm des Filters genau diesen Wert Q ergibt, besteht in folgender Berechnung:

Es wird ein Tiefpassfilter TF mit der Koeffizientensumme eins gewählt und ein Hochpassfilter HF mit der Koeffizientensumme null, der in Summe mit dem Tiefpassfilter einen sogenannten Punktfilter PF ergibt, bei dem nur das zentrale Element den Wert eins hat und bei dem alle anderen Werte gleich null sind. Ein solcher Punktfilter PF ist exemplarisch in der 11 dargestellt.

Dabei kann beispielsweise als Tiefpassfilter TF ein sogenannter Boxfilter gewählt werden, bei dem alle Koeffizienten den Wert eins dividiert durch die Anzahl der Koeffizienten annehmen.
Eine andere gute Möglichkeit, den Tiefpassfilter TF zu wählen, besteht darin, den Koeffizienten die Flächenverhältnisse der jeweiligen Schnittmenge 33 und 34 der Fläche des virtuellen Pixels 32 mit der Fläche A der den Koeffizienten zugeordneten ersten Pixel 35 und 36 geteilt durch die Fläche des virtuellen Pixels 32 zuzuordnen. Durch diese Wahl entspricht die Tiefpassfilterung genau den Flächenanteilen des virtuellen Pixels.
Eine gute Möglichkeit, den Hochpassfilter HF zu wählen, besteht darin, die Differenz des Punktfilters PF minus dem Tiefpassfilter TF zu bilden. Durch diese Wahl ist automatisch die Forderung erfüllt, dass die Summe von TF plus HF den Punktfilter PF ergibt.
Nun wird ein Linearkombinationsfaktor α so bestimmt, dass ein Filter, der aus TF plus α mal HF errechnet wird, genau die Eigenschaft erfüllt, dass der Quotient des Quadrats der Koeffizientensumme des Filters F geteilt durch das Quadrat der L2-Norm des Filters F genau diesen Wert Q ergibt.
Durch die oben beschriebene Wahl des Filters TF mit der Koeffizientensumme eins und des Filters HF mit der Koeffizientensumme 0 besitzt der Filter F als TF plus α mal HF automatisch immer die Koeffizientensumme eins. Dadurch wird die Wahl von α dahingehend vereinfacht, dass nun nur mehr das Quadrat der L2-Norm von F den Wert Q annehmen soll.
Der Wert α lässt sich durch eine quadratische Gleichung bestimmen, die erhalten wird, indem die Berechnungsformel der L2-Norm des Filters TF plus α mal HF, welche dem Wert Q gleich sein soll, nach α aufgelöst wird. Dabei erhält man zumeist zwei Lösungen für α, von denen diejenige die physikalisch sinnvolle ist, die für den zentralen Koeffizienten den höheren Wert ergibt.
Wird nun ein Wert des Helligkeitsänderungsfaktors H ungleich 1 gewünscht, so kann der bisher erhaltene Filter F mit dem Wert H multipliziert werden, indem alle Koeffizienten jeweils mit dem Wert H multipliziert werden. Dadurch wird ein neuer Filter erhalten, der sowohl die Helligkeit um einen Wert H als auch die Quanteneffizienz um einen Wert Q (Pixelqualitätsverbesserungsfaktor) ändert.
Die beschriebene Methode zur Bestimmung eines Filters, für den der Quotient des Quadrats der Koeffizientensumme des Filters geteilt durch das Quadrat der L2-Norm des Filters genau diesen Wert Q ergibt, kann selbstverständlich auch übertragen werden zur Bestimmung eines Filters, für den der Quotient des Quadrats der Koeffizientensumme des Filters geteilt durch das Quadrat der L2-Norm des Filters einen anderen gewünschten Wert ergibt, beispielsweise die n-te Wurzel aus Q, indem der Wert Q durch den entsprechenden anderen gewünschten Wert ersetzt wird.
12 zeigt die Ergebnisse der Anwendung der erfindungsgemäßen Filterung. Dabei wurde eine Kamera ausgewählt und mehrfach einer Analyse nach EMVA 1288 unterzogen. Für die dabei verwendete Lichtwellenlänge besaß die Kamera eine QE von 53.59%. Während der einzelnen Analysen wurde die erfindungsgemäße Filterung mit einem Filter F für verschiedene Werte von Q durchgeführt, wobei Q in zweiunddreißig Schritten von 1.0 bis 2.0 (entsprechend 0% bis 100%) äquidistant variiert wurde. Die Helligkeit wurde dabei durch die Filterung nicht verändert, d.h. der Helligkeitsänderungsfaktor H besaß jeweils einen Wert von eins. Es ist zu erkennen, dass der Messwert für die Quanteneffizienz wie erwartet proportional zu Q skaliert. Daraus lässt sich ableiten, dass die Erfindung wie gewünscht funktioniert.
Mit der erfindungsgemäßen Filterung lässt sich die Quanteneffizienz aller Kameras mit Bildsensoren steigern, die in ihrer grundsätzlichen Funktion dem Modell im Standard EMVA 1288 genügen. Dies betrifft den größten Teil der Kameras und auch den größten Teil der Bildsensoren. Die meisten der heutigen digitalen Kameras besitzen eine Recheneinheit 14. Da der Berechnungsaufwand für die erfindungsgemäße Filterung klein ist, lässt sie sich zumeist problemlos und ohne weiteren Bauteilaufwand in die bereits vorhandene Recheneinheit integrieren. Da die erfindungsgemäße Filterung von der genauen Architektur des Bildsensors unabhängig ist, lässt sie sich in vielen verschiedenen Kameramodellen mit vielen verschiedenen Bildsensoren auf die stets gleiche Art und Weise einsetzen. Dadurch fallen lediglich geringe Entwicklungskosten an.
Alternativ zur Integration in eine Kamera lässt sich die erfindungsgemäße Filterung auch in einer externen Recheneinheit ausführen. Damit ist die Erfindung auch nutzbar für Kameras, die über keine eigene Recheneinheit verfügen. Dafür kann beispielsweise vorgesehen werden, die Filterung in einem sogenannten Treiber vorzunehmen, der die Bilddaten von der Kamera entgegen nimmt und sie weiteren Anwendungsprogrammen auf der externen Recheneinheit zur Verfügung stellt.
Die erfindungsgemäße Filterung kann in Echtzeit vorgenommen werden. Es ist allerdings auch möglich, sie zu einem deutlich späteren Zeitpunkt durchzuführen, als das erste Bild aufgenommen wurde. Somit kann die Erfindung auch für gespeicherte Bilder angewandt werden.
Die Erfindung kann für Einzelbilder oder für Bildfolgen, also für einen sogenannten Videodatenstrom, angewandt werden. Dafür werden dem Videodatenstrom dessen erste Bilder einzeln entnommen und daraus zweite Bilder errechnet, die wiederum zu einem Videodatenstrom zusammengesetzt werden.
Die Erfindung kann für monochrome Bilder oder für Farbbilder eingesetzt werden. Bei Farbbildern kann vorgesehen werden, dass zum Errechnen eines virtuellen Pixels mit einer bestimmten Farbe nur erste Pixel derselben Farbe verwendet werden.
Die gleiche Methode wie für die Verbesserung der Quanteneffizienz lässt sich auch für eine Steigerung der Sättigungskapazität durchführen. Das ist in 13 dargestellt. Es handelt sich um genau dasselbe Experiment, für das die QE-Werte in der 12 dargestellt sind. Da die Fläche der virtuellen Pixel proportional zu Q steigt, können in den virtuellen Pixeln auch mehr Elektronen gespeichert werden, als in den ersten Pixeln. Somit wird durch Anwendung desselben Filters F auch eine Steigerung der Sättigungskapazität C_sat um den Faktor Q erreicht.
Allerdings sollte bei einer Vergrößerung der Sättigungskapazität beachtet werden, dass bei einer Steigerung der Helligkeit, d.h. bei einem Wert von H größer als 1, unter Umständen digitale Sättigungseffekte auftreten können, die der Steigerung der Sättigungskapazität entgegen wirken. Dieses Problem kann vermieden werden, indem für die digitalen Daten ein hinreichend großer Wertbereich vorgesehen wird. Alternativ kann das Problem vermieden werden, indem H klein genug gewählt wird. Wird für das zweite Bild derselbe Wertebereich verwendet, wie für das erste Bild, kann beispielsweise durch die Wahl von H gleich eins dieses Problem vermieden werden.
Demgemäß kann in Analogie zum Bedienelement BQ auch ein Bedienelement BS vorgesehen werden, mit dem ein Faktor S eingestellt werden kann, um den die Sättigungskapazität erhöht werden soll. Aus dem Wert S kann auf genau dieselbe Art und Weise ein Filter F bestimmt werden, wie aus dem Wert Q. Dabei wird in den Berechnungen Q einfach durch S ersetzt.
14 zeigt weiterhin Ergebnisse desselben Experiments wie in den 12 und 13. Diesmal ist jedoch der maximale SNR Wert aufgetragen. Es ist gut zu erkennen, dass sich die erfindungsgemäße Filterung eignet, den SNR Wert auf ein gewünschtes Maß anzuheben. Die Formel, wie sich genau der Wert des maxSNR verändert, lässt sich aus dem Standard EMVA 1288 entnehmen.
Demgemäß kann in Analogie zum Bedienelement BQ auch ein Bedienelement BM vorgesehen werden, mit dem ein Faktor M eingestellt werden kann, um den der maximale SNR-Wert erhöht werden soll. Aus dem Wert M kann auf genau dieselbe Art und Weise ein Filter F bestimmt werden, wie aus dem Wert Q. Dazu kann aus dem Standard EMVA 1288 der Zusammenhang zwischen dem maximalen SNR und der QE hergeleitet werden. Das maximale SNR errechnet sich in guter Näherung als die Quadratwurzel der Sättigungskapazität gemessen in Elektronen. Somit ist es eine gute Wahl, zur Berechnung von F den genannten Wert Q dem Quadrat von M gleichzusetzen.
Auch bei einer Vergrößerung des maximalen SNR muss beachtet werden, dass bei einer Steigerung der Helligkeit, d.h. bei einem Wert von H größer als 1, unter Umständen digitale Sättigungseffekte auftreten können, die der Steigerung des maximalen SNR entgegen wirken. Dieses Problem kann vermieden werden, indem für die digitalen Daten ein hinreichend großer Wertbereich vorgesehen wird. Alternativ kann das Problem vermieden werden, indem H klein genug gewählt wird. Wird für das zweite Bild derselbe Wertebereich verwendet, wie von dem ersten Bild, kann beispielsweise durch die Wahl von H gleich eins dieses Problem vermieden werden.
Schließlich zeigt die 15 für dasselbe Experiment wie sich der Dynamikbereich DR bei einer Variation von Q verändert. Es ist zu erkennen, dass sich auch der Dynamikbereich durch Anwendung der erfindungsgemäßen Filterung steigern lässt. Der Zusammenhang zwischen DR und Q ist mathematisch weniger einfach, da hier ein zusätzlicher Einfluss von Quantisierungseffekten besteht. (Grundsätzlich ist der Zusammenhang auch linear wie bei der Sättigungskapazität und der Quanteneffizienz, wobei hier der zusätzliche Einfluss von Quantisierungseffekten hinzukommt. Vor allem im linken Bereich der 15 sieht man die Auswirkungen der Quantisierungseffekte, während im rechten Bereich der 15 ein annähernd lineares Verhalten auftritt.)
In Analogie zum Bedienelement BQ kann auch ein Bedienelement BD vorgesehen werden, mit dem ein Wert D eingestellt werden kann, der mit einer solchen Wirkung verbunden ist, dass eine Erhöhung von D zu einer Erhöhung des Dynamikbereichs führt und eine Verminderung von D zu einer Verminderung des Dynamikbereichs. Das kann beispielsweise dadurch erreicht werden, dass Q gleich D gesetzt wird.
Die erfindungsgemäße Bildverarbeitungseinrichtung kann vorzugsweise zur Verbesserung eines Pixelqualitätswertes, z.B., die Quanteneffizienz, die Sättigungskapazität, das maximale Signal-Rausch-Verhältnis oder den Dynamikbereich, einer Digitalkamera, bevorzugt einer Industriekamera, mit einer Schnittstelle, wobei das zweiten Bild über die Schnittstelle ausgegeben wird, verwendet werden.
Des Weiteren kann die beschriebene Erfindung in einem Auslegungsverfahren zum Auslegen einer Digitalkamera, bevorzugt einer Industriekamera, für einen gewünschten Pixelqualitätswert, z.B., die Quanteneffizienz, die Sättigungskapazität, das maximale Signal-Rausch-Verhältnis oder den Dynamikbereich, zur Anwendung kommen, wobei die Digitalkamera einen Bildsensor zum Erzeugen eines ersten Bildes umfasst, welcher einen gegebenen Pixelqualitätswert aufweist, wobei der gegebene Pixelqualitätswert des Bildsensors schlechter ist als der gewünschte Pixelqualitätswert, wobei das Auslegungsverfahren ausgebildet ist, aus dem ersten Bild ein zweites Bild zu berechnen, wobei der aus dem zweiten Bild ermittelte Pixelqualitätswert im Wesentlichen gleich dem gewünschten Pixelqualitätswert ist.
Der Begriff „im Wesentlichen“ ist im Kontext der obigen Offenbarung dahingehend zu verstehen, dass Abweichungen, die beispielsweise durch digitale Sättigungseffekte, Quantisierungseffekte, usw. verursacht werden, nicht ausgeschlossen sind. Wie beschrieben spielen diese Effekte bei der Quanteneffizienz eine geringere Rolle als bei der Sättigungskapazität und dem maximalen Signal-Rausch-Verhältnis, bei denen digitale Sättigungseffekte relevant werden können, und beim Dynamikbereich, bei dem zusätzlich Quantisierungseffekte auftreten können.

Claims

Bildverarbeitungseinrichtung zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes (13) von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, wobei die Bildverarbeitungseinrichtung ausgebildet ist, aus dem ersten Bild (13) ein zweites Bild (15) zu berechnen, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist, wobei der aus dem zweiten Bild (15) ermittelte Pixelqualitätswert größer ist als der gegebene Pixelqualitätswert des Bildsensors, und wobei für ein erstes Bild (13), das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird, der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes (15) größer ist als für benachbarte Pixel des ersten Bildes (13), wobei die Bildverarbeitungseinrichtung ausgebildet ist, den Wert eines Pixels des zweiten Bildes (15) durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes (13) angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes (13) in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen, wobei der lokale Bildverarbeitungsoperator angepasst ist, den Wert des Pixels des zweiten Bildes (15) als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei die vorbestimmte Umgebung den entsprechenden Pixel als ersten, vorzugsweise zentralen Pixel aufweist und/oder wobei die vorbestimmte Umgebung eine Umgebung mit einer gleichen, insbesondere ungeraden Anzahl Zeilen wie Spalten ist, bevorzugt der Größe 3x3 oder mehr Pixel.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Verhältnis zwischen dem Gewicht des Wertes des entsprechenden Pixels und der Summe der Gewichte der Werte der übrigen Pixel der vorbestimmten Umgebung in einem Verhältnisbereich von 2,2247 bis 40,4298, bevorzugt von 4,2913 bis 40,4298, noch bevorzugter von 10,3385 bis 40,4298, am bevorzugtesten von 20,3562 bis 40,4298 liegt.
Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 3, wobei der Pixelqualitätswert die Quanteneffizienz bei einem gegebenen Wellenlängenband oder die Sättigungskapazität ist, wobei der Quotient des Quadrats der Summe der Gewichte durch das Quadrat der L2-Norm des lokalen Bildverarbeitungsoperators gleich einem Pixelqualitätsverbesserungsfaktor ist, wobei der aus dem zweiten Bild (15) ermittelte Pixelqualitätswert im Wesentlichen um den Pixelqualitätsverbesserungsfaktor größer ist als der gegebene Pixelqualitätswert des Bildsensors.
Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 4, wobei die Summe der Gewichte gleich einem Helligkeitsänderungsfaktor ist, wobei eine aus dem zweiten Bild (15) ermittelte Helligkeit um den Helligkeitsänderungsfaktor gegenüber einer aus dem ersten Bild (13) ermittelten Helligkeit verändert ist.
Bildverarbeitungseinrichtung nach Anspruch 1 oder 2, wobei der aus dem zweiten Bild (15) ermittelte Pixelqualitätswert im Wesentlichen um einen Pixelqualitätsverbesserungsfaktor größer ist als der gegebene Pixelqualitätswert des Bildsensors, wobei der Pixelqualitätsverbesserungsfaktor in einem Pixelqualitätsverbesserungsbereich von 5% bis 100%, bevorzugt von 5% bis 50%, noch bevorzugter von 5% bis 20%, am bevorzugtesten von 5% bis 10% liegt, und/oder eine aus dem zweiten Bild (15) ermittelte Helligkeit um einen Helligkeitsänderungsfaktor gegenüber einer aus dem ersten Bild (13) ermittelten Helligkeit verändert ist.
Bildverarbeitungseinrichtung nach Anspruch 5 oder 6, umfassend Bedienmittel zum Einstellen des Pixelqualitätsverbesserungsfaktors, bevorzugt nicht oberhalb des Pixelqualitätsverbesserungsbereichs, und/oder des Helligkeitsänderungsfaktors.
Bildverarbeitungseinrichtung nach Anspruch 7, wobei die Bedienmittel so ausgebildet sind, dass eine Änderung des Pixelqualitätsverbesserungsfaktors die aus dem zweiten Bild (15) ermittelte Helligkeit nicht verändert, und/oder dass eine Änderung des Helligkeitsänderungsfaktors den aus dem zweiten Bild (15) ermittelten Pixelqualitätsverbesserungsfaktor nicht verändert.
Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 8, wobei der lokale Bildverarbeitungsoperator in Zeilen- und Spaltenrichtung spiegelsymmetrisch sowie 90° drehsymmetrisch ist.
Digitalkamera (10), bevorzugt eine Industriekamera, umfassend: - einen Bildsensor zum Erzeugen eines ersten Bildes (13); und - die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 9 zum Verarbeiten des ersten Bildes (13) von dem Bildsensor.
Digitalkamera (10) nach Anspruch 10, des Weiteren umfassend: - eine Schnittstelle (16), wobei die Digitalkamera (10) angepasst ist, das zweite Bild (15) über die Schnittstelle (16) auszugeben.
Verwendung der Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 9 zur Verbesserung eines Pixelqualitätswertes einer Digitalkamera (10), bevorzugt einer Industriekamera, mit einer Schnittstelle, wobei das zweite Bild (15) über die Schnittstelle (16) ausgegeben wird, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist.
Bildverarbeitungsverfahren zum Verbessern eines Pixelqualitätswertes durch Verarbeiten eines ersten Bildes (13) von einem Bildsensor einer digitalen Kamera, welcher einen gegebenen Pixelqualitätswert aufweist, wobei das Bildverarbeitungsverfahren ausgebildet ist, aus dem ersten Bild (13) ein zweites Bild (15) zu berechnen, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist, wobei der aus dem zweiten Bild (15) ermittelte Pixelqualitätswert größer ist als der gegebene Pixelqualitätswert des Bildsensors, und wobei für ein erstes Bild (13), das von dem Bildsensor bei einer homogenen, konstanten Helligkeit aufgenommen wird, der Korrelationskoeffizient für benachbarte Pixel des zweiten Bildes (15) größer ist als für benachbarte Pixel des ersten Bildes (13), wobei das Bildverarbeitungsverfahren ausgebildet ist, den Wert eines Pixels des zweiten Bildes (15) durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes (13) angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes (13) in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen, wobei der lokale Bildverarbeitungsoperator ausgebildet ist, den Wert des Pixels des zweiten Bildes (15) als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Auslegungsverfahren zum Auslegen einer Digitalkamera (10), bevorzugt einer Industriekamera, für einen gewünschten Pixelqualitätswert, wobei der Pixelqualitätswert die Quanteneffizienz oder die Sättigungskapazität ist, wobei die Digitalkamera (10) einen Bildsensor zum Erzeugen eines ersten Bildes (13) umfasst, welcher einen gegebenen Pixelqualitätswert aufweist, wobei der gegebene Pixelqualitätswert des Bildsensors schlechter ist als der gewünschte Pixelqualitätswert, wobei das Auslegungsverfahren ausgebildet ist, aus dem ersten Bild (13) ein zweites Bild (15) zu berechnen, wobei der aus dem zweiten Bild ermittelte Pixelqualitätswert im Wesentlichen gleich dem gewünschten Pixelqualitätswert ist, wobei das Auslegungsverfahren ausgebildet ist, den Wert eines Pixels des zweiten Bildes (15) durch einen lokalen Bildverarbeitungsoperator, der jeweils auf einen entsprechenden Pixel des ersten Bildes (13) angewandt wird und Werte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung des ersten Bildes (13) in Bezug auf den entsprechenden Pixel verarbeitet, zu berechnen, wobei der lokale Bildverarbeitungsoperator ausgebildet ist, den Wert des Pixels des zweiten Bildes (15) als gewichtete Summe der Werte der Pixel der vorbestimmten Umgebung zu berechnen.
Computervorrichtung, umfassend eine Recheneinheit, die zur Durchführung des Bildverarbeitungsverfahrens nach Anspruch 13 ausgestaltet ist.
Computerprogramm-Produkt, umfassend Codemittel zum Veranlassen einer Computervorrichtung zum Ausführen des Bildverarbeitungsverfahrens nach Anspruch 13, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.