DE102015109878B3 - Korrektur eines musterförmigen Bildfehlers - Google Patents

Korrektur eines musterförmigen Bildfehlers Download PDF

Info

Publication number
DE102015109878B3
DE102015109878B3 DE102015109878.4A DE102015109878A DE102015109878B3 DE 102015109878 B3 DE102015109878 B3 DE 102015109878B3 DE 102015109878 A DE102015109878 A DE 102015109878A DE 102015109878 B3 DE102015109878 B3 DE 102015109878B3
Authority
DE
Germany
Prior art keywords
pixel
image
brightness
pixels
digital camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015109878.4A
Other languages
English (en)
Inventor
Jörg Kunze
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Basler AG
Original Assignee
Basler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler AG filed Critical Basler AG
Priority to DE102015109878.4A priority Critical patent/DE102015109878B3/de
Application granted granted Critical
Publication of DE102015109878B3 publication Critical patent/DE102015109878B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

Die Erfindung betrifft eine Digitalkamera (10), umfassend einen monochromen Bildsensor (31) zum Erzeugen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken (40) aufweist, wobei die sich in ihrer Position entsprechenden Pixel (A, B, C, D) der Pixelblöcke (40) jeweils einen Helligkeitskanal (a, b, c, d) bilden und zwei oder mehr Helligkeitskanäle (a, b, c, d) Unterschiede derart aufweisen, dass das Bild einen musterförmigen Bildfehler aufweist, und eine Korrektureinrichtung (32) zum Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator (L; M), der jeweils für einen zu korrigierenden Pixel (51) angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung (50) in Bezug auf den zu korrigierenden Pixel (51) verarbeitet.

Description

  • Die Erfindung betrifft eine Digitalkamera mit einem monochromen Bildsensor und einer Korrektureinrichtung zum Korrigieren eines musterförmigen Bildfehlers eines von dem monochromen Bildsensor erzeugten Bildes. Die Erfindung betrifft ferner ein entsprechendes Korrekturverfahren sowie eine Computervorrichtung und ein Computerprogram-Produkt.
  • HINTERGRUND DER ERFINDUNG
  • Im industriellen Umfeld werden vielfach Digitalkameras eingesetzt, um z. B. Produktionsprozesse, Maschinen oder Objekte zu überwachen. Solche Industriekameras werden für einfache Überwachungsaufgaben und für messtechnische Aufgabenstellungen wie beispielsweise eine Qualitätskontrolle mittels Bildverarbeitung eingesetzt. Sie zeichnen sich durch ihre Integrierbarkeit in Anlagen und eine hohe Bildqualität aus.
  • 1 zeigt schematisch und exemplarisch den Aufbau einer Digitalkamera 10 mit einem Objektiv 22. Eine Bildszene 30 wird über das Objektiv 22 auf einen Bildsensor 31 abgebildet, welcher eine regelmäßige Anordnung lichtempfindlicher Elemente, sogenannter Pixel, aufweist. Der Bildsensor 31 übermittelt elektronische Daten an eine zumeist in der Kamera 10 befindliche Recheneinheit 32, die beispielsweise einen Prozessor, einen digitalen Signalprozessor (DSP) oder ein sogenanntes Field Programmable Gate Array (FPGA) beinhaltet. Es kann dabei erforderlich sein, analoge Bilddaten in digitale Bilddaten z. B. mittels eines Analog-Digital-Konverters (in der Figur nicht gezeigt) zu konvertieren. In der Recheneinheit werden die Bilddaten in eine vom Nutzer verwendbare Form umgewandelt und anschließend über eine Schnittstelle (Interface) 33 als elektronisches Signal 34 ausgegeben.
  • In den letzten Jahren ist ein Trend zu erkennen, dass die Bildsensoren eine ständig steigende Anzahl von Pixeln aufweisen. Gleichzeitig sorgt ein zunehmender Kostendruck dafür, dass Kamera, Bildsensor und Optik immer kleiner werden. Dies erfordert unter anderem, dass auch die Pixel der Bildsensoren immer kleiner gewählt werden. Dafür kommt in modernen Bildsensoren zunehmend eine Pixelarchitektur zum Einsatz, die als sogenanntes Shared Read-Out (SRO) bezeichnet wird und die beispielsweise in der US 6,107,655 A beschrieben ist.
  • 2 zeigt schematisch und exemplarisch eine SRO-Architektur mit einer Anordnung von 2×2 Pixeln A, B, C und D und einem gemeinsamen Ausleseverstärker Y. Aufgrund des Platzbedarfs des Ausleseverstärkers Y weisen die lichtempfindlichen Flächen der Pixel A, B, C und D eine jeweils unterschiedliche Geometrie auf und/oder sind an verschiedener Stelle innerhalb des Pixels angeordnet. Diese unterschiedliche Geometrie kann eine Ursache dafür sein, dass sich die Eigenschaften der Pixel A, B, C und D unterscheiden, beispielsweise kann eine unterschiedliche zweidimensionale Winkelabhängigkeit der Empfindlichkeit für einfallendes Licht vorliegen.
  • Ein Bildsensor ist eine regelmäßige Anordnung von Pixeln. 3 zeigt schematisch und exemplarisch eine regelmäßige Anordnung von Pixeln, die hier in Pixelblöcke 40 von jeweils 2×2 Pixeln A, B, C und D eingeteilt ist. Eine solche Anordnung von Pixelblöcken ergibt sich beispielsweise bei Verwendung der beschriebenen SRO-Architektur. Die sich in ihrer Position entsprechenden Pixel der Pixelblöcke bilden jeweils einen Helligkeitskanal a, b, c und d. (In der Figur ist dies nur für einige Pixel A, B, C und D des jeweiligen Helligkeitskanals gekennzeichnet.) Liegt ein systematischer Unterschied der Lichtempfindlichkeit der Pixel A, B, C und D vor, beispielsweise aufgrund der beschriebenen unterschiedlichen Winkelabhängigkeit, so kann es zu systematischen lokalen oder globalen Unterschieden der Helligkeitskanäle a, b, c und d voneinander kommen. Dadurch können, wie durch die Schraffur angedeutet, beispielsweise die Pixel des Helligkeitskanals a in einem von dem Bildsensor erzeugten Bild systematisch heller oder dunkler erscheinen als die Pixel der Helligkeitskanäle b, c oder d. Solche Unterschiede der Helligkeitskanäle a, b, c und d im Bild werden von Betrachter als störendes Muster und somit als unangenehmer Bildfehler empfunden.
  • Neben Bildsensoren mit der beschriebenen SRO-Architektur gibt es verschiedene weitere Arten von Bildsensoren, die Bilder mit einem musterförmigen Bildfehler erzeugen. Beispielsweise bieten Hersteller häufig Farb- und Monobildsensoren an, die abgesehen von einem Mosaikfilter, z. B. einem Bayer-Muster (engl. auch ”Bayer-Pattern”), wie es etwa in der US 3,971,065 A beschrieben ist, elektrisch baugleich sind. Daher kommt es vor, dass auch Monobildsensoren über Schaltungsmerkmale von Farbbildsensoren verfügen, z. B. über verschiedene Verstärkerstufen für die verschiedenen Farbkanäle eines Mosaikfilters. Durch beispielsweise toleranzbedingte Unterschiede in den Kanälen kann auch dadurch die Empfindlichkeit der Pixel A, B, C und D und somit ihre Helligkeit voneinander abweichen. Eine solche Abweichung kann zudem eine Temperaturabhängigkeit aufweisen. In beiden Fällen kommt es zu Unterschieden der Helligkeit der Kanäle a, b, c und d voneinander.
  • Der Stand der Technik in der Korrektur solcher Kanalunterschiede besteht darin, die Helligkeitskanäle statisch bezüglich ihre Verstärkung (engl. ”Gain”) aufeinander abzugleichen. Ein solcher Abgleich wird häufig während der Fertigung der Digitalkamera durchgeführt; er stellt somit einen Fertigungsschritt dar und benötigt Fertigungszeit, welche zusätzliche Kosten verursacht.
  • Die US 8,334,491 B2 offenbart ein Pixel-Array mit einem sogenannten Shared Read-Out (SRO), wobei durch Korrektur einzelner defekter Pixel, deren Position bekannt ist oder durch Testen herausgefunden wurde, bei der Herstellung eine höhere Ausbeute erzielt werden soll.
  • Die DE 197 15 983 C1 offenbart ein Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen infrarot-Kamera mit einem zweidimensionalen Detektor. Zunächst wird eine stationäre Korrektur an einer Referenzquelle durchgeführt und dabei werden Korrekturkoeffizienten ermittelt. Zur stationären Korrektur wird eine mittlere Grauwertkennlinie für den Detektor bestimmt und durch den Vergleich mit der Grauwertkennlinie für jeden Bildpunkt des zweidimensionalen Detektors Korrekturkoeffizienten für jeden Bildpunkt ermittelt. Dafür wird ein nichtlinearer Ansatz zur Anpassung der Grauwertkennlinie eines jeden Bildpunktes an die mittlere Grauwertkennlinie verwendet. Die Korrekturkoeffizienten werden in einem Speicher zur Korrektur der einzelnen Grauwerte jedes Bildpunktes abgelegt. Während des Betriebs werden die Korrekturkoeffizienten dynamisch verbessert.
  • Die WO 2015/084991 A1 offenbart einem Bildsensor mit sehr großem Dynamikumfang. Der Bildsensor ist dem Licht einer aufzunehmenden Szene während eines ersten Frame-Intervalls ausgesetzt und wird während des Intervalls mehrmals überabgetastet, um eine erste Anzahl von Bildern zu erzeugen, aus denen ein Ausgabebild erstellt werden kann. Ein oder mehrere der ersten Anzahl von Bildern werden evaluiert und auf Basis dieser Evaluierung wird gegebenenfalls der Überabtastungsfaktor angepasst.
  • Das „Handbuch der Operatoren für die Bildbearbeitung” von R. Klette und P. Zamperoni, Vieweg Verlag, Braunschweig, 1992 offenbart eine Reihe von Bildverarbeitungsoperatoren.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Der Erfindung liegt die Aufgabe zugrunde, eine Digitalkamera mit einem monochromen Bildsensor und einer Korrektureinrichtung bereitzustellen, wobei die Korrektureinrichtung es ermöglicht, einen musterförmigen Bildfehler eines von dem monochromen Bildsensor erzeugten Bildes zu korrigieren, so dass ein qualitativ hochwertig empfundenes Bild erzeugt werden kann, in dem die genannten Unterschiede der Helligkeitskanäle nicht mehr sichtbar sind oder ihre Sichtbarkeit zumindest reduziert ist
  • Gemäß einem ersten Aspekt der Erfindung wird eine Digitalkamera bereitgestellt, wobei die Digitalkamera umfasst:
    • – einen monochromen Bildsensor zum Erzeugen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken aufweist, wobei die sich in ihrer Position entsprechenden Pixel der Pixelblöcke jeweils einen Helligkeitskanal bilden und zwei oder mehr Helligkeitskanäle Unterschiede zueinander derart aufweisen, dass das Bild einen musterförmigen Bildfehler entsprechend der Anordnung der Pixelblöcke aufweist; und
    • – eine Korrektureinrichtung zum Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator, der jeweils für einen zu korrigierenden Pixel angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung in Bezug auf den zu korrigierenden Pixel verarbeitet,
    wobei der lokale Bildverarbeitungsoperator angepasst ist, einen kanalunabhängigen Helligkeitswert für den zu korrigierenden Pixel als gewichtete Summe der Helligkeitswerte der Pixel in der vorbestimmten Umgebung zu berechnen, wobei die Summe der Gewichtungsfaktoren für jeden Helligkeitskanal in der vorbestimmten Umgebung gleich ist.
  • Der Erfindung liegt die Erkenntnis des Erfinders zugrunde, dass eine statische Korrektur von Unterschieden der Helligkeitskanäle des Bildsensors, zum Beispiel während der Fertigung der Digitalkamera, zwar zu einer Verbesserung, nicht jedoch zu einer vollständigen Beseitigung des musterförmigen Bildfehlers führen kann, sofern die Kanalunterschiede nicht statisch sind. Besteht beispielsweise eine Winkelabhängigkeit der Lichtempfindlichkeit, so kann eine Änderung des Einfallswinkels des Lichts auf den Bildsensor eine andere Kanalabweichung hervorrufen, die nicht mehr statisch korrigiert werden kann.
  • Als besonders heikel erweisen sich dabei spektrale Abhängigkeiten, da einerseits während der Fertigung einer Kamera die spektralen Lichtverhältnisse für den Einsatz beim Anwender häufig nicht bekannt sind und diese sich andererseits innerhalb einer Anwendung oder einer Szene dynamisch ändern können. So kann beispielsweise eine im Außenbereich angebrachte Kamera tagsüber Sonnenlicht und nachts einem Kunstlicht mit grundverschiedenen Spektren ausgesetzt sein. Auch können innerhalb eines Bildes verschiedene Bereiche von spektral unterschiedlichen Lichtquellen beleuchtet werden. Schließlich sind in einer Szene häufig Objekte verschiedener Farbe zu sehen, die sich ebenfalls spektral unterscheiden.
  • Darüber hinaus sind temperaturabhängige Kanalunterschiede aufwändig in der Korrektur, da hier einerseits im Betrieb die Temperatur festgestellt oder gemessen werden muss, was zumeist einen Temperatursensor erfordert, der zusätzliche Materialkosten verursacht, und andererseits in der Herstellung für verschiedene Temperaturen verschiedene Korrekturwerte ermittelt und für den Betrieb in der Kamera vorgehalten werden müssen. Sind diese auf toleranzbedingte Kanalunterschiede zurück zu führen, so ist es erforderlich, dass diese Korrekturwerte für jede Kamera einzeln bei verschiedenen Temperaturen ermittelt werden. Da es viel Zeit braucht, eine Kamera auf mehrere Temperaturpunkte aufzuheizen oder abzukühlen, erfordert ein solcher Schritt sehr viel zusätzliche Fertigungszeit und entsprechend aufwändige Temperatureinrichtungen, z. B. einen Klimaschrank, so dass er hinsichtlich der Fertigungskosten sehr teuer ist.
  • In Anbetracht dieser Nachteile wird gemäß der Erfindung vorgeschlagen, die Korrektur des musterförmigen Bildfehlers durch einen lokalen Bildverarbeitungsoperator vorzunehmen, der jeweils für einen zu korrigierenden Pixel angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung in Bezug auf den zu korrigierenden Pixel verarbeitet. Mit einer solchen Korrektur lassen sich Unterschiede der Helligkeitskanäle des Bildes weitgehend, wenn nicht sogar vollständig, aus dem Bild entfernen, wobei der Rechenaufwand durch die Eingrenzung der Verarbeitung des lokalen Bildverarbeitungsoperators auf eine vorbestimmte und mehrere Pixel umfassende Umgebung in Bezug auf den zu korrigierenden Pixel begrenzt ist. Dadurch kann mit einem im Vergleich zu einer statischen Korrektur vergleichsweise geringen Aufwand eine verbesserte Bildqualität erzielt werden, da der musterförmige Bildfehler nicht mehr sichtbar ist oder seine Sichtbarkeit zumindest reduziert ist. Zudem können durch die Kanalunabhängigkeit störende Muster vermieden werden.
  • Die Pixelblöcke umfassen bevorzugt 2×2 Pixel, wobei die Unterschiede der Helligkeitskanäle sich beispielsweise dadurch ergeben können, dass der Bildsensor die beschriebene SRO-Architektur aufweist oder über Schaltungsmerkmale von Farbbildsensoren verfügt.
  • Gemäß einer vorteilhaften Weiterbildung ist der lokale Bildverarbeitungsoperator ein vorbestimmter lokaler Bildverarbeitungsoperator, der unabhängig von dem zu korrigierenden Pixel und der Ursache des Bildfehlers angewandt wird. Die Unabhängigkeit betrifft beispielsweise den Einfallswinkel des Lichts, dessen Wellenlänge, die Temperatur des Bildsensors und die abgebildeten Inhalte. Dadurch ist es möglich, den lokalen Bildverarbeitungsoperator einmalig entwickelt auf immer die gleiche Weise einzusetzen, ohne das zusätzliche Fertigungskosten für Anpassungen an Parameter des jeweiligen Bildsensors, z. B. für das Ermitteln von Korrekturwerten, entstehen.
  • Gemäß einer weiteren vorteilhaften Weiterbildung weist die vorbestimmte Umgebung den zu korrigierenden Pixel als zentralen Pixel auf. Dadurch liegt das Ergebnis der Korrektur für einen definierten Pixel vor und es kann auf eine Interpolation, welche Rechenaufwand verursacht, verzichtet werden.
  • Gemäß noch einer vorteilhaften Weiterbildung ist die vorbestimmte Umgebung eine Umgebung mit einer gleichen, insbesondere ungeraden Anzahl Zeilen wie Spalten, insbesondere der Größe 5×5 Pixel. Durch die Wahl der vorbestimmten Umgebung als eine Umgebung mit einer gleichen Anzahl Zeilen wie Spalten, d. h., als eine quadratische Umgebung, können im Bild als Bildfehler erkennbare, möglicherweise irritierende Vorzugsrichtungen des lokalen Bildverarbeitungsoperators vermieden werden, die entstehen könnten, wenn sich die Anzahl der Zeilen und die Anzahl der Spalten voneinander unterscheiden würden. Zudem ergibt sich durch die ungerade Anzahl der Spalten und Zeilen gerade ein eindeutiger zentraler Pixel (siehe oben). Schließlich vereint die Wahl der Größe der vorbestimmten Umgebung zu 5×5 Pixeln alle vorgenannten Vorteile in sich, wobei diese Größe darüber hinaus die kleinste Größe ist, bei der bei 2×2 Pixel umfassenden Pixelblöcken zu dem zentralen Pixel mehrere benachbarte Pixel des gleichen Helligkeitskanals vorliegen. Der Vorteil der Wahl dieser kleinsten sinnvollen Größe liegt unter anderem in einem minimalen Einsatz von Ressourcen, wie beispielsweise Logikzellen in einem FPGA, Gates in einem ASIC oder Cache-Auslastung und Rechenzeit in einem Prozessor.
  • Gemäß einer weiteren vorteilhaften Weiterbildung ist der lokale Bildverarbeitungsoperator in Zeilen- und Spaltenrichtung spiegelsymmetrisch sowie 90° drehsymmetrisch. Dadurch können im Ergebnis Vorzugsrichtungen vermieden werden, die sich im Bild störend bemerkbar machen könnten.
  • Gemäß einer weiteren vorteilhaften Weiterbildung wird durch die Anwendung des lokalen Bildverarbeitungsoperators eine Tiefpassfilterung realisiert, wobei diese, optional, mit einer gleichanteilsfreien Hochpassfilterung kombiniert ist. Durch die Tiefpassfilterung kann, wenn die Helligkeitswerte aller Kanäle mit jeweils gleichem Gewicht aufsummiert werden, das Muster durch die Kanalunterschiede weitgehend, wenn nicht sogar vollständig, aus dem Bild entfernt werden, jedoch wird im gleichen Zuge das Bild unschärfer. Die Kombination mit der gleichanteilsfreien Hochpassfilterung ermöglicht es, den Schärfeeindruck des Bildes vorteilhaft zu erhöhen.
  • Gemäß noch einer vorteilhaften Weiterbildung werden die Tiefpassfilterung und die gleichanteilsfreie Hochpassfilterung als eine gemeinsame Filterung mittels einer gemeinsamen Filtermatrix oder als separate Filterungen mittels separater Filtermatrizen durchgeführt. In ersterem Fall muss nur eine einzige Filterung vorgenommen werden, mit der sowohl ein Tiefpass- als auch ein Hochpasseffekt erzielt wird. Hierdurch lässt sich in bestimmten Anwendungen der Rechenaufwand in Form von Ressourcenverbrauch oder Rechenzeit verringern. In letzterem Fall ergibt sich insgesamt eine größere Flexibilität, die beispielsweise hilfreich sein kann, wenn die Tiefpassfilterung und/oder die Hochpassfilterung noch mit weiteren Bildverarbeitungsoperationen (siehe unten) kombiniert werden sollen. Die gemeinsame Filtermatrix kann sich vorteilhaft durch die – gegebenenfalls gewichtete – Addition einer Tiefpass-Filtermatrix und einer Hochpass-Filtermatrix ergeben.
  • Gemäß noch einer weiteren vorteilhaften Weiterbildung basiert die Tiefpassfilterung auf einer Filtermatrix, die sich als Linearkombination, insbesondere als arithmetisches Mittel, von ein oder mehreren Filtermatrizen, die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals in der vorbestimmten Umgebung verarbeiten, ergibt.
  • Gemäß einer weiteren vorteilhaften Weiterbildung basiert die gleichanteilsfreie Hochpassfilterung auf einer Filtermatrix, die sich als eine Linearkombination von ein oder mehreren Filtermatrizen, die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals in der vorbestimmten Umgebung verarbeiten und jeweils gleichanteilsfrei sind, ergibt. Hierdurch ist das Ergebnis der Hochpassfilterung frei von störenden Auswirkungen der Unterschiede der Helligkeitskanäle, da das Ergebnis für jede gleichanteilsfreie Filtermatrix jeweils nur aus Helligkeitswerten eines Kanals berechnet wird.
  • Gemäß noch einer vorteilhaften Weiterbildung ist die gleichanteilsfreie Hochpassfilterung mit einer Bildschärfung durch Multiplikation mit einem Schärfewert kombiniert. Wird der Schärfewert größer als 1 gewählt, wird hierdurch der Schärfeeindruck des Bildes auf vorteilhafte Weise erhöht. Wird der Schärfewert hingegen kleiner als 1 gewählt, so verringert sich zwar einerseits auf nachteilhafte Weise die Bildschärfe, jedoch verringert sich gleichzeitig auch auf vorteilhafte Weise das Bildrauschen.
  • Gemäß einer weiteren vorteilhaften Weiterbildung ist die gleichanteilsfreie Hochpassfilterung mit einer Anwendung einer nichtlinearen Funktion zur Rauschbeeinflussung kombiniert. Dadurch lässt sich das Bildrauschen in einer gewünschten Weise beeinflussen.
  • Gemäß noch einer vorteilhaften Weiterbildung umfasst die Digitalkamera ein Bedienelement zu Einstellen des Schärfewertes und/oder eines Werts zum Anpassen der nichtlinearen Funktion zur Rauschbeeinflussung. Grundsätzlich ist es möglich, das Bedienelement direkt als von einem Menschen bedienbares Element, z. B. ein Schiebregler oder ein Drehknopf, an der Digitalkamera vorzusehen. Es ist aber auch möglich, ein Register zur Einstellung des/der Werte(s) vorzusehen, durch das ein Programm oder ein Benutzer den/die Wert(e) über eine elektronische Schnittstelle einstellen kann. Es ist weiterhin möglich, ein Computerprogramm vorzusehen, durch welches ein Benutzer den/die Wert(e) eingeben oder einstellen kann, z. B. mit Hilfe eines Eingabefeldes oder eines in Software ausgeführten Schiebe- oder Drehreglers. Durch das Bedienelement kann der Benutzer, sei es ein Mensch oder ein Computerprogramm, auf die Bildschärfe und/oder das Bildrauschen Einfluss nehmen und einen gewünschten Arbeitspunkt für das Bild wählen.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Korrekturverfahren bereitgestellt, wobei das Korrekturverfahren umfasst:
    • – Empfangen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken aufweist, wobei die sich in ihrer Position entsprechenden Pixel der Pixelblöcke jeweils einen Helligkeitskanal bilden und zwei oder mehr Helligkeitskanäle Unterschiede zueinander derart aufweisen, dass das Bild einen musterförmigen Bildfehler entsprechend der Anordnung der Pixelblöcke aufweist; und
    • – Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator, der jeweils für einen zu korrigierenden Pixel angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung in Bezug auf den zu korrigierenden Pixel verarbeitet,
    wobei der lokale Bildverarbeitungsoperator angepasst ist, einen kanalunabhängigen Helligkeitswert für den zu korrigierenden Pixel als gewichtete Summe der Helligkeitswerte der Pixel in der vorbestimmten Umgebung zu berechnen, wobei die Summe der Gewichtungsfaktoren für jeden Helligkeitskanal in der vorbestimmten Umgebung gleich ist.
  • Gemäß einem weiteren Aspekt der Erfindung wird eine Computervorrichtung bereitgestellt, wobei die Computervorrichtung eine Recheneinheit umfasst, die zur Durchführung des Korrekturverfahrens nach Anspruch 12 und zum Anschließen an eine einen Bildsensor zum Erzeugen des Bildes umfassende Digitalkamera ausgestaltet ist.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm-Produkt bereitgestellt, wobei das Computerprogramm-Produkt Codemitteln umfasst zum Veranlassen einer Computervorrichtung zum Ausführen des Korrekturverfahrens nach Anspruch 12, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
  • Es versteht sich, dass die Digitalkamera nach Anspruch 1, das Korrekturverfahren nach Anspruch 12, die Computervorrichtung nach Anspruch 13 und das Computerprogramm-Produkt nach Anspruch 14 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
  • Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei
  • 1 schematisch und exemplarisch den Aufbau einer Digitalkamera zeigt,
  • 2 schematisch und exemplarisch eine SRO-Architektur mit einer Anordnung von 2×2 Pixeln und einem gemeinsamen Ausleseverstärker zeigt,
  • 3 schematisch und exemplarisch eine regelmäßige Anordnung von Pixeln zeigt;
  • 4 schematisch und exemplarisch eine vorbestimmte und mehrere Pixel umfassende Umgebung in Bezug auf einen zu korrigierenden Pixel zeigt;
  • 5 schematisch und exemplarisch eine Filtermatrix L, die sich als arithmetisches Mittel der Filtermatrizen LE, LF, LG und LH, die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals in der vorbestimmten Umgebung verarbeiten, ergibt, zeigt;
  • 6 schematisch und exemplarisch gleichanteilsfreie Filtermatrizen HE, HF, HG und HH mit Hochpasscharakter, die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals in der vorbestimmten Umgebung verarbeiten und jeweils gleichanteilsfrei sind, zeigt;
  • 7 schematisch und exemplarisch die Herleitung einer Filtermatrix M zeigt;
  • 8 schematisch und exemplarisch einen Datenpfad für eine Verarbeitung mittels der Filtermatrix M zeigt;
  • 9 schematisch und exemplarisch Diagramme mit nichtlinearen Funktionen f zur Reduktion des Rauschens bei der Korrektur des musterförmigen Bildfehlers zeigt; und
  • 10 einen weiteren Datenpfad für die Korrektur eines musterförmigen Bildfehlers zeigt.
  • DETAILIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
  • Wie beschrieben wird gemäß der Erfindung eine Korrektur eines musterförmigen Bildfehlers eines von dem monochromen Bildsensor erzeugten Bildes durch einen lokalen Bildverarbeitungsoperator, der jeweils für einen zu korrigierenden Pixel angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung in Bezug auf den zu korrigierenden Pixel verarbeitet.
  • 4 zeigt schematisch und exemplarisch eine vorbestimmte und mehrere Pixel umfassende Umgebung 50 in Bezug auf einen zu korrigierenden Pixel 51. In diesem Ausführungsbeispiel ist die vorbestimmte Umgebung 50 eine Umgebung mit einer gleichen, ungeraden Anzahl Zeilen wie Spalten, hier der Größe 5×5 Pixel, wobei die vorbestimmte Umgebung den zu korrigierenden Pixel 51 als zentralen Pixel aufweist. Bei 2×2 Pixel umfassenden Pixelblöcken beinhaltet die vorbestimmte Umgebung vier Kanäle e, f, g und h. Je nachdem, wie die vorbestimmte Umgebung in dem Bild gelegen ist, d. h. zu welchem Helligkeitskanal der zu korrigierende Pixel 51 gehört, entsprechen die vier Kanäle e, f, g, und h den Helligkeitskanälen a, b, c und d.
  • Gehört beispielsweise der zu korrigierende Pixel 51 zum Helligkeitskanal a, so entsprechen die Kanäle e, f, g und h den Helligkeitskanälen a, b, c und d. Gehört hingegen der zu korrigierende Pixel 51 zum Helligkeitskanal b, so entsprechen die Kanäle e, f, g und h den Helligkeitskanälen b, a, d und c. Anhand dieser beiden Beispiele kann der Fachmann weitere Zuordnungen selbst vornehmen.
  • In diesem Ausführungsbeispiel ist der lokale Bildverarbeitungsoperator in Zeilen- und Spaltenrichtung spiegelsymmetrisch sowie 90° drehsymmetrisch. Zudem ist er angepasst, einen kanalunabhängigen Helligkeitswert für den zu korrigierenden Pixel als gewichtete Summe der Helligkeitswerte der Pixel in der vorbestimmten Umgebung zu berechnen.
  • Die genannten Kriterien können beispielsweise durch eine Faltung mit einer Filtermatrix L erreicht werden, wie sie schematisch und exemplarisch in der 5 gezeigt ist. Bei der Darstellung wird zur besseren Übersichtlichkeit jeweils auf die Darstellung der Zahl 0 verzichtet, daher verstehen sich Matrixelemente ohne explizit genannten Wert als die Zahl 0 beinhaltend. Der vorangestellte Faktor – im Falle von L der Wert 1/64 – wird bei den hier dargestellten Filtermatrizen jeweils multiplikativ auf alle Elemente der Filtermatrix angewandt. Dadurch besitzt die Summe der Matrixelemente von L einen Wert von 1, so dass eine Faltung einer homogen hellen Fläche mit der Filtermatrix L keine Veränderung der Helligkeit bewirkt.
  • Die Filtermatrix L erfüllt die beschriebenen vorteilhaften Bedingungen hinsichtlich Struktur und Größe und errechnet sich in diesem Beispiel als Linearkombination, insbesondere als arithmetisches Mittel, der Filtermatrizen LE, LF, LG und LH. Diese sind so gewählt, dass sie nur auf jeweils einem Helligkeitskanal arbeiten: Also LE auf e, LF auf f, LG auf g und LH auf h. Weiterhin sind sie so gewählt, dass die Summe aller Matrixelemente (Gewichtungsfaktoren) jeweils 1 ergibt. Und schließlich sind sie so gewählt, dass – sofern möglich – die Werte der Matrixelemente von der Mitte zum Rand hin abfallen. Durch eine solche Wahl gehen die Helligkeitswerte aller Kanäle mit jeweils gleichem Gewicht in die Filtermatrix L ein, so dass die Filtermatrix L im Ergebnis kanalunabhängig ist.
  • Die Filtermatrix L besitzt einen Tiefpasscharakter, d. h., die Anwendung des lokalen Bildverarbeitungsoperators realisiert in dieser Ausführungsform eine Tiefpassfilterung. Durch die Tiefpassfilterung mit der Filtermatrix L kann, dadurch dass die Helligkeitswerte aller Helligkeitskanäle mit jeweils gleichem Gewicht aufsummiert werden, das Muster durch die Kanalunterschiede weitgehend, wenn nicht sogar vollständig, aus dem Bild entfernt werden, jedoch wird im gleichen Zuge das Bild unschärfer. Daher kann die Tiefpassfilterung optional mit einer gleichanteilsfreien Hochpassfilterung kombiniert sein. Diese ermöglicht es, den Schärfeeindruck des Bildes vorteilhaft zu erhöhen.
  • Die Tiefpassfilterung und die gleichanteilsfreie Hochpassfilterung können als eine gemeinsame Filterung mittels einer gemeinsamen Filtermatrix oder als separate Filterungen mittels separater Filtermatrizen durchgeführt werden. In ersterem Fall muss nur eine einzige Filterung vorgenommen werden, mit der sowohl ein Tiefpass- als auch ein Hochpasseffekt erzielt wird. Hierdurch lässt sich in bestimmten Anwendungen der Rechenaufwand in Form von Ressourcenverbrauch oder Rechenzeit verringern. In letzterem Fall ergibt sich insgesamt eine größere Flexibilität, die beispielsweise hilfreich sein kann, wenn die Tiefpassfilterung und/oder die Hochpassfilterung noch mit weiteren Bildverarbeitungsoperationen (siehe unten) kombiniert werden sollen.
  • In einer beispielhaften Variante basiert die gleichanteilsfreie Hochpassfilterung auf einer Filtermatrix, die sich als eine Linearkombination von ein oder mehreren Filtermatrizen, die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals a, b, c und d in der vorbestimmten Umgebung verarbeiten und jeweils gleichanteilsfrei sind, ergibt. Solche Filtermatrizen HE, HF, HG und HH sind schematisch und exemplarisch in der 6 gezeigt.
  • Wie man erkennt, enthalten die Filtermatrizen HE, HF, HG und HH jeweils einen Hochpassanteil und realisieren jeweils möglichst viele der oben geforderten Symmetrien. Die Filtermatrix HH ist dabei komplett leer, d. h. sie beinhaltet nur Elemente mit der Zahl 0. Dies begründet sich darin, dass es aus Symmetriegründen auf einer Umgebung der Größe 5×5 nicht sinnvoll, auf dem Kanal h einen geeigneten Hochpasswert für den zentralen Pixel 51 zu ermitteln. Bei größeren Umgebungen, z. B. 7×7 Pixel, ist dies durchaus sinnvoll und die Filtermatrix HH dementsprechend auch nicht mehr leer.
  • In einem Ausführungsbeispiel wird die Filtermatrix H als 1·HE gewählt. Dadurch ergibt sich ein scharfes Bild, dass weitgehend, wenn nicht sogar vollständig, frei von dem musterförmigen Bildfehler ist, der durch die Unterschiede der Helligkeitskanäle hervorgerufen wird.
  • Um eine gemeinsame Filterung mittels einer gemeinsamen Filtermatrix zu realisieren, können die Tiefpass-Filtermatrix L und die Hochpass-Filtermatrix H unter Erhalt einer Filtermatrix M addiert werden, deren Herleitung schematisch und exemplarisch in der 7 gezeigt ist.
  • 8 zeigt schematisch und exemplarisch einen Datenpfad für eine Verarbeitung mittels der Filtermatrix M. Das Bild wird mit der Filtermatrix M gefaltet. Dafür werden die Helligkeitswerte der Pixel der in Bezug auf den zu korrigierenden Pixel 51 vorbestimmten Umgebung 50 durch den lokalen Bildverarbeitungsoperator M mit den entsprechenden Matrixelementen der Matrix M multipliziert und die dadurch erhaltenen Produkte werden addiert. Dabei wird ein korrigierter Helligkeitswert K für den zu korrigierenden Pixel 51 erhalten. Aus der für eine Vielzahl von zu korrigierenden Pixeln 51 erhaltenen Vielzahl von korrigierten Helligkeitswerten K wird dann ein korrigiertes Bild zusammengesetzt, aus dem die Unterschiede der Helligkeitskanäle weitgehend, wenn nicht sogar vollständig, entfernt sind.
  • In einem anderen Ausführungsbeispiel wird die Filtermatrix H als (2·HE + HF + HG)/4 gewählt und daraus durch Addition von L und H die Matrix M berechnet und diese zur Fehlerkorrektur angewandt. HH wird nicht berücksichtigt, da die Filtermatrix, wie oben dargelegt, leer ist.
  • In noch einem anderen Ausführungsbeispiel wird die Filtermatrix H als (2·HE – HF – HG)/4 gewählt und daraus durch Addition von L und H die Matrix M berechnet und diese zur Fehlerkorrektur angewandt. HH wird aus den oben genannten Gründen wiederum nicht berücksichtigt.
  • Es kann zusätzlich vorgesehen sein, dass die gleichanteilsfreie Hochpassfilterung mit einer Bildschärfung durch Multiplikation mit einem Schärfewert S kombiniert wird. Wird der Schärfewert S größer als 1 gewählt, wird hierdurch der Schärfeeindruck des Bildes auf vorteilhafte Weise erhöht. Wird der Schärfewert S hingegen kleiner als 1 gewählt, so verringert sich zwar einerseits auf nachteilhafte Weise die Bildschärfe, jedoch verringert sich gleichzeitig auch auf vorteilhafte Weise das Bildrauschen. Die Multiplikation mit dem Schärfewert S kann beispielsweise auf die Hochpass-Filtermatrix H angewandt werden (im Falle einer gemeinsamen Filterung mittels einer gemeinsamen Filtermatrix M vor der beschrieben Addition zu der Tiefpass-Filtermatrix L). Im Falle separater Filterungen mittels separater Filtermatrizen ist es aber auch möglich, die Multiplikation mit dem Schärfewert S auf den durch die Hochpassfilterung erhaltenen Hochpasswert anzuwenden.
  • Ebenfalls vorgesehen sein kann es, dass die gleichanteilsfreie Hochpassfilterung mit einer Anwendung einer nichtlinearen Funktion f zur Rauschbeeinflussung kombiniert ist. Dadurch lässt sich das Bildrauschen in einer gewünschten Weise beeinflussen. Die Anwendung der nichtlinearen Funktion f erfolgt auf den durch die Hochpassfilterung erhaltenen Hochpasswert, gegebenenfalls vor der Multiplikation mit dem Schärfewert S.
  • 9 zeigt schematisch und exemplarisch Diagramme mit nichtlinearen Funktionen f zur Reduktion des Rauschens bei der Korrektur des musterförmigen Bildfehlers. Die nichtlineare Funktion f kann vorteilhafterweise eine stetige Funktion sein, die durch den Koordinatenursprung (0, 0) verläuft und fortlaufend konstant oder monoton steigend ist, wobei die Steigung im Ursprung geringer ist, als an mindestens einer Stelle, die vom Ursprung entfernt ist. 9a) zeigt beispielhaft eine solche Funktion. Eine Skalierung mit einem Parameter Th kann hier beispielsweise dadurch vorgenommen werden, dass die Funktion auf das Produkt der Eingangsgröße mit dem Parameter Th angewandt wird.
  • Solche nichtlinearen Funktionen lassen in einem FPGA mit besonders geringem Ressourcenbedarf realisieren, wenn sie stückweise linear sind. Die vorgenannte nichtlineare Funktion f kann daher als stückweise lineare Funktion gemäß 9 b) angenähert werden. Diese Funktion f ist unterhalb eines Wertes –Th linear (beispielsweise mit der Steigung 1), zwischen den Werten –Th und Th konstant 0 und oberhalb des Wertes Th wiederum linear (beispielsweise mit der Steigung 1).
  • Dem Einsatz der nichtlinearen Funktion f liegt die Erkenntnis zugrunde, dass die durch die Hochpassfilterung erhaltenen Hochpasswerte einem Rauschen mit einer gewissen Rauschamplitude unterliegen. Es ist daher vorteilhaft, innerhalb der Rauschamplitude (d. h. beispielsweise zwischen den Werten –Th und Th) liegende Werte einer Funktion f zu unterwerfen, die das Rauschen verringert. Gemäß der Lehre der Fehlerfortpflanzung nach Carl Friedrich Gauss wird Rauschen, welches als Messfehler eines Pixels aufgefasst werden kann, dann gering vermindert, wenn die erste Ableitung einer auf die rauschbehaftete Größe angewandten Funktion betragsmäßig klein ist. Daher ist es vorteilhaft, wenn der Betrag der Steigung der Funktion f nahe am Ursprung, also innerhalb der Rauschamplitude, klein ist. Insbesondere ist es vorteilhaft, wenn der Betrag der Steigung der Funktion f nahe am Ursprung und innerhalb der Rauschamplitude Null ist und der Betrag der Funktion f dort selbst auch Null ist, weil die nichtlineare Funktion f das Rauschen dann innerhalb der Rauschamplitude unterdrückt. Dabei wird billigend in Kauf genommen, dass Strukturen, die betragsmäßig unterhalb der Rauschamplitude liegen, ebenfalls aus dem Bild entfernt werden. Dabei werden solche Bildstrukturen, deren Betrag unterhalb der Rauschamplitude liegen, ebenfalls aus dem Bild entfernt. Da solche Strukturen ohnehin kaum erkennbar sind, führt dies jedoch zu keiner nennenswerten Beeinträchtigung der Bildqualität.
  • Die Digitalkamera 10 kann auch ein Bedienelement zu Einstellen des Schärfewertes S und/oder eines Werts zum Anpassen der nichtlinearen Funktion f zur Rauschbeeinflussung umfassen. Grundsätzlich ist es möglich, das Bedienelement direkt als von einem Menschen bedienbares Element, z. B. ein Schiebregler oder ein Drehknopf, an der Digitalkamera 10 vorzusehen. Es ist aber auch möglich, ein Register zur Einstellung des/der Werte(s) vorzusehen, durch das ein Programm oder ein Benutzer den/die Wert(e) über eine elektronische Schnittstelle einstellen kann. Es ist weiterhin möglich, ein Computerprogramm vorzusehen, durch welches ein Benutzer den/die Wert(e) eingeben oder einstellen kann, z. B. mit Hilfe eines Eingabefeldes oder eines in Software ausgeführten Schiebe- oder Drehreglers. Durch das Bedienelement kann der Benutzer, sei es ein Mensch oder ein Computerprogramm, auf die Bildschärfe und/oder das Bildrauschen Einfluss nehmen und einen gewünschten Arbeitspunkt für das Bild wählen.
  • 10 zeigt einen weiteren Datenpfad für die Korrektur eines musterförmigen Bildfehlers, in dem die vorgenannten Vorschläge vereint sind. Um für den zu korrigierenden Pixel 51 einen kanalunabhängigen Helligkeitswert K zu berechnen, werden die Helligkeitswerte der Pixel der in Bezug auf den zu korrigierenden Pixel 51 vorbestimmten Umgebung 50 durch einen lokalen Bildverarbeitungsoperator L verarbeitet. Durch die Anwendung des lokalen Bildverarbeitungsoperators L wird hier eine Tiefpassfilterung realisiert, die mit einer gleichanteilsfreien Hochpassfilterung, die als separate Filterung mittels einer separaten Hochpass-Filtermatrix H durchgeführt wird, kombiniert ist. Auf den durch die Hochpassfilterung erhaltenen Hochpasswert wird eine nichtlineare Funktion f zur Rauschbeeinflussung mit einem einstellbaren Parameter Th zum Anpassen der nichtlinearen Funktion f angewandt. Das Ergebnis wird danach mit einem einstellbaren Schärfewert S multipliziert und anschließend zu dem durch die Tiefpass-Filterung erhaltenen Tiefpasswert addiert. Dabei wird ein korrigierter Helligkeitswert K für den zu korrigierenden Pixel 51 erhalten. Aus der für eine Vielzahl von zu korrigierenden Pixeln 51 erhaltenen Vielzahl von korrigierten Helligkeitswerten K wird dann ein korrigiertes Bild zusammengesetzt, aus dem die Unterschiede der Helligkeitskanäle weitgehend, wenn nicht sogar vollständig, entfernt sind.
  • Die hier vorgeschlagenen Bildverarbeitungsoperationen und Ausführungsbeispiele können in den in einer Digitalkamera gebräuchlichen Recheneinheiten, beispielsweise in einem FPGA oder einem Signalprozessor, auf einfache Weise realisiert werden. Dafür können sie in die Hardware, Firmware oder Software der Digitalkamera integriert. Sie können auch nachgelagert ausgeführt werden, beispielsweise im Prozessor oder auf der Graphikkarte eines Computers als eigenständiges Computerprogramm, als zur Digitalkamera gehörige Software oder als integrierte Funktion oder Prozedur in einem anderen Programm, beispielsweise in einem Treiber für eine Digitalkamera oder in einem Programm zur Bearbeitung von Bildern.
  • Weitere Variationen der offenbarten Ausführungsformen können von einem die beanspruchte Erfindung praktizierenden Fachmann aus einer Betrachtung der Zeichnungen, der Beschreibung und der beigefügten Ansprüche verstanden und ausgeführt werden.
  • In den Ansprüchen schließen die Wörter „aufweisen” und „umfassen” nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein” schließt eine Mehrzahl nicht aus.
  • Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
  • Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
  • Zusammengefasst wurde eine Digitalkamera beschrieben, umfassend einen monochromen Bildsensor zum Erzeugen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken aufweist, wobei die sich in ihrer Position entsprechenden Pixel der Pixelblöcke jeweils einen Helligkeitskanal bilden und zwei oder mehr Helligkeitskanäle Unterschiede derart aufweisen, dass das Bild einen musterförmigen Bildfehler aufweist, und eine Korrektureinrichtung zum Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator, der jeweils für einen zu korrigierenden Pixel angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung in Bezug auf den zu korrigierenden Pixel verarbeitet.

Claims (14)

  1. Digitalkamera (10), umfassend: – einen monochromen Bildsensor (31) zum Erzeugen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken (40) aufweist, wobei die sich in ihrer Position entsprechenden Pixel (A, B, C, D) der Pixelblöcke (40) jeweils einen Helligkeitskanal (a, b, c, d) bilden und zwei oder mehr Helligkeitskanäle (a, b, c, d) Unterschiede zueinander derart aufweisen, dass das Bild einen musterförmigen Bildfehler entsprechend der Anordnung der Pixelblöcke (40) aufweist; und – eine Korrektureinrichtung (32) zum Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator (L; M), der jeweils für einen zu korrigierenden Pixel (51) angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung (50) in Bezug auf den zu korrigierenden Pixel (51) verarbeitet, wobei der lokale Bildverarbeitungsoperator (1; M) angepasst ist, einen kanalunabhängigen Helligkeitswert für den zu korrigierenden Pixel (51) als gewichtete Summe der Helligkeitswerte der Pixel in der vorbestimmten Umgebung (50) zu berechnen, wobei die Summe der Gewichtungsfaktoren für jeden Helligkeitskanal (a, b, c, d) in der vorbestimmten Umgebung (50) gleich ist.
  2. Digitalkamera (10) nach Anspruch 1, wobei der lokale Bildverarbeitungsoperator (L; M) ein vorbestimmter lokaler Bildverarbeitungsoperator (L; M) ist, der unabhängig von dem zu korrigierenden Pixel (51) und der Ursache des Bildfehlers angewandt wird.
  3. Digitalkamera (10) nach Anspruch 1 oder 2, wobei die vorbestimmte Umgebung (50) den zu korrigierenden Pixel (51) als zentralen Pixel aufweist und/oder wobei die vorbestimmte Umgebung (50) eine Umgebung mit einer gleichen, insbesondere ungeraden Anzahl Zeilen wie Spalten ist, insbesondere der Größe 5×5 Pixel.
  4. Digitalkamera (10) nach einem der Ansprüche 1 bis 3, wobei der lokale Bildverarbeitungsoperator (L; M) in Zeilen- und Spaltenrichtung spiegelsymmetrisch sowie 90° drehsymmetrisch ist.
  5. Digitalkamera (10) nach einem der Ansprüche 1 bis 4, wobei durch die Anwendung des lokalen Bildverarbeitungsoperators (L; M) eine Tiefpassfilterung realisiert wird, wobei diese, optional, mit einer gleichanteilsfreien Hochpassfilterung kombiniert ist.
  6. Digitalkamera (10) nach Anspruch 5, wobei die Tiefpassfilterung und die gleichanteilsfreie Hochpassfilterung als eine gemeinsame Filterung mittels einer gemeinsamen Filtermatrix (M) oder als separate Filterungen mittels separater Filtermatrizen (L, H) durchgeführt werden.
  7. Digitalkamera (10) nach Anspruch 5 oder 6, wobei die Tiefpassfilterung auf einer Filtermatrix (L) basiert, die sich als Linearkombination, insbesondere als arithmetisches Mittel, von ein oder mehreren Filtermatrizen (LE, LF, LG, LH), die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals (a, b, c, d) in der vorbestimmten Umgebung (50) verarbeiten, ergibt.
  8. Digitalkamera (10) nach einem der Ansprüche 5 bis 7, wobei die gleichanteilsfreie Hochpassfilterung auf einer Filtermatrix (H) basiert, die sich als eine Linearkombination von ein oder mehreren Filtermatrizen (HE, HF, HG, HH), die jeweils Helligkeitswerte von Pixeln nur eines Helligkeitskanals (a, b, c, d) in der vorbestimmten Umgebung (50) verarbeiten und jeweils gleichanteilsfrei sind, ergibt.
  9. Digitalkamera (10) nach einem der Ansprüche 5 bis 8, wobei die gleichanteilsfreie Hochpassfilterung mit einer Bildschärfung durch Multiplikation mit einem Schärfewert (S) kombiniert ist.
  10. Digitalkamera (10) nach einem der Ansprüche 5 bis 9, wobei die gleichanteilsfreie Hochpassfilterung mit einer Anwendung einer nichtlinearen Funktion (f) zur Rauschbeeinflussung kombiniert ist.
  11. Digitalkamera (10) nach Anspruch 9 oder 10, umfassend ein Bedienelement zu Einstellen des Schärfewertes (S) und/oder eines Werts (Th) zum Anpassen der nichtlinearen Funktion (f) zur Rauschbeeinflussung.
  12. Korrekturverfahren, umfassend: – Empfangen eines Bildes, wobei das Bild eine regelmäßige Anordnung von Pixelblöcken (40) aufweist, wobei die sich in ihrer Position entsprechenden Pixel (A, B, C, D) der Pixelblöcke (40) jeweils einen Helligkeitskanal (a, b, c, d) bilden und zwei oder mehr Helligkeitskanäle (a, b, c, d) Unterschiede zueinander derart aufweisen, dass das Bild einen musterförmigen Bildfehler entsprechend der Anordnung der Pixelblöcke (40) aufweist; und – Korrigieren des Bildfehlers durch einen lokalen Bildverarbeitungsoperator (L; M), der jeweils für einen zu korrigierenden Pixel (51) angewandt wird und Helligkeitswerte von Pixeln einer vorbestimmten und mehrere Pixel umfassenden Umgebung (50) in Bezug auf den zu korrigierenden Pixel (51) verarbeitet, wobei der lokale Bildverarbeitungsoperator (L; M) angepasst ist, einen kanalunabhängigen Helligkeitswert für den zu korrigierenden Pixel (51) als gewichtete Summe der Helligkeitswerte der Pixel in der vorbestimmten Umgebung (50) zu berechnen, wobei die Summe der Gewichtungsfaktoren für jeden Helligkeitskanal (a, b, c, d) in der vorbestimmten Umgebung (50) gleich ist.
  13. Computervorrichtung, umfassend eine Recheneinheit, die zur Durchführung des Korrekturverfahrens nach Anspruch 12 und zum Anschließen an eine einen Bildsensor (31) zum Erzeugen des Bildes umfassende Digitalkamera (10) ausgestalt ist.
  14. Computerprogramm-Produkt, umfassend Codemitteln zum Veranlassen einer Computervorrichtung zum Ausführen des Korrekturverfahrens nach Anspruch 12, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
DE102015109878.4A 2015-06-19 2015-06-19 Korrektur eines musterförmigen Bildfehlers Active DE102015109878B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015109878.4A DE102015109878B3 (de) 2015-06-19 2015-06-19 Korrektur eines musterförmigen Bildfehlers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015109878.4A DE102015109878B3 (de) 2015-06-19 2015-06-19 Korrektur eines musterförmigen Bildfehlers

Publications (1)

Publication Number Publication Date
DE102015109878B3 true DE102015109878B3 (de) 2016-07-28

Family

ID=56364264

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015109878.4A Active DE102015109878B3 (de) 2015-06-19 2015-06-19 Korrektur eines musterförmigen Bildfehlers

Country Status (1)

Country Link
DE (1) DE102015109878B3 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080561A (zh) * 2019-11-08 2020-04-28 上海航天控制技术研究所 一种时域高通滤波方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
DE19715983C1 (de) * 1997-04-17 1998-09-24 Aeg Infrarot Module Gmbh Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera
US6107655A (en) * 1997-08-15 2000-08-22 Eastman Kodak Company Active pixel image sensor with shared amplifier read-out
US8334491B2 (en) * 2008-12-12 2012-12-18 Cmosis Nv Pixel array with shared readout circuitry
WO2015084991A1 (en) * 2013-12-04 2015-06-11 Rambus Inc. High dynamic-range image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
DE19715983C1 (de) * 1997-04-17 1998-09-24 Aeg Infrarot Module Gmbh Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera
US6107655A (en) * 1997-08-15 2000-08-22 Eastman Kodak Company Active pixel image sensor with shared amplifier read-out
US8334491B2 (en) * 2008-12-12 2012-12-18 Cmosis Nv Pixel array with shared readout circuitry
WO2015084991A1 (en) * 2013-12-04 2015-06-11 Rambus Inc. High dynamic-range image sensor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG, Canaan Sungkuk: On-Chip Spatial Image Processing with CMOS Active Pixel Sensors. PhD Thesis, Electrical and Computer Engineering, University of Waterloo. Waterloo, Ontario, Canada, 2001. *
KLETTE, Reinhard; ZAMPERONI, Piero: Handbuch der Operatoren für die Bildbearbeitung. ISBN 978-3-528-06431-5. Braunschweig; Wiesbaden: Vieweg, 1992. Abschnitt 1.4, S. 29-34; Kapitel 6, S. 164-241. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080561A (zh) * 2019-11-08 2020-04-28 上海航天控制技术研究所 一种时域高通滤波方法

Similar Documents

Publication Publication Date Title
DE69724610T2 (de) Verfahren und gerät zur bildverbesserung
EP2929503B1 (de) Verfahren und vorrichtung zur erzeugung eines verbesserten farbbildes mit einem sensor mit farbfilter
DE112016001040T5 (de) Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang
DE112017006107T5 (de) Digitale Korrektur von optischen Systemaberrationen
WO2008019867A2 (de) Bildverarbeitungsvorrichtung für farb-bilddaten und verfahren zur bildverarbeitung von farb-bilddaten
DE112017001458T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung und Steuerverfahren davon
DE602004012125T2 (de) Robuste rekursive hüllenoperatoren für die schnelle verarbeitung von bildern des retinex-typs
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE102016112968A1 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen
DE102014008686B4 (de) Verfahren und Vorrichtung zur Farbinterpolation
DE102018127754A1 (de) Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln
WO2006128862A1 (de) Integrierte schaltung mit warping-berechnungseinheit
WO2011157696A2 (de) Farbbildsensor
DE102007026595A1 (de) Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
EP1252757B1 (de) Verfahren und vorrichtung zur veränderung der farbsättigung elektronisch erfasster bilder
DE102015109878B3 (de) Korrektur eines musterförmigen Bildfehlers
DE102018115991B4 (de) Digitale schaltung zur korrektur eines vignettierungseffekts in werten von pixeln eines bildes einer elektronischen kamera
DE112017001829T5 (de) Bildverarbeitungsvorrichtung und elektronisches Endoskopsystem
EP1814079B1 (de) Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds
DE112008000263T5 (de) Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik
DE102014102011A1 (de) System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich
DE102004030961A1 (de) Verfahren zum Bestimmen einer Matrix von Transmissionskreuzkoeffizienten bei einer optischen Näherungskorrektur von Maskenlayouts
EP2955691B1 (de) Vorrichtung zur Bestimmung von Farbanteilen eines Bildpunktes einer BAYER-Matrix
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
EP3391329B1 (de) Bestimmung von helligkeitswerten virtueller pixel

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005357000

Ipc: H04N0025600000