DE102016112968A1 - Bestimmung von Farbwerten für Pixel an Zwischenpositionen - Google Patents

Bestimmung von Farbwerten für Pixel an Zwischenpositionen Download PDF

Info

Publication number
DE102016112968A1
DE102016112968A1 DE102016112968.2A DE102016112968A DE102016112968A1 DE 102016112968 A1 DE102016112968 A1 DE 102016112968A1 DE 102016112968 A DE102016112968 A DE 102016112968A DE 102016112968 A1 DE102016112968 A1 DE 102016112968A1
Authority
DE
Germany
Prior art keywords
color
pixels
value
image processing
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016112968.2A
Other languages
English (en)
Other versions
DE102016112968B4 (de
Inventor
Jörg Kunze
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Basler AG
Original Assignee
Basler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler AG filed Critical Basler AG
Priority to DE102016112968.2A priority Critical patent/DE102016112968B4/de
Priority to CN201710575233.8A priority patent/CN107623844B/zh
Publication of DE102016112968A1 publication Critical patent/DE102016112968A1/de
Application granted granted Critical
Publication of DE102016112968B4 publication Critical patent/DE102016112968B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Die Erfindung betrifft eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors (31) mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe zu bestimmen. Die Bestimmung umfasst, für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters, Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz.

Description

  • Die Erfindung betrifft eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln sowie eine Digitalkamera, die einen Bildsensor und die Bildverarbeitungseinrichtung umfasst. Die Erfindung betrifft ferner ein entsprechendes Bildverarbeitungsverfahren sowie eine Computervorrichtung und ein Computerprogram-Produkt.
  • HINTERGRUND DER ERFINDUNG
  • Im industriellen Umfeld werden vielfach digitale Kameras eingesetzt, wie sie beispielsweise in der DE-Patentanmeldung DE 10 2013 000 301 beschrieben und dort in der 1 dargestellt sind.
  • 1 zeigt schematisch und exemplarisch den Aufbau einer Digitalkamera 10 mit einem Objektiv 22. Eine Bildszene 30 wird über das Objektiv 22 auf einen Bildsensor 31 abgebildet, welcher eine regelmäßige Anordnung lichtempfindlicher Elemente, sogenannter Pixel, aufweist. Der Bildsensor 31 übermittelt elektronische Daten an eine zumeist in der Kamera 10 befindliche Recheneinheit 32, die beispielsweise einen Prozessor, einen digitalen Signalprozessor (DSP) oder ein sogenanntes Field-Programmable-Gate-Array (FPGA) umfasst. Es kann dabei erforderlich sein, analoge Bilddaten in digitale Bilddaten, z.B. mittels eines Analog-Digital-Konverters (in der Figur nicht gezeigt), zu konvertieren. In der Recheneinheit 32 werden gegebenenfalls noch gewünschte mathematische Operationen, beispielsweise eine Farbkorrektur oder eine Umrechnung in ein anderes Bildformat, auf den Bilddaten ausgeführt bevor diese anschließend über eine Schnittstelle (Interface) 33 als elektronisches Signal 34 ausgegeben werden. Alternativ kann das Ausgangsbild auch außerhalb der Digitalkamera 10 berechnet werden, z.B. mit Hilfe eines Computers.
  • Als Digitalkameras werden sowohl einfarbige Monochromkameras als auch mehrfarbige Farbkameras eingesetzt. Die häufigste Methode zur Aufnahme von Farbbildern ist die Verwendung eines sogenannten Mosaikfilters, beispielsweise das sogenannte Bayer-Pattern, welches aus der US-Patentschrift US 3,971,065 (dort insbesondere die 6) bekannt ist. Dabei befindet sich auf den Pixeln ein regelmäßiges Muster aus Farbfiltern für die Farben Rot (R), Grün (G) und Blau (B), so dass jeder Pixel nur für Licht der jeweiligen Farbe empfindlich ist. Im Bayer-Pattern ist Grün doppelt so häufig vertreten wie Rot bzw. Blau.
  • Der Benutzer einer digitalen Farbkamera möchte häufig ein Farbbild nutzen, bei dem für jede Pixelposition ein vollständiger Farbwert vorliegt. Als ein solcher Farbwert wird dabei eine Position in einem Farbraum verstanden. Die meisten gebräuchlichen Farbräume sind dreidimensional, beispielsweise der RGB-, der sRGB-, der XYZ-, der YUV- oder der L*a*b*-Farbraum. Als Position eines dreidimensionalen Farbraumes weisen Farbwerte zumeist drei Komponenten auf. Dem Fachmann sind mathematische Methoden bekannt, Farbwerte eines Farbraums in Farbwerte eines anderen Farbraums umzurechnen, siehe z.B. A. Koschan und M. Abidi: „Digital Color Image Processing", John Wiley & Sons, Hoboken, NJ, USA, 2008. Weiterhin sind Methoden bekannt, Farbwerte zu übertragen, z.B. als 8-Bit RGB, als 12-Bit RGB oder als YUV 4-2-2.
  • Da jeder Pixel nur für Licht einer Farbe empfindlich ist, also lediglich eine eindimensionale Information liefert, ist die Ermittlung eines Farbwertes für diesen Pixel als Wert in einem dreidimensionalen Farbraum unterbestimmt. Üblicherweise erfolgt daher zur Ermittlung der fehlenden Information eine Einbeziehung der Signale der benachbarten Pixel, insbesondere solcher Pixel, die andersfarbige Farbfilter aufweisen. Eine solche mathematische Methode wird als Debayering, Demosaiking oder Color-Filter-Array-, (CFA), -Interpolation bezeichnet. Als Ergebnis des Debayering liegt dann für jeden Pixel ein mehrdimensionaler Farbwert vor.
  • Es sind auch Digitalkameras bekannt, die bereits auf Bildsensorebene mehr als einen Farbwert pro Pixel erzeugen (siehe z.B. die 4 der US-Patentschrift US 6,614,478 ). Solche Digitalkameras, die hier auch als Mehrfachsensorkameras bezeichnet werden, weisen häufig Strahlteiler auf, mit denen das Bild auf mehrere, zueinander ausgerichtete Bildsensoren abgebildet wird. Dieser Ansatz ist jedoch aufgrund der Vielzahl der benötigten optischen, elektronischen und mechanischen Bauteile und der erforderlichen hohen Präzision mit geringen Fertigungstoleranzen sehr teuer.
  • Es gibt sowohl im industriellen Umfeld als auch in artverwandten Einsatzgebieten, wie etwa in der Verkehrsüberwachung oder in der Medizintechnik, eine Vielzahl verschiedener Anwendungen digitaler Kameras, die sich zumeist hinsichtlich ihrer Anforderungen an die Kameras unterscheiden. So benötigen beispielsweise in der Verkehrsüberwachung Kameras vorrangig eine hohe horizontale Auflösung, die auf einer entsprechenden Anzahl von Fahrspuren das Lesen von Nummernschildern ermöglicht. In der automatisierten Prüfung von z.B. Bremsscheiben wird dagegen eine andere Auflösung benötigt, die das Kontrollieren bestimmter Prüfmaße mit einer vorgegebenen Genauigkeit ermöglicht.
  • Die vorstehend genannten, unterschiedlichen Anforderungen an digitale Kameras werden seitens der Kamerahersteller in der Regel mit einer großen Vielzahl verschiedener Kameramodelle adressiert. Das Bereitstellen einer solchen Vielzahl von Kameravarianten erfordert einen hohen organisatorischen und finanziellen Aufwand, u.a. in der Entwicklung, der Produktion, dem Marketing, dem Vertrieb und der Logistik. Daher wäre es wünschenswert, die Variantenvielfalt an Kameras oder an den Hard- und Softwaremodulen, aus denen sie zusammengestellt werden, reduzieren zu können.
  • Schaut man sich die Variantenbildung digitaler Kameras näher an, so zeigt sich, dass insbesondere die große Anzahl der verschiedenen benötigten Typen von Bildsensoren die Variantenvielfalt aufbläht. Es wäre daher wünschenswert, die verschiedenen Anforderungen an digitale Kameras mit weniger Typen von Bildsensoren erfüllen zu können. Besonders wichtige Unterscheidungsmerkmale sind in diesem Zusammenhang die Größe und die Anzahl der Pixel eines Bildsensors, wobei sich aus diesen Kennwerten als weitere wichtige Unterscheidungsmerkmale die physikalische Größe des Sensors bzw. seiner Bilddiagonale ergeben.
  • Ausgehend von der vorstehend dargestellten Situation hinsichtlich der Variantenvielfalt digitaler Kameras war es eine Aufgabe, die sich der Erfinder gestellt hat, eine Möglichkeit zu entwickeln, aus einem Bild eines Farbbildsensors mit einem Mosaikfilter, z.B. einem Bayer-Pattern, mit einer ersten Pixelgröße ein Bild mit einer zweiten, gegebenenfalls frei wählbaren und von der ersten Pixelgröße abweichenden Pixelgröße zu erzeugen, ohne dass dafür ein anderer Bildsensortyp mit der zweiten Pixelgröße erforderlich wäre. Auf diese Weise könnte mit der gleichen Kamerahardware mit demselben Bildsensortyp mehr als eine Anwendung mit mehr als einer Anforderung an die Pixelgröße und -anzahl adressiert werden, wodurch gegebenenfalls zumindest ein Teil der Kosten für die Variantenbildung eingespart und/oder der entsprechende organisatorische Aufwand reduziert werden könnte.
  • STAND DER TECHNIK
  • Ein bekanntes Verfahren, in einem Bildsensor mit einer ersten Pixelgröße ein Bild mit einer zweiten Pixelgröße zu erzeugen, wird als „Binning“ bezeichnet, wobei man hier in der Regel zwischen 1) Charge Domain Binning, 2) Voltage Domain Binning und 3) Digital Domain Binning unterscheidet. Im erstgenannten Fall werden Ladungspakete, im zweitgenannten Fall Spannungssignale und im drittgenannten Fall digitale Signale von benachbarten oder in räumlicher Nähe angeordneten Pixel vereint, wodurch ein Ladungs-, Spannungs- oder Digitalwert erhalten wird, der das Signal eines sogenannten „Superpixels“ mit einer zweiten Pixelgröße repräsentiert. Solche Binning-Verfahren werden z.B. in der europäischen Patentschrift EP 0 940 029 oder in der US-Patentschrift US 6,462,779 detailliert beschrieben.
  • 2 zeigt schematisch und exemplarisch zwei verschiedene Binning-Vorgänge. 2(a) zeigt einen Bildsensor mit einer regelmäßigen Anordnung von Pixeln 40 mit einer ersten Pixelgröße. 2(b) zeigt eine Anordnung von durch Binning horizontal benachbarter Pixel entstandener Superpixel 41, die doppelt so breit und gleich hoch sind wie die Pixel 40. Ein solches Binning wird in der Literatur auch als 2×1-Binning bezeichnet. 2(c) zeigt eine Anordnung von durch Binning horizontal und vertikal benachbarter Pixel entstandener Superpixel 42, die doppelt so hoch und doppelt so breit sind wie die Pixel 40. Ein solches Binning bezeichnet man auch als 2×2-Binning. Die in den 2(a) bis (c) erkennbaren Zwischenräume zwischen den Superpixeln 41 dienen nur der besseren Erkennbarkeit ihrer Umrisse in der Darstellung und sind real nicht vorhanden.
  • Ein Nachteil von Charge Domain Binning besteht darin, dass es sich nur in solchen Bildsensoren realisieren lässt, in denen dies aufgrund der Bauart möglich ist, beispielsweise bei einer Vielzahl von CCD-Sensoren, aber nicht in solchen Bildsensoren, in denen dies bauartbedingt nicht möglich ist, beispielsweise bei zahlreichen CMOS-Sensoren.
  • Weiterhin lassen sich durch Binning Superpixel erzeugen, deren Seitenlängen jeweils ein ganzzahliges Vielfaches der Seitenlängen der ersten Pixel beträgt. Es kann jedoch auch eine zweite Pixelgröße erwünscht sein, deren Seitenlängen ein nicht ganzzahliges, beispielsweise ein rationales Vielfaches der Seitenlängen der ersten Pixel betragen.
  • Ein Beispiel für ein nicht ganzzahliges, rationales Vielfaches der Seitenlängen der zweiten Pixel im Verhältnis zu den Seitenlängen der ersten Pixel ist schematisch und exemplarisch in der 3 gezeigt. Dort haben die zweiten Pixel 44 Seitenlängen von 6/5 der Seitenlängen der ersten Pixel 43. Auch hier sind die erkennbaren Zwischenräume zwischen den zweiten Pixeln 44 nicht real vorhanden und dienen nur der besseren Erkennbarkeit ihrer Umrisse in der Darstellung.
  • Im Falle eines Mosaikfilters, z.B. mit einem Bayer-Pattern, gestaltet sich das Binning noch schwieriger, denn hier sollen vorzugsweise Ladungspakete vereint werden, die jeweils derselben Farbe angehören, um beim Mischen eine korrekte Farbinformation zu erhalten. Eine technische Lösung für dieses Problem wird in der US-Patentschrift US 7,538,807 beschrieben. Dabei wird aus einem Bayer-Pattern im Eingangsbild wiederum ein Bayer-Pattern im Ausgangsbild erzeugt. Nachteilig dabei ist, dass dieses Verfahren nur für CCD-Sensoren mit einer besonderen Architektur und nicht für einen beliebigen Bildsensor mit Mosaikfilter anwendbar ist. Darüber hinaus wäre es vorteilhaft, wenn für jeden Pixel im Ausgangsbild alle drei Farbinformationen R, G und B gleichzeitig vorliegen könnten. Zudem bietet die US-Patentschrift US 7,538,807 keinen Ansatz, ein nicht ganzzahliges Größenverhältnis des Ausgangspixels zu realisieren.
  • Weiterhin bekannt sind verschiedene Verfahren, um aus einem Eingangsbild mit einem Mosaikfilter, in dem ein Farbwert pro Pixel vorliegt, ein Farbbild mit mehreren Farbwerten pro Pixel zu erzeugen. Ein Beispiel für ein solches Verfahren findet sich in der DE-Patentanmeldung DE 10 2013 000 301 . Bei solchen Debayering-, Demosaiking- oder Color Filter Interpolation-, (CFA), -Verfahren sind jedoch die Positionen der Ausgangspixel und auch ihre Größe zumeist nicht frei wählbar und auf die Position von Eingangspixeln festgelegt.
  • Neben den beschriebenen Binning-Techniken sind noch Verfahren bekannt, bei denen die Auflösung eines Bildes durch Interpolation geändert wird, wie dies z.B. in den US-Patentschriften US 7,567,723 und US 7,286,721 ausführlich beschrieben wird. Allgemein bekannte Interpolationsverfahren sind beispielsweise die sogenannte „Nearest Neighbor“-Interpolation, die bilineare Interpolation sowie die bikubische Interpolation (siehe z.B. 4 der US 7,567,723 ).
  • All diese Interpolationsverfahren basieren auf der modelhaften Annahme, dass der Helligkeitswert eines Pixels jeweils in einem Punkt vorliegt. Zur Interpolation verwenden sie dann Funktionen, die die Helligkeitswerte an den punktförmigen Stellen der ersten Pixel annehmen, und ermitteln die Helligkeitswerte der zweiten Pixel jeweils an einer punktförmigen Stelle dieser Funktion. Dieser Vorgang wird z.B. in der 4 der US 7,567,723 gut verständlich bildlich dargestellt.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Der Erfindung liegt die Aufgabe zugrunde, eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter, z.B. mit einem Bayer-Pattern, für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln bereitzustellen, wobei die Bildverarbeitungseinrichtung es ermöglicht, für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe zu bestimmen, wodurch ein qualitativ hochwertiges Bild, vorzugsweise mit einer von der Größe der ersten Pixel abweichenden Pixelgröße, bei dem für jeden zweiten Pixel ein Farbwert der zweiten Farbe vorliegt, erzeugbar ist.
  • Gemäß einem ersten Aspekt der Erfindung wird eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln bereitgestellt, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe zu bestimmen, wobei die Bestimmung umfasst:
    • – für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters,
    • – Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und
    • – Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz.
  • Die Erfindung beruht darauf, dass in typischen Farbbildern die höheren Ortsfrequenzen im Wesentlichen durch die Helligkeit bedingt sind, während sich die Farbe in der Regel über das Bild nur sehr langsam, d.h., niederfrequent, verändert. Ausgehend von dieser Tatsache ist der Erfinder zu der Erkenntnis gelangt, dass sich aus Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln ein Farbwert der zweiten Farbe für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln mit hoher Qualität bestimmen lässt, wenn die höheren Frequenzen eines interpolierten Helligkeitswertes zu einem interpolierten rauscharmen Farbwert der zweiten Farbe hinzugefügt werden. Dabei genügt es, um Geometrieverzerrungen, die bei der Interpolation entstehen könnten, zu vermeiden, dass der Helligkeitswert an der Zwischenposition bestimmt wird, was anspruchsgemäß dadurch erreicht wird, dass die Filterkoeffizienten des lokalen Filters zum Bestimmen des Helligkeitswertes eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht. Die niederfrequentere Farbe kann gegebenenfalls auch mit einer einfacheren, vorzugsweise nur von der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition abhängigen Interpolation interpoliert werden, ohne dass dies die Qualität des erzeugten Bildes substantiell beeinträchtigen würde.
  • Der Begriff „lokal“ zeigt hier an, dass die bei der Interpolation verwendeten Filter eine endliche Filtergröße aufweisen. Nur mit einem Filter mit einer endlichen, d.h., beschränkten, Größe lässt sich mit endlicher Rechenzeit und/oder endlichem Ressourcenaufwand ein Ergebnis erzielen. Die lokalen Filter werden auf der Nachbarschaft der jeweiligen Zwischenposition, die jeweils mehrere der ersten Pixel umfasst, angewandt. Bevorzugt sind die lokalen Filter lineare Filter.
  • Der Mosaikfilter ist bevorzugt ein Mosaikfilter mit einem aus den Farben Rot (R), Grün (G) und Blau (B) bestehenden Bayer-Pattern, in dem Grün doppelt so häufig vertreten ist wie Rot bzw. Blau. Als „erste Farbe“ ist dann vorzugsweise Grün vorgesehen und als „zweite Farbe“ Rot bzw. Blau. Um sowohl für Rot als auch für Blau einen Farbwert zu bestimmen, kann das Bestimmen eines rauscharmen Farbwertes der zweiten Farbe durch Interpolation von Pixeln der zweiten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters und das Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz sowohl für Rot als auch für Blau durchgeführt werden. Zudem kann als Farbwert der ersten Farbe (Grün) an der Zwischenposition direkt der an der Zwischenposition bestimmte Helligkeitswert verwendet werden.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, einen von einer Vorzugsrichtung der Bilddaten in der Nachbarschaft der Zwischenposition abhängigen Richtungsschätzwert zu bestimmen und den Helligkeitswert in Abhängigkeit von dem Richtungsschätzwert zu bestimmen.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, den Richtungsschätzwert auf Basis von Differenzen von Farbwerten von Pixeln in horizontaler und vertikaler Richtung in der Nachbarschaft der Zwischenposition zu bestimmen.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, den Helligkeitswert in Abhängigkeit von dem Richtungsschätzwert als gewichtete Mittelung eines ersten Helligkeitswertes, der mittels eines lokalen Filters, der besonders zur Wiedergabe vertikaler Strukturen geeignet ist, bestimmt wird, und eines zweiten Helligkeitswertes, der mittels eines lokalen Filters, der besonders zur Wiedergabe horizontaler Strukturen geeignet ist, bestimmt wird, zu bestimmen.
  • Gemäß einer vorteilhaften Weiterbildung ist der lokale Filter zum Bestimmen des Helligkeitswertes durch zwei eindimensionale lokale Filter realisiert, die hintereinander in zwei zueinander orthogonalen Richtungen angewandt werden, wobei mittels des ersten eindimensionalen Filters eine Interpolation in der ersten orthogonalen Richtung realisiert wird und mittels des zweiten eindimensionalen Filters eine Interpolation der erhaltenen Interpolationswerte in der zweiten orthogonalen Richtung realisiert wird.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, die Bildung der Differenz mit einer Anwendung einer nichtlinearen Funktion zur Rauschbeeinflussung und/oder einer Bildschärfung durch Multiplikation mit einem Schärfewert zu kombinieren.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, zwei weitere rauscharme Farbwerte der ersten Farbe aus jeweils nur einem Teil der Pixel der ersten Farbe in der Nachbarschaft der Zwischenposition mittels jeweils eines lokalen Filters zu bestimmen und in Abhängigkeit von den zwei weiteren rauscharmen Farbwerten der ersten Farbe sowie der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition eine Korrektur von Farbaliasingartefakten für den rauscharmen Farbwert der zweiten Farbe durchzuführen.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, zur Durchführung der Korrektur von Farbaliasingartefakten für den rauscharmen Farbwert der zweiten Farbe eine Differenz der zwei weiteren rauscharmen Farbwerte der ersten Farbe zu bilden, eine Multiplikation mit dem Richtungsschätzwert durchzuführen, und eine Addition zu dem rauscharmen Farbwert der zweiten Farbe mit einem von der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition abhängigen Vorzeichen durchzuführen.
  • Gemäß einer vorteilhaften Weiterbildung erfüllen auch die Filterkoeffizienten des lokalen Filters zum Bestimmen des rauscharmen Farbwertes der ersten Farbe und/oder die Filterkoeffizienten des lokalen Filters zum Bestimmen des rauscharmen Farbwertes der zweiten Farbe die erste Bedingung, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht.
  • Gemäß einer vorteilhaften Weiterbildung ist die Bildverarbeitungseinrichtung ausgebildet, für zwei oder mehr zweite Pixel gleicher Größe an unterschiedlichen Zwischenpositionen zwischen den ersten Pixeln jeweils einen Farbwert der zweiten Farbe zu bestimmen, wobei jeder der lokalen Filter zum Bestimmen des Helligkeitswertes eine Mehrzahl von Filterkoeffizienten umfasst, wobei für zumindest einen der lokalen Filter mehr als einer der Filterkoeffizienten ungleich Null ist, und:
    • – die Summe der Quadrate der Filterkoeffizienten für jeden der lokalen Filter gleich einem konstanten Wert ist, der gemäß einer zweiten Bedingung für alle lokalen Filter gleich ist, wobei vorzugsweise der konstante Wert gemäß einer dritten Bedingung dem Quadrat einer Rauschverstärkung entspricht, wobei die Rauschverstärkung dem Produkt eines vorgegebenen Gains der zweiten Pixel relativ zu einem Gain der ersten Pixel und der Wurzel einer vorgegebenen relativen Pixelgröße entspricht, wobei die relative Pixelgröße dem Verhältnis der Größe der zweiten Pixel zu der Größe der ersten Pixel entspricht, und/oder
    • – die Filterkoeffizienten für jeden der lokalen Filter zusätzlich eine vierte Bedingung, dass die Summe der Filterkoeffizienten gleich einem konstanten Wert, vorzugsweise dem vorgegebenen Gain, ist, erfüllen.
  • Durch die Wahl von Filterkoeffizienten, die die zweite Bedingung erfüllen, ist es möglich durch die Interpolation die Helligkeitswerte für die zweiten Pixel so zu bestimmen, dass die zweiten Pixel in ihren Eigenschaften im Vergleich zu den Ergebnissen der bekannten Interpolationsverfahren besser dem entsprechen, was von „echten“ Pixeln zu erwarten wäre, da nämlich die Übertragung des Rauschens räumlich homogen erfolgt. Auf diese kann Weise beispielsweise eine periodische Änderung des Rauschens vermieden werden.
  • Da für zumindest einen der lokalen Filter mehr als einer der Filterkoeffizienten ungleich Null ist, kann eine „echte“ Interpolation realisiert werden, bei der der Helligkeitswert des zweiten Pixels auf Basis mehr als eines der ersten Pixel bestimmt wird. In Abhängigkeit von der Lage der unterschiedlichen Zwischenpositionen und/oder der Größe der zweiten Pixel können auch für mehr als einen der lokalen Filter, gegebenenfalls auch für jeden der lokalen Filter, mehr als einer der Filterkoeffizienten ungleich Null sein. Dabei ist der Begriff „Zwischenposition“ hier so zu verstehen, dass damit auch eine Position bezeichnet sein kann, die mit der Position eines der ersten Pixel zusammenfällt.
  • Je nachdem ob mit Hilfe der erfindungsgemäßen Interpolation eine Verringerung oder eine Vergrößerung der Auflösung der Bilddaten des Bildsensors erreicht werden soll, können abhängig von der Position in den Bilddaten und der gewünschten Stärke der Änderung eine oder mehrere der unterschiedlichen Zwischenpositionen zwischen unmittelbar benachbarten ersten Pixeln liegen.
  • Bei Erfüllung der dritten Bedingung erfolgt die Übertragung des Rauschens nicht nur räumlich homogen, sondern der Verstärkungswert für die Übertragung des Rauschens entspricht auch der gewünschten Größe der Ausgangspixel (zweite Pixel). Der Begriff „Verstärkung“ ist in diesem Zusammenhang so zu verstehen, dass er auch eine Abschwächung des Rauschens, d.h., eine Änderung des Rauschens um einen Faktor kleiner 1, oder ein Gleichbleiben des Rauschens (Faktor gleich 1) bedeuten kann.
  • Die dritte Bedingung kann wie folgt erläutert werden: Gemäß dem Pixelmodell des EMVA-Standards 1288 folgt die Photonen- und Photoelektronenstatistik jeweils einer Poissonverteilung. Wird nun die Größe eines Pixels um einen Faktor w (relative Pixelgröße) geändert, so steigen die Mittelwerte für die empfangenen Photonen µp und für die Photoelektronen µe unabhängig von einem Gain g um den Faktor w. Da die Mittelwerte μp und μe aufgrund der gegebenen Poissonverteilung gleich den zugehörigen Varianzen σ2 p und σ2 e sind, steigen auch diese um den Faktor w und entsprechend steigt das zugehörige Rauschen um die Wurzel aus w. Wird darauf nun der Gain der Eingangspixel (erste Pixel) und zusätzlich ein vorgegebener Gain g (siehe auch nachstehend) angewandt, so erhält man die Aussage, dass das Ausgangsrauschen gemessen in DN mit einem Faktor R (Rauschverstärkung) gleich g mal der Wurzel von w steigen sollte. Der Begriff „relative Pixelgröße“ ist hier so zu verstehen, dass sie eine Änderung der Fläche der zweiten Pixel relativ zu der Fläche der ersten Pixel beschreibt. Sind beispielsweise die zweiten Pixel sowohl in der Breite als auch in der Höhe 1,5 mal so groß wie die ersten Pixel ergibt sich die relative Pixelgröße w zu 1,5×1,5 gleich 2,25, d.h., die Fläche der zweiten Pixel ist jeweils um einen Faktor w gleich 2,25 im Vergleich zu der Fläche eines jeweiligen ersten Pixels vergrößert.
  • Über den Gain der lokalen Filter (vierte Bedingung) kann eine gewünschte Ausgangshelligkeit im Verhältnis zur Eingangshelligkeit festgesetzt werden. Beispielsweise kann gewünscht sein, dass die zweiten Pixel einen gleichen Conversion Gain K gemäß dem EMVA-Standard 1288 aufweisen wie die ersten Pixel. In diesem Fall wäre der Gain so zu wählen, dass er dem Reziproken der relativen Pixelgröße entspricht. Es kann aber beispielsweise auch gewünscht sein, dass das Ausgangsbild (zweite Pixel) eine gleiche Helligkeit gemessen in DN aufweist wie das Eingangsbild (erste Pixel). In diesem Fall wäre der Gain gleich 1 zu wählen.
  • Gemäß einer vorteilhaften Weiterbildung umfasst die Bildverarbeitungseinrichtung ein Einstellelement zum Einstellen zumindest der relativen Pixelgröße, z.B. 1,5×1,5, wenn die zweiten Pixel sowohl in der Breite als auch in der Höhe 1,5 mal so groß sein sollen wie die ersten Pixel, wobei die Bildverarbeitungseinrichtung ausgebildet ist, die Filterkoeffizienten der lokalen Filter basierend auf der eingestellten relativen Pixelgröße festzulegen. Dies führt zu einer großen Flexibilität, da die Filterkoeffizienten zum Bestimmen des Helligkeitswertes nicht im Voraus bestimmt werden müssen, sondern beispielsweise in einer digitalen Kamera, die einen Bildsensor mit einer regelmäßigen Anordnung von ersten Pixeln zur Erzeugung von Bilddaten und die erfindungsgemäße Bildverarbeitungseinrichtung zum Verarbeiten der Bilddaten des Bildsensors umfasst, bei der Konfiguration der digitalen Kamera (oder sogar während des Betriebs) basierend auf der z.B. durch einen Nutzer der digitalen Kamera eingestellten relativen Pixelgröße festgelegt werden können. Zusätzlich zu der relativen Pixelgröße ist bevorzugt auch der Gain der zweiten Pixel relativ zu einem Gain der ersten Pixel durch das Einstellelement einstellbar, wobei die Bildverarbeitungseinrichtung dann vorzugsweise ausgebildet ist, die Filterkoeffizienten der lokalen Filter basierend auf der eingestellten relativen Pixelgröße und dem eingestellten Gain festzulegen. Darüber hinaus kann es vorteilhafterweise ebenfalls vorgesehen sein, dass auch die Auflösung des Ausgangsbildes (zweite Pixel) über das Einstellelement einstellbar ist. In diesem Fall ergibt sich die Auflösung nicht automatisch aus dem Verhältnis der Größe der zweiten Pixel zu der Größe der ersten Pixel, sondern sie kann separat vorgegeben werden. Damit lassen sich Anwendungen realisieren, bei denen die digitale Kamera beispielsweise zunächst mit einer hohen Bildwiederholfrequenz oder mit einer geringen Datenrate Bilder einer niedrigen Auflösung überträgt und nur dann, wenn in den Bildern ein Ereignis detektiert wird, dieselbe Kamera ein hochauflösendes Bild erzeugt, in dem mehr Details, z.B., ein Nummernschild, erkennbar sind. Das Einstellelement kann z.B. ein Regler, wie etwa ein Schieberegler oder ein Drehregler, ein Register, eine digitale Schnittstelle oder dergleichen umfassen.
  • Gemäß einem weiteren Aspekt der Erfindung wird eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln einer ersten Pixelgröße zum Erzeugen von Bilddaten umfassend zweite Pixel einer zweiten Pixelgröße bereitgestellt, wobei die zweite Pixelgröße ein nicht ganzzahliges Vielfaches der ersten Pixelgröße ist, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für jeden zweiten Pixel einen Farbwert zu berechnen.
  • Auf diese Weise können durch Verarbeitung der von dem Bildsensor erzeugten Bilddaten, die Pixel einer ersten Pixelgröße umfassen, Bilddaten erzeugt werden, die zweite Pixel einer zweiten Pixelgröße umfassen, die im Wesentlichen dem entsprechen, was von „echten“ Pixeln der zweiten Pixelgröße zu erwarten wäre, wobei die zweite Pixelgröße ein nicht ganzzahliges Vielfaches der ersten Pixelgröße ist. Wenn man die erzeugten Bilddaten auf die im EMVA-Standard 1288 angegebene Weise unter Annahme der zweiten Pixelgröße untersucht, erhält man also Werte, die im Wesentlichen dem entsprechen, was von einem dem Bildsensor entsprechenden Bildsensor mit einer regelmäßigen Anordnung von Pixeln der zweiten Pixelgröße zu erwarten wäre.
  • Es ist hier insbesondere bevorzugt, dass die Verarbeitung die Quanteneffizienz der zweiten Pixel im Vergleich zu der Quanteneffizienz der ersten Pixel im Wesentlichen unverändert lässt. In diesem Fall weicht der Wert der Quanteneffizienz der zweiten Pixel in Prozent um weniger als plus/minus 10, bevorzugt weniger als plus/minus 5, noch bevorzugter weniger als plus/minus 2, von der Quanteneffizienz der ersten Pixel ab. Wenn also zum Beispiel die Quanteneffizient der ersten Pixel – gemessen nach dem EMVA-Standard 1288 bei einer nominellen Wellenlänge, vorzugsweise der Wellenlänge, bei der die Quanteneffizienz des Bildsensors maximal ist – 60% beträgt, dann beträgt die Quanteneffizienz der zweiten Pixel – auf entsprechende Weise nach dem EMVA-Standard 1288 bei derselben nominellen Wellenlänge gemessen – zwischen 50% und 70%, bevorzugt zwischen 55% und 60%, noch bevorzugter zwischen 58% und 62%. Es ist ferner bevorzugt, dass die Bildverarbeitungseinrichtung die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 11 ist.
  • Gemäß einem weiteren Aspekt der Erfindung wird eine Digitalkamera bereitgestellt, wobei die Digitalkamera umfasst:
    • – einen Bildsensor mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln zur Erzeugung von Bilddaten; und
    • – die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 12 zum Verarbeiten der Bilddaten des Bildsensors.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Bildverarbeitungsverfahren zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln bereitgestellt, wobei das Bildverarbeitungsverfahren für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe bestimmt, wobei die Bestimmung umfasst:
    • – für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters,
    • – Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und
    • – Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer Differenz zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe.
  • Gemäß einem weiteren Aspekt der Erfindung wird eine Computervorrichtung bereitgestellt, wobei die Computervorrichtung eine Recheneinheit umfasst, die zur Durchführung des Bildverarbeitungsverfahrens nach Anspruch 14 ausgestaltet ist.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm-Produkt bereitgestellt, wobei das Computerprogramm-Produkt Codemitteln umfasst zum Veranlassen einer Computervorrichtung zum Ausführen des Bildverarbeitungsverfahrens nach Anspruch 14, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
  • Es versteht sich, dass die Bildverarbeitungseinrichtung nach Anspruch 1, die Digitalkamera nach Anspruch 13, das Bildverarbeitungsverfahren nach Anspruch 14, die Computervorrichtung nach Anspruch 15 und das Computerprogramm-Produkt nach Anspruch 16 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
  • Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei
  • 1 schematisch und exemplarisch den Aufbau einer Digitalkamera zeigt,
  • 2 schematisch und exemplarisch zwei verschiedene Binning-Vorgänge zeigt,
  • 3 schematisch und exemplarisch ein Beispiel für ein nicht ganzzahliges, rationales Vielfaches der Seitenlängen der zweiten Pixel im Verhältnis zu den Seitenlängen der ersten Pixel zeigt,
  • 4 schematisch und exemplarisch zeigt, wie aus einem Eingangsbild mit einem Mosaikfilter auf einer regelmäßigen Anordnung von ersten Pixeln ein Ausgangsbild mit zweiten Pixeln einer anderen Pixelgröße und mit mehreren Farbwerten pro Pixel erzeugt werden soll,
  • 5 schematisch und exemplarisch eine mehrere der ersten Pixel umfassende Nachbarschaft einer Zwischenposition zur Bestimmung des Signalwertes eines zweiten Pixels durch Interpolation mittels eines lokalen Filters zeigt,
  • 6 schematisch und exemplarisch die Verwendung zweier unterschiedlicher Pixelgrößen w und wc zur Rekonstruktion eines Farbbildes zeigt,
  • 7 schematisch und exemplarisch ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der Erfindung zeigt,
  • 8 schematisch und exemplarisch die Probleme der Farbrekonstruktion im zwei-dimensionalen Frequenzdiagramm zeigt,
  • 9 schematisch und exemplarisch die Bestimmung eines Helligkeitswertes durch sequentielle Ausführung einer vertikalen und einer horizontalen Interpolation zeigt,
  • 10 schematisch und exemplarisch die Bestimmung eines Helligkeitswertes durch sequentielle Ausführung einer horizontalen und einer vertikalen Interpolation zeigt,
  • 11 schematisch und exemplarisch eine Bestimmung eines von einer Vorzugsrichtung der Bilddaten in der Nachbarschaft der Zwischenposition abhängigen Richtungsschätzwerts zeigt,
  • 12 schematisch und exemplarisch zeigt, wie mit dem Richtungsschätzwert ein Blending durchgeführt wird,
  • 13 schematisch und exemplarisch ein Bildverarbeitungsverfahren gemäß einer erweiterten Ausführungsform der Erfindung zeigt,
  • 14 schematisch und exemplarisch Diagramme mit nichtlinearen Funktionen N zur Rauschbeeinflussung zeigt,
  • 15 schematisch und exemplarisch die Erzeugung eines Ausgangsbildes mit einem Muster entsprechend einem Mosaikfilter zeigt,
  • 16 schematisch und exemplarisch eine Situation zeigt, in der bei der Interpolation der Farbwerte G1, R1, B1, G3 und G4 für die größeren Pixel auf die Erfüllung der ersten Bedingung verzichtet wird, und
  • 17 schematisch und exemplarisch die Verwendung fester Filtermatrizen für die Bestimmung der größeren Pixel zeigt.
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird gegebenenfalls im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
  • 4 zeigt schematisch und exemplarisch, wie aus einem Eingangsbild mit einem Mosaikfilter, hier mit einem Bayer-Pattern, auf einer regelmäßigen Anordnung von ersten Pixeln 50 ein Ausgangsbild mit zweiten Pixeln 51 einer anderen Pixelgröße und mit mehreren Farbwerten pro Pixel erzeugt werden soll. In der 4(a) sieht man das aus den Farben Rot (R), Grün (G) und Blau (B) bestehende Bayer-Pattern, in dem Grün doppelt so häufig vertreten ist wie Rot bzw. Blau. 4(b) zeigt die Überlagerung des Bayer-Patterns mit gestrichelt dargestellten Ausgangspixeln (zweite Pixel). Es ist erkennbar, dass die Ausgangspixel sowohl eine andere Position – typischerweise eine Zwischenposition zwischen den ersten Pixeln – als auch eine andere Größe aufweisen als die Eingangspixel (erste Pixel). Genau wie in der 3 dienen die Zwischenräume zwischen den Ausgangspixeln lediglich der besseren Erkennbarkeit. Die 4(c) zeigt, dass im Ausgangsbild jeder Pixel 51 mit R, G und B mehrere Farbwerte aufweist.
  • Bei der Interpolation von Bilddaten eines Bildsensors mit einem Mosaikfilter besteht grundsätzlich die Schwierigkeit, dass nebeneinander liegende Eingangspixel (erste Pixel) 50 im Allgemeinen unterschiedliche Farben aufweisen und so die Interpolation ein und derselben Farbe behindern. Nichtsdestotrotz lassen sich mit den Methoden gemäß der Erfindung qualitativ hochwertige Bilder, vorzugsweise mit einer von der Größe der ersten Pixel abweichenden Pixelgröße, bei denen für jeden zweiten Pixel ein oder mehrere Farbwerte vorliegen, erzeugen. Wie im Folgenden beschrieben wird, erfolgt die Bestimmung eines Farbwertes für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln in Anlehnung an die DE 10 2013 000 301 vorzugsweise auf Grundlage einer Verarbeitung von Pixeln einer Nachbarschaft bzw. Nachbarschaftumgebung der Zwischenposition auf monolithische Weise, d.h., mit einem Prozess, bei dem alle erforderlichen Operationen nur auf der Nachbarschaft durchgeführt werden. Bei Wahl einer geeigneten Größe der Nachbarschaft reduziert sich auf diese Weise der Speicher- und Rechenbedarf, so wie dies auch in der DE 10 2013 000 301 erläutert ist.
  • 5 zeigt schematisch und exemplarisch eine mehrere der ersten Pixel 60 umfassende Nachbarschaft einer Zwischenposition 62 zur Bestimmung des Signalwertes (Helligkeitswertes, Farbwertes) eines zweiten Pixels 61 durch Interpolation mittels eines lokalen Filters. In dem hier gezeigten Beispiel beträgt die Größe der Nachbarschaft 4×4 Eingangspixel (erste Pixel) 60 zur Berechnung des Signalwertes des Ausgangspixels (zweiter Pixel) 61. Dabei ist die Nachbarschaft so gewählt, dass die Zwischenposition 62, die dem Mittelpunkt des zweiten Pixels 61 entspricht, in einem Zentralquadrat 65 der Nachbarschaft gelegen ist. In dem gezeigten Fall werden die Eingangspixel 63 über zwei Zählvariablen i und j indiziert. Die relative Position des Ausgangspixels 61 wird ohne Beschränkung der Allgemeinheit über die beiden Positionswerte x und y in Bezug auf die gewählte Nachbarschaft beschrieben. Die Wertebereich sind hier –1 ≤ x ≤ 2 und –1 ≤ y ≤ 2. Dabei wird der erste Pixel 63 als Referenzeingangspixel mit der Position x = 0 und y = 0 gewählt.
  • Die Größe der Nachbarschaft 60 ist gleich der Größe des lokalen Filters. Die Filtergröße ist hier so gewählt, dass einerseits der zweite Pixel 61 mit der gewünschten Pixelgröße w bei der Interpolation vollständig innerhalb der Nachbarschaft bzw. innerhalb des lokalen Filters gelegen ist, und dass andererseits kein zu großer Rechenaufwand durch eine zu große Wahl der Nachbarschaft entsteht. Weiterhin ist es vorteilhaft, die Breite und Höhe der Nachbarschaft jeweils gleich groß zu wählen, so dass nachteilige Anisotropie-Effekte vermieden werden. Schließlich ist es von Vorteil, die Nachbarschaft um das Zentralquadrat 65 herum symmetrisch zu wählen. Diese Symmetrie vereinfacht die Berechnung, vermeidet unnötigen Rechenaufwand und trägt wiederum zur Vermeidung nachteiliger Anisotropie-Effekte bei. Für Werte der gewünschten Pixelgröße des zweiten Pixels von w kleiner oder gleich 1,5×1,5 der Pixelgröße der ersten Pixel (im Folgenden auch als „relative Pixelgröße“ bezeichnet) wird die Größe der Nachbarschaft zum Erzielen der vorgenannten Vorteile vorzugsweise wie in der 5 gezeigt zu 4×4 gewählt. Für größere Werte der relativen Pixelgröße wird eine geeignete größere, quadratische Nachbarschaft mit einer geraden Anzahl an ersten Pixeln pro Seitenlänge vorgeschlagen, beispielsweise 6×6, 8×8, 10×10 usw.
  • Wie vorstehend beschrieben, ist es gemäß der Erfindung vorgesehen, dass für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln ein Farbwert der zweiten Farbe, z.B. Rot bzw. Blau, bestimmt wird. Da bei dem Bildsensor mit dem Mosaikfilter aber nur ein Teil der Pixel, z.B. horizontal und vertikal nur jeder zweite Pixel, für die zweite Farbe vorgesehen ist, lassen sich hohe Ortsfrequenzen durch eine Interpolation von Pixeln der zweiten Farbe in der Nachbarschaft der Zwischenposition nicht korrekt wiedergeben. Dies führt zu einer Minderung der Bildqualität. Die Wiedergabe höherer Frequenzen wird nun anspruchsgemäß dadurch erreicht, dass (i) für sowohl eine erste Farbe, z.B. Grün, als auch die zweite Farbe, z.B. Rot bzw. Blau, ein rauscharmer Farbwert der Farbe durch Interpolation von Pixeln der Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters bestimmt wird, dass (ii) ein Helligkeitswert an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters bestimmt wird, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und dass (iii) der Farbwert der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz bestimmt wird.
  • Dadurch, dass auf die vorstehend beschriebene Art und Weise die höheren Frequenzen eines interpolierten Helligkeitswertes zu einem interpolierten rauscharmen Farbwert der zweiten Farbe hinzugefügt werden, lässt sich ein Farbwert der zweiten Farbe für den zweiten Pixel an der Zwischenposition zwischen den ersten Pixeln mit hoher Qualität bestimmen. In einer bevorzugten Realisierung wird der Helligkeitswert an der Zwischenposition so interpoliert, dass er im Hinblick auf den Zusammenhang zwischen Signal und Rauschen vorzugsweise dem entspricht, was gemäß dem linearen Model eines Pixels aus dem Standard 1288 der European Machine Vision Association, dem sogenanntem EMVA-Standard 1288 (Release 3.0 vom 29. November 2010), von einem Pixel der gewünschten Pixelgröße w des zweiten Pixels zu erwarten wäre. Demgegenüber wird der rauscharme Farbwert sowohl der ersten Farbe (z.B. Grün) als auch der zweiten Farbe (z.B. Rot bzw. Blau) vorteilhafterweise so interpoliert, dass Signal und Rauschen dem entsprechen, was von einem Pixel mit einer größeren Pixelgröße wc zu erwarten wäre. Wie die gewünschten Signal-Rausch-Zusammenhänge durch eine entsprechende Wahl der lokalen Filter erzielt werden können und welche Effekte bzw. Vorteile dies hat, wird nachstehend noch genauer beschrieben.
  • Die Verwendung zweier unterschiedlicher Pixelgrößen w und wc zur Rekonstruktion eines Farbbildes ist schematisch und exemplarisch in der 6 gezeigt. In dieser Darstellung wird in der Nachbarschaft 90 der Zwischenposition 91 der Helligkeitswert entsprechend einem Pixel 92 der kleineren Größe w mit der Zwischenposition 91 als Mittelpunkt interpoliert und die rauscharmen Farbwerte sowohl der ersten Farbe (z.B. Grün) als auch der zweiten Farbe (z.B. Rot bzw. Blau) werden entsprechend einem Pixel 93 der größeren Größe wc ebenfalls mit der Zwischenposition 91 als Mittelpunkt interpoliert. Dadurch, dass die Pixelgröße wc für die erste Farbe und die zweite Farbe gleich gewählt wird, weisen die interpolierten Farbwerte für diese Farben in vorteilhafter Weise ein sich entsprechendes bzw. zumindest vergleichbares Frequenzverhalten auf. Daher „passt“ die zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz frequenzmäßig sehr gut zu dem rauscharmen Farbwert der zweiten Farbe und die Summe der beiden liefert ein qualitativ hochwertigen Farbwert der zweiten Farbe an der Zwischenposition 91.
  • Es sei noch angemerkt, dass der Erfinder in Experimenten mit einer Vielzahl realer Bilder festgestellt hat, dass es genügt, um Geometrieverzerrungen, die bei der Interpolation entstehen könnten, zu vermeiden, dass der Helligkeitswert an der Zwischenposition 91 bestimmt wird, was anspruchsgemäß dadurch erreicht wird, dass die Filterkoeffizienten des lokalen Filters zum Bestimmen des Helligkeitswertes eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht. Die niederfrequentere Farbe kann gegebenenfalls auch mit einer einfacheren, vorzugsweise nur von der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition abhängigen Interpolation interpoliert werden, ohne dass dies die Qualität des erzeugten Bildes substantiell beeinträchtigen würde. Auch dies wird nachstehend noch genauer beschrieben.
  • 7 zeigt schematisch und exemplarisch ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der Erfindung. Für die Nachbarschaft 80 werden die Grünpixel 81 (erste Farbe), die Rotpixel 82 und die Blaupixel 83 (jeweils zweite Farbe) betrachtet und auf die vorstehend geschilderte Weise werden ein Grünpixel G1, ein Rotpixel R1 und ein Blaupixel B1 (rauscharme Farbwerte) entsprechend einem Pixel der größeren Größe wc interpoliert. Aus Darstellungsgründen ist die Nachbarschaft 80 mit der Größe 4×4 dargestellt. Selbstverständlich kann diese auch eine andere Größe, beispielsweise 6×6, 8×8, 10×10 usw., aufweisen.
  • Weiterhin wird aus zumindest der ersten Farbe (in diesem Fall Grün), die hier mit einer höheren Auflösung vorliegt, ein Helligkeitswert Y entsprechend einem Pixel der kleineren Größe w (d.h., der Pixelgröße des gewünschten zweiten Pixels) an der Zwischenposition interpoliert und die Differenz 88 des Signals Y – G1 zu den Farbwerten G1, R1 und B1 mit der größeren Pixelgröße wc hinzuaddiert. Dadurch werden die Farbwerte R2, G2 und B2 für den zweiten Pixel an der Zwischenposition erhalten.
  • Da sich gemäß der vorstehend genannten Gleichungen der Farbwert G2 aus dem Term Y – G1 + G1 ergibt, kann vereinfachend G2 direkt mit Y gleichgesetzt werden. Daher ist in der 7 keine Berechnung von G2 mittels einer Addition sondern eine direkte Zuweisung 89 gezeigt. Die Bezugszeichen 87a und 87b deuten an, dass der Helligkeitswert Y in einer ersten möglichen Variante lediglich aus den Pixel der ersten Farbe (in diesem Fall Grün) interpoliert wird, während er in zweiten möglichen Variante sowohl aus Pixeln der ersten Farbe als auch aus Pixeln der zweiten Farbe (in diesem Fall Rot bzw. Blau) interpoliert wird.
  • 8 zeigt schematisch und exemplarisch die Probleme der Farbrekonstruktion im zwei-dimensionalen Frequenzdiagramm. Dabei sind horizontal die horizontalen Frequenzen fx und vertikal die vertikalen Frequenzen fy jeweils beginnend bei 0 aufgetragen. fN ist die Nyquistfrequenz der Eingangsbilddaten ohne Berücksichtigung der Farbfilter. Der rote und der blaue Farbkanal weisen bei einem Mosaikfilter mit einem Bayer-Pattern jeweils in horizontaler und in vertikaler Richtung nur jeden zweiten Pixel auf. Dadurch verringert sich jeweils ihre horizontale und ihre vertikale Nyquistfrequenz um die Hälfte auf jeweils den Wert ½ fN. Somit können der rote und der blaue Farbkanal nach dem Abtasttheorem jeweils nur das Frequenzareal 170 korrekt erfassen. Dahingegen weist der grüne Farbkanal eine schachbrettförmige Anordnung von Grünpixeln auf, durch die sich eine diagonal verlaufende Nyquistgrenze 173 für grüne Pixel ergibt. Damit sind für Grün die Frequenzareale 170, 171 und 172 korrekt erfassbar. Das Frequenzareal 174 ist hingegen für keine der Farben korrekt zu erfassen. Eine grundsätzliche Idee des Erfinders besteht darin, nur für das Frequenzareal 170 eine Farbrekonstruktion durchzuführen und für die Frequenzareale 171 und 172 eine farbfreie, d.h. unbunte Rekonstruktion.
  • Die Wahl einer größeren Pixelgröße wc zur in der 7 gezeigten Rekonstruktion der Farbkanäle R1, G1 und B1 hat nun folgenden Vorteil: Da Pixel einfallendes Licht über ihre Pixelfläche integrieren, lassen sie sich in ihrem Frequenzverhalten als Boxfilter verstehen. Dies ist beispielsweise beschrieben in J. R. Janesick: „Scientific Charge-Coupled Devices", SPIE Press, 2001, Kapitel 4.2.2. Größere Pixel wirken somit grundsätzlich stärker als Tiefpassfilter und weisen daher ein geringeres Rauschen auf, wodurch sich die in der DE 10 2013 000 301 erläuterten Vorzüge des geringeren Farbrauschens ergeben. Es ist daher gemäß der Erfindung vorteilhafterweise vorgesehen, die Größe wc der Pixel auf die Nyquistfrequenz der roten und blauen Farbkanäle 82 und 83 abzustimmen.
  • Demgegenüber weisen Pixel der kleineren Größe w ein geringeres Tiefpassverhalten auf als größere Pixel und enthalten daher mehr hohe Raumfrequenzanteile. Daher lassen sich hohe Frequenzen, z.B. aus den Frequenzarealen 171 und 172, damit besser darstellen. Aufgrund des abweichenden Frequenzverhaltens der Tiefpasswirkung großer und kleiner Pixel ergibt die Bildung der Differenz 84 Y – G1 damit ein Hochpassverhalten.
  • Wie vorstehend beschrieben, kann der Helligkeitswert Y auf Grundlage lediglich der Grünpixel 81 in einem Schritt 87a interpoliert werden. Alternativ kann die Interpolation allerdings auch auf Grundlage der Pixel der Nachbarschaft 80 in einem Schritt 87b vorgenommen werden und somit auch Pixel anderer Farben (z.B. Rot und/oder Blau) mit einbeziehen.
  • In einer bevorzugten Realisierung ist die Bildverarbeitungseinrichtung ausgebildet, für zwei oder mehr zweite Pixel gleicher Größe w an unterschiedlichen Zwischenpositionen zwischen den ersten Pixeln jeweils einen Farbwert der zweiten Farbe zu bestimmen, wobei jeder der lokalen Filter zum Bestimmen des Helligkeitswertes eine Mehrzahl von Filterkoeffizienten umfasst, wobei für zumindest einen der lokalen Filter mehr als einer der Filterkoeffizienten ungleich Null ist, und die Summe der Quadrate der Filterkoeffizienten für jeden der lokalen Filter gleich einem konstanten Wert ist, der gemäß einer zweiten Bedingung für alle lokalen Filter gleich ist. Vorzugsweise entspricht der konstante Wert gemäß einer dritten Bedingung dem Quadrat einer Rauschverstärkung, wobei die Rauschverstärkung dem Produkt eines vorgegebenen Gains der zweiten Pixel relativ zu einem Gain der ersten Pixel und der Wurzel einer vorgegebenen relativen Pixelgröße entspricht, wobei die relative Pixelgröße dem Verhältnis der Größe der zweiten Pixel zu der Größe der ersten Pixel entspricht. Zusätzlich oder alternativ können die Filterkoeffizienten für jeden der lokalen Filter auch eine vierte Bedingung, dass die Summe der Filterkoeffizienten gleich einen konstanten Wert, vorzugsweise dem vorgegebenen Gain, ist, erfüllen.
  • 9 zeigt schematisch und exemplarisch die Bestimmung eines Helligkeitswertes durch sequentielle Ausführung einer vertikalen und einer horizontalen Interpolation. Hier werden basierend auf der Nachbarschaft 80 in einem ersten Schritt 100 die Spalten a, b, c und d getrennt betrachtet. Diese Spalten weisen jeweils abwechselnd einen Grünwert und einen Wert einer anderen Farbe X auf, wobei diese andere Farbe innerhalb jeder Spalte jeweils gleich und entweder Rot oder Blau ist. Eine Interpolation über diese Spalten kann dadurch vorgenommen werden, dass jedes Element der Spalte mit einem zugeordneten Filterwert multipliziert und die daraus erhaltenen Produkte summiert werden.
  • Auf diese Weise können in vertikalen Interpolationsschritten 101 bis 104 die spaltenweisen Interpolationswerte Ya, Yb, Yc und Yd ermittelt werden. Diese sind derselben Farbe zugeordnet und aus ihnen kann, gegebenenfalls unter Erfüllung zusätzlich der zweiten, dritten und/oder vierten Bedingung, in einem horizontalen Interpolationsschritt 105 der Helligkeitswert Y 106 für einen Pixel der Größe w an der gewünschten Zwischenposition ermittelt werden. Soll die vierte Bedingung erfüllt werden, ist es zudem vorteilhaft, wenn die Summe der den grünen Pixeln zugeordneten Filterkoeffizienten gleich dem konstanten Wert (z.B., vorgegebenen Gain) ist und die Summe der den nicht-grünen Pixeln zugeordneten Filterkoeffizienten den Wert Null annimmt. Dadurch wird sichergestellt, dass die erzielte Helligkeit farbunabhängig ist und Artefakte an Farbkanten vermieden werden können.
  • Da die vertikalen Interpolationen 101 bis 104 jeweils auf Eingangsdaten mit zwei abwechselnden Farben G und X beruhen, gelingt mit ihnen eine Rekonstruktion hoher Frequenzen nicht so gut, wie mit der horizontalen Interpolation 105. Daher ist es gemäß der Erfindung vorgeschlagen, die vorstehend beschriebene Interpolation vor allem dann zu nutzen, wenn das Eingangsbild mehr horizontale als vertikale Frequenzen enthält. Das ist dann der Fall, wenn die Strukturen in dem durch die Nachbarschaft 80 abgedeckten Teil des Eingangsbildes im Wesentlichen eine vertikale Richtung aufweisen. Aus diesem Grund ist zur Veranschaulichung der Hintergrund des Symbols für 106 vertikal schraffiert.
  • Im entgegengesetzten Fall – also bei stärker horizontal verlaufende Strukturen mit einem höherem Anteil an vertikalen als an horizontalen Frequenzen – bietet es sich an, bei der Interpolation die Reihenfolge der Richtungen umzukehren. Das ist schematisch und exemplarisch in der 10 dargestellt. Hier erfolgt eine horizontale Interpolation der Zeilen a, b, c, und d in horizontalen Interpolationsschritten 111 bis 114. Auch hierfür ist vorteilhafterweise die Erfüllung der vorgenannten auch der zweiten bis dritten Bedingung vorgeschlagen. Anschließend erfolgt eine vertikale Interpolation und es wird ein Helligkeitswert Y 116 für einen Pixel der Größe w an der gewünschten Zwischenposition erhalten, der hier angesichts der im Wesentlichen horizontalen Vorzugsrichtung der Struktur horizontal schraffiert dargestellt ist.
  • Da die in den 9 und 10 dargestellten Interpolationen abhängig von der Vorzugsrichtung der Eingangsbilddaten in der Nachbarschaft der Zwischenposition erfolgen, ist es zweckmäßig, einen hiervon abhängigen Richtungsschätzwert zu bestimmen. Dies ist schematisch und exemplarisch in der 11 gezeigt. Dabei wird ausgehend von der Nachbarschaft 120 für diejenigen Pixel, für die das möglich ist, jeweils der Differenzbetrag der horizontalen Nachbarn berechnet. Der Vergleich der direkten Nachbarn hat den Vorteil, dass diese jeweils dieselbe Farbe aufweisen und so der Differenzbetrag keine Anfälligkeit gegenüber Farbtönen besitzt. Dies ist gezeigt für den Pixel G12. Dieser hat den linken Nachbarn B11 und den rechten Nachbarn B13, die beide zur selben Farbe Blau gehören. Von B11 und B13 wird die Differenz 121 gebildet und deren Betrag 122 ermittelt. Als Ergebnis wird der blaue horizontale Differenzbetrag dBh12 für die Position des Pixels G12 erhalten. Auf die gleiche Art und Weise werden auch alle anderen horizontalen Differenzbeträge der Matrix 124 erhalten. Für die Pixel 123 der linken bzw. rechten Randspalte können keine zugeordneten horizontalen Differenzbeträge ermittelt werden, weil ihr linker bzw. rechter Nachbar nicht mehr in der Nachbarschaft 120 vorhanden ist. Ihre jeweiligen Werte können einfach auf Null gesetzt werden und sind in der 11 leer dargestellt.
  • Die Matrix 124 wird nun mit einer Filtermatrix 127 in Form eines Frobenius-Skalarproduktes 128 unter Erhalt des Wertes DH multipliziert, d.h., die Einträge der Matrix 124 werden elementweise mit dem entsprechenden Filterkoeffizienten der Matrix 127 multipliziert und die erhaltenen Produkte werden zu einem skalaren Maß für die horizontalen Differenzen DH addiert. Dabei ist es zweckmäßig, die Filterkoeffizienten so zu wählen, dass bei horizontaler bzw. vertikaler Verschiebung der Nachbarschaft 120 im Bild die Zeilen- bzw. Spaltensumme der jeweils einer Farbe zugeordneten Filterkoeffizienten für alle Farben jeweils gleich bleibt. Dadurch können sogenannte Reißverschlussartefakte vermieden werden.
  • Auf ähnliche Weise wird für den Pixel G12 die Differenz 125 der vertikalen Nachbarn R02 und R22 ermittelt und ihr Betrag 126 bestimmt. Dadurch wird der rote vertikale Differenzbetrag dRv12 erhalten. Auf die gleiche Art und Weise werden auch alle anderen vertikalen Differenzbeträge der Matrix 124 erhalten. Mangels entsprechender vertikaler Nachbarn kann für die obere und für die untere Zeile kein vertikaler Differenzbetrag ermittelt werden, ihre jeweiligen Werte können einfach auf Null gesetzt werden und sind in der 12 leer dargestellt. Die Matrix 124 wird in Form eines Frobenius-Skalarproduktes 130 mit der Matrix der Filterkoeffizienten 129 multipliziert, wodurch ein Maß für die vertikalen Differenzen DV erhalten wird. Es ist zweckmäßig, die Koeffizienten der Matrix 129 auf die gleiche Weise zu wählen, wie die Koeffizienten der Matrix 124. Dabei ist es zweckmäßig, die Filterkoeffizienten so zu wählen, dass bei horizontaler bzw. vertikaler Verschiebung der Nachbarschaft 120 im Bild die Zeilen- bzw. Spaltensumme der jeweils einer Farbe zugeordneten Filterkoeffizienten für alle Farben jeweils gleich bleibt. Dadurch können sogenannte Reißverschlussartefakte vermieden werden.
  • Die beiden Maße für die horizontale und vertikale Differenz DH und DV werden miteinander verglichen, z.B. durch eine Differenzbildung 131. Die dabei enthaltene Differenz kodiert die Vorzugsrichtung der Bilddaten durch ihr Vorzeichen. Ist sie Null, ist keine ermittelbare Vorzugsrichtung vorhanden.
  • Wird nun das Ergebnis der Differenzbildung zur Auswahl eines der beiden Helligkeitswerte 106 und 116 genutzt, so kann es bei einer zeitlichen Abfolge von Eingangsbildern, beispielsweise in einer Videosequenz, dazu kommen, dass aufgrund des vorhandenen Bildrauschens für eine Bildposition ein nicht stabiler, d.h. in zufälliger Weise innerhalb der Bildfolge das Vorzeichen wechselnder Differenzwert ermittelt wird. Dies führt dazu, dass in ebenso zufälliger Weise innerhalb der Bildfolge einer der beiden Helligkeitswerte 106 und 116 ausgewählt wird, was sich bei einem ungünstigen Bildinhalt als störendes Pixelblinken im Ausgangsbild bemerkbar machen kann.
  • Es ist daher hier vorgesehen, ein stetiges Überblenden zwischen beiden Werten zu realisieren. Dazu wird das Ergebnis der Differenzbildung 131 mit einem Skalierungsfaktor DF multipliziert 132 und anschließend durch Anwendung einer nichtlinearen Clipping-Funktion 133 ein Richtungsschätzwert D erhalten. Im gezeigten Beispiel führt die Clipping-Funktion ein Clipping auf die Werte –1 und 1 durch. Dies kann beispielsweise durch eine Funktion fc(x) = max(–1, min(1, x)) realisiert werden. Dadurch nimmt D bei einer klaren Vorzugsrichtung den Wert –1 oder den Wert 1 an, je nachdem, ob die Vorzugsrichtung vertikal oder horizontal ist. Liegt keine klare Vorzugsrichtung vor, so ergibt sich ein stetiger Übergang zwischen den beiden genannten Werten.
  • 12 zeigt schematisch und exemplarisch, wie mit dem Richtungsschätzwert D ein Blending durchgeführt wird. Dazu werden die beiden Helligkeitswerte 140 und 141, die den Werten 106 und 116 in den 9 und 10 entsprechen, der Auswahl 142 zugeführt, welche durch den Wert D gesteuert wird. Dadurch wird ein Ausgangshelligkeitswert 144 mit einer hohen Bildqualität erhalten.
  • Das Blending kann so ausgeführt werden, dass in Abhängigkeit des Richtungsschätzwertes D eine gewichtete Mittelung zwischen den beiden Y-Werten 140 und 141 durchgeführt wird. Für das gezeigte Beispiel, in dem D den Wertebereich von –1 bis 1 abdeckt, bietet es sich an, den Mittelwert der beiden Y-Werte zu berechnen und dazu die halbe Differenz der beiden Y-Werte mit D multipliziert zu addieren.
  • 13 zeigt schematisch und exemplarisch ein Bildverarbeitungsverfahren gemäß einer erweiterten Ausführungsform der Erfindung zeigt. Gegenüber der in der 7 gezeigten Ausführungsform ist die Bildung der Differenz Y – G1 mit einer Anwendung einer nichtlinearen Funktion N zur Rauschbeeinflussung und/oder einer Bildschärfung durch Multiplikation mit einem Schärfewert S kombiniert. Ersteres ermöglicht es, das Bildrauschen in einer gewünschten Weise zu beeinflussen, durch letzteres kann die Schärfe des Bildes angepasst werden.
  • Die nichtlineare Funktion N kann vorteilhafterweise eine stetige Funktion sein, die in einem durch die Differenz Y – G1 vor und nach der Rauschbeeinflussung aufgespannten zwei-dimensionalen Koordinatensystem durch den Koordinatenursprung (0,0) verläuft und fortlaufend konstant oder monoton steigend ist, wobei die Steigung im Ursprung geringer ist, als an mindestens einer Stelle, die vom Ursprung entfernt ist. 14a) zeigt beispielhaft eine solche Funktion. Eine Skalierung mit einem Parameter Th kann hier beispielsweise dadurch vorgenommen werden, dass die Funktion auf das Produkt der Eingangsgröße mit dem Parameter Th angewandt wird.
  • Solche nichtlinearen Funktionen lassen in einem FPGA mit besonders geringem Ressourcenbedarf realisieren, wenn sie stückweise linear sind. Die vorgenannte nichtlineare Funktion N kann daher als stückweise lineare Funktion gemäß 14b) angenähert werden. Diese Funktion N ist unterhalb eines Wertes –Th linear (beispielsweise mit der Steigung 1), zwischen den Werten –Th und Th konstant 0 und oberhalb des Wertes Th wiederum linear (beispielsweise mit der Steigung 1).
  • Dem Einsatz der nichtlinearen Funktion N liegt die Erkenntnis zugrunde, dass die durch die Hochpassfilterung erhaltenen Hochpasswerte einem Rauschen mit einer gewissen Rauschamplitude unterliegen. Es ist daher vorteilhaft, innerhalb der Rauschamplitude (d.h. beispielsweise zwischen den Werten –Th und Th) liegende Werte einer Funktion N zu unterwerfen, die das Rauschen verringert. Gemäß der Lehre der Fehlerfortpflanzung nach Carl Friedrich Gauss wird Rauschen, welches als Messfehler eines Pixels aufgefasst werden kann, dann gering vermindert, wenn die erste Ableitung einer auf die rauschbehaftete Größe angewandten Funktion betragsmäßig klein ist. Daher ist es vorteilhaft, wenn der Betrag der Steigung der Funktion N nahe am Ursprung, also innerhalb der Rauschamplitude, klein ist. Insbesondere ist es vorteilhaft, wenn der Betrag der Steigung der Funktion N nahe am Ursprung und innerhalb der Rauschamplitude Null ist und der Betrag der Funktion N dort selbst auch Null ist, weil die nichtlineare Funktion N das Rauschen dann innerhalb der Rauschamplitude unterdrückt. Dabei wird billigend in Kauf genommen, dass Strukturen, die betragsmäßig unterhalb der Rauschamplitude liegen, ebenfalls aus dem Bild entfernt werden. Da solche Strukturen ohnehin kaum erkennbar sind, führt dies jedoch zu keiner nennenswerten Beeinträchtigung der Bildqualität.
  • Weiterhin ist gegenüber der in der 7 gezeigten Ausführungsform in Anlehnung an die DE 10 2013 000 301 vorgesehen, zwei weitere rauscharme Farbwerte G3 und G4 der ersten Farbe (in dieser Fall Grün) aus jeweils nur einem Teil der Pixel der ersten Farbe in der Nachbarschaft der Zwischenposition mittels jeweils eines lokalen Filters zu bestimmen und in Abhängigkeit von den zwei weiteren rauscharmen Farbwerten G3 und G4 der ersten Farbe sowie der Phasenlage des Mosaikfilters in der Nachbarschaft 80 der Zwischenposition eine Korrektur von Farbaliasingartefakten für den rauscharmen Farbwert R1 bzw. B1 der zweiten Farbe (in diesem Fall Rot bzw. Blau) durchzuführen. Insbesondere wird für den rauscharmen Farbwert R1 bzw. B1 der zweiten Farbe eine Differenz 156 der zwei weiteren rauscharmen Farbwerte G3 und G4 der ersten Farbe – die auf die vorstehend beschriebene Weise entsprechend einem Pixel der größeren Größe wc interpoliert werden – gebildet, eine Multiplikation 157 mit dem Richtungsschätzwert D durchgeführt, und eine Addition 158 bzw. 159 zu dem rauscharmen Farbwert R1 bzw. B1 der zweiten Farbe mit einem von der Phasenlage des Mosaikfilters in der Nachbarschaft 80 der Zwischenposition abhängigen Vorzeichen durchgeführt. Hierdurch können störende Farbaliasingartefakte der Farben orange und himmelblau erfolgreich vermieden werden.
  • 15 zeigt schematisch und exemplarisch die Erzeugung eines Ausgangsbildes mit einem Muster entsprechend einem Mosaikfilter, hier mit einem Bayer-Pattern. Dazu erfolgt für jeden Ausgangspixel 162 aus dem Ausgangsbild 161 eine Auswahl 160 aus den Eingangswerten 163, 164 und 165. Diese Auswahl erfolgt in Abhängigkeit einer Phasenlage Phi, welche üblicherweise zweidimensional ist und für die Zeilen des Ausgangsbildes abwechselnd die Werte annimmt, die den entsprechenden Farben im Mosaikfilter des Ausgangsbildes zugeordnet sind, beispielsweise für ein Mosaikfilter mit Bayer-Pattern die Farben Rot und Grün bzw. den Farben Grün und Blau.
  • Wie bereits vorstehend erläutert, ist es zur Vereinfachung des Berechnungsaufwandes grundsätzlich möglich, bei der Interpolation der Farbwerte G1, R1, B1, G3 und G4 für die größeren Pixel auf die Erfüllung der ersten Bedingung zu verzichten. Dadurch entsteht eine Situation, die sie schematisch und exemplarisch in der 16 gezeigt ist. Auf Grundlage der Nachbarschaft 180 wird der größere Pixel 183 mit dem Mittelpunkt 184 und der kleinere Pixel 181 mit dem Mittelpunkt 182 errechnet, wobei die Mittelpunkte 184 und 182 dabei auch voneinander abweichen können.
  • Diese Abweichung führt dazu, dass streng genommen die Pixel 183 und 181 nicht exakt aufeinander passen, und lässt dadurch nachteilige Artefakte erwarten. Es zeigt sich bei der praktischen Überprüfung jedoch, dass die dadurch entstehenden Artefakte so gut wie gar nicht durch den menschlichen Betrachter wahrzunehmen sind. Dies führt der Erfinder darauf zurück, dass durch die Differenzbildung 84 (vgl. die 13) der durch den Positionsfehler entstehende Helligkeitsfehler mit in den Wert 151 eingeht und mit den Additionen 153, 85 und 86 wieder auf korrigierende Weise in die Ausgangswerte G2, R2 und B2 zurückgeführt wird, wodurch der Fehler im Bild beseitigt wird. Daher ist es in einer vorteilhaften Ausgestaltung der Erfindung vorgesehen, die Berechnung entsprechend vorzunehmen. Weiterhin ist es möglich, zur Erzeugung der Farbwerte für die größeren Pixel eine „Nearest Neighbor“-Interpolation zu verwenden. Dies wird beispielsweise dadurch erreicht, dass der Mittelpunkt 184 immer genau in die Mitte der Nachbarschaft 180 gelegt wird. Durch die entsprechende Wahl der Nachbarschaft 180 wird dabei sichergestellt, dass die Entfernung zwischen den Mittelpunkten 182 und 184 in horizontaler und vertikaler Richtung den Wert 1/2 nicht überschreitet.
  • 17 zeigt schematisch und exemplarisch die Verwendung fester Filtermatrizen für die Bestimmung der größeren Pixel. Hierbei wird von einer Nachbarschaft 180 der Größe 4×4 ausgegangen und die Filterkoeffizienten sind so gewählt, dass ihre Summe jeweils eins ergibt und ihr Schwerpunkt genau in der Mitte der Nachbarschaft 180 liegt. Die Summe der Quadrate ist jeweils gleich groß.
  • Das vorstehend beschriebene Bildverarbeitungsverfahren ist weitgehend ein lineares arbeitendes Interpolationsverfahren, welches auf der Anwendung linearer Filterkoeffizienten beruht. Dazu können neben den vorstehend beschriebenen Filterkoeffizienten auch andere Filterkoeffizienten für andere lineare arbeitende Interpolationsverfahren verwendet werden. Beispielsweise können Filterkoeffizienten für eine „Nearest Neighbor“-Interpolation, eine bilineare Interpolation, eine bikubische Interpolation, eine Spline-Interpolation oder eine Sinc-Interpolation verwendet werden. Diese Interpolationsverfahren können zur Bestimmung der Helligkeitswerte R1, B1, G1, G3 und G4 der größeren Pixel eingesetzt werden und sie können – sofern sie die erste Bedingung erfüllen – auch zur Bestimmung der Helligkeitswerte 106 und 116 eingesetzt werden.
  • Dabei können auch für verschiedene Schritte verschiedene Interpolationsverfahren eingesetzt werden. Dies erscheint besonders dann sinnvoll, wenn durch die gleiche Größe der Nachbarschaft in den Farbwerten 82, 83, 154 und 155 jeweils weniger Pixel in einer Richtung vorliegen, als in den Interpolationsschritten 105 und 115. Im gezeigten Beispiel kann beispielsweise zur Ermittlung der Werte G1, R1, B1, G3 und G4 jeweils ein bilineares Verfahren eingesetzt werden, welches jeweils 2×2 Eingangswerte benötigt, und in den Schritten 105 und 115 ein kubisches Verfahren, welches auf 1×4 bzw. 4×1 Eingangswerten gute Ergebnisse liefert.
  • Vorteilhafterweise kann es vorgesehen sein, dass neben den Filterkoeffizienten der lokalen Filter zum Bestimmen des Helligkeitswertes auch die Filterkoeffizienten der lokalen Filter zum Bestimmen der rauscharmen Farbwerte (z.B., der Werte G1, R1 und B1 in der 7 oder der Werte G1, R1, B1, G3 und G4 in der 13) eine oder mehrere Bedingungen entsprechend den vorstehend beschriebenen ersten bis vierten Bedingungen erfüllen können, wobei die Größe der entsprechenden Pixel dabei wc beträgt (siehe oben). Darüberhinaus kann es in einer Variation auch vorgesehen sein, dass in der 13 die Summe der Quadrate der auf die Rotpixel 82 bzw. die Blaupixel 83 angewandten Filterkoeffizienten plus der Summe der Quadrate der auf die Grünpixel 154 und 155 angewandten Filterkoeffizienten bei korrekter Einbeziehung der Wirkung der Operationen 156 und 157 den konstanten Wert (z.B., das Quadrat der Rauschverstärkung) annimmt. Dies kann so verstanden werden, dass die durch die Operationen 158 und 159 erhaltenen Werte sich in Rückbetrachtung aus Filterkoeffizienten ergeben, bei denen die Summe der Quadrate den konstanten Wert annimmt. Dadurch wird eine größenverändernde Wirkung bei der Anwendung auf den Rot- oder den Blaukanal bei den Additionen mit verschiedenem Vorzeichen 158 und 159 vermieden.
  • Durch den Einsatz anderer Interpolationsverfahren können unter Umständen genannte Vorzüge nicht erreicht werden, z.B. akzeptable Ergebnisse bei einer Messung nach dem EMVA Standard 1288. Gleichzeitig können allerdings möglicherweise andere, diesen Verfahren zu eigene Vorteile erzielt werden, z.B. geringere Ringing-Artefakte.
  • Durch das vorstehend beschriebene Bildverarbeitungsverfahren es in bestimmten Ausführungsformen der Erfindung erstmals möglich, in einer einzigen monolithischen Operation die Schritte Debayring, Schärfen, Denoising, Color-Antialiasing und Interpolation auf eine schnelle und ressourcensparende Weise zu vereinen, die sich einfach implementieren lässt, bspw. in ein FPGA, einen ASIC, einen DSP, eine GPU oder in ein Computerprogramm. Zahlreiche bestehende lineare Interpolationsverfahren können auf Bilder mit einem Mosaikfilter, z.B. mit einem Bayer-Pattern, übertragen werden. Weiterhin wird es in bestimmten Ausführungsformen der Erfindung erstmals möglich, die Pixelgröße eines Farbbildes mit einem Mosaikfilter auf interpolierende Weise so zu ändern, dass diese Pixelgrößenänderung einer Messung gemäß dem EMVA Standard 1288 standhält.
  • Die Bildverarbeitungsverfahren kann in einer digitalen Kamera 10 ausgeführt werden, z.B., in der beschriebenen Rechenvorrichtung 32. Die Rechenvorrichtung 32 kann dabei z.B. als Prozessor, als Mikroprozessor (MPU) oder Mikrocontroller (MCU), als digitaler Signalprozessor (DSP), als Field-Programmable-Gate-Array (FPGA), als Grafikprozessor (GPU), oder als applikationsspezifischer Schaltkreis (ASIC) ausgebildet sein. Die Rechenvorrichtung 32 kann auch in einen anderen Baustein mit integriert sein, beispielsweise in den Bildsensor 31 oder in die Schnittstelle 33. Dadurch ist es z.B. auch möglich, einen Bildsensor 31 mit einer frei wählbaren Pixelgröße herzustellen oder einen entsprechenden Schnittstellenbaustein 33 für eine digitale Kamera.
  • Die Rechenvorrichtung 32 kann ein Einstellelement zum Einstellen zumindest der relativen Pixelgröße (und gegebenenfalls des Gains der zweiten Pixel relativ zu einem Gain der ersten Pixel) umfassen, wobei die Rechenvorrichtung 32 ausgebildet ist, die Filterkoeffizienten der lokalen Filter zum Bestimmen des Helligkeitswertes basierend auf der eingestellten relativen Pixelgröße (und gegebenenfalls dem eingestellten Gain) festzulegen. Wie vorstehend beschrieben, kann es vorteilhafterweise ebenfalls vorgesehen sein, dass auch die Auflösung des Ausgangsbildes (zweite Pixel) über das Einstellelement einstellbar ist.
  • Weiterhin kann Bildverarbeitungsverfahren auch nach der Ausgabe als elektronisches Signal 34 ausgeführt werden, beispielsweise in einem Teil einer technischen Anlage, auf einem Computer oder einem Smartphone.
  • Weitere Variationen der offenbarten Ausführungsformen können von einem die beanspruchte Erfindung praktizierenden Fachmann aus einer Betrachtung der Zeichnungen, der Beschreibung und der beigefügten Ansprüche verstanden und ausgeführt werden.
  • In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.
  • Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
  • Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
  • Zusammengefasst wurde eine Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln beschrieben, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe zu bestimmen. Die Bestimmung umfasst, für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters, Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102013000301 [0002, 0018, 0071, 0071, 0082, 0102]
    • US 3971065 [0004]
    • US 6614478 [0007]
    • EP 0940029 [0012]
    • US 6462779 [0012]
    • US 7538807 [0017, 0017]
    • US 7567723 [0019, 0019, 0020]
    • US 7286721 [0019]
  • Zitierte Nicht-Patentliteratur
    • A. Koschan und M. Abidi: „Digital Color Image Processing“, John Wiley & Sons, Hoboken, NJ, USA, 2008 [0005]
    • EMVA-Standards 1288 [0039]
    • EMVA-Standard 1288 [0040]
    • EMVA-Standard 1288 [0043]
    • EMVA-Standard 1288 [0044]
    • EMVA-Standard 1288 [0044]
    • Standard 1288 der European Machine Vision Association, dem sogenanntem EMVA-Standard 1288 (Release 3.0 vom 29. November 2010) [0075]
    • J. R. Janesick: „Scientific Charge-Coupled Devices“, SPIE Press, 2001, Kapitel 4.2.2 [0082]
    • EMVA Standard 1288 [0110]
    • EMVA Standard 1288 [0111]

Claims (16)

  1. Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors (31) mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe zu bestimmen, wobei die Bestimmung umfasst: – für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters, – Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und – Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe gebildeten Differenz.
  2. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Bildverarbeitungseinrichtung ausgebildet ist, einen von einer Vorzugsrichtung der Bilddaten in der Nachbarschaft der Zwischenposition abhängigen Richtungsschätzwert (D) zu bestimmen und den Helligkeitswert in Abhängigkeit von dem Richtungsschätzwert (D) zu bestimmen.
  3. Bildverarbeitungseinrichtung nach Anspruch 2, wobei die Bildverarbeitungseinrichtung ausgebildet, den Richtungsschätzwert (D) auf Basis von Differenzen von Farbwerten von Pixeln in horizontaler und vertikaler Richtung in der Nachbarschaft der Zwischenposition zu bestimmen.
  4. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildverarbeitungseinrichtung ausgebildet ist, den Helligkeitswert in Abhängigkeit von dem Richtungsschätzwert (D) als gewichtete Mittelung eines ersten Helligkeitswertes, der mittels eines lokalen Filters, der besonders zur Wiedergabe vertikaler Strukturen geeignet ist, bestimmt wird, und eines zweiten Helligkeitswertes, der mittels eines lokalen Filters, der besonders zur Wiedergabe horizontaler Strukturen geeignet ist, bestimmt wird, zu bestimmen.
  5. Bildverarbeitungseinrichtung nach Anspruch 4, wobei der lokale Filter zum Bestimmen des Helligkeitswertes durch zwei eindimensionale lokale Filter realisiert ist, die hintereinander in zwei zueinander orthogonalen Richtungen angewandt werden, wobei mittels des ersten eindimensionalen Filters eine Interpolation in der ersten orthogonalen Richtung realisiert wird und mittels des zweiten eindimensionalen Filters eine Interpolation der erhaltenen Interpolationswerte in der zweiten orthogonalen Richtung realisiert wird.
  6. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die Bildverarbeitungseinrichtung ausgebildet ist, die Bildung der Differenz mit einer Anwendung einer nichtlinearen Funktion zur Rauschbeeinflussung und/oder einer Bildschärfung durch Multiplikation mit einem Schärfewert zu kombinieren.
  7. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 6, wobei die Bildverarbeitungseinrichtung ausgebildet ist, zwei weitere rauscharme Farbwerte der ersten Farbe aus jeweils nur einem Teil der Pixel der ersten Farbe in der Nachbarschaft der Zwischenposition mittels jeweils eines lokalen Filters zu bestimmen und in Abhängigkeit von den zwei weiteren rauscharmen Farbwerten der ersten Farbe sowie der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition eine Korrektur von Farbaliasingartefakten für den rauscharmen Farbwert der zweiten Farbe durchzuführen.
  8. Bildverarbeitungseinrichtung nach Anspruch 7, wobei die Bildverarbeitungseinrichtung ausgebildet ist, zur Durchführung der Korrektur von Farbaliasingartefakten für den rauscharmen Farbwert der zweiten Farbe eine Differenz der zwei weiteren rauscharmen Farbwerte der ersten Farbe zu bilden, eine Multiplikation mit dem Richtungsschätzwert (D) durchzuführen, und eine Addition zu dem rauscharmen Farbwert der zweiten Farbe mit einem von der Phasenlage des Mosaikfilters in der Nachbarschaft der Zwischenposition abhängigen Vorzeichen durchzuführen.
  9. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 8, wobei auch die Filterkoeffizienten des lokalen Filters zum Bestimmen des rauscharmen Farbwertes der ersten Farbe und/oder die Filterkoeffizienten des lokalen Filters zum Bestimmen des rauscharmen Farbwertes der zweiten Farbe die erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht.
  10. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 9, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für zwei oder mehr zweite Pixel gleicher Größe an unterschiedlichen Zwischenpositionen zwischen den ersten Pixeln jeweils einen Farbwert der zweiten Farbe zu bestimmen, wobei jeder der lokalen Filter zum Bestimmen des Helligkeitswertes eine Mehrzahl von Filterkoeffizienten umfasst, wobei für zumindest einen der lokalen Filter mehr als einer der Filterkoeffizienten ungleich Null ist, und: – die Summe der Quadrate der Filterkoeffizienten für jeden der lokalen Filter gleich einem konstanten Wert ist, der gemäß einer zweiten Bedingung für alle lokalen Filter gleich ist, wobei vorzugsweise der konstante Wert gemäß einer dritten Bedingung dem Quadrat einer Rauschverstärkung entspricht, wobei die Rauschverstärkung dem Produkt eines vorgegebenen Gains der zweiten Pixel relativ zu einem Gain der ersten Pixel und der Wurzel einer vorgegebenen relativen Pixelgröße entspricht, wobei die relative Pixelgröße dem Verhältnis der Größe der zweiten Pixel zu der Größe der ersten Pixel entspricht, und/oder – die Filterkoeffizienten für jeden der lokalen Filter zusätzlich eine vierte Bedingung, dass die Summe der Filterkoeffizienten gleich einem konstanten Wert, vorzugsweise dem vorgegebenen Gain, ist, erfüllen.
  11. Bildverarbeitungseinrichtung nach Anspruch 10, wobei die Bildverarbeitungseinrichtung ein Einstellelement zum Einstellen zumindest der relativen Pixelgröße umfasst, wobei die Bildverarbeitungseinrichtung ausgebildet ist, die Filterkoeffizienten der lokalen Filter basierend auf der eingestellten relativen Pixelgröße festzulegen.
  12. Bildverarbeitungseinrichtung zum Verarbeiten von Bilddaten eines Bildsensors (31) mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln einer ersten Pixelgröße zum Erzeugen von Bilddaten umfassend zweite Pixel einer zweiten Pixelgröße, wobei die zweite Pixelgröße ein nicht ganzzahliges Vielfaches der ersten Pixelgröße ist, wobei die Bildverarbeitungseinrichtung ausgebildet ist, für jeden zweiten Pixel einen Farbwert zu berechnen.
  13. Digitalkamera (10), umfassend: – einen Bildsensor (31) mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln zur Erzeugung von Bilddaten; und – die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 12 zum Verarbeiten der Bilddaten des Bildsensors (31).
  14. Bildverarbeitungsverfahren zum Verarbeiten von Bilddaten eines Bildsensors mit einem Mosaikfilter für zumindest eine erste und eine zweite Farbe auf einer regelmäßigen Anordnung von ersten Pixeln, wobei das Bildverarbeitungsverfahren für einen zweiten Pixel an einer Zwischenposition zwischen den ersten Pixeln einen Farbwert der zweiten Farbe bestimmt, wobei die Bestimmung umfasst: – für sowohl die erste Farbe als auch die zweite Farbe, Bestimmen eines rauscharmen Farbwertes der Farbe durch Interpolation von Pixeln der jeweiligen Farbe in der Nachbarschaft der Zwischenposition mittels eines jeweiligen lokalen Filters, – Bestimmen eines Helligkeitswertes an der Zwischenposition durch Interpolation von Pixeln zumindest der ersten Farbe in der Nachbarschaft der Zwischenposition mittels eines lokalen Filters, wobei die Filterkoeffizienten des lokalen Filters eine erste Bedingung erfüllen, dass der Schwerpunkt der Filterkoeffizienten der Zwischenposition entspricht, und – Bestimmen des Farbwertes der zweiten Farbe an der Zwischenposition auf Basis einer Summe des rauscharmen Farbwertes der zweiten Farbe und einer Differenz zwischen dem Helligkeitswert und dem rauscharmen Farbwert der ersten Farbe.
  15. Computervorrichtung, umfassend eine Recheneinheit, die zur Durchführung des Bildverarbeitungsverfahrens nach Anspruch 14 ausgestaltet ist.
  16. Computerprogramm-Produkt, umfassend Codemitteln zum Veranlassen einer Computervorrichtung zum Ausführen des Bildverarbeitungsverfahrens nach Anspruch 14, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
DE102016112968.2A 2016-07-14 2016-07-14 Bestimmung von Farbwerten für Pixel an Zwischenpositionen Active DE102016112968B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102016112968.2A DE102016112968B4 (de) 2016-07-14 2016-07-14 Bestimmung von Farbwerten für Pixel an Zwischenpositionen
CN201710575233.8A CN107623844B (zh) 2016-07-14 2017-07-14 中间位置处的像素的颜色值的确定

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016112968.2A DE102016112968B4 (de) 2016-07-14 2016-07-14 Bestimmung von Farbwerten für Pixel an Zwischenpositionen

Publications (2)

Publication Number Publication Date
DE102016112968A1 true DE102016112968A1 (de) 2018-01-18
DE102016112968B4 DE102016112968B4 (de) 2018-06-14

Family

ID=60782825

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016112968.2A Active DE102016112968B4 (de) 2016-07-14 2016-07-14 Bestimmung von Farbwerten für Pixel an Zwischenpositionen

Country Status (2)

Country Link
CN (1) CN107623844B (de)
DE (1) DE102016112968B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582405B1 (en) 2021-09-23 2023-02-14 Qualcomm Incorporated Image data processing using non-integer ratio transforming for color arrays

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018130710B3 (de) * 2018-12-03 2020-04-23 Basler Ag Vorrichtung und Verfahren zur Erzeugung von Prüfbilddaten sowie System mit derartiger Vorrichtung
DE102020127495B4 (de) 2020-10-19 2022-05-25 Basler Aktiengesellschaft Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts
DE102020127482B4 (de) 2020-10-19 2022-06-09 Basler Aktiengesellschaft Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts
TWI767795B (zh) * 2021-07-20 2022-06-11 國立虎尾科技大學 馬賽克磚影像資料庫之建立方法及其應用方法
CN114582268B (zh) * 2022-04-28 2022-07-08 武汉精立电子技术有限公司 Demura补偿参数计算方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
EP0940029A1 (de) 1996-01-22 1999-09-08 California Institute Of Technology Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
US6462779B1 (en) 1998-02-23 2002-10-08 Eastman Kodak Company Constant speed, variable resolution two-phase CCD
US6614478B1 (en) 1999-04-30 2003-09-02 Foveon, Inc. Color separation prisms having solid-state imagers mounted thereon and camera employing same
EP1643441A1 (de) * 2004-10-04 2006-04-05 STMicroelectronics S.r.l. Auf richtungsabhängiger Filterung basierendes Farbinterpolationsverfahren eines Bildes, das mit einem digitalen Sensor aufgenommen wurde
US7072509B2 (en) * 2001-07-27 2006-07-04 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
US7286721B2 (en) 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
US7538807B2 (en) 2004-11-23 2009-05-26 Dalsa Corporation Method and apparatus for in a multi-pixel pick-up element reducing a pixel-based resolution and/or effecting anti-aliasing through selectively combining selective primary pixel outputs to combined secondary pixel outputs
US7567723B2 (en) 2004-03-09 2009-07-28 Canon Kabushiki Kaisha Resolution changing method and apparatus
DE102008063970B4 (de) * 2008-12-19 2012-07-12 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors
DE102013000301A1 (de) 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
DE102014115742B3 (de) * 2014-10-29 2015-11-26 Jenoptik Optical Systems Gmbh Verfahren zur Interpolation fehlender Farbinformationen von Bildelementen
EP2955691A1 (de) * 2014-06-10 2015-12-16 Baumer Optronic GmbH Vorrichtung zur Bestimmung von Farbanteilen eines Bildpunktes einer BAYER-Matrix

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072A (en) 1850-02-05 Improvement in engines for carding and drawing wool
US509A (en) 1837-12-07 Waterproof mail-carriage
JP4892909B2 (ja) * 2005-09-22 2012-03-07 ソニー株式会社 信号処理方法、信号処理回路およびこれを用いたカメラシステム
US20090169126A1 (en) * 2006-01-20 2009-07-02 Acutelogic Corporation Optical low pass filter and imaging device using the same

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
EP0940029A1 (de) 1996-01-22 1999-09-08 California Institute Of Technology Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
EP0940029B1 (de) * 1996-01-22 2004-06-23 California Institute Of Technology Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
US6462779B1 (en) 1998-02-23 2002-10-08 Eastman Kodak Company Constant speed, variable resolution two-phase CCD
US6614478B1 (en) 1999-04-30 2003-09-02 Foveon, Inc. Color separation prisms having solid-state imagers mounted thereon and camera employing same
US7072509B2 (en) * 2001-07-27 2006-07-04 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
US7286721B2 (en) 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
US7567723B2 (en) 2004-03-09 2009-07-28 Canon Kabushiki Kaisha Resolution changing method and apparatus
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
EP1643441A1 (de) * 2004-10-04 2006-04-05 STMicroelectronics S.r.l. Auf richtungsabhängiger Filterung basierendes Farbinterpolationsverfahren eines Bildes, das mit einem digitalen Sensor aufgenommen wurde
US7538807B2 (en) 2004-11-23 2009-05-26 Dalsa Corporation Method and apparatus for in a multi-pixel pick-up element reducing a pixel-based resolution and/or effecting anti-aliasing through selectively combining selective primary pixel outputs to combined secondary pixel outputs
DE102008063970B4 (de) * 2008-12-19 2012-07-12 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors
DE102013000301A1 (de) 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
EP2955691A1 (de) * 2014-06-10 2015-12-16 Baumer Optronic GmbH Vorrichtung zur Bestimmung von Farbanteilen eines Bildpunktes einer BAYER-Matrix
DE102014115742B3 (de) * 2014-10-29 2015-11-26 Jenoptik Optical Systems Gmbh Verfahren zur Interpolation fehlender Farbinformationen von Bildelementen

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
A. Koschan und M. Abidi: „Digital Color Image Processing", John Wiley & Sons, Hoboken, NJ, USA, 2008
BROOKTREE: Bt848/848A/849A Single-Chip Video Capture for PCI. Data Sheet, Firmenschrift L848A_A, Brooktree Corporation, February 1997. San Diego: Rockwell Semiconductor Systems, Inc., Brooktree Division, 1997. Abschnitt "Video Scaling, Cropping, and Temporal Decimation", S. 21 - 32. *
CELEBI, Emre M.; SMOLKA, Bogdan [Eds.]: Advances in Low-Level Color Image Processing. Lecture Notes in Computational Vision and Biomechanics, Vol. 11. ISBN 978-94-007-7583-1. Dordrecht; Heidelberg; New York; London: Springer, 2014. S. 29 - 53, S. 195 - 222. *
EMVA Standard 1288
EMVA-Standard 1288
EMVA-Standards 1288
FAILLE, Flore: Comparison of Demosaicking Methods for Color Information Extraction. In: KORDIC, Vedran; LAZINICA, Aleksandar; MERDAN, Mundir: Cutting Edge Robotics. ISBN 3-86611-038-3. Mammendorf: plV pro literatur Verlag Robert Mayer-Scholz, 2005. Kapitel II.: Perception, Abschnitt 3, S. 105 - 114. *
HIRAKAWA, Keigo; PARKS, Thomas W.: Adaptive Homogeneity-Directed Demosaicing Algorithm. IEEE Transactions on Image Processing, Vol. 14, No. 3, March 2005, pp. 360 - 369. *
HORÉ, Alain; ZIOU, Djemel; AUCLAIR-FORTIER, Marie-Flavie: A Versatile Demosaicing Algorithm for Performing Image Zooming. Eighth International Conference on Signal Image Technology and Internet Based Systems, SITIS 2012, Naples, 25-29 November 2012. Conference Proceedings, pp. 402 - 409. *
J. R. Janesick: „Scientific Charge-Coupled Devices", SPIE Press, 2001, Kapitel 4.2.2
JANESICK, James R.: Chapter 4.2.2 Surface full well. In: Scientific charge-coupled devices. Bellingham, Washington, USA: SPIE Press, 2001. S. 277. - ISBN 0-8194-3698-4. *
KOSCHAN, Andreas; ABIDI, Mongi A.: Digital color image processing. Hoboken, N.J., USA: Wiley-Interscience, 2008. - ISBN 978-0-470-14708-5. - Deckblatt und Inhaltsverzeichnis *
MALVAR, Henrique S.; HE, Li-wei; CUTLER, Ross: High-Quality Linear Interpolation for Demosaicing of Bayer-Patterned Color Images. IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP '04, Montreal, 17-21 May 2004. Conference Proceedings, ISBN 0-7803-8484-9, Vol. 3, pp. III-485 - III-488. *
NISCHWITZ, Alfred; FISCHER, Max; HABERÄCKER, Peter; SOCHER, Gudrun: Computergrafik und Bildverarbeitung. Band II: Bildverarbeitung. 3. Aufl., ISBN 978-3-8348-1712-9. Wiesbaden: Vieweg+Teubner/Springer Fachmedien, 2011. Kapitel 10: Demosaicing, S. 251 - 280. *
Norm EMVA Standard 1288 2010-11-29. Standard for characterization of image sensors and cameras, Release 3.0. S. 1-36. URL: www.emva.org/wp-content/uploads/EMVA1288-3.0.pdf [abgerufen am 07.10.2016]. *
Standard 1288 der European Machine Vision Association, dem sogenanntem EMVA-Standard 1288 (Release 3.0 vom 29. November 2010)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582405B1 (en) 2021-09-23 2023-02-14 Qualcomm Incorporated Image data processing using non-integer ratio transforming for color arrays

Also Published As

Publication number Publication date
CN107623844A (zh) 2018-01-23
CN107623844B (zh) 2021-07-16
DE102016112968B4 (de) 2018-06-14

Similar Documents

Publication Publication Date Title
DE102016112968B4 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen
DE60221757T2 (de) Verfahren und Vorrichtung zur gleichzeitigen Entfernung des Mosaikeffekts und Grössenänderung von Rohbilddaten
DE69733882T2 (de) Kamera mit einem einzigen bildaufnehmer
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE112013003464B4 (de) Farbbildgebungselement und Bildgebungsvorrichtung
DE69922129T2 (de) Farbbildverarbeitungssystem
DE102008029128A1 (de) Techniken zur Verringerung von Farbartefakten in Digitalbildern
DE10344397B4 (de) Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung
WO2008019867A2 (de) Bildverarbeitungsvorrichtung für farb-bilddaten und verfahren zur bildverarbeitung von farb-bilddaten
DE69927239T2 (de) System und verfahren zur verarbeitung von bildern
DE102014008686B4 (de) Verfahren und Vorrichtung zur Farbinterpolation
WO2004023822A2 (de) Verfahren und vorrichtung zum umwandeln eines farbbildes
DE102004007177A1 (de) Gerät, Verfahren und Programmprodukt zur Bildverarbeitung
DE60114520T2 (de) Farbbildaufnahmegerät
DE102006006835A1 (de) Verfahren und Vorrichtung zum Scannen von Bildern
EP3391329B1 (de) Bestimmung von helligkeitswerten virtueller pixel
EP2955691B1 (de) Vorrichtung zur Bestimmung von Farbanteilen eines Bildpunktes einer BAYER-Matrix
DE102016212771A1 (de) Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
EP1397002B1 (de) Gradientengestütztes Verfahren zur Bildpunktinterpolation
DE102008063970B4 (de) Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors
DE102014115742B3 (de) Verfahren zur Interpolation fehlender Farbinformationen von Bildelementen
DE102015109979B4 (de) Verfahren zur Schachbrettinterpolation fehlender Farbinformationen von Bildelementen
EP3683558A1 (de) Farbbildsensor
DE102010052438B4 (de) Verfahren und Vorrichtung zur Bildverarbeitung durch Demosaicing
EP2383974A1 (de) Bildverarbeitungsmittel, insbesondere in einer Farbkamera, mit universellem Farboperator

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005335000

Ipc: H04N0025000000