DE60015265T2 - Bildverarbeitungsgerät - Google Patents

Bildverarbeitungsgerät Download PDF

Info

Publication number
DE60015265T2
DE60015265T2 DE60015265T DE60015265T DE60015265T2 DE 60015265 T2 DE60015265 T2 DE 60015265T2 DE 60015265 T DE60015265 T DE 60015265T DE 60015265 T DE60015265 T DE 60015265T DE 60015265 T2 DE60015265 T2 DE 60015265T2
Authority
DE
Germany
Prior art keywords
pixel
interpolation
unit
value
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60015265T
Other languages
English (en)
Other versions
DE60015265D1 (de
Inventor
Toshihiro Sasai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nucore Technology Inc
Original Assignee
Nucore Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nucore Technology Inc filed Critical Nucore Technology Inc
Publication of DE60015265D1 publication Critical patent/DE60015265D1/de
Application granted granted Critical
Publication of DE60015265T2 publication Critical patent/DE60015265T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

  • Hintergrund der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsgerät und insbesondere auf ein Bildverarbeitungsgerät zum Erzeugen von einem qualitativ hochwertigen Bild eines zweidimensionalen Farbbildsignals, welches durch eine elektronische Einzel-Farbkameraeinrichtung abgetastet wird.
  • Im allgemeinen verwendet ein elektronisches bildabtastendes Gerät zum Abtasten eines Bildes einen Bildsensor, wie z. B. ein mehrere Farben filternder CCD, wobei ein Bildsignal mit sämtlichen Farbinformationen (RGB oder ein Hellichkeitswert und unterschiedliche Farbsignale) für jedes Pixel von einem Bild mit dem Pixelwert von nur einer einer Vielzahl von Farben (primäre Farben) für jedes der vielen Pixel erzeugt wird, welche immer in einem zweidimensionalen vielfarbigen Muster angeordnet sind.
  • Zum Erzeugen eines Bildsignals, welches sämtliche Farbinformationen für jedes Pixel beinhaltet, werden unzureichende Farbinformationen an jeder Pixelposition interpoliert, wobei die Pixelwerte von umgebenden Pixel mit den unzureichenden Farbinformationen verwendet werden.
  • Jedoch die Anzahl der Teile der Information von jeder Farbe durch ein Bildsignal von einem Einzel-CCD-Farbbildabstastelement (Ladungskoppelelement) ist wesentlich kleiner als die Gesamtanzahl der Pixel des Bildabtastelements. Somit wird ein durch Interpolation erzeugtes Bildsignal unscharf.
  • Insbesondere wenn ein Bildsignal durch Interpolation durch Verwendung von nur benachbarten Pixel der gleichen Farbe erzeugt wird (unzureichende Farbe), tritt dieses Phänomen typischerweise auf. In vielen Fällen wird eine Farbinformation erzeugt, welche ursprünglich nicht an einer Pixelposition existiert.
  • Um dieses Phänomen zu verhindern, ergreifen konventionelle Einzel-CCD Farbbildabtastgeräte verschiedene Interpolationsverfahren.
  • 15A und 15B zeigen Interpolationsverfahren bei einem konventionellen Bildverarbeitungsgerät.
  • 15A und 15B zeigen die Pixelanordnung eines Farbbildabtastelements, verwendend eine sogenannte Bayer-Anordnung. Rote Pixel (R), grüne Pixel (G) und blaue Pixel (B) sind in einem vielfarbigen Muster angeordnet.
  • Um Bildinformationen mit Pixelwerten (Helligkeitsinformation) von drei R, G und B Farben für jedes Pixel von dieser Datenanordnung zu erzeugen, wird ein interpolierter Pixelwert von jeder Farbe stark durch Durchführen der folgenden Interpolationsberechnung vereinfacht berechnet, verwendend die Pixelwerte der umgebenden Pixel in der gleichen Farbe, so dass die Farbinformation zwischen den Pixel berechnet wird, welche in einer 3 × 3 Untermatrix enthalten sind, welche zentriert auf einen zu interpolierenden Pixel ist.
  • Zum Beispiel, wie in 15A gezeigt, wenn ein R Pixel im Zentrum der Untermatrix angeordnet ist, wird R22 unverändert gehalten, wobei G22 und B22 durch benachbarte Pixelwerte interpoliert werden.
  • Wie in 15B gezeigt, wenn ein G Pixel im Zentrum der Untermatrix angeordnet ist, wird G32 unverändert beibehalten, wobei R32 und B32 durch benachbarte Pixelwerte interpoliert werden.
  • Jedoch die meisten der bekannten Verfahren können keine geeignete Bildqualität erreichen, obgleich das Interpolationsverfahren des Pixelwertes bei einer Höchstgeschwindigkeit einfach durchführbar ist.
  • Bei dem Beispiel, welches in den 15A und 15B gezeigt ist, welches von den oben beschriebenen Gleichungen ersichtlich ist, wird jedes Farbinformation die gleichen Ergebnisse ergeben, wie diese erhalten werden, wenn Daten bzw. Informationen durch einen Tiefpassfilter in Einheiten von verschiedenen Pixel passiert. Deshalb werden keine hoch qualitativen Bilder erhalten.
  • Im Gegensatz dazu wird eine Anordnung zum Erhalten eines hochqualitativen Bildes durch Ausführen einer höheren Interpolation vorgeschlagen, welche eine umfangreichere Untermatrix verwendet, um die Hochfrequenzkomponente der räumlichen Frequenz zu interpolieren oder adaptiv die Berechnungsmethode in Abhängigkeit von komplizierten Bedingungen zu verändern, um die Erzeugung einer falschen Farbe zu verhindern (siehe internationale Patentveröffentlichungsnummer WO 61-501423 und WO 61-501424 und US 5,805,217).
  • Jedoch diese Verfahren müssen eine komplizierte Berechnung durchführen, wobei Verfahren durchgeführt werden müssen, welche in Abhängigkeit von Bedingungen verändert werden. Somit kann sich diese Anordnung nicht mit Hochgeschwindigkeits- und Echtzeitverfahren messen.
  • Zum Beispiel um eine Berechnung durchzuführen, dessen Verfahren in Abhängigkeit von Bedingungen in Echtzeit verändert, muss eine Berechnung für jede Bedingung vorab durchgeführt werden, wobei, wenn Bedingungen bestimmt werden, müssen ordnungsgemäße Resultate von den fertigen Resultaten ausgewählt werden. Dieses erhöht den Schaltmaßstab und den Energieverbrauch.
  • Um die Interpolation höherer Ordnung (high-order) durchzuführen, sind Werte an zwei Punkten in eine Richtung erforderlich, ausgenommen für einen Interpolationspunkt. Um jedes Farbsignal durch Pixelwerte der gleichen Farbe zu interpolieren, müssen die ursprünglichen 9 × 9 Pixel zum Interpolieren höherer Ordnung in zwei Richtungen (X- und Y-Richtungen) sein, wobei die Anzahl der R oder B Pixel im wesentlichen kleiner als die Anzahl der G Pixel sind.
  • Folglich steigt die Anzahl der Berechnungsverfahren, wobei zusätzlich die Kapazität eines Pufferspeichers für das zeitweise Speichern von Pixelinformationen zum Berechnen entsprechend der Anzahl der Pixel erhöht wird.
  • Ein unscharfes Bild durch Interpolation wird klarer durch die Einstellung der räumlichen Frequenzcharakteristiken nach dem Interpolationsverfahren, um eine Hochfrequenzkomponente hervorzuheben. Jedoch kann eine ursprünglich nicht existierende Hochfrequenz nicht hervorgehoben werden. Ein unscharfes Bild kann nicht zufriedenstellend klarer werden, ohne die Verarbeitung von geeigneten Hochfrequenzinformationen bei der Interpolation.
  • Zusammenfassung der Erfindung
  • Die vorliegenden Erfindung wurde realisiert, um die bekannten Nachteile zu vermeiden, wobei ein Ziel ist, ein Bildverarbeitungsgerät vorzuschlagen, welches geeignet ist, ein hochqualitatives Bild, ohne das Durchführen von komplizierten Pixelinterpolationsverfahren zu erhalten.
  • Um dieses Ziel gemäß der vorliegenden Erfindung zu erreichen, wird ein Bildverarbeitungsgerät zur Interpolation eines Bildsignales vorgeschlagen, welches aus mehreren Pixel zusammengesetzt ist, das auf einer zweidimensionalen Ebene angeordnet ist und einen Pixelwert hat, welcher zu jedem einer Vielzahl von Farbsignalen jedes Pixels korrespondiert, wobei ein Pixelwert an einem beliebigen Interpolationspunkt auf der zweidimensionalen Ebene durch Pixelwerte von peripheren Pixel angeordnet ist und wobei ein Bildsignal mit Pixelwerten von jedem der Farbsignale für jeden Interpolationspunkt erzeugt wird, umfassend eine Interpolationseinheit zum Interpolieren eines Pixelwertes jedes Farbsignals an dem Interpolationspunkt, wobei Pixelwerte derselben Farbe verwendet werden, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, wobei der Pixelwert als ein interpolierter Pixelwert an dem Interpolationspunkt für jedens Farbsignal ausgegeben wird, wobei eine Kompensationswert-Berechnungseinheit zum Erzeugen eines Pixel-Kompensationswertes zum Kompensieren eines Pixelwertes des Interpolationswertes vorgesehen ist, welcher Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt herum verwendet, welche in eine Kompensationsregion fallen, welche zumindest die Interpolationsregion umfasst, wobei eine Interpolationseinheit zum Kompensieren des interpolierten Pixelwertes jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, der von der Interpolati onseinheit ausgegeben wird, indem der Pixel-Kompensationswert verwendet wird, welcher mit dem Interpolationspunkt korrespondiert, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird, und wobei der kompensierte interpolierte Pixelwert als ein neuer Pixelwert jedes Farbsignals an dem Interpolationspunkt ausgegeben wird.
  • Beschreibung der Zeichnungen
  • 1 ist ein Blockschaltdiagramm, welches ein Bildverarbeitungsgerät gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
  • 2A bis 2C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation (der Interpolationspunkt ist an einem R Pixel gesetzt) gemäß der ersten Ausführungsform zeigen;
  • 3A bis 3C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation (der Interpolationspunkt ist an einem G Pixel an einer R Pixellinie gesetzt) gemäß der ersten Ausführungsform zeigen;
  • 4A und 4B sind graphische Darstellungen, welche jeweils die Raumfrequenzcharakteristiken eines Pixelkompensationswertes zeigen, welcher durch eine Kompensationswert-Berechnungseinheit bzw. Kalkulationseinheit erhalten wird;
  • 5A bis 5C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation gemäß der zweiten Ausführungsform zeigt;
  • 6A bis 6C sind Ansichten, welche jeweils die Einstellposition des Interpolationspunktes zeigen;
  • 7A und 7B sind graphische Darstellungen, welche jeweils die räumliche Frequenzcharakteristiken der Pixel-Kompensationswerte zeigen, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird;
  • 8A und 8B sind erläuternde Ansichten, welche jeweils ein ausgegebenes Beispiel eines Bildes zeigen, welches durch die zweite Ausführungsform erhalten wird;
  • 9 ist ein Blockschaltdiagramm, welches ein Bildverarbeitungsgerät gemäß der dritten Ausführungsform zeigt;
  • 10A bis 10C sind erläuternde Ansichten, welche die Operation einer Regionwert-Berechnungseinheit zeigen;
  • 11 ist ein Blockschaltdiagramm, welches eine Anordnung der Regionwert-Berechnungseinheit zeigt;
  • 12 ist Blockschaltdiagramm, welches eine Anordnung einer Interpolationseinheit einer Kompensationswert-Berechnungseinheit zeigt;
  • 13 ist ein Blockschaltbild, welches eine Anordnung einer Kompensationseinheit zeigt;
  • 14A bis 14C sind Blockschaltdiagramme, welche jeweils eine Anordnung eines Bildverarbeitungsgerätes gemäß der vierten Ausführungsform zeigt; und
  • 15A und 15B sind erläuternde Ansichten, welche jeweils eine bekannte Bildverarbeitungsoperation zeigt.
  • Beschreibung der bevorzugten Ausführungsformen
  • Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die dazugehörigen Zeichnungen beschrieben.
  • 1 zeigt ein Bildverarbeitungsgerät gemäß einer Ausführungsform der vorliegenden Erfindung.
  • In 1 ist ein Bildverarbeitungsgerät mit einer Interpolationseinheit 4 zum Interpolieren des Pixelwertes jedes Farbsignals an einem beliebigen Interpolationspunkt durch Verwenden der Pixelwerten von peripheren Pixeln der gleichen Farbe, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, welcher auf einer zweidimensionalen Ebene angeordnet ist, welche durch ein Bildeingabesignal 1 gebildet wird, wobei der interpolierte Wert als ein interpolierter Pixelwert 5 an dem Interpolationspunkt für jedes Farbsignal ausgegeben wird.
  • Das Bildverarbeitungsgerät 10 umfasst ferner eine Kompensationswert-Berechnungseinheit 6 zum Erzeugen eines Pixelkompensationswertes 7 zum Kompensieren des Pixelwertes des Interpolationspunktes, wobei die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt herum verwendet werden, welcher in eine Kompensationsregion fällt und zumindest die Interpolationsregion umfasst, welche durch die Interpolationseinheit 4 verwendet wird, wobei eine Kompensationseinheit 8 zum Kompensieren des interpolierten Pixelwertes 5 jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, welcher von der Interpolationseinheit 4 durch die Verwendung des Pixelkompensationswertes 7 ausgegeben wird, welcher durch die Kompensationswert-Berechnungseinheit 6 erhalten wird, und wobei der kompen sierte Wert als ein neuer Pixelwert 9 jedes Farbsignal an dem Interpolationspunkt ausgegeben wird.
  • In der folgenden Beschreibung ist das Bildsignal 1 ein von einem Bildabtastelement ausgegebenes Bildsignal, wie z. B. einem mehrfach farbgefilterten CCD, d. h., ein Bildsignal mit einer sogenannten Bayer-Anordnung, bei der R, G und B Pixel in einem vielfarbigen Muster angeordnet sind. Jedoch wird das Bildsignal 1 nicht auf dies beschränkt.
  • Die ersten Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf die 2A bis 2C und 3A bis 3C beschrieben.
  • 2A bis 2C und 3A bis 3C zeigen eine Bildverarbeitungsoperation gemäß der ersten Ausführungsform der vorliegenden Erfindung. 2A bis 2C zeigen einen Fall, bei dem der Interpolationspunkt an einer R Pixel gesetzt ist, wobei 3A bis 3C einen Fall zeigen, bei dem der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist bzw. eingestellt ist.
  • Verfahrensoperationen, während der Interpolationspunkt an einem R Pixel gesetzt ist, werden unter Bezugnahme der 2A bis 2C erläutert.
  • 2A zeigt ein Pixelanordnungsbeispiel, 2B zeigt Filterkoeffizienten zum Kalkulieren eines Kompensationswertes, und 2C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswert-Berechnungsverfahren und Kompensationsverfahren darstellen.
  • Die Interpolationseinheit 4 berechnet die interpolierten Pixelwerte 5 (G33, R33 und B33) an einem Interpolationspunkt (X33), welcher als das Zentrum eingestellt ist, wobei die Pixelwerte der vorbestimmten Pixel verwendet werden, welche zwischen den Pixeln des Eingabebildsignals 1 zu dem Interpolationspunkt X33 benachbart sind, wie in 2A gezeigt.
  • Jeder interpolierte Pixelwert 5 wird durch die Gleichung, wie in 2C gezeigt, berechnet, wobei die Pixelwerte der peripheren Pixel der gleichen Farbe verwendet werden, welche in eine Interpolationsregion 12 von 3 × 3 Pixel fallen, welche um den Interpolationspunkt X33 angeordnet sind, d. h., im Zentrum um den Interpolationspunkt X33.
  • Gleichzeitig erzeugt die Kompensationswert-Berechnungseinheit 6 den Pixelkompensationswert 7 (HF33) zum Kompensieren des Pixelwertes jedes Farbsignals an dem Interpolationspunkt durch die in 2C gezeigte Gleichung, welche die Pixelwerte um den Interpolationspunkt X33 herum von vorbestimmten Pixeln verwendet, wobei die Interpolationseinheit 4, die in 2B gezeigten Filterkoeffizienten und ein Kompensationsstufenfaktor (Gewicht aus Faktor gf) verwendet werden.
  • Die Berechnung des Pixelkompensationswertes 7 verwendet vorbestimmte Pixel, welche in einem Bereich fallen, z. B. in die Kompensationsregion 13 von 5 × 5 Pixel, korrespondierend mit den Filterkoeffizienten, die größer als die Interpolationsregion sind, welche zum Interpolationsverfahren der Interpolationseinheit 4 verwendet werden, wobei zumindest die Interpolationsregion umfasst wird.
  • Der interpolierte Pixelwert 5, welcher durch die Interpolationseinheit 4 berechnet wird, enthält nicht jede hohe räumliche Frequenzkomponente in der Pixelregion, zentriert um den Interpolationspunkt. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe räumliche Frequenzkomponente in der Pixelregion.
  • Wie durch die Gleichungen gemäß 2C vorgegeben ist, addiert (oder integriert) die Kompensationseinheit 8 den Pixelkompensationswert 7 zu den interpolierten Pixelwerten 5, kompensiert die interpolierten Pixelwerte der jeweiligen Farbsignale und berechnet neue Pixelwerte 9 (G'33, R'33 und B'33) der entsprechenden Farbsignale an dem Interpolationspunkt (X33).
  • Die Verarbeitungsoperation, bei der der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist, wird unter Bezugnahme der 3A bis 3C erläutert.
  • 3A zeigt ein Pixelanordnungsbeispiel, 3B zeigt Filterkoeffizienten zum Berechnen eines Kompensationswertes und 3C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswert-Berechnungsverfahren und das Kompensationsverfahren repräsentieren.
  • Bei der Verarbeitungsoperation, bei der der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist, wird der Interpolationspunkt durch ein Pixel in der Pixellinienrichtung umgestellt, verglichen mit der Verarbeitungsoperation, bei der der Interpolationspunkt an einem R Pixel gesetzt ist, wie in den 2A bis 2C gezeigt.
  • In Folge dessen sind die Verfahrensoperationen der Interpolationseinheit 4, der Kompensationswert-Berechnungseinheit 6 und der Kompensationseinheit 8 immer die gleichen, wie diese in den 2A bis 2C.
  • Jedoch da ein Interpolationspunkt (X34) ursprünglich ein G Pixel ist, verändern sich die Gleichungen zum Berechnen der interpolierten Pixel Werte 5 durch die Interpolationseinheit 4 und die Gleichung zum Berechnen des Pixelkompensationswertes 7 durch den Kompensationswert-Berechnungseinheit 6, wie in 3C gezeigt.
  • Zusätzlich verändern sich die Filterkoeffizienten für die Berechnung des Pixelkompensationswertes 7 durch die Kompensationswert-Berechnungseinheit 6, wie in 3B gezeigt.
  • Die 4A und 4B zeigen die räumlichen Frequenzcharakteristiken des Pixelkompensationswertes, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird. 4A zeigt den Fall gemäß 2B und 4B zeigt den Fall gemäß 3B.
  • In diesem Beispiel ist der Kompensationsstufenfaktor GF in der HF Gleichung gleich 16.
  • In den 2A bis 2C und 3A bis 3C ist der Interpolationspunkt an einer R Pixellinie. Wenn der Interpolationspunkt an einer B Pixellinie ist, werden die R und B Pixel in den 2A bis 2C und 3A bis 3C ausgetauscht.
  • Wenn der Interpolationspunkt an einer B Pixellinie ist, werden R und B in den Gleichungen, welche in den 2C und 3C gezeigt werden, ausgetauscht.
  • Gemäß der vorliegenden Erfindung berechnet die Interpolationseinheit 4 jeden interpolierten Pixelwert 5 an dem Interpolationspunkt von den Pixelwerten der Pixel in derselben Farbe, welche in die vorbestimmte Interpolationsregion 12 fallen, die den Interpolationspunkt umfasst. Die Kompensationswert-Berechnungseinheit 6 berechnet den Pixelkompensations wert 7 an dem Interpolationspunkt aus den Pixelwerten einer Vielzahl von Pixeln, welche in die Kompensationsregion 13 fallen, die größer ist und die Interpolationsregion umfasst, welche von der Interpolationseinheit 4 verwendet wird. Die Kompensationseinheit 8 kompensiert den interpolierten Pixelwert 5 durch Verwendung des Pixelkompensationswert 7.
  • Eine hohe räumliche Frequenzkomponente, welche nicht durch niedrige Interpolation in der Interpolationseinheit 4 erhalten werden kann, wird durch die Verwendung des Pixelkompensationswertes 7 kompensiert, wodurch ein neuer Pixelwert erhalten wird, welcher die hohe räumliche Frequenzkomponente beinhaltet.
  • Als ein Ergebnis kann ein hochqualitatives Bild mit einer Hochfrequenzkomponente durch ein relativ einfaches Verfahren ohne Durchführung einer Interpolation höherer Ordnung für sämtliche Farbsignale erhalten werden, welches die Pixelwerte der Pixel in einem großen Bereich verwendet oder komplizierte Interpolationsverfahren unter variierenden Bedingungen um den Interpolationspunkt durchführt, welches nicht dem Stand der Technik entspricht.
  • Die Kompensationswert-Berechnungseinheit 6 berechnet den Pixelkompensationswert 7, welcher nur die Pixelwerte einer Vielzahl von Pixeln mit einem Farbsignal verwendet, welches die Helligkeitskomponente eines Bildsignals repräsentiert, wie z.B. die Verwendung nur der Pixelwerte von G Pixel für ein Bildsignal mit einer Bayer-Anordnung, wie dies in den 2A bis 2C und 3A bis 3C gezeigt ist.
  • Somit kann die Kompensationseinheit 8 nur Helligkeitskomponenten für die Pixelwerte der Pixel jedes Farbsignals ohne Veränderung der Farbbalance kompensieren.
  • Im Allgemeinen ist der Pixel, welcher die Helligkeitskomponente repräsentiert, am häufigsten vertreten und hat die höchste Frequenzkomponente. Ein neuer Pixelwert, welcher eine hohe Frequenzkomponente beinhaltet, kann erhalten werden, verglichen mit einem Pixelwert, welcher nur durch Pixel derselben Farbe interpoliert wird.
  • Die zweite Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf die 5A bis 5C beschrieben.
  • 5A bis 5C zeigen eine Bildverarbeitungsoperation gemäß der zweiten Ausführungsform der vorliegenden Erfindung. 5A zeigt ein Pixelanordnungsbeispiel, 5B zeigt Filterkoeffizienten zum Berechnen eines Kompensationswertes und 5C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswertkalkulationsverfahren und das Kompensationsverfahren repräsentieren.
  • Bei der ersten Ausführungsform ist der Interpolationspunkt an einem Pixel eingestellt. Jedoch ist der Interpolationspunkt nicht durch dieselbe Position wie ein Pixel begrenzt, wobei eine Position eingestellt werden kann, welche sich von einer Pixelposition unterscheidet, d.h. zwischen Pixeln.
  • Bei der zweiten Ausführungsform wird ein Interpolationspunkt a zwischen Pixeln eingestellt.
  • In 5A wird der Interpolationspunkt a an einer eingestellten Position von dem R Pixel R33, welcher als der Interpolationspunkt X33 in 2A dient, auf eine obere rechte Position gesetzt, welche durch 4 Pixel, R Pixel R33, G Pixel G32, G Pixel G43 und B Pixel B42 umgeben ist.
  • In diesem Fall berechnet eine Interpolationseinheit 4, basierend auf der Gleichung, die in 5C gezeigt ist, jeden interpolierten Pixelwert 5 (Ga, Ra oder Ba) von peripheren Pixeln der gleichen Farbe, welche von einer Interpolationsregion 14G von 2 × 2 Pixeln oder einer Interpolationsregion 14R oder 14B von 3 × 3 Pixeln umgeben sind, welche den Interpolationspunkt a umfassen.
  • Gleichzeitig erzeugt eine Kompensationswert-Berechnungseinheit 6 einen Pixelkompensationswert 7 (Hfa) zum Kompensieren des Pixelwertes jedes Farbsignals an dem Interpolationspunkt a durch die in 5C gezeigte Gleichung, welche die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt a verwendet, welcher in einen Bereich fällt, der größer ist und die Interpolationsregion umfasst, welche von der Interpolationseinheit 4, den Filterkoeffizienten, welche in 5B gezeigt sind, und dem Kompensationsskalenfaktor (Gewichtungsfaktor) gf. verwendet wird.
  • Bei der Berechnung des Pixelkompensationswertes 7 werden vorbestimmte Pixel verwendet, welche in einen um den Interpolationspunkt a zentrierten Bereich fällen, wobei der Bereich größer als die Region ist, welche bei der Interpolationseinheit 4 zum Interpolieren jedes Farbwertes verwendet wird, z.B. die Kompensationsregion 15 von 4 × 4 Pixel, welche mit den Filterkoeffizienten korrespondieren.
  • Der interpolierte Pixelwert 5, welcher durch die Interpolationseinheit 4 berechnet wird, enthält keine hohe räumliche Frequenzkomponente in der Pixelregion, welche um den Interpolationspunkt zentriert ist. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe räumliche Frequenzkomponente, welche mit der Pixelregion und den Koeffizienten korrespondiert.
  • Wie durch die Gleichungen gemäß 5C gegeben ist, addiert (oder integriert) eine Kompensationseinheit 8 den Pixelkompensationswert 7 zu den interpolierten Pixelwerten 5, kompensiert die interpolierten Pixelwerte 5 der entsprechenden Farbsignale und berechnet neue Pixelwerte 9 (G'a, R'a, und B'a) der entsprechenden Farbsignale an dem Interpolationspunkt a.
  • Die 6A bis 6C zeigen die Einstellposition des Interpolationspunktes.
  • In den 5A bis 5C ist der Interpolationspunkt a oben rechts von dem R Pixel R33 eingestellt. Jedoch kann die Einstellposition des Interpolationspunktes a auch oben links, unten rechts oder unten links des R Pixels R33 eingestellt werden, wie in den 6A bis 6C gezeigt.
  • In der 6A wird das Pixelanordnungsbeispiel von 5A horizontal umgekehrt (oder um 90° gedreht). Entsprechend dieser Anordnung werden die Filterkoeffizienten in 5B horizontal umgekehrt (oder um 90° gedreht).
  • In den 6B und 6C werden die R und B Pixel von den 5A bis 5C und 6B ausgetauscht. Die interpolierten Pixelwerte 5 werden durch Austauschen von R und B berechnet.
  • In jeden Fall, welcher ähnlich zu den Gleichungen von 5C ist, werden die interpolierten Pixelwerte 5 von Pixeln berechnet, welche in die Interpolationsregion von 2 × 2 Pixel oder 3 × 3 Pixel fallen, umfassend den Interpolationspunkt a, wobei der Pixelkompensationswert 7 von vorbestimmten Pixel berechnet wird, welche in die Kompensationsregion von 4 × 4 Pixeln fallen, welche größer als die Interpolationsregion ist.
  • In den 5A bis 5C wird der Interpolationspunkt oben rechts von dem R Pixel angeordnet. Ein Fall, worin der Interpolationspunkt an der oberen rechten Position eines G oder B Pixels angeordnet wird, korrespondiert mit jedem der Fälle, wie in den 5A und 6A bis 6C gezeigt ist.
  • Z.B. wenn der Interpolationspunkt a oben rechts an einem G Pixel an einer R Pixellinie angeordnet ist, stimmt die Positionsbeziehung zwischen dem Zielpixel und dem Interpolationspunkt mit der in 6A gezeigten Positionsbeziehung überein.
  • Verarbeitungen für sämtliche Fälle können deshalb mit den vier Mustern, welche in den 5A und 6A bis 6C gezeigt sind, ausgeführt werden.
  • 7A und 7B zeigen die räumliche Frequenzcharakteristiken des Pixelkompensationswertes, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird. 7A zeigt den Fall von 5B und 7B zeigt den Fall von 6B.
  • Bei diesem Beispiel ist der Kompensationsskalenfaktor gf in der HF Gleichung 32.
  • Auf diese Weise, immer wenn der Interpolationswert an einer von einer Pixelposition veränderten Position eingestellt wird, kann ein neuer Pixelwert ähnlich wie bei der ersten Ausführungsform berechnet werden, wobei ein hochqualitatives Bild mit einer hohen räumlichen Frequenzkomponente durch ein relativ einfaches Verfahren erhalten werden kann.
  • Der Pixelkompensationswert 7 wird durch Verwendung nur der Pixelwerte einer Vielzahl von Pixeln mit einem Farbsignal berechnet, welches die Helligkeitskomponente eines Bildsignals repräsentiert, wie z.B. die Verwendung nur der Pixelwerte von G Pixel eines Bildsignals mit einer Bayer-Anordnung. Aus diesem Grund kann die Kompensationseinheit 8 nur Helligkeitskomponenten für die Pixelwerte der Pixel jedes Farbsignals ohne Veränderung der Farbbalance kompensieren.
  • Wenn die Anzahl der Pixel an einer Seite einer Region immer ähnlich einer Region von 4 × 4 Pixeln ist, welche zum Berechnen eines Kompensationswertes verwendet werden, verändern sich die räumlichen Frequenzcharakteristiken des Pixelkompensationswertes 7 für jedes Pixel. Jedoch wird nur die Richtung des Pixelkompensationswertes verändert, wobei dessen Charakteristiken unverändert bleiben.
  • Ein Wechsel bei den Charakteristiken des Pixelkompensationswertes 7, welcher durch die Position des Interpolationspunktes bewirkt wird, ist kleiner als ein Fall, bei dem die Anzahl der Pixel an einer Seite ungerade ist. Somit kann ein hochqualitatives Bild erhalten werden.
  • 8A und 8B zeigen Ausgabebeispiele eines Bildes, welches durch die zweite Ausführungsform erhalten wird. Die Ausgabebeispiele sind Interpolationsergebnisse (Simulationsergebnisse) eines Bildes
    Figure 00180001
    welches durch ein Einzel-CCD Farbbildabtastungselement abgetastet wird. Das ursprüngliche Bild
    Figure 00180001
    ist nur schwarz und weiß.
  • Jedes Rechteck ist eine teilweise vergrößerte Position des Bildes
    Figure 00180001
    (für 10 × 10 Pixel).
  • 8A zeigt ein Ausgabebeispiel, wenn nur die gleiche Interpolation unterer Ordnung durchgeführt wird, wie dies in den 15A und 15B gezeigt ist.
  • 8B zeigt ein Ausgabebeispiel, wenn die vorliegende Erfindung angewendet wird, welche die Filterkoeffizienten in den 2B, 3B oder 5B verwendet.
  • Die beiden Ausgabebeispiele werden verglichen, um herauszufinden, wie dies aus dem vergrößerten Abschnitt in 8B ersichtlich ist, dass eine Unschärfe des ursprünglichen Bildes und eine falsche Farbe (welche ursprünglich an einer Pixelposition nicht exsistiert) erzeugt wird, welches sich an einem Randabschnitt zeigt, an dem sich die Farbe von schwarz zu weiß verändert, wobei ein hochqualitatives klares Bild erhalten wird, verglichen mit 8A.
  • An dem vergrößerten Abschnitt in 8A werden viele Pixeln mit einer falschen Farbe erzeugt, anders als schwarz und weiß Pixel. In 8B wird die Erzeugung dieser Pixel im Wesentlichen halbiert.
  • Die dritte Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf 9 beschrieben.
  • In 1 empfangen die Interpolationseinheit 4 und die Kompensationswert-Berechnungseinheit 6 direkt das Bildsignal 1. Bei der dritten Ausführungsform, wie in 9 gezeigt, ist eine Regionwert-Berechnungseinheit 2 zum Empfangen und Vorverarbeiten eines Bildsignals 1 vorgesehen, wobei das Bildsignal 1 danach einer Interpolationseinheit 4A und einer Kompensationswert-Berechnungseinheit 6A zugeführt wird.
  • In 9 empfängt die Regionwert-Berechnungseinheit 2 das Bildsignal 1 und gibt die Summe der Pixelwerte der Pixeln, welche zu den entsprechenden Pixelregionen gehören, als Regionwerte 3 für die entsprechenden Pixelregionen aus, welche vorab auf einer Untermatrix eingestellt sind, welche aus einer von Vielzahl von Pixeln hergestellt ist, umfassend den Interpolationspunkt als das Zentrum.
  • Die Regionwerte 3, welche durch die Regionwertekalkulationseinheit 2 berechnet werden, werden parallel synchron mit dem Empfang eines Pixelblocks ausgegeben.
  • Die durchgeführten Verarbeitungen bei der Interpolationseinheit 4A und der Kompensationswert-Berechnungseinheit 6A sind die gleichen, wie bei der Interpolationseinheit 4 und der Kompensationswert-Berechnungseinheit 6 in 1, ausgenommen, dass die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A nicht direkt das Bildsignal 1 empfangen, jedoch wahlweise die Regionwerte 3 verwenden, welche von der Regionwertekalkulationseinheit 2 parallel ausgegeben werden, um sequentiell interpolierte Pixelwerte 5 und einen Pixelkompensationswert 7 an dem Interpolationspunkt auf der korrespondierenden Submatrix zu berechnen und auszugeben.
  • Die 10A bis 10C zeigen die Funktionsweise der Regionwertekalkulationseinheit. 10A zeigt die zweidimensionale Bildebene eines Bildsignals, 10B zeigt eine Submatrix bzw. Untermatrix und 10C zeigt Regionen, welche auf der Submatrix eingestellt sind.
  • Wie in 10A gezeigt, empfängt die Regionwertekalkulationseinheit 2 sequentiell Pixelwerte, welche das Bildsignal 1 durch eine vorbestimmte Anzahl von Pixellinien (j-Richtung) bilden, wie z.B. fünf Pixellinien als die Anzahl der Pixelli nien, welche zum Berechnen des Pixelkompensationswertes 7 parallel zueinander in Einheiten von Einzelpixelspalten als Pixelblöcke 21 notwendig sind.
  • Wie in 10B gezeigt, wird eine Submatrix 22 von den Pixelblöcken 21 gebildet, welche mit fünf Pixelspalten als eine vorbestimmte Anzahl von erfolgreich empfangenen Pixelspalten (i-Richtung) korrespondieren, wie z.B. die Anzahl der Pixelspalten, welche zum Berechnen des Pixelkompensationswertes 7 notwendig ist.
  • Danach verändert sich die Submatrix 22 durch einen Pixel in der i-Richtung auf der zweidimensionalen Bildebene.
  • Für entsprechende Regionen A bis F, welche vorab auf der Submatrix 22 eingestellt sind, welche sich auf diese Weise konstituieren, wie in 10C gezeigt, berechnet die Regionwert-Berechnungseinheit 2 die Summen, d.h. die Regionwerte 3 der Pixelwerte der Pixel, welche zu den entsprechenden Pixelregionen gehören. Danach gibt die Regionwertekalkulationseinheit 2 parallel die Regionwerte synchron mit dem Empfang des Pixelblockes 21 aus.
  • Die Interpolationseinheit 4A und die Kompensationswertekalkulationseinheit 6A verwenden wahlweise die parallel ausgegebenen Regionwerte, wobei sequentiell interpolierte Pixelwerte und ein Pixelkompensationswert an dem Interpolationspunkt auf der korrespondierenden Submatrix berechnet und ausgegeben werden.
  • Diese Pixelregionen sind eingestellt, basierend auf Gleichungen, welche durch die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A verwendet werden. 10C zeigt die Pixelregionen A bis F, wenn das Interpolations verfahren und das Pixelkompensationswertekalkulationsverfahren bei der ersten Ausführungsform verwendet wird.
  • Ein Fall, bei dem die Pixelregionen A bis F eingestellt werden, wird anhand eines Beispieles erläutert.
  • 11 zeigt eine Anordnung der Regionwertekalkulationseinheit.
  • In 11 werden die Veränderungsregister mit den Bezugszeichen 121 bis 125 bezeichnet, welche jeweils aus vier in Serie verbundenen 1-Pixel Taktverzögerungen 211 bis 214, 221 bis 224, 231 bis 234, 241 bis 244 oder 251 bis 254 gebildet sind. Die Veränderungsregister 121 bis 125 sind parallel zueinander für die Pixelwerte Vil bis Vi5 der Pixelblöcke 21 angeordnet.
  • Die 1-Pixel Taktverzögerung (nachfolgend bezeichnet als eine Verzögerung) ist ein Sperrschaltkreis zum Verzögern und Ausgeben eines Eingabepixelwertes synchron mit einem Zeitsignal in der Pixellinienrichtung (i-Richtung).
  • Wenn fünf erfolgreiche Pixelblöcke 21 sequentiell empfangen worden sind, geben die Verzögerungen der Veränderungsregister 121 bis 125 Pixelwerte an Pixelpositionen an der Submatrix 22 aus.
  • Für die Pixelregionen addieren die Additionsschaltungen bzw. die Addierer 201 bis 207 sämtliche Pixel, welche zu den entsprechenden Pixelregionen gehören und von den entsprechenden Verzögerungen ausgegeben werden, wodurch entsprechende Regionwerte erhalten werden.
  • Z.B. die Additionsschaltung 201 addiert die Ausgaben von den Verzögerungen 221, 223, 241 und 243, welche mit der Region A in 10C korrespondieren, um einen Regionwert A zu erhalten.
  • Die Regionwert-Berechnungseinheit 2 berechnet die Regionwerte 3 von der empfangenen Submatrix 22, und gibt diese parallel aus.
  • 12 zeigt ein Anordnungsbeispiel der Interpolationseinheit und der Kompensationswert-Berechnungseinheit.
  • Die Interpolationseinheit 4A konstituiert sich durch R, B und G Interpolationseinheiten 41, 42 und 43 zum Durchführen von Interpolationsverfahren, betreffend entsprechende R, B und G Pixel.
  • Die Interpolationseinheiten 41 bis 43 berechnen parallel eine Vielzahl von interpolierten Pixelwerten, welche mit der Position des Interpolationspunktes korrespondieren, wobei Integratoren (Teiler) und Addierer bzw. Additionsschaltungen verwendet werden.
  • Korrespondierende interpolierte Pixelwerte werden durch die Selektoren 41A bis 43A ausgewählt, welche auf O/E und R/B Signale oder nur auf dem O/E Signal basieren, welche die Position eines aktuellen Interpolationspunktes repräsentieren, wobei diese als interpolierte Pixelwerte 5 (R, B und G) an dem Interpolationspunkt ausgegeben werden.
  • Es ist zu beachten, dass das R/B Signal repräsentiert, ob der Interpolationspunkt an einer R oder B Pixellinie ist und das O/E Signal repräsentiert, ob der Interpolationspunkt an einem G Pixel ist.
  • In ähnlicher Weise berechnet die Kompensationswert-Berechnungseinheit 6A ebenso parallel eine Vielzahl von interpolierten Pixelwerten, welche mit der Position des Interpolationspunktes korrespondieren, wobei Integratoren (Teiler) und Additionsschaltungen verwendet werden.
  • Ein korrespondierender interpolierter Pixelwert wird durch einen Selektor 61 ausgewählt, welcher auf dem O/E Signal basiert, wobei die Position eines aktuellen Interpolationspunktes repräsentiert und als ein Pixelkompensationswert 7 (HF) an dem Interpolationspunkt ausgegeben wird.
  • Als Filterkoeffizienten zum Berechnen eines Pixelkompensationswertes werden Koeffizienten verwendet werden, deren Summen quadriert und die Summe von einem quadriert wird. Mit dieser Einstellung kann der durch die Kompensationswert-Berechnungseinheit 6A verwendete Integrator (Teiler) von einem Bildschaltkreis gebildet werden, welcher wesentlich die Schaltkreisanordnung vereinfacht.
  • 13 zeigt eine Anordnung einer Kompensationseinheit.
  • In 13 wird mit der Bezugszahl 81 eine Integrationseinheit bezeichnet, welche aus einer Vielzahl von Integratoren zum Integrieren (Dividieren) der Pixelkompensationswerte 7 durch Quadrieren gebildet sind. Die entsprechenden Integratoren sind parallel zueinander verbunden.
  • Bezugszahl 82 bezeichnet eine Additionsschaltung für das wahlweise Addieren wenigstens einer Ausgabe von den Integratoren der Integrationseinheit 81, welche auf dem Kompensationsskalenfaktor (Gewichtsfaktor) gf basiert.
  • Bezugszahl 84 bezeichnet eine Additionsschaltung zum individuellen Addieren einer Ausgabe 83 von der Additionsschaltung 82 mit dem interpolierten Pixelwerten 5 (R, B und G), wobei die Summen als neue Pixelwerte 9 (R', B' und G') an dem Interpolationspunkt ausgegeben werden, welche mit dem Pixelkompensationswert 7 kompensiert sind.
  • Durch willkürlich ausgewählte Ausgaben des Kompensationsskalenfaktors gf, kann der interpolierte Pixelwert 5 durch eine Intensität, korrespondierend mit gf, kompensiert werden.
  • Da die Integrationseinheit 81 durch eine Vielzahl von Integratoren zum Integrieren der Werte zum Quadrat konstituiert ist, kann ein willkürlicher Kompensationsskalenfaktor gf mit dem Pixelkompensationswert 7 mit einer einfachen Schaltungsanordnung integriert werden.
  • Wenn der Bezugslevel des Pixelkompensationswertes 7 gemäß der Position des Interpolationspunktes verändert wird, kann gf automatisch entsprechend mit den Positionsinformationen des Interpolationspunktes umgeschaltet werden, um den Bezugslevel des Pixelkompensationswertes 7 einzustellen.
  • Wie oben beschrieben, verwendet die dritte Ausführungsform die Regionwertekalkulationseinheit 2. Die Regionwert-Berechnungseinheit 2 berechnet die Summen der Pixelwerte von Pixeln, welche zu den entsprechenden Pixelregionen gehören, da die Regionwerte 3 für die entsprechenden Pixelregionen vorab auf der Submatrix 22 eingestellt werden, werden die Regionwerte 3 synchron mit dem Empfang des Pixelblocks 21 parallel ausgegeben. Die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A verwenden wahlweise die parallel ausgegebenen Regionwerte, wobei die interpolierten Pixelwerte und ein Kompensationswert an den Interpolations wert auf der korrespondierenden Submatrix 22 sequentiell berechnet und ausgegeben werden.
  • Die Submatrix verändert sich auf der zweidimensionalen Bildebene des Bildsignals 1 synchron mit dem Empfang des Pixelblocks 21. Gleichzeitig wird ein mit dem Pixelkompensationswert 7 kompensierter neuer interpolierter Pixelwert als der interpolierte Pixelwert jedes Farbsignals an dem Interpolationspunkt erhalten, korrespondierend mit der Submatrix. Dieses realisiert ein Pipeline-Verfahren, synchronisierend mit dem Empfang des Pixelblockes 21.
  • Ein interpolierter Pixelwert für eine höhere Bildqualität kann bei einer höheren Geschwindigkeit berechnet werden, verglichen mit einem Fall, bei dem das Interpolationsverfahren durch numerische Berechnung durchgeführt wird, welche DSP oder dergleichen verwendet.
  • Die dritte Ausführungsform wird anhand der ersten Ausführungsform beschrieben. Die dritte Ausführungsform kann vereinfacht bei der zweiten Ausführungsform durch Konstitution des Schaltkreises gemäß der Anzahl der Pixellinien und der Pixelspalten angewendet werden, welche zum Kompensationswertkalkulationsverfahren notwendig sind. In diesem Fall werden die gleichen Effekte, wie oben beschrieben, erhalten.
  • Wenn die dritte Ausführungsform bei der zweiten Ausführungsform angewendet wird, verringert sich die Anzahl der notwendigen Pixel, wobei die Anzahl der Sperrungen für den Speicherpuffer oder die Verzögerung verringert werden und der notwendige Schaltkreisbereich reduziert wird.
  • Speziell die Verringerung bezüglich der Anzahl der Linien der Daten, welche in dem Speicherpuffer gehalten werden, ist sehr effektiv für ein Bildabtastgerät, wie z.B. bei einer neuesten Digitalkamera mit einer großen Zahl von Pixeln.
  • Die vierte Ausführungsform der vorliegenden Erfindung wird beschrieben.
  • 14 zeigt die Anordnung eines Bildverarbeitungsgerätes gemäß der vierten Ausführungsform der vorliegenden Erfindung.
  • Bei den oben beschriebenen Ausführungsformen wird der durch die Interpolationseinheit 4 oder 4A erhaltene interpolierte Pixelwert 5 mit dem Pixelkompensationswert 7 kompensiert. Jedoch die vorliegende Erfindung wird nicht dadurch beschränkt, da der interpolierte Pixelwert 5 auch mit dem Pixelkompensationswert 7 kompensiert werden kann, nachdem der Wert 5 verschiedenen Verfahren unterworfen wird.
  • Z.B. in 14A ist eine Farbkorrektureinheit 11A zwischen einer Interpolationseinheit 4 und einer Kompensationseinheit 8 vorgesehen. Nach dem ein interpolierter Pixelwert 5 einer Farbbalancekorrektur unterworfen wird, wird dieser mit einem Pixelkompensationswert 7 kompensiert.
  • In 14B ist eine Signalumwandlungseinheit 11B zwischen der Interpolationseinheit 4 und der Kompensationseinheit 8 vorgesehen. Nach dem der interpolierte Pixelwert 5 in unterschiedliche Helligkeitssignale und unterschiedliche Farbsignale umgewandelt wird, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 kompensiert.
  • Wie oben beschrieben, wird der interpolierte Pixelwert kompensiert durch die Verwendung des Pixelkompensationswertes 7, sodass einheitlich kompensierte Pixelwerte für entsprechende Farbsignale vorgesehen sind, um den Helligkeitswert zu kompensieren.
  • Wenn der interpolierte Pixelwert 5 einer Farbbalancekorrektur unterworfen wird, wie in 14A gezeigt, wird dieser mit dem Pixelkompensationswert 7 nach der Farbbalancekorrektur kompensiert. Pixelwerte können gleichmäßiger für entsprechende Farbsignale kompensiert werden und der Helligkeitswert an dem Interpolationspunkt kann genauer kompensiert werden, als bei einem Fall, bei dem die Farbbalance später korrigiert wird.
  • Wenn der interpolierte Pixelwert 5 ebenso in unterschiedliche Helligkeitssignale und unterschiedliche Farbsignale umgewandelt wird, wie in 14 gezeigt, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 nach dem Signalumwandlungsverfahren kompensiert. Der Helligkeitswert an dem Interpolationspunkt kann genauer kompensiert werden, als in einem Fall, bei dem das Signalumwandlungsverfahren später durchgeführt wird.
  • In 14C ist eine Gammakorrektureinheit 11C zwischen der Interpolationseinheit 4 und der Kompensationseinheit 8 angeordnet. Nach dem der interpolierte Pixelwert 5 einer Gammakorrektur unterworfen wird, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 kompensiert.
  • Eine allgemeine Gammakorrektur komprimiert die Helligkeit zu einer Hochfrequenzregion. Durch die Kompensation des Helligkeitssignals mit dem Pixelkompensationswert 7 nach der Gammakorrektur, kann ein verlorener Kontrast wieder hergestellt werden.
  • In diesem Fall, wenn die Kompensation mit dem Pixelkompensationswert 7 angesteuert wird, welcher auf Statistiken basiert, wird eine Helligkeit um dem Interpolationspunkt repräsentiert, wobei ein verlorener Kontrast wahlweise für eine gewünschte Helligkeitsregion wiederhergestellt werden kann.
  • Bei den oben beschriebenen Ausführungsformen wird der Pixelkompensationswert durch die Verwendung von in einem quadratischen Bereich liegenden Pixel berechnet. Jedoch wird die vorliegende Erfindung nicht dadurch beschränkt. Es können auch Pixel aus einem rechteckigen Bereich verwendet werden.
  • Z.B. bei der zweiten Ausführungsform (siehe 5A bis 5C) wird der Pixelkompensationswert von einem Bereich von 4 × 5 Pixel mit einer Länge entsprechend von 5 Pixel in die i-Richtung berechnet. In diesem Fall kann der Kompensationswert mit einer hohen räumlichen Frequenz nicht nur in der Richtung der G Pixel G21, G32, G43 und G54, sondern auch in der Richtung der G Pixel G41, G32, G23 und G14 gemäß 5A berechnet werden.
  • Wie oben beschrieben, verwendet die vorliegende Erfindung eine Kompensationswert-Berechnungseinheit zum Erzeugen eines Pixelkompensationswertes für die Kompensation des Pixelwertes des Interpolationspunktes, verwendend die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt herum, welche in eine Kompensationsregion fallen, welche größer ist und eine Interpolationsregion umfasst, welche durch eine Interpolationseinheit verwendet wird. Der interpolierte Pixelwert jedes Farbsignals an dem Interpolationspunkt, welcher von der Interpolationseinheit ausgegeben wird, wird kompensiert durch die Verwendung des Pixelkompensationswertes, korrespondierend mit dem Interpolationspunkt, der durch die Kompensationswert-Berechnungseinheit erhalten wird. Der kompensierte Wert wird als ein neuer Pixelwert für jedes Farbsignal an dem Interpolationspunkt ausgegeben.
  • Für die räumliche Frequenz in der Pixelregion um den Interpolationspunkt wird eine hohe räumliche Frequenzkomponente, welche nicht durch Interpolation mit unterer Ordnung in der Interpolationseinheit erhalten werden kann, durch die Verwendung des Pixelkompensationswertes kompensiert. Ein neuer Pixelwert mit räumlichen Frequenzcharakteristiken, welche durch den Bereich und die Koeffizienten der Kompensationsregion bestimmt werden, wird erhalten.
  • Konsequenterweise kann im Gegensatz zum Stand der Technik ein hochqualitatives Bild mit einer Hochfrequenzkomponente durch ein relativ einfaches Verfahren erhalten werden, ohne eine Interpolation höherer Ordnung für alle Farbsignale durchzuführen, welche die Pixelwerte von Pixeln in einem weiten Bereich verwendet oder ein kompliziertes Interpolationsverfahren unter variierenden Bedingungen durchführt, um den Interpolationspunkt zu erhalten.

Claims (10)

  1. Bildverarbeitungsgerät zur Interpolation eines Bildsignals (1), welches aus mehreren Pixel zusammengesetzt ist, welche auf einer zweidimensionalen Ebene angeordnet sind, und einen Pixelwert haben, welcher zu jedem einer Vielzahl von Farbsignalen jedes Pixel korrespondieren, wobei ein Pixelwert an einem beliebigen Interpolationspunkt auf der zweidimensionalen Ebene durch Pixelwerte von peripheren Pixel angeordnet ist, und wobei ein Bildsignal mit Pixelwerten von jedem der Farbsignale für jeden Interpolationspunkt erzeugt werden, gekennzeichnet dadurch, dass eine Interpolationseinheit (4) zum Interpolieren eines Pixelwertes jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, wobei Pixelwerte derselben Farbe verwendet werden, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, und wobei der Pixelwert als ein interpolierter Pixelwert (5) an dem Interpolationspunkt für jedes Farbsignal ausgegeben wird; dass eine Kompensationswert-Berechnungseinheit (6) zum Erzeugen eines Pixel-Kompensationswertes (7) zum Kompensieren eines Pixelwertes des Interpolationswertes vorgesehen ist, welcher Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt herum verwendet, welche in eine Kompensationsregion fallen, welche zumindest die Interpolationsregion umfasst; und dass eine Kompensationseinheit (8) zum Kompensieren des interpolierten Pixelwertes (5) jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, der von der besagten Interpolationseinheit (4) ausgegeben wird, in dem der Pixel-Kompensationswert (7) verwendet wird, welcher mit dem Interpolationspunkt korrespondiert, welcher durch die besagte Kompensationswert-Kalkulationseinheit erhalten wird, und wobei der kompensierte interpolierte Pixelwert als ein neuer Pixelwert (9) jedes Farbsignals an dem Interpolationspunkt ausgegeben wird.
  2. Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) den interpolierten Pixelwert (5) an einem Interpolationspunkt an derselben Position als ein beliebiges Pixel oder zwischen benachbarten Pixel berechnet und ausgibt.
  3. Gerät nach Anspruch 1, wobei die besagte Kompensationswert-Kalkulationseinheit (6) einen Pixel-Kompensationswert erzeugt, welcher mit dem Interpolationspunkt korrespondiert, welcher Pixelwerte einer Vielzahl von Pixel mit einem Farbsignal verwendet, welches eine Helligkeitskomponente des Bildsignals (1) zwischen Pixel um dem Interpolationspunkt repräsentiert.
  4. Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) und die besagte Kompensationswert-Kalkulationseinheit (6) einen interpolierten Pixelwert und einen Pixel-Kompensationswert an einem Interpolationspunkt auf einer Submatrix (22) sequentiell berechnet und ausgibt, wobei Pixelwerte von Pixel verwendet werden, welche von der Submatrix (22) umfasst werden, welche sequentiell als Pixelblocks (21) von dem Bildsignal (1) durch eine vorbestimmte Anzahl von Pixellinien sequentiell empfangen werden, welche parallel zueinander in Einheiten von einfachen Pixelspalten und aus einer vorbestimmten Anzahl von erfolgreich empfangenen Pixelblöcken (21) zusammengesetzt sind.
  5. Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Regionswert-Kalkulationseinheit (2) zum sequentiellen Empfangen von Pixelwerten umfasst, welche das Bildsignal (1) als Pixelblöcke (21) mit einer vorbestimmten Anzahl von Pixellinien bilden, welche parallel zueinander in Einheiten von Einfachpixelspalten sind, welche eine Submatrix (22) durch die vorbestimmte Anzahl von erfolgreich empfangenen Pixelblöcken (21) konstituieren, wobei die Summen der Pixelwerte der Pixel zugehörig zu den jeweiligen Regionssätzen im voraus von der Submatrix (22) als Regionswerte der jeweiligen Regionen berechnet werden, und wobei die Regionswerte synchron mit dem Empfang des Pixelblocks parallel ausgegeben werden, und wobei eine Interpolationseinheit (4A) und eine Kampensationswert-Kalkulationseinheit (6A) vorgesehen sind, welche selektiv die Regionswerte (3) verwenden, welche parallel von der besagten Regionswerte-Kalkulationseinheit (2) ausgegeben werden, und wobei ein sequentieller Berechnen sowie Ausgeben eines interpolierten Pixeluiertes und eines Pixel-Kompensationswertes an einem Interpolationspunkt auf einer korrespondierenden Submatrix vorgesehen ist.
  6. Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) einen interpolierten Pixelwert an einend Interpolationspunkt aus einer Summe von Produkten der Pixelwerte der Pixel berechnet wird, welche in der Interpolationskalkulation und bei den Koeffizenten verwendet werden, welche mit den Pixel korrespondieren, und wobei als Koeffizienten Koeffizienten verwendet werden, welche die Summen der Potenzen von 2 sind und die Summe, die eine Potenz von 2 ist.
  7. Gerät nach Anspruch 1, wobei die besagte Kompensationswert-Kalkulationseinheit (6) einen Kompensationswert aus einer Summe von Produkten von Pixelwerten der Pixel berechnet, welche bei der Kompensationswert-Kalkulation und den Koeffizienten verwendet wird, welche mit den Pixel korrespondieren und wobei als Koeffizienten die Koeffizienten verwendet werden, welche die Summen der Potenzen von 2 sind und die Summe eine Potenz von 2 ist.
  8. Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Farbkorrektureinheit (11A) zum Ausführen von Farbkorrekturprozessen für ein interpoliertes Bildsignal umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, welcher durch die besagte Interpolationseinheit erhalten wird, und die besagte Kompensationseinheit (8) den Pixei-Kompensationswert (7) verwendet, welcher durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um jeden Pixelwert nach der Farbkorrektur durch die besagte Farbkorrektureinheit (11A) zu kompensieren und auszugeben, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).
  9. Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Signalkonvertierungseinheit (11B) zum Konvertieren eines interpolierten Bildsignals umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, welcher durch die besagte Interpolationseinheit (4) bezogen auf die Helligkeit und die Farbe in unterschiedlichen Signalen erhalten wird, und wobei die besagte Kompensationseinheit (8) die Pixelkompensationswerte (7) verwendet, welche durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um das Helligkeitssignal zu kompensieren und auszugeben, welches durch die besagte Signalkonvertierungseinheit (11B) erhalten wird, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).
  10. Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Gamma-Korrektureinheit (11C) zum Ausführung von Gamma-Korrekturprozessen für ein interpoliertes Bildsignal umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, das durch die besagte Interpolationseinheit (4) erhalten wird, und wobei die besagte Kompensationseinheit (8) den Pixel-Kompensationswert (7) verwendet, welcher durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um jeden Pixelwert nach der Gamma-Korrektur durch die besagte Gamma-Korrektureinheit (11C) zu kompensieren und auszugeben, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).
DE60015265T 1999-07-22 2000-07-20 Bildverarbeitungsgerät Expired - Fee Related DE60015265T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP20741299 1999-07-22
JP20741299A JP4317619B2 (ja) 1999-07-22 1999-07-22 画像処理装置

Publications (2)

Publication Number Publication Date
DE60015265D1 DE60015265D1 (de) 2004-12-02
DE60015265T2 true DE60015265T2 (de) 2006-02-02

Family

ID=16539327

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60015265T Expired - Fee Related DE60015265T2 (de) 1999-07-22 2000-07-20 Bildverarbeitungsgerät

Country Status (4)

Country Link
US (1) US6636629B1 (de)
EP (1) EP1079604B1 (de)
JP (1) JP4317619B2 (de)
DE (1) DE60015265T2 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051672A (ja) 1999-08-05 2001-02-23 Neucore Technol Inc 画像処理装置
JP4361991B2 (ja) * 1999-08-20 2009-11-11 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理装置
CN1599404A (zh) * 2000-02-03 2005-03-23 松下电器产业株式会社 图像输入装置
JP2002024815A (ja) * 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP4523200B2 (ja) * 2001-06-15 2010-08-11 パナソニック株式会社 画像処理装置
JP3697459B2 (ja) * 2002-09-18 2005-09-21 コニカミノルタフォトイメージング株式会社 画像処理方法及び画像処理装置
JP4302391B2 (ja) * 2002-11-28 2009-07-22 株式会社メガチップス 画素補間装置及び画素補間方法並びにデジタルカメラ
JP4270892B2 (ja) * 2003-01-27 2009-06-03 Hoya株式会社 偽色低減装置
JP2004242103A (ja) * 2003-02-06 2004-08-26 Canon Inc 撮像装置
JP3960965B2 (ja) * 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7787026B1 (en) 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera
GB2426881B (en) * 2005-06-01 2010-12-29 Snell & Wilcox Ltd Method and apparatus for spatial interpolation of colour images
US7613363B2 (en) * 2005-06-23 2009-11-03 Microsoft Corp. Image superresolution through edge extraction and contrast enhancement
US7557954B2 (en) * 2005-09-29 2009-07-07 Lexmark International, Inc. Fast color interpolation
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4735978B2 (ja) * 2006-07-21 2011-07-27 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN103854254B (zh) * 2012-11-28 2016-12-21 北京大学 一种基于自回归模型的任意比例图像插值方法
CN108478188B (zh) * 2018-02-12 2021-08-20 苏州佳世达电通有限公司 以结构光进行扫描的立体物件扫描装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61501424A (ja) 1984-09-10 1986-07-10 イ−ストマン コダック カンパニ− 標本色彩画像信号のための信号処理方法及び装置
US4630307A (en) 1984-09-10 1986-12-16 Eastman Kodak Company Signal processing method and apparatus for sampled image signals
US4642678A (en) 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JPH04284087A (ja) * 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US5805217A (en) 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US6563538B1 (en) * 1997-09-26 2003-05-13 Nikon Corporation Interpolation device, process and recording medium on which interpolation processing program is recorded
US6181376B1 (en) * 1997-10-14 2001-01-30 Intel Corporation Method of determining missing color values for pixels in a color filter array
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6130960A (en) * 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images

Also Published As

Publication number Publication date
EP1079604A2 (de) 2001-02-28
EP1079604A3 (de) 2003-11-26
DE60015265D1 (de) 2004-12-02
JP2001054123A (ja) 2001-02-23
JP4317619B2 (ja) 2009-08-19
EP1079604B1 (de) 2004-10-27
US6636629B1 (en) 2003-10-21

Similar Documents

Publication Publication Date Title
DE60015265T2 (de) Bildverarbeitungsgerät
DE69633587T2 (de) Einzel-Chip-Farbvideokamera zum Erzeugen von interpixel Farbartsignalen durch Interpolation der Primärfarbsignale von benachbarten Pixeln
DE69628867T2 (de) Adaptive Farbebeneninterpolation in einer elektronischen Einfachsensorfarbkamera
DE69411470T2 (de) Methode und Vorrichtung zur Verbesserung der Schärfe einer einem kontinuierlichem Zoom unterworfenen Bildfolge
DE69327895T2 (de) Bildaufnahmevorrichtung mit interpolationsfunktion der horizontalen zeilen
DE69027809T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69628866T2 (de) Adaptive Interpolation von Farbflächen in einer elektronischen Farbkamera mit nur einem Sensor
DE60211870T2 (de) System und verfahren zur asymmetrischen entfernung des mosaikeffektes in rohbilddaten unter verwendung eines farbunterschiedausgleichs
DE69333103T2 (de) Vorrichtung zur Umsetzung von digitalen Daten
DE69831886T2 (de) Verfahren und Vorrichtung zur Bildsignalumsetzung
DE69433031T2 (de) Bildprozessor
DE69032177T2 (de) Kodierungsgerät
DE69006083T2 (de) Interpolation eines Videosignals.
DE112009005418B4 (de) Bildverarbeitungsgerät
DE60023619T2 (de) Bildverarbeitungsvorrichtung zur Verringerung der Abtastfrequenz und zur Interpolation eines Bildsignals von einem Sensor mit Farbfilteranordnung
DE3240906C2 (de) Digitalfilter
DE69021431T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE69622975T2 (de) Verfahren und Vorrichtung zur Halbtonerzeugung für Farbbilder in einem neuronalen Netz
DE68909470T2 (de) Bildaufnahmegerät.
DE69124866T2 (de) Bildsignalverarbeitungsvorrichtung
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
DE10344397B4 (de) Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung
DE102005061366A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten eines Farbfilterfeldes
DE10243306A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee