DE102011006272A1

DE102011006272A1 - Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser

Info

Publication number: DE102011006272A1
Application number: DE102011006272A
Authority: DE
Inventors: Ken Terasawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-03-29
Filing date: 2011-03-28
Publication date: 2013-01-17
Also published as: JP5438579B2; US8902329B2; US20110234823A1; GB2479229A; KR101313686B1; CN102208098A; JP2011211426A; US8587712B2; GB201103747D0; GB2479229B; CN102208098B; KR20110109908A; US20140044374A1

Abstract

Der Korrekturbetrag einer Aberration, die in jedem Pixel des Bereichs durch das optische System verursacht wird, wird berechnet. Eine vorbestimmte Anzahl von peripheren Pixeln, deren Zentrum an einer Position liegt, die von dem Pixel um die Entfernung entsprechend dem berechneten Aberrationskorrekturbetrag entfernt ist, werden mit Interpolationskoeffizienten multipliziert, die von einer Interpolationsfunktion erhalten werden, und addiert, wodurch der Pixelwert an der Pixelposition nach einer Korrektur hergeleitet wird. Wenn die vorbestimmte Anzahl von peripheren Pixeln um die Position, die um die Entfernung entsprechend dem berechneten Aberrationskorrekturbetrag entfernt ist, nicht in dem ausgelesenen Bereich vorhanden sind, wird eine Aberrationskorrektur durch Ändern der Interpolationsfunktion implementiert. Genauer wird die Interpolationsfunktion geändert, um das Frequenzantwortverhalten der Interpolationsfunktion moderater zu machen, als das der Interpolationsfunktion, die die Interpolationskoeffizienten ausgibt, um die vorbestimmte Anzahl von peripheren Pixeln zu multiplizieren und wird in der Korrekturverarbeitung verwendet.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildkorrekturtechnik und genauer, eine Technik des Korrigierens einer Bildverschlechterung, die durch Aberrationen bzw. Abbildungsfehler in einem optischen System, das zum Aufnehmen eines Bildes verwendet wird, verursacht wird.
Beschreibung des Standes der Technik
Ein Bild, das durch eine Bildaufnahmevorrichtung, wie etwa eine Digitalkamera aufgenommen wird, wird durch die chromatische Aberration aufgrund einer Vergrößerung und eine Verzerrungsaberration aufgrund eines optischen Systems, wie etwa einer Abbildungslinse, beeinflusst. Ein Fokussieren auf die Pixel des aufgenommenen Bildes zeigt, dass ein Bild, das in einem aberrationsfreien System auf einem Pixel von Interesse gebildet werden sollte, durch die Aberrationen bewegt wird, und auf der Linie gebildet wird, die das Pixel von Interesse und die Mitte des Bildes verbindet.
Jüngste Bildaufnahmevorrichtungen korrigieren den Einfluss von Aberrationen durch eine Bildverarbeitung, weil die Verwendung eines Multipixelbildsensors oder eines optischen Systems mit einem Weitwinkel oder einem großen Zoomverhältnis eine Verschlechterung der Bildqualität, die durch die Aberrationen verursacht wird, offensichtlich macht. Wie bekannt ist, wird der Korrekturbetrag, der zum Korrigieren der Informationen, die das Pixel, das sich aufgrund der Aberration des Pixels bewegt hat, in einem aberrationsfreien System definieren, zu verwenden ist, basierend auf der Bildhöhe, die die Entfernung von der Bildmitte darstellt, und Charakteristika des optischen Systems erhalten.
Eine Bildbewegung aufgrund der Aberrationen erfolgt nicht notwendigerweise für jedes Pixel des Bildsensors. Das Bild wird manchmal zu einem Punkt (fehlendes Pixel) zwischen den Pixeln des Bildsensors bewegt. Somit ist eine Interpolationsoperation notwendig, um den Einfluss der Aberrationen zu korrigieren. Die japanischen Patentoffenlegungsschriften Nr. 2001-186533 und 2005-057605 offenbaren Techniken, um den Pixelwert eines Pixels von Interesse nach einer Korrektur durch Multiplizieren einer Vielzahl von Pixeln mit einer Korrekturfunktion herzuleiten, um eine chromatische Aberration aufgrund einer Vergrößerung oder eine Verzerrungsaberration in dem aufgenommenen Bild zu korrigieren.
Der vorstehend beschriebene Stand der Technik erwähnt jedoch nicht die Korrekturgrenzen basierend auf der Kapazität des Speicherbereichs während einer Korrekturverarbeitung, obwohl ein Verarbeitungsverfahren des Korrigierens eines Einflusses von Aberrationen offenbart ist. Insbesondere wird bei einer Bildaufnahmevorrichtung, die einen Multipixelbildsensor umfasst, wie vorstehend beschrieben, eine Kapazität eines aufgenommenen Bildes größer. Aus diesem Grund ist es nötig, um eine Bildverarbeitung durch, zum Beispiel, Korrigieren des Einflusses von Aberrationen auf das erhaltene Bild anzuwenden, das Bild in eine Anzahl von Regionen aufzuteilen, jede Region nacheinander in den Speicherbereich auszulesen, und dann eine Korrekturverarbeitung durchzuführen. Um die Zeit zu verkürzen, die von einer Bildaufnahme bis zum Aufzeichnen erforderlich ist, wie bei einer Videoaufzeichnungsbetriebsart oder ähnlichem, muss ein wiederholtes Auslesen von Regionen soweit wie möglich vermieden werden. Es ist erforderlich, dass eine Bildverarbeitung mit dem Auslesen von einem Zyklus pro Region zu vollenden ist. Das heißt, da der Aberrationskorrekturbetrag durch die Kapazität des Speicherbereichs begrenzt ist, muss die Korrektur unter Berücksichtigung der Korrekturgrenze angewendet werden.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde unter Berücksichtigung der Probleme des Standes der Technik vorgenommen. Die vorliegende Erfindung stellt die Korrektur einer Verschlechterung einer Bildqualität in einem aufgenommenen Bild, die durch Aberrationen bzw. Abbildungsfehler aufgrund des optischen Systems verursacht wird, und unter Berücksichtigung der Korrekturgrenze bereit.
Die vorliegende Erfindung gemäß dem ersten Aspekt stellt eine Bildverarbeitungsvorrichtung bereit, die eingerichtet ist, um für jedes Pixel eines Bildes den Einfluss von Aberrationen in einem optischen System in dem Bild, das unter Verwendung des optischen Systems aufgenommen wird, zu korrigieren, mit: einer Speichereinrichtung, die dazu konfiguriert ist, ein Bild eines Teilbereichs des Bildes auszulesen und zu speichern; einer Berechnungseinrichtung, die dazu konfiguriert ist, eine Entfernung auf dem Bild des Teilbereichs zwischen einem Pixel von Interesse des Bildes des Teilbereichs, das in der Speichereinrichtung gespeichert ist, und einem Bild, das an der Position des Pixels von Interesse gebildet werden saute, aber sich aufgrund der Aberrationen des optischen Systems bewegt hat, als einen Korrekturbetrag zu berechnen, unter Verwendung von Informationen über eine Bildhöhe des Pixels von Interesse und Informationen des optischen Systems; und einer Korrektureinrichtung, die dazu konfiguriert ist, einen Pixelwert des Pixels von Interesse nach einer Korrektur herzuleiten, durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwertes von jedem von einer vorbestimmten Anzahl von peripheren Pixel, deren Zentrum an einer Position liegt, die von dem Pixel von Interesse um eine Entfernung, die durch die Berechnungseinrichtung berechnet wird, entfernt ist, mit einem Interpolationskoeffizienten von jedem der peripheren Pixel, der von einer vorbestimmten Interpolationsfunktion erhalten wird, die eine Funktion der Entfernung von der Position, die von dem Pixel von Interesse um die Entfernung, die durch die Berechnungseinrichtung berechnet ist, entfernt ist, erhalten wird; wobei, wenn die peripheren Pixel in der Speichereinrichtung nur in einer Anzahl gespeichert werden, die kleiner als die vorbestimmte Anzahl ist, die Korrektureinrichtung die Interpolationsfunktion ändert, um ein Frequenzantwortverhalten der vorbestimmten Interpolationsfunktion moderater zu machen, als das, wenn die vorbestimmte Anzahl von peripheren Pixeln in der Speichereinrichtung gespeichert wird, und den Pixelwert des Pixels von Interesse nach einer Korrektur herleitet, durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwertes von jedem der peripheren Pixel, deren Anzahl kleiner als die vorbestimmte Anzahl ist, mit dem Interpolationskoeffizienten von jedem der peripheren Pixel, die von der Interpolationsfunktion erhalten werden, erhalten werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen (mit Bezug auf die anhängigen Zeichnungen) ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das die funktionale Anordnung einer Digitalkamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
2A und 2B sind Ansichten zum Erklären einer Pixelkoordinatenerzeugungsschaltung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
3A, 3B und 3C sind Graphen, die ein Annäherungsfunktionsherleitungsverfahren erklären, das zum Berechnen eines Korrekturbetrags gemäß der vorliegenden Erfindung zu verwenden ist;
4 ist ein Blockdiagramm, das die Schaltungsanordnung einer Koeffizientenerzeugungsschaltung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
5 ist eine Ansicht, die ein Verfahren des Herleitens eines Pixelwerts nach einer Korrektur erklärt;
6A, 6B und 6C sind Graphen, die vorübergehende Charakteristika von Interpolationsfunktionen erklären;
6D, 6E und 6F sind Graphen, die die Frequenzantwortverhalten von Interpolationsfunktionen erklären;
7 ist ein Blockdiagramm, das die Schaltungsanordnung einer Frequenzcharakteristiksteuerungsschaltung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
8A, 8B und 8C sind Graphen, die die Unterdrückungskoeffizienten der Interpolationsfunktion erklären;
9 ist eine Ansicht, die ein Verfahren des Herleitens eines Pixelwerts nach einer Korrektur gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erklärt;
10A ist ein Blockdiagramm, das die Schaltungsanordnung einer optischen Korrekturschaltung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
10B und 10C sind Schaltungsdiagramme, die die Schaltungsanordnung einer Interpolationsschaltung in der optischen Korrekturschaltung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigen;
11A, 11B, 11C und 11D sind Ansichten, die Referenzpixel auf einem Pufferspeicher erklären, die für eine Interpolationsoperation zu verwenden sind;
12A, 12B und 12C sind Graphen, die die Beziehung zwischen der Bildhöhe und dem Korrekturbetrag gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigen;
13A, 13B, 13C, 13D, 13E, 13F, 13G und 13H sind Graphen, die die Beziehung zwischen dem Korrekturgrenzbetrag und jedem der Parameter gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigen;
14 ist ein Blockdiagramm, das die Schaltungsanordnung einer Korrekturcharakteristikinformationserzeugungsschaltung gemäß einem dritten Ausführungsbeispiel zeigt; und
15A, 15B und 15C sind Blockdiagramme, die die Schaltungsanordnungen einer Merkmalserfassungsschaltung gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung zeigen.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
(Erstes Ausführungsbeispiel)
Ein Ausführungsbeispiel der vorliegenden Erfindung wird nun detailliert mit Bezug auf die anhängigen Zeichnungen beschrieben. Es sei angemerkt, dass in dem folgenden Ausführungsbeispiel, ein Beispiel beschrieben wird, in dem die vorliegende Erfindung auf eine Digitalkamera angewendet wird, die eine Bildverarbeitungsvorrichtung ist, und eine chromatische Aberration aufgrund einer Vergrößerung oder eine Verzerrungsaberration, die in einem aufgenommenen Bild aufgrund des optischen Systems erzeugt wird, korrigieren kann. Die vorliegende Erfindung ist jedoch auf eine Einrichtung anwendbar, die dazu in der Lage ist, Bildqualitätsverschlechterungen zu korrigieren, die in einem Eingabebild durch die Aberrationen des optischen Systems, das das Bild aufgenommen hat, verursacht werden.
Es sei angemerkt, dass in diesem Ausführungsbeispiel nachstehend der Korrekturbetrag der chromatischen Aberration aufgrund einer Vergrößerung von jeder von RGB oder der Verzerrungsaberration beschrieben wird, weil der Aberrationskorrekturbetrag von der Bildgröße abhängt, obwohl die Beziehung zwischen dem Korrekturbetrag und der Bildhöhe zwischen der chromatischen Aberration aufgrund einer Vergrößerung und der Verzerrungsaberration unterschiedlich ist.
1 ist ein Blockdiagramm, das die funktionale Anordnung einer Digitalkamera 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt. Es sei angemerkt, dass in diesem Ausführungsbeispiel die Beschreibung durch Darstellen von zumindest nur der funktionalen Anordnung, die zum Korrigieren des Einflusses von Aberrationen, die in einem Bild erzeugt werden, das durch die Digitalkamera 100 aufgenommen wird, notwendig sind, vorgenommen wird, und keine Komponenten betreffend eine Bildaufzeichnung und Anzeige dargestellt werden.
Ein Mikrocomputer 101 ist ein Block, der die Gesamtverarbeitung für die Digitalkamera 100 steuert und Berechnungen durchführt und Daten wie etwa ein Berechnungsergebnis an die anderen Blöcke überträgt. Der Mikrocomputer 101 umfasst einen nichtpflichtigen Speicher, der Operationsprogramme speichert, die mit der gesamten Verarbeitung der Digitalkamera 100 verknüpft sind, und einen Arbeitsspeicher, der die Operationsprogramme ausführt und vorübergehend Berechnungsergebnisse und Eingabedaten speichert.
Ein optisches System 102 umfasst Linsen, wie etwa eine Zoomlinse und eine Fokuslinse. Licht, das durch ein Objekt reflektiert wird und über das optische System 102 empfangen wird und eine (Blenden-)Öffnung 106 formen ein Bild des Objektes, nachstehend als Objektbild bezeichnet, auf den Bildsensoren 108, die später beschrieben werden. Das optische System 102 und die Blendenöffnung 106 werden durch ein Zoomlinsenstellglied 103, ein Fokuslinsenstellglied 104 und ein Blendenöffnungsstellglied 105 gemäß Ansteuerpositionsinformationen angesteuert bzw. angetrieben, die von dem Mikrocomputer 101 zugeführt werden, um das Objektbild optisch anzupassen. Eine Fokuslänge, eine Fokusposition und ein Blendenöffnungswert sind in den Informationen enthalten, die zum Berechnen der Ansteuerpositionsinformationen zu verwenden sind, die an das optische System 102 zuzuführen sind. Die Position der Linsen 102 und Blendenöffnung 106 sind Faktoren, die die chromatische Aberration aufgrund einer Vergrößerung und die Verzerrungsaberration beeinflussen und werden in der folgenden Beschreibung der Korrektur des Einflusses solcher Aberrationen allgemein als optische Parameter bezeichnet.
Das von dem Objekt reflektierte Licht, das über das optische System 102 und die Blendenöffnung 106 in die Digitalkamera 100 eintritt, wird durch ein Farbtrennungsprisma 107 in RGB getrennt, um ein Bild auf dem Bildsensor 108 für jedes von RGB zu formen. Jeder Bildsensor 108 wird aus einem CCD, einem CMOS-Sensor oder ähnlichem gebildet.
Das optische Bild, das auf jedem Bildsensor 108 geformt wird, wird fotoelektrisch umgewandelt. Die sich ergebenden analogen Bildsignale werden in der Abtastreihenfolge an ein analoges Frontend (AFE) 109 ausgegeben, gemäß Ansteuerwellenformen, die von dem AFE 109 eingegeben werden. Der AFE 109 ist ein Block, der ein eingegebenes analoges Bildsignal in ein digitales Bildsignal umwandelt. Der AFE 109 wandelt die analogen Bildsignale, die von den Bildsensoren 108 für RGB eingegeben werden, in digitale Bildsignale Sr, Sg und Sb um und gibt diese an eine optische Korrekturschaltung 115 aus, die später beschrieben wird. Die Ansteuerwellenformen der Bildsensoren 108, die durch den AFE 109 erzeugt werden, um die Bildsensoren 108 zu veranlassen, die analogen Bildsignale auszugeben, sind abhängig von einem horizontalen Synchronisierungssignal HD und einem vertikalen Synchronisierungssignal VD, die von einem Zeittaktgenerator (TG) 110 an den AFE 109 ausgegeben werden. Der TG 110 empfängt von dem Mikrocomputer 101 Informationen betreffend das Ansteuern der Bildsensoren 108, die in der Digitalkamera 100 bereitgestellt sind, und erzeugt das horizontale Synchronisierungssignal HD und das vertikale Synchronisierungssignal VD, und gibt diese an den AFE 109 und eine Pixelkoordinatenerzeugungsschaltung 111 aus. Die Informationen betreffend ein Ansteuern der Bildsensoren 108 umfassen zum Beispiel Informationen bezüglich der Zeit, die für die Bildsensoren 108 notwendig ist, um die analogen Bildsignale innerhalb einer horizontalen Linie bzw. Zeile auszugeben, und Informationen bezüglich der Zeit, die erforderlich ist, um alle analogen Bildsignale auszugeben, das heißt, um die analogen Bildsignale innerhalb eines Rahmens auszulesen.
Die Pixelkoordinatenerzeugungsschaltung 111 wandelt die Informationen bezüglich jeder Pixelposition in Polarkoordinaten um, um den Einfluss von Aberrationen zu korrigieren. Die chromatische Aberration aufgrund einer Vergrößerung und die Verzerrungsaberration hängen von der Bildhöhe ab, die die Entfernung von der optischen Mitte ist. Somit wandelt die Pixelkoordinatenerzeugungsschaltung 111 die Informationen bezüglich jeder Pixelposition unter Verwendung der optischen Mitte als Pol in Polarkoordinaten um. Die Pixelkoordinatenerzeugungsschaltung 111 wird detaillierter mit Bezug auf 2A und 2B beschrieben.
2A zeigt ein Beispiel der Schaltungsanordnung der Pixelkoordinatenerzeugungsschaltung 111. Die horizontalen Synchronisierungssignale HD und die vertikalen Synchronisationssignale VD, die von dem TG 110 eingegeben werden, werden gezählt, um Stücke von Informationen Xt und Yt über die Pixelpositionen zu erhalten, die momentan von dem Bildsensor 108 an den AFE 109 ausgegeben werden. Die Stücke von Informationen Xt und Yt werden an eine Polarkoordinatentransformationsschaltung 201 eingegeben. Zusätzlich werden Stücke von Informationen Cx und Cy der Pixelposition der optischen Mitte des aufgenommenen Bildes von dem Mikrocomputer 101 zugeführt und in die Polarkoordinatentransformationsschaltung 201 eingegeben. Basierend auf den Stücken von eingegebenen Informationen berechnet die Polarkoordinatentransformationsschaltung 201 die Informationen eines sich bewegenden Radius Rt und eines Vektorarguments θt, die die Polarkoordinaten des Pixels darstellen, das momentan an den AFE 109 ausgegeben wird, wie in 2B gezeigt ist, durch
Die somit berechneten Polarkoordinateninformationen werden an eine Koeffizientenerzeugungsschaltung 113 ausgegeben, die später beschrieben wird. Es sei angemerkt, dass durch Ausdrücken bzw. Formulieren eines bekannten Verfahrens, wie etwa dem Bisektionsalgorithmus oder der Extrahierung einer Quadratwurzel bei endlicher Wortlängengenauigkeit, die Quadratwurzeloperation ebenso durch Hardware implementiert werden kann, wohingegen die arctan-Operation ebenso durch Hardware implementiert werden kann, unter Verwendung einer Annäherung einer hochrangigen Funktion oder einer stückweisen Annäherung einer niedrigrangigen Funktion, die das XY-Verhältnis in vorbestimmte Bereiche teilt.
Eine Datenbank einer optischen Korrektur bzw. eine optische Korrekturdatenbank 112 ist eine Speichereinrichtung, wie etwa ein Flash-Speicher, der Informationen einer Charakteristik einer optischen Korrektur bzw. optische Korrekturcharakteristikinformationen für die Aberrationen des optischen Systems speichert, das heißt, die vorstehend beschriebenen optischen Parameter in der Bildaufnahmebetriebsart. Da die Speicherkapazität der optischen Korrekturdatenbank 112 endlich ist, werden die optischen Korrekturcharakteristikinformationen zum Beispiel als Plotdaten gespeichert, die die Korrekturbeträge von chromatischer Aberration von Vergrößerung und Verzerrungsaberration von jeder Farbe bei diskreten Bildhöhepositionen für eine voreingestellte Kombination optischer Parameter darstellen. Das heißt, um einen Korrekturbetrag für eine Kombination optischer Parameter und eine Bildhöhenposition, die nicht als optische Korrekturcharakteristikinformationen gespeichert sind, zu berechnen, muss die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe aus den optischen Korrekturcharakteristikinformationen, die in der optischen Korrekturdatenbank 112 gespeichert sind, durch Interpolation erhalten werden.
Ein Verfahren des Veranlassens des Mikrocomputers 101, Plotdaten Cm1 bis Cm4 der Annäherungsfunktion des Korrekturbetrags und der Bildhöhe, die für die optischen Parameter in der Bildaufnahmebetriebsart geeignet sind, aus den optischen Korrekturcharakteristikinformationen, die in der optischen Korrekturdatenbank 112 gespeichert sind, zu berechnen, wird mit Bezug auf 3A bis 3C beschrieben.
Wenn eine Bildaufnahme gemäß zum Beispiel einer Benutzeranweisung durchgeführt wurde, beschafft der Mikrocomputer 101 die optischen Parameter zur Zeit der Bildaufnahme und liest ebenso aus der optischen Korrekturdatenbank 112 zwei Stücke von optischen Korrekturcharakteristikinformationen Ca und Cb aus, die ähnlich zu der Kombination von optischen Parametern zur Zeit der Bildaufnahme sind. Die Stücke von ausgelesenen optischen Korrekturcharakteristikinformationen umfassen Plotdaten Ca1 bis Ca4 und Cb1 bis Cb4, die Korrekturbeträge bei vier Bildhöhenpositionen in zwei verschiedenen Annäherungsfunktionen darstellen, wie in 3A gezeigt ist. Es sei angemerkt, dass obwohl die Plotdaten in 3A durch Kurven verbunden sind, um die Stücke von optischen Korrekturcharakteristikinformationen Ca und Cb zu identifizieren, tatsächliche Plotdaten keine Daten zwischen Plots umfassen. Der Mikrocomputer 101 gewichtet die Daten gemäß dem Grad einer Abweichung zwischen den optischen Parametern zu der Zeit der Bildaufnahme und denen der zwei Stücke von ausgelesenen optischen Korrekturcharakteristikinformationen Ca und Cb, und berechnet optische Korrekturcharakteristikinformationen der optischen Parameter zu der Zeit der Bildaufnahme von den zwei Stücken von optischen Charakteristikinformationen, wie in 3B gezeigt ist. Der Mikrocomputer 101 gibt die Plotdaten Cm1 bis Cm4, die aus den zwei Stücken von optischen Korrekturcharakteristikinformationen Ca und Cb berechnet werden, an eine Koeffizientenerzeugungsschaltung 113 als die optischen Korrekturcharakteristikinformationen der optischen Parameter zu der Zeit der Bildaufnahme aus.
Die Koeffizientenerzeugungsschaltung 113 leitet aus den eingegebnen Plotdaten Cm der optischen Korrekturcharakteristikinformationen der optischen Parameter zur Zeit der Bildaufnahme die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe in jedem Plotabschnitt für die optischen Parameter zu der Zeit der Bildaufnahme her. Die Koeffizientenerzeugungsschaltung 113 berechnet ebenso den Korrekturbetrag für den Einfluss von Aberrationen des optischen Systems 102 bei der eingegebnen Pixelposition unter Verwendung der hergeleiteten Annäherungsfunktion des Korrekturbetrags und der Bildhöhe.
Die Schaltungsanordnung der Koeffizientenerzeugungsschaltung 113 wird hier mit Bezug auf 4 beschrieben. Die Koeffizientenerzeugungsschaltung 113 umfasst eine Funktionskoeffizientenberechnungsschaltung 401, eine Korrekturwertberechnungsschaltung 402 und eine XY-Vektorkoeffizientenberechnungsschaltung 403.
Basierend auf den Plotdaten der optischen Korrekturcharakteristikinformationen der optischen Parameter zur Zeit der Bildaufnahme berechnet die Funktionskoeffizientenberechnungsschaltung 401 die Koeffizienten der Annäherungsfunktion des Korrekturbetrags und der Bildhöhe in jedem Plotabschnitt. In diesem Ausführungsbeispiel leitet die Funktionskoeffizientenberechnungsschaltung 401 die Annäherungsfunktion zwischen den Plots aus den Plotdaten der optischen Korrekturcharakteristikinformationen als die quadratische Funktion der Bildhöhe Rt her, die gegeben ist durch Zt = a·Rt² + b·RT + c
Das heißt, die Funktionskoeffizientenberechnungsschaltung 401 gibt drei Koeffizienten a, b und c der hergeleiteten Annäherungsfunktion an die Korrekturwertberechnungsschaltung 402 aus.
Es sei angemerkt, dass obwohl ein Verfahren des Herleitens der Annäherungsfunktion des Korrekturbetrags und der Bildhöhe in diesem Ausführungsbeispiel als eine quadratische Funktion beschrieben wird, die Annäherungsfunktion durch eine lineare Funktion oder eine Funktion hoher Ordnung angenähert werden kann. Wenn die Annäherungsfunktion z. B. eine kubische Funktion ist, werden vier Koeffizienten an die Korrekturwertberechnungsschaltung 402 ausgegeben. Es sei angemerkt, dass obwohl in diesem Ausführungsbeispiel ein Verfahren des Veranlassens der Funktionskoeffizientenberechnungsschaltung 401, die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe aus den Plotdaten herzuleiten, beschrieben wird, die optische Korrekturdatenbank 112 die Koeffizienten von Annährungsfunktionen der entsprechenden optischen Parametern speichern kann. In diesem Fall kann die Koeffizientenerzeugungsschaltung 113 die Funktionskoeffizientenberechnungsschaltung 401 auslassen, wenn die Koeffizienten der Annäherungsfunktion der optischen Parameter zur Zeit der Bildaufnahme, die in die Koeffizientenerzeugungsschaltung 113 eingegeben werden, direkt in die Korrekturwertberechnungsschaltung 402 eingegeben werden.
Die Korrekturwertberechnungsschaltung 402 berechnet einen Korrekturbetrag Zt des Pixels von Interesse, wie in 3C gezeigt ist, aus den Koeffizienten der Annäherungsfunktion in jedem Plotabschnitt, die von der Funktionskoeffizientenberechnungsschaltung 401 eingegeben werden, und den Informationen der Bildhöhe des Pixels von Interesse, die von der Pixelkoordinatenerzeugungsschaltung 111 in die Koeffizientenerzeugungsschaltung 113 eingegeben werden. Es sei angemerkt, dass der Korrekturbetrag Zt, der durch die Korrekturwertberechnungsschaltung 402 berechnet wird, der Korrekturbetrag auf dem Liniensegment ist, das das Pixel von Interesse und den Pol auf dem Polarkoordinatensystem verbinden. Zur Umwandlung von dem Polarkoordinatensystem in das XY-Koordinatensystem ist es notwendig, den Korrekturbetrag mit Vektorkoeffizienten zu multiplizieren, die von der XY-Vektorkoeffizientenberechnungsschaltung 403 ausgegeben werden.
Die XY-Vektorkoeffizientenberechnungsschaltung 403 berechnet Vektorkoeffzienten, die zum Umwandeln des Korrekturbetrags, der in dem Polarkoordinatensystem berechnet wird, in einen Korrekturbetrag in dem XY-Koordinatensystem zu verwenden ist. Genauer, basierend auf den Informationen des Vektorarguments et des Pixels von Interesse, das von der Pixelkoordinatenerzeugungsschaltung 111 in die Koeffizientenerzeugungsschaltung 113 eingegeben wird, berechnet die XY-Vektorkoeffizientenberechnungsschaltung 403 Vektorkoeffizienten durch Vx = cosθt Vy = sinθt
Es sei angemerkt, dass die Sinusfunktions- und Kosinusfunktionsoperationen auch durch Hardware implementiert werden können, unter Verwendung einer Näherung einer hochrangigen Funktion bzw. einer Funktion hoher Ordnung oder einer stückweisen Näherung einer niedrigrangigen Funktion bzw. einer Funktion niedriger Ordnung, die das Vektorargument θt in vorbestimmte Bereiche teilt.
Unter Verwendung der somit durch die XY-Vektorkoeffizientenberechnungsschaltung 403 berechneten Vektorkoeffizienten, berechnet die Koeffizientenerzeugungsschaltung 113 eine X-Komponente ZtH und eine Y-Komponente ZtV des Korrekturbetrags in dem XY-Koordinatensystem, die gegeben sind durch ZtH = Zt·Vx ZtV = Zt·Vy
Die Koeffizientenerzeugungsschaltung 113 gibt die berechneten X- und Y-Komponenten ZtH und ZtV des Korrekturbetrags an eine Frequenzcharakteristiksteuerungsschaltung 114, die später beschrieben wird, und die Schaltung einer optischen. Korrektur bzw. optische Korrekturschaltung 115 aus. Es sei angemerkt, dass der Korrekturbetrag an dem Pixel von Interesse den Phasenverschiebungsbetrag des optischen Bildes darstellt, der an dem Pixel von Interesse vorhanden sein sollte, und die X- und Y-Komponenten des Korrekturbetrags die horizontalen und vertikalen Phasenverschiebungskomponenten darstellen. Der Korrekturbetrag einer chromatischen Aberration einer Vergrößerung ändert sich zwischen den digitalen Bildern Sr, Sg und Sb, weil sich der Brechungswinkel des optischen Systems 102 zwischen RGB ändert. Der Korrekturbetrag der Verzerrungsaberration hat jedoch den gleichen Wert für die digitalen Bilder Sr, Sg und Sb.
Die optische Korrekturschaltung 115 führt eine Interpolationsoperation von den Pixelwerten von peripheren Pixeln um eine Position, die von dem Pixel von Interesse um eine Entfernung entsprechend dem Korrekturbetrag entfernt ist, der durch die Koeffizientenerzeugungsschaltung 113 auf dem aufgenommenen Bild berechnet wird, durch, wodurch der Pixelwert des Pixels von Interesse nach einer Korrektur des Einflusses von Aberrationen berechnet wird. Genauer werden die Pixelwerte einer vorbestimmten Anzahl von peripheren Pixeln um eine Position, die von dem Pixel von Interesse um eine Entfernung entsprechend den X- und Y-Komponenten ZtH und ZtV des Korrekturbetrags des Pixels von Interesse entfernt ist, der durch die Koeffizientenerzeugungsschaltung 113 berechnet wird, mit Interpolationskoeffizienten multipliziert, die von einer Interpolationsfunktion erhalten werden, wodurch der Pixelwert an der Position des Pixels von Interesse nach einer Korrektur hergeleitet wird. Dies erlaubt es der optischen Korrekturschaltung 115, die Interpolationsoperation unter Verwendung des Interpolationskoeffizienten für alle Pixel des eingegebenen digitalen Bildes durchzuführen und ein Bild auszugeben, das einer Korrektur des Einflusses von Aberrationen unterzogen wurde.
Die Interpolationsfunktion und das Aberrationskorrekturverfahren dieses Ausführungsbeispiels unter Verwendung der Interpolationsfunktion werden detailliert mit Bezug auf die anhängigen Zeichnungen beschrieben.
Die Interpolationsfunktion ist eine endliche Funktion, die durch Überlagern einer Fensterfunktion auf eine Sinusfunktion erhalten wird, um für eine Bi-Kubische Interpolation verwendet zu werden, die Interpolationskoeffizienten herleiten kann, um die entsprechenden Pixel (Referenzpixel) innerhalb des Bereichs, der durch die Fensterfunktion definiert ist, zu multiplizieren, wenn der Einfluss von Aberrationen korrigiert wird. Ein Pixelwert s' eines idealen Pixels S', der ein Bild an einem Pixel S von Interesse formen sollte, kann durch Multiplizieren der Pixelwerte von n Referenzpixeln S₀ bis S_n-1 um das ideale Pixel S' mit Interpolationskoeffizienten und Addieren der Pixelwerte erhalten werden. Unter Verwendung der Pixelwerte S₀ bis S_n-1 der n Referenzpixel und der Interpolationskoeffizienten C₀ bis C_n-1, um die Referenzpixel zu multiplizieren, ist der Pixelwert s' des idealen Pixels gegeben durch
Es sei angemerkt, dass in diesem Ausführungsbeispiel Informationen, die ein Pixel spezifizieren, durch einen Großbuchstaben dargestellt werden, und sein Pixelwert durch einen entsprechenden Kleinbuchstaben dargestellt wird, wie etwa das ideale Pixel S' und sein Pixelwert s'.
Es sei angenommen, dass das Pixel S von Interesse und das ideale Pixel S' eine positionelle Beziehung wie in 5 gezeigt aufweisen. Wenn die Anzahl von Referenzpixeln 4 ist, wird der Pixelwert s' des idealen Pixels unter Verwendung von vier Referenzpixeln S₁ bis S₄ um das ideale Pixel S' hergeleitet. Interpolationskoeffizienten, die durch eine Interpolationsfunktion zu dieser Zeit hergeleitet werden, besitzen Werte, die z. B. umgekehrt proportional zu den Entfernungen der Referenzpixel von dem idealen Pixel S' sind, so dass das Pixel S₄, das dem idealen Pixel S' am nächsten liegt, am meisten gewichtet wird.
6A, 6B und 6C zeigen Beispiele der vorübergehenden Charakteristik einer 8-Punkt-Interpolation. Die Fensterfunktion wird in der Reihenfolge von 6A, 6B und 6C enger, und ebenso auch das Intervall zwischen den acht Pixeln, auf die Bezug genommen wird. 6A, 6B und 6C stellen die Werte von Interpolationskoeffizienten c₀ bis c₇ entsprechend den Pixeln mit einer Phasenverzögerung oder -voreilung mit Bezug auf die Korrekturphase, die durch Zeit 0 dargestellt wird, dar.
6D, 6E und 6F zeigen Beispiele der Frequenzcharakteristika der Interpolationsfunktionen. Die Frequenzantwortverhalten in der Nähe der Nyquist-Frequenz sind unterschiedlich. Wenn die Fensterfunktion breit ist, wie in 6D gezeigt ist, ist das Frequenzantwortverhalten in der Nähe der Nyquist-Frequenz steil. Aus diesem Grund ermöglicht es ein Korrigieren des Einflusses von Aberrationen unter Verwendung von Interpolationskoeffizienten, die von solch einer Interpolationsfunktion erhalten werden, Pixelwerte von hoher Reproduzierbarkeit zu erhalten. Wenn die Fensterfunktion eng ist, wie in 6F gezeigt ist, ist das Frequenzantwortverhalten in der Nähe der Nyquist-Frequenz moderat. Aus diesem Grund verringert ein Korrigieren des Einflusses von Aberrationen unter Verwendung von Interpolationskoeffizienten, die von solch einer Interpolationsfunktion erhalten werden, die Reproduzierbarkeit des Pixelwerts.
In diesem Ausführungsbeispiel ist die Frequenzcharakteristiksteuerungsschaltung 114 zum Steuern der Frequenzcharakteristik der Interpolationskoeffizienten, die für die Interpolationsoperation der optischen Korrekturschaltung 115 zu verwenden sind, bereitgestellt. Die Schaltungsanordnung der Frequenzcharakteristiksteuerungsschaltung 114 wird mit Bezug auf 7 beschrieben.
Nach Empfangen der X- und Y-Komponenten ZtH und ZtV des Aberrationskorrekturbetrags, die von der Koeffizientenerzeugungsschaltung 113 eingegeben werden, gibt die Frequenzcharakteristiksteuerungsschaltung 114 Unterdrückungskoeffizienten, die zum Steuern der Frequenzcharakteristik der Interpolationskoeffizienten für die horizontale und vertikale Richtung zu verwenden sind, an die optische Korrekturschaltung 115 aus. Genauer, nach einem Empfangen des Aberrationskorrekturbetrags, bestimmt die Frequenzcharakteristiksteuerungsschaltung 114 Unterdrückungskoeffizienten ItHa, ItHb, und ItHc und ItVa, ItVb, und ItVc unter Verwendung von Koeffizientenfunktionsberechnungsschaltungen 701 bis 703 für die horizontalen und vertikalen Korrekturbeträge. Es sei angemerkt, dass, da die Unterdrückungskoeffizienten Werte sind, die durch die Korrekturgrenze unabhängig von der Richtung bestimmt werden, in diesem Ausführungsbeispiel nachstehend die horizontalen Unterdrückungskoeffizienten der Interpolationsfunktion beschrieben werden.
Die Unterdrückungskoeffizienten ItHa, ItHb und ItHc sind die Funktionen des Aberrationskorrekturbetrags ZtH, die das Verhalten bei Schwellenwerten th_a, th_b und th_c ändern, wie in 8A bis 8C gezeigt ist. Die Koeffizientenfunktionsberechnungsschaltungen 701 bis 703 empfangen z. B. die Schwellenwertinformationen und Gradienten grad_a, grad_b und grad_c für den Korrekturbetrag ZtH, die größer sind als die Schwellenwerte von dem Mikrocomputer 101, und bestimmen die Unterdrückungskoeffizienten basierend auf dem Wert des Korrekturbetrags.
Wenn zum Beispiel das Bild eines Teilbereichs des aufgenommenen Bildes in den endlichen Speicherbereich der optischen Korrekturschaltung 115 ausgelesen wird, ist es allgemein möglich, in dem Speicherbereich eine Menge von Referenzpixeln um das ideale Pixel in der Korrekturverarbeitung für einen kleineren Aberrationskorrekturbetrag einzusetzen. Das heißt, die Fensterfunktion der Interpolationsfunktion muss für einen kleineren Korrekturbetrag breiter sein oder für einen größeren Korrekturbetrag enger sein. Wenn acht horizontale Referenzpixel um das ideale Pixel S' korrigiert werden, wie in 6A bis 6C gezeigt ist, sind Interpolationskoeffizienten ch', die durch Steuern der Frequenzcharakteristik der Interpolationsfunktion erhalten werden, unter Verwendung der Unterdrückungskoeffizienten und Interpolationskoeffizienten ch, die von der Interpolationsfunktion ohne eine Frequenzcharakteristiksteuerung erhalten werden, gegeben durch ch'j = chj (j = 3,4) ch'j = chj × ItHa (j = 2,5) ch'j = chj × ItHb (j = 1,6) ch'j = chj × ItHc (j = 0,7)
Um zu dieser Zeit die Interpolationskoeffizienten ch', die durch Steuern der Frequenzcharakteristik der Interpolationsfunktion erhalten werden, dazu zu bringen, den Bereich der Fensterfunktion basierend auf dem Korrekturbetrag ZtH zu steuern, wie in 6A bis 6C gezeigt ist, steuert der Mikrocomputer 101 die Parameter, die an die Frequenzcharakteristiksteuerungsschaltung 114 zuzuführen sind, so dass die Schwellenwerte th_a, th_b und th_c eine Beziehung erfüllen, die gegeben ist durch 0 ≤ th_c ≤ th_b ≤ th_a und X-Achsenschnittpunkte (”X-intercepts”) itc_a, itc_b und itc_c, die durch die Gradienten grad_a, grad_b und grad_c berechnet werden, eine Beziehung erfüllen, die gegeben ist durch 0 ≤ itc_c ≤ itc_b ≤ itc_a.
Die Frequenzcharakteristiksteuerungsschaltung 114 gibt die Unterdrückungskoeffizienten der Interpolationsfunktion, die somit basierend auf dem Aberrationskorrekturbetrag bestimmt werden, an die optische Korrekturschaltung 115 aus.
Ein Verfahren des Herleitens der Pixelwerte nach einer Korrektur, die durch die optische Korrekturschaltung 115 unter Verwendung der Unterdrückungskoeffizienten, die durch die Frequenzcharakteristiksteuerungsschaltung 114 bestimmt werden, durchgeführt wird, wird als nächstes detailliert mit Bezug auf die anhängigen Zeichnungen beschrieben. Es sei angemerkt, dass das Verfahren des Herleitens der Pixelwerte nach einer Korrektur nachstehend als ein Verfahren des Herleitens der Pixelwerte des idealen Pixels S', unter Verwendung von 8 × 8 peripheren Pixeln um die Position des idealen Pixels S', die von dem Pixel S von Interesse um eine Entfernung entsprechend dem Korrekturbetrag, der durch die Koeffizientenerzeugungsschaltung 113 berechnet wird, entfernt ist, als die Referenzpixel beschrieben wird. Genauer, wie in 9 gezeigt ist, um den Pixelwert des idealen Pixels S' herzuleiten, das an der Pixelposition vorhanden ist, die von dem Pixel S von Interesse um die Entfernung, die durch den Korrekturbetrag ZtH auf der horizontalen Koordinate und den Korrekturbetrag ZtV auf der vertikalen Koordinate definiert ist, entfernt ist, werden 64 Pixel S₀₀ bis S₇₇ um das ideale Pixel S' als die Referenzpixel verwendet. Eine Implementierung der vorliegenden Erfindung ist jedoch nicht auf dieses beschränkt, und andere Verfahren des Herleitens des Pixelwerts des idealen Pixels S' unter Verwendung von zwei oder mehreren peripheren Pixeln in beliebiger Anzahl als die Referenzpixel ist anwendbar.
Die Schaltungsanordnung der optischen Korrekturschaltung 115 wird hier mit Bezug auf 10A, 10B und 10C beschrieben.
Die Aberrationskorrekturbeträge ZtH und ZtV, die von der Koeffizientenerzeugungsschaltung 113 eingegeben werden, und die Unterdrückungskoeffizienten ItHa bis ItHc und ItVa bis ItVc, die von der Frequenzcharakteristiksteuerungsschaltung 114 eingegeben werden, werden in die Interpolationssteuerungsschaltungen 1001 und 1002 eingegeben, während eine Unterscheidung zwischen den vertikalen und horizontalen Komponenten vorgenommen wird. Die Interpolationssteuerungsschaltung 1001 berechnet die Interpolationskoeffizienten der vertikalen Komponente. Die Interpolationssteuerungsschaltung 1001 gibt Interpolationskoeffizienten cv₀ bis cv₇ an eine Interpolationsschaltung 1012 unter Verwendung der Interpolationsfunktion und der eingegebenen Unterdrückungskoeffizienten aus. Die Interpolationssteuerungsschaltung 1001 überträgt ebenso Informationen des eingegebenen vertikalen Korrekturbetrags ZtV an einen Pufferspeicher 1003. Die Interpolationssteuerungsschaltung 1002 berechnet die Interpolationskoeffizienten der horizontalen Komponenten. Die Interpolationssteuerungsschaltung 1002 gibt Interpolationskoeffizienten ch₀ bis ch₇ entsprechend an Interpolationsschaltungen 1004 bis 1011 aus, unter Verwendung der Interpolationskoeffizienten und der eingegebenen Unterdrückungskoeffizienten. Die Interpolationssteuerungsschaltung 1002 überträgt ebenso die Informationen des eingegebenen horizontalen Korrekturbetrags ZtH an den Pufferspeicher 1003.
Der Pufferspeicher 1003 ist ein Speicherbereich zum Speichern des Bildes eines Teilbereichs der digitalen Bilder Sr, Sg und Sb, die durch den AFE 109 zur Korrekturverarbeitung umgewandelt werden. Der Pufferspeicher 1003 speichert die Bilder, die durch den AFE 109 umgewandelt werden, nacheinander. Wenn der horizontale und vertikale Korrekturbetrag ZtH und ZtV in den Pufferspeicher 1003 eingegeben werden, berechnet der Mikrocomputer 101 die Position des idealen Pixels S', die von dem Pixel S von Interesse des Bildes, das in dem Pufferspeicher 1003 gespeichert ist, um die Entfernung, die durch die Korrekturbeträge definiert ist, entfernt ist. Der Mikrocomputer 101 bestimmt ebenso eine vorbestimmte Anzahl von peripheren Pixeln um die berechnete Pixelposition des idealen Pixels S' und gibt die Pixelwerte der bestimmten peripheren Pixel an die Interpolationsschaltungen 1004 bis 1011 aus, so dass die Pixelwerte durch verschiedene Interpolationsschaltungen für die entsprechenden vertikalen Koordinaten verarbeitet werden. Zum Beispiel werden die Pixelwerte s₀₀ bis s₀₇ der Referenzpixel in 9 an die Interpolationsschaltung 1004 ausgegeben.
10B stellt die Anordnung von jeder der Interpolationsschaltungen 1004 bis 1011 dar. 10C stellt die Anordnung der Interpolationsschaltung 1012 dar. Wie in 10B gezeigt ist, multipliziert jede Interpolationsschaltung die Pixelwerte der Referenzpixel, die die gleiche vertikale Koordinate aufweisen, mit Interpolationskoeffizienten ch'₀ bis ch'₇ entsprechend den horizontalen Pixelpositionen und gibt die Produkte an eine Additionsschaltung 1013 aus. Die Additionsschaltung 1013 berechnet die Gesamtsumme der Pixelwerte der Referenzpixel, die mit den Interpolationskoeffizienten multipliziert werden, und gibt einen horizontalen Interpolationswert aus. Horizontale Interpolationswerte s₀' bis s₇', die von den Pixelwerten der Referenzpixel erhalten werden, die die gleiche vertikale Koordinate aufweisen und einer horizontalen Interpolationsoperation unterzogen wurden und von den Interpolationsschaltungen 1004 bis 1011 ausgegeben werden, werden an die Interpolationsschaltung 1012 ausgegeben, um eine vertikale Interpolationsoperation durchzuführen. Wie in 10C gezeigt ist, multipliziert die Interpolationsschaltung 1012 die horizontalen Interpolationswerte der Pixelwerte, die der horizontalen Interpolationsoperation unterzogen wurden, mit Interpolationskoeffizienten cv'₀ bis cv'₇ entsprechend den vertikalen Pixelpositionen, und gibt die Produkte an eine Additionsschaltung 1014 aus. Die Additionsschaltung 1014 berechnet den Interpolationswert s', der die Gesamtsumme der Pixelwerte von allen Referenzpixeln ist, die mit den Interpolationskoeffizienten multipliziert werden, und gibt diesen aus. Es sei angemerkt, dass die vorstehend beschriebene Interpolationsoperation des Berechnens des Mittelwerts s' von Interpolationswerten über die Interpolationsschaltungen von zwei Stufen ebenso dargestellt werden kann, durch
Dies ermöglicht es, den Pixelwert eines optischen Bildes, das an dem Pixel von Interesse gebildet werden sollte, herzuleiten. Somit erlaubt es ein Anwenden der Korrekturverarbeitung der optischen Korrekturschaltung 115 auf alle Pixel, eine Bildqualitätsverschlechterung, die durch die Aberrationen verursacht wird, zu korrigieren.
Es sei angemerkt, dass wenn die Korrekturverarbeitung der optischen Korrekturschaltung 115 auf alle Pixel angewendet wird, in Abhängigkeit der Kapazität des Pufferspeichers 1003, der Größe des Korrekturbetrags und der Position des Pixels von Interesse, das folgende Problem auftreten kann.
Bei der Korrekturverarbeitung wird die Interpolationsoperation durch Bezugnahme auf eine vorbestimmte Anzahl von peripheren Pixeln um das ideale Pixel, das von dem Pixel von Interesse, das in dem Pufferspeicher 1003 gespeichert ist, um die Entfernung entsprechend dem Korrekturbetrag, der durch die Koeffizientenerzeugungsschaltung 113 berechnet wird, entfernt ist, durchgeführt. Zu dieser Zeit können Situationen auftreten, wie in 11B, 11C und 11D gezeigt ist, bei der zumindest irgendeines der vorbestimmten Anzahl von peripheren Pixeln um das ideale Pixel nicht in den Pufferspeicher 1003 ausgelesen werden. In solch einem Fall verringert sich die Genauigkeit der Interpolationsoperation entsprechen der Anzahl von Pixelwerten, auf die nicht Bezug genommen werden kann, was in dem korrigierten Bild zu einer Bildqualitätsverschlechterung führt, die größer ist als notwendig.
In diesem Ausführungsbeispiel wird nachstehend ein Verfahren beschrieben, das eine Korrektur des Einflusses von Aberrationen implementiert, wenn die Speichereinheit, die das Bild eines Teilbereichs ausliest und speichert, eine vorbestimmte Anzahl von peripheren Pixeln um die Position eines Pixels, das an dem Pixel von Interesse ein Bild formen sollte, nicht speichert, wie vorstehend beschrieben.
11A zeigt eine horizontale Korrekturgrenze, in der die Interpolationsoperation durchgeführt werden kann, unter Verwendung einer vorbestimmten Anzahl von peripheren Pixeln um eine Position, die zum Beispiel von einem gegebenen Pixel S von Interesse um eine Entfernung entsprechend dem Aberrationskorrekturbetrag entfernt ist. Genauer wird für einen Korrekturbetrag, der größer als eine horizontale Komponente ZtH_max des Aberrationskorrekturbetrags zu dieser Zeit ist, in der Interpolationsoperation auf Pixel Bezug genommen, die nicht in der Speichereinheit gespeichert sind, wie in 11B, 11C und 11D gezeigt ist. Somit wird die Interpolationsfunktion auf die folgende Weise gesteuert.
Wenn sich eine Pixelzeile bzw. Pixellinie des Referenzpixelbereichs horizontal aus dem Bereich des Bildes, das in der Speichereinheit gespeichert ist, erstreckt, wie in 11B gezeigt ist, wird der Unterdrückungskoeffizient ItHc auf 0 gesetzt, so dass die Interpolationskoeffizienten ch'₀ und ch'₇ gleich 0 werden. Genauer, führt der Mikrocomputer 101 zum Beispiel th_c und grad_c, die gegeben sind durch th_c = ZtH_max – 3 grad_c = –1 an die Frequenzcharakteristiksteuerungsschaltung 114 zu.
Gleichzeitig, da ItHc basierend auf (Korrekturgrenzbetrag – 2) gleich 0 wird, kann eine Verarbeitung implementiert werden, die äquivalent zu der ist, die eine kleinere Anzahl von Referenzpixeln in der Interpolationsoperation verwendet. Genauer, wenn der vorbestimmte Wert der Anzahl von horizontalen Referenzpixeln 8 ist, sind die Interpolationskoeffizienten für die zwei Pixel an zwei Enden gleich 0, und die Interpolationsoperation wird tatsächlich für die sechs horizontalen Pixel durchgeführt. Dies ermöglicht eine Interpolationsfunktion, die äquivalent zu der unter Verwendung einer engeren Fensterfunktion in der Interpolationsfunktion ist. Da der Korrekturbetrag ZtH nicht begrenzt ist, obwohl die Reproduktionsgenauigkeit des erhaltenen Pixelwerts geringer ist, kann eine Bildqualitätsverschlechterung, die durch die Aberrationen verursacht wird, korrigiert werden.
Ähnlich kann in 11C und 11D eine Bildqualitätverschlechterung, die durch die Aberrationen verursacht wird, korrigiert werden, durch Ändern der Unterdrückungskoeffizientenberechnungsparameter, so dass die Interpolationskoeffizienten zum Multiplizieren der Pixel abseits des Bereichs des Bildes, das in der Speichereinheit gespeichert ist, gleich 0 werden.
Es sei angemerkt, dass die Digitalkamera 100 des vorstehend beschriebenen Ausführungsbeispiels eine Bildaufnahmeeinrichtung eines 3-Ebenen-Typs umfasst. Eine Implementierung der vorliegenden Erfindung ist jedoch nicht auf diese beschränkt. Die Digitalkamera kann zum Beispiel eine Bildaufnahmeeinrichtung eines Typs einer einzelnen Ebene mit Farbfiltern in einem Bayer-Feld oder Ähnlichem auf einem Bildsensor aufweisen. Auf diese Weise kann ein ähnlicher Effekt erhalten werden, zum Beispiel durch Trennen eines Bildsignals für jeden Farbfilter und dann Anwenden der Korrekturverarbeitung.
Wie vorstehend beschrieben kann die Bilderverarbeitungsvorrichtung dieses Ausführungsbeispiels eine Verschlechterung der Bildqualität eines aufgenommenen Bildes, die durch Aberrationen verursacht wird, unter Berücksichtigung der Korrekturgrenze korrigiert werden. Genauer liest die Bildverarbeitungsvorrichtung jeden Bereich eines aufgenommenen Bildes unter Verwendung des optischen Systems aus und berechnet die Korrekturbeträge von Aberrationen, die durch das optische System für jedes Pixel des Bereichs verursacht werden. Die Pixelwerte einer vorbestimmten Anzahl von peripheren Pixeln um eine Position, die von dem Pixel von Interesse um eine Entfernung, die durch die berechneten Aberrationskorrekturbeträge definiert wird, entfernt ist, werden mit Interpolationskoeffizienten multipliziert, die von einer Interpolationsfunktion erhalten werden, und addiert, wodurch der Pixelwert an einer Pixelposition nach einer Korrektur hergeleitet wird. Wenn die vorbestimmte Anzahl von peripheren Pixeln um die Position, die um die Entfernung, die durch die berechneten Aberrationskorrekturbeträge definiert ist, entfernt ist, in dem Auslesebereich nicht vorhanden sind, wird die Korrektur einer Bildqualitätsverschlechterung durch Ändern der Interpolationsfunktion implementiert. Genauer wird die Interpolationsfunktion geändert, so dass das Frequenzantwortverhalten der Interpolationsfunktion in der Nähe der Nyquist-Frequenz moderater wird, als das der Interpolationsfunktion, die die Interpolationskoeffzienten ausgibt, um die vorbestimmte Anzahl von peripheren Pixeln zu multiplizieren, und wird für die Korrekturverarbeitung verwendet.
Dies ermöglicht es, Bildqualitätsverschlechterungen, die durch Aberrationen verursacht werden, sogar unter der Korrekturgrenze, bei der auf eine vorbestimmte Anzahl von Pixeln in der Korrekturverarbeitung nicht Bezug genommen werden kann, zu korrigieren.
(Zweites Ausführungsbeispiel)
In diesem Ausführungsbeispiel wird zusätzlich zu dem vorstehend beschriebenen ersten Ausführungsbeispiele eine Aberrationskorrekturverarbeitung unter Berücksichtigung von MTF-(Modulationsübertragungsfunktions-)Informationen des optischen Systems, die die wahrgenommene Auflösung des aufgenommenen Bildes darstellen, beschrieben. Es sei angemerkt, dass die funktionelle Anordnung der Digitalkamera dieses Ausführungsbeispiels die gleiche ist, wie in dem ersten Ausführungsbeispiel. Die MTF-Informationen eines optischen Systems 102 einer Digitalkamera 100 werden in einer optischen Korrekturdatenbank 112 gespeichert und in einem Prozess einer Korrekturverarbeitung ausgelesen.
Es sei angemerkt, dass in dem vorstehend beschriebenen ersten Ausführungsbeispiel ein Aberrationskorrekturbetrag basierend auf einer Näherungsfunktion des Korrekturbetrags und einer Bildhöhe, die durch die Koeffizientenerzeugungsschaltung 113 hergeleitet werden, berechnet wird. In dem zweiten Ausführungsbeispiel wird jedoch eine Beschreibung vorgenommen, unter der Annahme, dass der Korrekturbetraggrenzwert (erster oberer Grenzwert) durch die Kapazität eines Pufferspeichers 1003 in einer optischen Korrekturschaltung 115 vorbestimmt ist. Wenn zum Beispiel in 12A die Näherungsfunktion des Korrekturbetrags und der Bildhöhe, die durch eine Koeffizientenerzeugungsschaltung 113 hergeleitet werden, durch eine gestrichelte Linie 1201 angegeben ist, ist die Näherungsfunktion durch einen Korrekturbetraggrenzwert Lm begrenzt, der durch den Pufferspeicher 1003 vorbestimmt ist. Das heißt, wenn der Korrekturbetraggrenzwert vorbestimmt ist, ist der Korrekturbetrag relativ zu der Bildhöhe durch eine fette gestrichelte Linie 1202 begrenzt.
MTF-Informationen Co, die die wahrgenommene Auflösung darstellen, werden hier beschrieben.
Die MTF-Informationen Co sind ein Parameter, der im Voraus nach Entwerfen des optischen Systems 102 berechnet werden kann, und stellt die Feinheit eines optischen Bildes dar, dass durch das optische System 102 gebildet wird. Die MTF-Informationen verringern sich normalerweise, wenn sich die Bildhöhe erhöht, wie in 13A gezeigt ist. Bezug nehmend auf 13A stellt die Ordinate die MTF-Informationen Co dar, die durch den Wert an der optischen Mitte (Bildhöhe ist 0) normiert sind. Wenn die MTF-Informationen Co hoch sind, besitzt das Objekt eine hohe Reproduzierbarkeit und das Objektbild wird detailliert auf dem Bildsensor gebildet. Dies wird ausgedrückt als ”wahrgenommene Auflösung ist hoch”.
Wenn die wahrgenommene Auflösung hoch ist, werden Details des Objektbildes reproduziert. Aus diesem Grund wird die Verschiebung oder Verzerrung des Objektbildes, das sich auf Grund einer chromatischen Aberration einer Vergrößerung oder Verzerrungsaberration bewegt hat, bemerkbar. Das heißt, da der Einfluss von Aberrationen bei einer hohen wahrgenommenen Auflösung erkennbar ist, ist es notwendig, den Aberrationskorrekturbetrag so hoch wie möglich zu halten, um die Verschiebung oder Verzerrung des Objektbildes zu korrigieren. Andererseits ist der Einfluss von Aberrationen bei einer niedrigen wahrgenommenen Auflösung schwer zu erkennen, und es ist deshalb notwenig, die Aberrationskorrekturgenauigkeit zu verringern und im Gegensatz dazu die Reproduzierbarkeit der Pixel nach einer Korrektur so hoch wie möglich zu halten. Aus diesen Gründen besitzen die MTF-Informationen Co und der Korrekturgrenzbetrag eine Beziehung, die in 13B gezeigt ist.
Das heißt, wie aus 13A und 13B ersichtlich ist, ist der Korrekturgrenzbetrag unter Berücksichtigung der MTF-Informationen durch eine abwechselnd lang und kurz gestrichelte Linie 1203 (dritter oberer Grenzwert) in 12A angegeben, und ist die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe dieses Ausführungsbeispiels durch eine fette Linie 1204 angegeben. Die Annäherungsfunktion 1201 des Korrekturbetrags und der Bildhöhe, die durch die Koeffizientenerzeugungsschaltung 113 hergeleitet werden, ist wie die Annäherungsfunktion 1212 durch die MTF-Informationen Co und die Kapazität des Pufferspeichers 1003 der optischen Korrekturschaltung 115 begrenzt. In diesem Ausführungsbeispiel wird solch eine Korrekturbetragbegrenzung durch Bereitstellen von Begrenzern 721 und 722 für die horizontalen und vertikalen Komponenten in einer Frequenzcharakteristiksteuerungsschaltung 114, wie in 7 gezeigt ist, implementiert. Es sei angemerkt, dass eine Kombinationsschaltung 741 die MFT-Informationen Co, die Korrekturcharakteristikinformationen Cc und die Objektmerkmalsinformationen Cf kombiniert und die optischen Korrekturcharakteristikinformationen Ca and die Begrenzer 721 und 722 ausgibt.
Wie vorstehend beschrieben kann die Bildverarbeitungsvorrichtung dieses Ausführungsbeispiels eine Bildqualitätsverschlechterung, die durch Aberrationen verursacht wird, unter Berücksichtigung von MTF-Informationen, die die wahrgenommene Auflösung darstellen, korrigieren.
(Drittes Ausführungsbeispiel)
Dieses Ausführungsbeispiel berücksichtigt zusätzlich zu der Anordnung des ersten Ausführungsbeispiels Korrekturcharakteristikinformationen Cc, die qualitativ darstellen, welche Art von Eindruck durch eine korrigierte Bildqualität gegeben wird, wenn die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe durch den Korrekturbetraggrenzwert, der durch die Kapazität des Pufferspeichers 1003 bestimmt ist, begrenzt ist, wie in dem zweiten Ausführungsbeispiel. Die Korrekturcharakteristikinformationen Cc werden durch Grade Ccw und Cch eines Eindrucks bestimmt, der von einer korrigierten Bildqualität basierend auf Informationen Lw des Bereichs von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und einer minimalen Bildhöhe Lh in dem Bildhöhenbereich gewonnen wird, wenn die Annäherungsfunktion des Korrekturwerts und der Bildhöhe begrenzt ist.
Bezüglich der funktionalen Anordnung einer Digitalkamera 100 dieses Ausführungsbeispiels wird eine Korrekturcharakteristikinformationserzeugungsschaltung 120, die dazu konfiguriert ist, die Korrekturcharakteristikinformationen Cc zu berechnen, zu der Anordnung des vorstehend beschriebenen ersten Ausführungsbeispiels hinzugefügt. Die Korrekturcharakteristikinformationserzeugungsschaltung 120 empfängt von einem Mirkocomputer 101 Plotdaten Cm1 bis Cm4 der optischen Korrekturcharakteristikinformationen der optischen Parametern zur Zeit der Bildaufnahme und Informationen eines Korrekturbetraggrenzwerts Lm, der von der Kapazität eines Pufferspeichers 1003 in einer optischen Korrekturschaltung 115 vorbestimmt ist. Die Korrekturcharakteristikinformationserzeugungsschaltung 120 berechnet die Korrekturcharakteristikinformationen Cc unter Verwendung der eingegebenen Informationen.
Die Schaltungsanordnung der Korrekturcharakteristikinformationserzeugungsschaltung 120 wird detaillierter mit Bezug in 14 beschrieben. Die Plotdaten der optischen Korrekturcharakteristikinformationen der optischen Parameter zur Zeit der Bildaufnahme, die in die Korrekturcharakteristikinformationserzeugungsschaltung 120 eingegeben werden, werden in eine Funktionskoeffizientenberechnungsschaltung 1401 eingegeben, die die gleiche ist, wie eine Funktionskoeffizientenberechnungsschaltung 401, die in einer Koeffizientenerzeugungsschaltung 113 bereitgestellt ist, um die Koeffizienten der quadratischen Annäherungsfunktion zwischen den Plots auszugeben. Die Koeffizienten der Annäherungsfunktion zwischen den Plots werden an Intercept-Berechnungsschaltungen 1402, 1403 und 1404 ausgegeben. Jede Intercept-Berechnungsschaltung löst eine Bildhöhe Rt, die Lm = a·Rt² + b·Rt + c erfüllt. Für die Bildhöhe Rt von jeder sich ergebenen Lösung leitet eine Charakteristikkoeffizientenberechnungsschaltung 1405 die Informationen Lw des Bereichs von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und den Minimalwert Lh der Bildhöhe in dem Bildhöhenbereich ab.
Die Charakteristikkoeffizientenberechnungsschaltung 1405 berechnet ebenso die Korrekturcharakteristikinformationen Cc, die den Grad eines Eindrucks darstellen, der von einer korrigierten Bildqualität gewonnen wird, basierend auf den erhaltenen Informationen Lw des Bereichs von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und der minimalen Bildhöhe Lh in dem Bildhöhenbereich. Die minimale Bildhöhe Lh in dem Bereich von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und der Grad Cch von Eindrücken, die von einer korrigierten Bildqualität gewonnen werden, werden durch die in 13C gezeigte Beziehung dargestellt. Der Bereich Lw von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und der Grad Ccw von Eindrücken, die von einer korrigierten Bildqualität gewonnen werden, werden durch die in 13D gezeigte Beziehung dargestellt.
Die Grade Ccw und Cch von Eindrücken werden durch extern eingestellte Normierungsebenen Cchn und Ccwn normiert. Die Normierungsebenen Cchn und Ccwn sind Bildqualitätsanpassungsausdrücke, die derart eingestellt sind, dass der Grad von Eindrücken, die von der korrigierten Bildqualität gewonnen werden, nicht zu Bildqualitätsverschlechterungen führt, und deren Werte werden experimentell erhalten.
Das Konzept des Grades eines Eindrucks, der von korrigierter Bildqualität gewonnen wird, in diesem Ausführungsbeispiel, wird hier beschrieben. In diesem Ausführungsbeispiel wird angenommen, dass Informationen, die in der optischen Mitte (Bildhöhe ist 0) vorliegen, als das wichtige Objektbild betrachtet werden, durch Einstellen einer Bildaufnahmebetriebsart, wie etwa einer Portraitbetriebsart. Das heißt, der Betrachter bestimmt die Bildqualität des Objektbildes, das in der Mitte des Rahmens liegt, als die Qualität des Bildes. Genauer, in dem Bereich größer als der Korrekturbetraggrenzwert wird angenommen, dass die Genauigkeit einer Korrektur der Verschiebung oder Verzerrung des Objektbildes, die durch Aberrationen verursacht wird, niedriger ist, und die Bildqualität sich verschlechtert. Aus diesem Grund, wenn die minimale Bildhöhe Lh in dem Bildhöhenbereich näher der optischen Mitte wird, bleiben eine Verschiebung oder Verzerrung, die durch Aberrationen verursacht wird, in dem Objektbild, das in der Mitte des Rahmens liegt, unkorrigiert und führen dazu, dass der Betrachter leicht eine Verschlechterung der Bildqualität wahrnehmen kann. Wenn der Bereich Lw der Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, breit ist, wird der Bildhöhenbereich, in dem die Verschiebung oder Verzerrung, die durch Aberrationen verursacht wird, in dem Bild nach einer Korrektur unkorrigiert bleibt, breiter. Aus diesem Grund erkennt der Betrachter leicht eine Bildqualitätsverschlechterung, die durch die schlechte Korrekturgenauigkeit verursacht wird.
Wie vorstehend beschrieben wählt die Charakteristikkoeffizientenberechnungsschaltung 1405 in diesem Ausführungsbeispiel zum Beispiel einen größeren der qualitativ bestimmten Grade Ccw und Cch von Eindrücken, die von einer korrigierten Bildqualität gewonnen werden, aus und gibt diese an eine Frequenzcharakteristiksteuerungsschaltung 114 als die Korrekturcharakteristikinformationen Cc aus. Das heißt, je höher die Korrekturcharakteristikinformationen Cc, die durch die Korrekturcharakteristikinformationserzeugungsschaltung 120 erhalten werden, sind, desto besser erkennt der Betrachter einfach eine Bildqualitätverschlechterung. Es ist deshalb notwendig, den Aberrationskorrekturbetrag so hoch wie möglich zu halten, um die Verschiebung oder Verzerrung des Objektbilds zu korrigieren. Andererseits, je niedriger die Korrekturcharakteristikinformationen Cc sind, desto schlechter nimmt der Betrachter eine Bildqualitätsverschlechterung wahr. Es ist umgekehrt notwendig, die Aberrationskorrekturgenauigkeit zu verringern und die Reproduzierbarkeit von Pixeln nach einer Korrektur so hoch wie möglich zu halten. Folglich weisen die Korrekturcharakteristikinformationen Cc und der Korrekturgrenzbetrag eine Beziehung auf, wie in 13E gezeigt ist.
Wenn der Korrekturbetraggrenzwert durch die Kapazität des Pufferspeichers 1003 bestimmt ist, der in der optischen Korrekturschaltung 115 bereit gestellt ist, und die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe von den optischen Parametern zur Zeit der Bildaufnahme erhalten wird, werden der Bereich Lw der Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, und die minimale Bildhöhe Lh in dem Bildhöhenbereich berechnet. Die Korrekturcharakteristikinformationen Cc werden von dem erhaltenen Bildhöhenbereich Lw und der minimalen Bildhöhe Lh erhalten und Informationen eines Korrekturbetraggrenzwert Lm' (zweiter oberer Grenzwert) entsprechend den erhaltenen Korrekturcharakteristikinformationen Cc werden aus dem Graphen von 13E erhalten. Das heißt die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe dieses Ausführungsbeispiels wird in 12B durch eine fette Linie 1206 dargestellt, die durch eine gestrichelte Linie 1205 begrenzt ist, die den Korrekturgrenzbetrag Lm' darstellt, der kleiner ist als der obere Grenzwert (kleiner als der erste obere Grenzwert) des Korrekturbetrags ist. Eine Annäherungsfunktion 1201 des Korrekturbetrags und der Bildhöhe, die durch die Koeffizientenerzeugungsschaltung 113 hergeleitet werden, ist wie die Annäherungsfunktion 1206 durch die Korrekturcharakteristikinformationen Cc und die Kapazität des Pufferspeichers 1003 in der optischen Korrekturschaltung 115 begrenzt. In diesem Ausführungsbeispiel wird solch eine Korrekturbetragbegrenzung durch Bereitstellen von Begrenzen 721 und 722 für die horizontalen und vertikalen Komponenten in der Frequenzcharakteristiksteuerungsschaltung 114, wie in 7 gezeigt ist, implementiert.
Wie vorstehend beschrieben stellt die Bildverarbeitungsvorrichtung dieses Ausführungsbeispiels den Grenzwert nach einer Korrektur ein, wobei darauf, die Reproduzierbarkeit von Pixeln nach einer Korrektur hoch zu halten, über einem Beibehalten der Korrekturgenauigkeit Priorität beigemessen wird, da die Sensibilität eines Betrachters bezüglich einer Bildqualitätsverschlechterung nach einer Korrektur niedriger erachtet wird. Das heißt, die Bildverarbeitungsvorrichtung kann eine Bildqualitätverschlechterung korrigieren, die durch Aberrationen verursacht wird, unter Berücksichtigung von Korrekturcharakteristikinformationen, die durch den Korrekturbetraggrenzwert bestimmt werden, und den Grad von Eindrücken darstellen, die von einer korrigierten Bildqualität gewonnen werden.
(Viertes Ausführungsbeispiel)
In diesem Ausführungsbeispiel wird eine Aberrationskorrekturverarbeitung unter Berücksichtigung von Objektmerkmalsinformationen, die durch Erfassen der Kantenkomponenten oder eines Bewegungsvektors in einem aufgenommenen Bild erhalten werden und den Grad eines Merkmals eines Objektbildes darstellen zusätzlich zu der Anordnung des ersten Ausführungsbeispiels beschrieben. Es sei angemerkt, dass auch in diesem Ausführungsbeispiel ein Fall beschrieben wird, in dem die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe durch den Korrekturbetraggrenzwert begrenzt ist, der durch die Kapazität eines Pufferspeichers 1003 bestimmt wird, wie in dem zweiten Ausführungsbeispiel. Es sei angemerkt, dass die Objektmerkmalsinformationen Cf ein Wert sind, der darstellt, ob ein aufgenommenes Bild ein Merkmal aufweist, das heißt, ob die Pixelwertreproduzierbarkeit zur Zeit der Korrektur erforderlich ist.
Bezüglich der funktionalen Anordnung einer Digitalkamera 100 dieses Ausführungsbeispiels wird eine Merkmalserfassungsschaltung 130, die dazu konfiguriert ist, einen Merkmalsevaluierungswert Id zu berechnen, der zum Herleiten der Objektmerkmalsinformationen Cf notwendig ist, zu der Anordnung des vorstehend beschrieben ersten Ausführungsbeispiels hinzugefügt. Die Merkmalserfassungsschaltung 120 ändert ihre Schaltungsanordnung gemäß der Art von Informationen, die als ein Merkmal eines Objektbildes zu erfassen sind, wie etwa ein Gradient, eine Hochfrequenzkomponente, oder eine Bewegung. Die Schaltungsanordnung für jede Information, die zu erfassen ist, wird nachstehend mit Bezug auf 15A bis 15C beschrieben.
Wenn ein Gradient (Kante) als eine Kantenkomponente zwischen Pixeln als ein Merkmal eines Objektbildes erfasst wird, besitzt die Merkmalserfassungsschaltung 130 allgemein eine Schaltungsanordnung wie in 15A gezeigt ist. Nach einem Empfangen von digitalen Bildern Sr, Sg und Sb von RGB von einem AFE 109, berechnet eine Luminanzsignalerzeugungsschaltung 1501 einen Luminanzwert y eines Pixels von Interesse von dem Pixelwert des Pixels von Interesse in jedem digitalen Bild durch y = 0.299Sr + 0.587Sg + 0.114Sb
Der Luminanzwert y, der auf diese Weise für alle Pixel berechnet wird, wird als ein Luminanzsignal (Luminanzbild) an eine Gradientenerfassungsschaltung 1502 ausgegeben. Die Gradientenerfassungsschaltung 1502 ist zum Beispiel ein Sobel-Filter. Nach Empfangen eines Luminanzsignals Y von der Luminanzsignalerzeugungsschaltung 1501 gibt die Gradietenerfassungsschaltung 1502 einen Gradientenbetrag Yg (der primäre Differentialwert des Luminanzsignals) an der Position des Pixels von Interesse aus. Der Gradientenbetrag Yg, der durch die Gradientenerfassungsschaltung 1502 erhalten wird, wird in eine Integrationsschaltung 1503 eingegeben, die den integrierten Wert des Gradientenbetrags Yg als den Merkmalsevaluierungswert Id für jeden rechteckigen Bereich, der durch Aufteilen des Luminanzsignals des aufgenommenen Bildes erhalten wird, ausgibt.
Wenn die Hochfrequenzkomponente des Luminanzsignals Y als ein Merkmal eines Objektbilds erfasst wird, besitzt die Merkmalserfassungsschaltung 130 allgemein eine Schaltungsanordnung wie in 15B gezeigt ist. Nach Empfangen der digitalen Bilder Sr, Sg und Sb von RGB von dem AFE 109, wandelt die Luminanzsignalerzeugungsschaltung 1501 die digitalen Bilder in das Luminanzsignal Y um und gibt dieses an eine Hochfrequenzkomponentenerfassungsschaltung 1504 aus. Die Hochfrequenzkomponentenerfassungsschaltung 1504 ist zum Beispiel ein Bandpassfilter, der eine Hochfrequenzkomponente Yh (der sekundäre Differentialwert des Luminanzsignals) an der Position des Pixels von Interesse ausgibt. Die Hochfrequenzkomponente Yh, die durch die Hochfrequenzkomponentenerfassungsschaltung 1504 erhalten wird, wird in die Integrationsschaltung 1503 eingegeben, die den integrierten Wert der Hochfrequenzkomponente Yh als den Merkmalsevaluierungswert Id für jeden rechteckigen Bereich, der durch Aufteilen des Luminanzsignals des aufgenommenen Bildes erhalten wird, ausgibt.
Wenn der Merkmalsevaluierungswert Id, der durch Gradientenerfassung oder Hochfrequenzkomponentenerfassung erhalten wird, groß ist, umfasst der Bereich das Merkmal des aufgenommenen Bildes, und die Pixelwertreproduzierbarkeit ist zur Zeit der Korrektur erforderlich. Folglich werden Objektmerkmalsinformationen Cf, wie in 13F gezeigt, erhalten.
Wenn ein Bewegungsvektor in kontinuierlichen Bildern als ein Merkmal eines Objektbildes erfasst wird, besitzt die Merkmalerfassungsschaltung 130 eine Schaltungsanordnung wie in 15C gezeigt ist. Es sei angemerkt, dass die in 15C gezeigte Anordnung die allgemeine Anordnung einer Bewegungsvektoranalyseschaltung unter Verwendung einer Übereinstimmungsaberration basierend auf repräsentativen Punkten ist. Nach Empfangen der digitalen Bilder Sr, Sg und Sb von RGB von dem AFE 109, wandelt die Luminanzsignalerzeugungsschaltung 1501 die digitalen Bilder in das Luminanzsignal Y um und gibt dieses an einen Rahmenspeicher 1505 aus. Der Rahmenspeicher 1505 besitzt eine Kapazität zum Speichern von zumindest zwei Luminanzrepresentativpunktrahmen bzw. Luminanzrahmen von reprasentativen Punkten (”luminance representative point frames”) und speichert ein Representativpunktdatenbild bzw. ein Datenbild von repräsentativen Punkten (”representative point data image”) durch erneutes horizontales und vertikales Abtasten des Luminanzsignals Y bei einem vorbestimmten Pixelintervall. Das Datenbild eines repräsentativen Punktes, das durch den Rahmenspeicher 1505 erzeugt wird, wird ebenso in einem Pufferspeicher 1506 gespeichert.
Eine Repräsentativpunktübereinstimmungsschaltung 1507 vergleicht das Datenbild von repräsentativen Punkten, das in dem Rahmenspeicher 1505 gespeichert ist, mit dem, das in dem Pufferspeicher 1506 gespeichert ist, wodurch der Merkmalsevaluierungswert Id für jeden rechteckigen Bereich, der durch Aufteilen des Luminanzsignals des aufgenommenen Bildes erhalten wird, berechnet wird und ausgegeben wird. Genauer wird das Datenbild von repräsentativen Punkten, das in dem Pufferspeicher 1506 gespeichert ist, in rechteckige Bereiche aufgeteilt und nacheinander an die Repräsentativpunktübereinstimmungsschaltung 1507 ausgegeben. Die Repräsentativpunktübereinstimmungsschaltung 1507 liest eine Pixelgruppe von repräsentativen Punkten Ys, die die gleiche Größe wie der rechteckige Bereich aufweisen, nacheinander von oben links des Rahmenspeichers 1505 aus und sucht nach der Position der Pixelgruppe des repräsentativen Punkts Ys, dessen Differenz von einer Pixelgruppe von repräsentativen Punkten Yt, die von dem Pufferspeicher 1506 eingegeben wird, minimal ist. Die Repräsentativpunktübereinstimmungsschaltung 1507 berechnet den Bewegungsvektor des rechteckigen Bereichs von der ausgelesenen Position der Pixelgruppe von repräsentativen Punkten Ys mit der minimalen Differenz und der Position des rechteckigen Bereichs, die von dem Pufferspeicher 1506 eingegeben wird. Die Repräsentativpunktübereinstimmungsschaltung 1507 gibt ebenso den Kehrwert der Skalarmenge des Bewegungsvektors in jedem Bereich als den Merkmalsevaluierungswert Id aus.
Wenn der Merkmalevaluierungswert Id, der durch Bewegungsvektorerfassung erhalten wird, klein ist, umfasst der Bereich die Bewegung des Objekts auf dem aufgenommenen Bild. Aus diesem Grund ist eine Verschiebung oder Verzerrung des Objektbildes, die durch Aberrationen erzeugt wird, nicht wahrnehmbar. Das heißt, bei einer Bewegungsvektorerfassung ist eine Aberrationskorrekturgenauigkeit nicht erforderlich, wenn der Bewegungsvektor groß wird. Da der Korrekturbetrag verringert werden kann, um die Pixelwertreproduzierbarkeit zu erhöhen, werden die Objektmerkmalsinformationen Cf, wie in 13G gezeigt ist, erhalten.
Wie vorstehend beschrieben berechnet die Merkmalserfassungsschaltung 130 in diesem Ausführungsbeispiel den Merkmalsevaluierungswert Id und erhält die Objektmerkmalsinformationen Cf, das heißt, die Pixelwertreproduzierbarkeit, die zur Zeit der Korrektur erforderlich ist. Wenn die Objektmerkmalsinformationen Cf klein sind, ist das Erfordernis einer Pixelwertreproduzierbarkeit hoch. Es ist deshalb notwendig, die Anzahl von Referenzpixeln in einer Korrekturverarbeitung zu erhöhen und die Pixelwertreproduzierbarkeit durch Begrenzen des Aberrationskorrekturbetrags zu erhöhen. Das heißt, die Objektmerkmalsinformationen Cf und der Korrekturgrenzbetrag haben eine Beziehung wie in 13H gezeigt ist.
Genauer, wenn die Merkmalserfassungsschaltung 130 den Merkmalevaluierungswert Id berechnet, erhält ein Mikrocomputer 101 die Objektmerkmalsinformationen Cf, die durch die Art der Merkmalserfassung bestimmt werden. Der Mikrocomputer 101 erhält ebenso die Informationen eines Korrekturgrenzbetrags Lm' (vierter und fünfter oberer Grenzwert) entsprechend den erhaltenen Objektmerkmalsinformationen Cf aus dem Graphen von 13H. Das heißt, die Annäherungsfunktion des Korrekturbetrags und der Bildhöhe dieses Ausführungsbeispiels wird in 12B durch eine fette Linie 1206 dargestellt, die durch den Korrekturgrenzbetrag Lm' begrenzt ist, wie in dem dritten Ausführungsbeispiel. Eine Annäherungsfunktion 1201 des Korrekturbetrags und einer Bildhöhe, die durch eine Koeffizientenerzeugungsschaltung 113 hergeleitet werden, ist wie die Annäherungsfunktion 1206 durch die Objektmerkmalsinformationen Cf und die Kapazität des Pufferspeichers 1003 in einer optischen Korrekturschaltung 115 begrenzt. In diesem Ausführungsbeispiel wird solch eine Korrekturbetragbegrenzung durch Bereitstellen von Begrenzen 721 und 722 für die horizontalen und vertikalen Komponenten in einer Frequenzcharakteristiksteuerungsschaltung 114, wie in 7 gezeigt ist, implementiert.
Wie vorstehend beschrieben, stellt die Bildverarbeitungsvorrichtung dieses Ausführungsbeispiels den Korrekturbetraggrenzwert ein, wobei darauf, die Reproduzierbarkeit von Pixeln nach einer Korrektur hoch zu halten, über dem Beibehalten einer Korrekturgenauigkeit Priorität beigemessen wird, da das Erfordernis einer Pixelwertreproduzierbarkeit zur Zeit einer Korrektur höher erachtet wird. Das heißt, die Bildverarbeitungsvorrichtung kann eine Bildqualitätverschlechterung korrigieren, die durch Aberrationen verursacht wird, unter Berücksichtigung von Objektmerkmalsinformationen, das heißt dem Erfordernis der Pixelwertreproduzierbarkeit, die durch die Kantenkomponente, Hochfrequenzkomponente, den Bewegungsvektor oder Ähnlichem eines aufgenommenen Bildes bestimmt wird.
(Fünftes Ausführungsbeispiel)
In diesem Ausführungsbeispiel wird eine Begrenzung einer Annäherungsfunktion des Korrekturbetrags und der Bildhöhe und ein Aberrationskorrekturverfahren unter Berücksichtigung von allen von MTF-Informationen Co, Korrekturcharakteristikinformationen Cc und Objektmerkmalsinformationen Cf, wie vorstehend in dem zweiten bis vierten Ausführungsbeispiel beschrieben ist, beschrieben. Bezüglich der funktionalen Anordnung einer Digitalkamera 100 dieses Ausführungsbeispiels werden eine Korrekturcharakteristikinformationserzeugungsschaltung 120 und eine Merkmalserfassungsschaltung 130 zu der Anordnung des ersten Ausführungsbeispiels hinzugefügt. Zusätzlich werden die MTF-Informationen in einer optischen Korrekturdatenbank 112 verwaltet.
Informationen des vorstehend beschriebenen Ausführungsbeispiels werden zusammengefasst.

– Die MTF-Informationen Co, die die wahrgenommene Auflösung darstellen, werden höher, wenn sich die Bildhöhe verringert.
– Die Korrekturgenauigkeit wird erforderlich, wenn die MTF-Informationen Co höher werden.
– Die Reproduzierbarkeit wird erforderlich, mehr als die Korrekturgenauigkeit, wenn die MTF-Informationen Co niedriger werden.
– Die Korrekturcharakteristikinformationen Cc, die den Grad von Eindrücken einer korrigierten Bildqualität darstellen,
– werden höher, wenn sich der Bereich von Bildhöhen, die größer als der Korrekturbetraggrenzwert sind, verbreitert.
– werden höher, wenn sich die minimale Bildhöhe, die größer als der Korrekturbetraggrenzwert ist, verringert.
– Die Korrekturgenauigkeit wird erforderlich, wenn die Korrekturcharakteristikinformationen Cc höher werden.
– Die Reproduzierbarkeit wird erforderlich, mehr als die Korrekturgenauigkeit, wenn die Korrekturcharakteristikinformationen Cc niedriger werden.
– Die Objektmerkmalsinformationen Cf, die den Grad eines Merkmals eines Objektbildes darstellen
– werden höher in einem Bereich, in dem die Kantenkomponente groß ist.
– werden höher in einem Bereich, in dem die Hochfrequenzkomponente groß ist.
– werden höher in einem Bereich, in dem der Bewegungsvektor klein ist.
– Die Korrekturgenauigkeit wird erforderlich, wenn die Objektmerkmalsinformationen Cf höher werden.
– Die Reproduzierbarkeit wird erforderlich, mehr als die Korrekturgenauigkeit, wenn die Objektmerkmalsinformationen Cf niedriger werden.

Folglich, wenn jede Information näher zu 1 wird, tendiert die Aberrationskorrekturgenauigkeit dazu, extrem hoch beibehalten zu werden, wie aus 13B, 13E und 13H ersichtlicht ist. Genauer, wenn die MTF-Informationen Co, die Korrekturcharakteristikinformationen Cc und die Objektmerkmalsinformationen Cf integriert werden, und der Minimalwert des Korrekturgrenzbetrags, der zum Beispiel durch die Bildhöhe hergeleitet wird, ausgewählt werden, wird die begrenzte Annäherungsfunktion des Korrekturbetrags und der Bildhöhe durch eine fette Linie 1207 in 12C dargestellt.
Wie vorstehend beschrieben, kann die Bildverarbeitungsvorrichtung dieses Ausführungsbeispiels eine Bildqualitätverschlechterung, die durch Aberrationen verursacht wird, unter Berücksichtigung des Merkmals des aufgenommenen Bildes und des Korrekturbetraggrenzwerts korrigieren.
Es sei angemerkt, dass in den vorstehenden Ausführungsbeispielen eine Digitalkamera mit einem optischen System als ein Beispiel der Bildverarbeitungsvorrichtung beschrieben wurde. Eine Implementierung der vorliegenden Erfindung ist jedoch nicht auf dieses beschränkt. Zum Beispiel kann die Bildverarbeitungsvorrichtung einer Einrichtung wie etwa ein Drucker sein, der Bildeingaben empfängt. In diesem Fall werden die Informationen der Aberrationen des optischen Systems als eine Datei zusammen mit dem Bild eingegeben oder sind in den Dateninformationen des Bildes enthalten. Die Bildverarbeitungsvorrichtung liest die Informationen von Aberrationen des optischen Systems in einem Prozess einer Korrekturverarbeitung aus und führt die vorstehend beschriebene Korrekturverarbeitung durch.
Andere Ausführungsbeispiele
Aspekte der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder einer Vorrichtung (oder Einrichtungen wie etwa eine CPU oder MPU) realisiert werden, der ein Programm, das auf einer Speichereinrichtung aufgezeichnet ist, ausliest und ausführt, um die Funktionen des (der) vorstehend beschriebenen Ausführungsbeispiels (Ausführungsbeispiele) durchzuführen, und durch ein Verfahren, dessen Schritte durch einen Computer eines Systems oder einer Vorrichtung ausgeführt werden, zum Beispiel durch Auslesen und Ausführen eines Programms, das auf einer Speichereinrichtung aufgezeichnet ist, um die Funktionen des (der) vorstehend beschriebenen Ausführungsbeispiels (Ausführungsbeispiele) durchzuführen. Zu diesem Zweck wird das Programm dem Computer zum Beispiel über ein Netzwerk oder von einem Aufzeichnungsmedium von verschiedenen Arten, die als Speichereinrichtungen dienen (zum Beispiel computerlesbares Medium) bereitgestellt.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der nachfolgenden Ansprüche ist die breiteste Interpretation zuzugestehen, so dass alle Modifikationen und äquivalenten Strukturen und Funktionen umfasst sind.
Der Korrekturbetrag einer Aberration, die in jedem Pixel des Bereichs durch das optische System verursacht wird, wird berechnet. Eine vorbestimmte Anzahl von peripheren Pixeln, deren Zentrum an einer Position liegt, die von dem Pixel um die Entfernung entsprechend dem berechneten Aberrationskorrekturbetrag entfernt ist, werden mit Interpolationskoeffizienten multipliziert, die von einer Interpolationsfunktion erhalten werden, und addiert, wodurch der Pixelwert an der Pixelposition nach einer Korrektur hergeleitet wird. Wenn die vorbestimmte Anzahl von peripheren Pixeln um die Position, die um die Entfernung entsprechend dem berechneten Aberrationskorrekturbetrag entfernt ist, nicht in dem ausgelesenen Bereich vorhanden sind, wird eine Aberrationskorrektur durch Ändern der Interpolationsfunktion implementiert. Genauer wird die Interpolationsfunktion geändert, um das Frequenzantwortverhalten der Interpolationsfunktion moderater zu machen, als das der Interpolationsfunktion, die die Interpolationskoeffizienten ausgibt, um die vorbestimmte Anzahl von peripheren Pixeln zu multiplizieren und wird in der Korrekturverarbeitung verwendet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2001-186533 [0004]
JP 2005-057605 [0004]

Claims

Bildverarbeitungsvorrichtung, die dazu eingerichtet ist, für jedes Pixel eines Bildes den Einfluss von Aberrationen in einem optischen System in dem Bild, das unter Verwendung des optischen Systems aufgenommen wird, zu korrigieren, mit: einer Speichereinrichtung, die dazu konfiguriert ist, ein Bild eines Teilbereichs des Bildes auszulesen und zu speichern; einer Berechnungseinrichtung, die dazu konfiguriert ist, eine Entfernung auf dem Bild des Teilbereichs zwischen einem Pixel von Interesse des Bildes des Teilbereichs, das in der Speichereinrichtung gespeichert ist, und einem Bild, das an einer Position des Pixels von Interesse gebildet werden sollte, aber sich auf Grund der Aberrationen des optischen Systems bewegt hat, als einen Korrekturbetrag unter Verwendung von Informationen einer Bildhöhe des Pixels von Interesse und Informationen des optischen Systems zu berechnen; und einer Korrektureinrichtung, die dazu konfiguriert ist, einen Pixelwert des Pixels von Interesse nach einer Korrektur herzuleiten, durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwertes von jedem von einer vorbestimmten Anzahl von peripheren Pixeln, deren Zentrum an einer Position liegt, die von dem Pixel von Interesse um die Entfernung, die durch die Berechnungseinrichtung berechnet wird, entfernt ist, mit einem Interpolationskoeffizienten von jedem der peripheren Pixel, der von einer vorbestimmten Interpolationsfunktion erhalten wird, die eine Funktion der Entfernung von der Position, die von dem Pixel von Interesse um die Entfernung, die durch die Berechnungseinrichtung berechnet wird, entfernt ist, erhalten werden; wobei, wenn die peripheren Pixel in der Speichereinrichtung nur in einer Anzahl gespeichert werden, die kleiner als die vorbestimmte Anzahl ist, die Korrektureinrichtung die Interpolationsfunktion ändert, um ein Frequenzantwortverhalten der vorbestimmten Interpolationsfunktion moderater zu machen als das, wenn die vorbestimmte Anzahl von peripheren Pixeln in der Speichereinrichtung gespeichert ist, und den Pixelwert des Pixels von Interesse nach einer Korrektur herleitet, durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwertes von jedem der peripheren Pixel, deren Anzahl kleiner als die vorbestimmte Anzahl ist, mit dem Interpolationskoeffizienten von jedem der peripheren Pixel, der von der Interpolationsfunktion erhalten wird, erhalten werden.
Vorrichtung gemäß Anspruch 1, wobei, wenn der Korrekturbetrag, der für das Pixel von Interesse berechnet wird, einen ersten oberen Grenzwert überschreitet, der durch eine Kapazität der Speichereinrichtung bestimmt ist, die Berechnungseinrichtung dazu eingerichtet ist, den Korrekturbetrag als den ersten oberen Grenzwert einzustellen.
Vorrichtung gemäß Anspruch 2, wobei, die Berechnungseinrichtung dazu eingerichtet ist, einen zweiten oberen Grenzwert einzustellen, der kleiner als der erste obere Grenzwert ist, der zweite obere Grenzwert ein vorbestimmter Korrekturbetrag ist, der durch einen Bildhöhebereich in dem Bild, in dem der Korrekturbetrag den ersten oberen Grenzwert überschreitet, und einen Minimalwert der Bildhöhe in dem Bildhöhenbereich bestimmt ist, und derart eingestellt wird, um größer zu sein, wenn sich der Bildhöhenbereich verbreitert, und um kleiner zu sein, wenn der Minimalwert der Bildhöhe größer wird, und wenn der Korrekturbetrag, der für das Pixel von Interesse berechnet wird, den zweiten oberen Grenzwert überschreitet, die Berechnungseinrichtung dazu eingerichtet ist, den Korrekturbetrag als den zweiten oberen Grenzwert einzustellen.
Vorrichtung gemäß Anspruch 1, weiterhin mit einer Beschaffungseinrichtung, die dazu konfiguriert ist, MTF-Informationen des optischen Systems für jedes Pixel des Bildes zu beschaffen, wobei die Berechnungseinrichtung dazu eingerichtet ist, einen vorbestimmten dritten oberen Grenzwert des Korrekturbetrags einzustellen, der durch einen Wert der MTF-Informationen in dem Bild bestimmt ist, wobei der dritte obere Grenzwert einen kleineren Korrekturbetrag für ein Pixel von Interesse einstellt, dessen MTF-Informationen einen niedrigeren Wert aufweisen, und wenn der Korrekturbetrag, der für das Pixel von Interesse berechnet wird, den dritten oberen Grenzwert überschreitet, die Berechnungseinrichtung dazu eingerichtet ist, den Korrekturbetrag als den dritten oberen Grenzwert einzustellen.
Vorrichtung gemäß Anspruch 1, weiterhin mit einer Kantenerfassungseinrichtung, die dazu konfiguriert ist, eine Kantenkomponente des Pixels von Interesse von dem Pixel von Interesse und den peripheren Pixeln zu erfassen, wobei die Berechnungseinrichtung dazu eingerichtet ist, einen vorbestimmten vierten oberen Grenzwert des Korrekturbetrags einzustellen, der durch eine Größe der Kantenkomponente in dem Bild bestimmt ist, wobei der vierte obere Grenzwert einen kleineren Korrekturbetrag für ein Pixel von Interesse einstellt, dessen Kantenkomponente kleiner ist, und wenn der Korrekturbetrag, der für das Pixel von Interesse berechnet wird, den vierten oberen Grenzwert überschreitet, die Berechnungseinrichtung dazu eingerichtet ist, den Korrekturbetrag als den vierten oberen Grenzwert einzustellen.
Vorrichtung gemäß Anspruch 1, weiterhin mit einer Vektorerfassungseinrichtung, die dazu konfiguriert ist, einen Bewegungsvektor des Bildes in einem Teilbereich, der das Pixel von Interesse umfasst, zu erfassen, basierend auf einem aufgenommenen Bild, das dem Bild nachfolgt, und dem Bild in dem Teilbereich, der das Pixel von Interesse umfasst, wobei die Berechnungseinrichtung dazu eingerichtet ist, einen vorbestimmten fünften oberen Grenzwert des Korrekturbetrags einzustellen, der durch einen Kehrwert eines Betrags des Bewegungsvektors in dem Bild bestimmt ist, wobei der fünfte obere Grenzwert einen kleineren Korrekturbetrag für ein Pixel von Interesse einstellt, das in einem Bereich umfasst ist, in dem der Bewegungsvektor größer ist, und wenn der Korrekturbetrag, der für das Pixel von Interesse berechnet wird, den fünften oberen Grenzwert überschreitet, die Berechnungseinrichtung dazu eingerichtet ist, den Korrekturbetrag als den fünften oberen Grenzwert einzustellen.
Verfahren des Steuerns einer Bildverarbeitungsvorrichtung, die dazu eingerichtet ist, für jedes Pixel von einem Bild den Einfluss von Aberrationen in einem optischen System in dem Bild, das unter Verwendung des optischen Systems aufgenommen wird, zu korrigieren, mit den Schritten: Auslesen und Speichern eines Bildes eines Teilbereichs des Bildes in einer Speichereinrichtung; Berechnen einer Entfernung auf dem Bild des Teilbereichs zwischen einem Pixel von Interesse des Bildes des Teilbereichs, das in der Speichereinrichtung gespeichert ist, und einem Bild, das einer Position des Pixels von Interesse gebildet werden sollte, aber sich auf Grund der Aberrationen des optischen Systems bewegt hat, als einen Korrekturbetrag unter Verwendung von Informationen einer Bildhöhe des Pixels von Interesse und Informationen des optischen Systems; und Herleiten eines Pixelwertes des Pixels von Interesse nach einer Korrektur durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwerts von jedem von einer vorbestimmten Anzahl von peripheren Pixeln, deren Zentrum an einer Position liegt, die von dem Pixel von Interesse um die Entfernung, die in dem Schritt des Berechnens der Entfernung berechnet wird, entfernt ist, mit einem Interpolationskoeffizienten von jedem der peripheren Pixel, der von einer vorbestimmten Interpolationsfunktion erhalten wird, die eine Funktion der Entfernung von der Position ist, die von dem Pixel von Interesse um die Entfernung, die durch den Schritt des Berechnens der Entfernung berechnet wird, entfernt ist; wobei in dem Schritt des Herleitens des Pixelwerts, wenn die peripheren Pixel in der Speichereinrichtung nur in einer Anzahl gespeichert werden, die kleiner als die vorbestimmte Anzahl ist, die Interpolationsfunktion geändert wird, um ein Frequenzantwortverhalten der vorbestimmten Interpolationsfunktion moderater zu machen, als das, wenn die vorbestimmte Anzahl von peripheren Pixeln in der Speichereinrichtung gespeichert ist, und der Pixelwert des Pixels von Interesse nach einer Korrektur hergeleitet wird, durch Addieren von Pixelwerten, die durch Multiplizieren eines Pixelwerts von jedem der peripheren Pixel, deren Anzahl kleiner als die vorbestimmte Anzahl ist, mit dem Interpolationskoeffizienten von jedem der peripheren Pixel, der von der Interpolationsfunktion erhalten wird, erhalten werden.