DE112013006596B4

DE112013006596B4 - Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm

Info

Publication number: DE112013006596B4
Application number: DE112013006596.7T
Authority: DE
Inventors: Kenkichi Hayashi; Masahiko Sugimoto; Yousuke NARUSE
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-02-05
Filing date: 2013-04-26
Publication date: 2019-10-02
Anticipated expiration: 2033-04-27
Also published as: CN104969545B; JP5830186B2; DE112013006596T5; US20150334359A1; US9432643B2; WO2014122804A1; JPWO2014122804A1; CN104969545A

Abstract

Bildverarbeitungsvorrichtung (28), umfassend:ein Demosaikprozessmittel (100), das einen Demosaikprozess an Mosaikbilddaten durchführt, die aus einer Bildaufnahmevorrichtung ausgegeben werden, um Demosaikbilddaten zu erzeugen,ein Luminanz-System-Bilddaten-Erfassungsmittel (105), das Luminanz-System-Bilddaten als Bilddaten bezüglich Luminanz auf Basis der durch das Demosaikprozessmittel ermittelten Demosaikbilddaten erfasst,ein Punktbildrestaurierungsprozess-Ausführungsmittel (110), das einen Punktbildrestaurierungsprozess an den durch das Luminanz-System-Bilddaten-Erfassungsmittel erfassten Luminanz-System-Bilddaten ausführt,ein Informations-Erfassungsmittel (115), das Steuerinformation bezüglich der Ausführung des Punktbildrestaurierungsprozesses auf Basis von Bildgebungs-Information bezüglich einer BildgebungsBedingung eines Subjekts erfasst,ein Punktbildrestaurierungsprozess-Steuermittel (120), das eine Verarbeitungsoperation des Punktbildrestaurierungsprozess-Ausführungsmittels auf Basis der durch das Informations-Erfassungsmittel erfassten Steuerinformation steuert, undein Bildanalysemittel (111), das auf Basis der Mosaikbilddaten oder der Demosaikbilddaten analysiert, ob die Bilddaten die Mosaikbilddaten, in welchen Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, sind, oder nicht, oder ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder nicht, wobeidas Informations-Erfassungsmittel die Steuerinformation auf Basis der Bildgebungsinformation und durch das Bildanalysemittel erfasste Analyseinformation erfasst.

Description

Die vorliegende Erfindung bezieht sich auf eine Technologie bezüglich Bildverarbeitung und insbesondere bezieht sie sich auf Bildverarbeitung mittels eines Punktbild-Restaurierungsprozesses auf Basis einer Punktspreizfunktion (PSF).
Hintergrund
Eine Bildverschlechterung, die durch verschiedene Abweichungen eines optischen Systems (zum Beispiel Bildgebungsobjektiv) verursacht wird, tritt manchmal in einem Bild auf, durch das durch Aufnehmen eines Objektes durch eine Bilderfassungsvorrichtung, wie etwa eine Digitalkamera, erhalten wird.
Um die durch die Aberration verursachte Bildbeeinträchtigung (Diffraktionsunschärfe, periphere Unschärfe, chromatische Aberration der Vergrößerung etc.) zu verhindern, ist eine Technologie entwickelt worden, in welcher Bilddaten des Subjektbilds einer Bildverarbeitung unterworfen werden, um die durch die Aberration verursachte Bildbeeinträchtigung zu eliminieren (korrigieren).
Die Bildbeeinträchtigung aufgrund der Aberration kann durch eine Punktspreizfunktion (PSF) repräsentiert werden und die Bildbeeinträchtigung kann durch Unterwerfen der Bilddaten einem Restaurationsfilter (inversen Filter) der Punktspreizfunktion (Punktbildrestaurierungsprozess) eliminiert werden.
Jedoch kann eine Falschfarbe oder Aliasing in einigen Bildern sogar mehr erzeugt werden, indem Punktbildrestaurierungsprozess durchgeführt wird, was die Qualität des Bildes in einigen Fällen reduziert.
Daher offenbart PTL 1 eine Technologie, die sich auf einen Punktbildrestaurierungsprozess (der als korrespondierend dem Punktbildrestaurierungsprozess der vorliegenden Anmeldung erwogen werden kann) bezieht, in welcher ein Bereich, in dem die falsche Farbe zu erzeugen ist, durch Durchführen des Bildrestaurierungsprozesses, dem Bildrestaurierungsprozess nicht unterworfen wird. PTL 1 offenbart, dass es bevorzugt wird, dass der Bildrestaurierungsprozess vor einem Demosaik- bzw. „Demosaicierungs-„prozess (der als ein Demosaikprozess entsprechend der vorliegenden Anmeldung angesehen werden kann) durchgeführt wird.
PTL 2 offenbart, dass ein Restaurierungsgrad des Bildrestaurierungsprozesses kontinuierlich einstellbar sein kann und die erzeugte Falschfarbe durch Justieren des Restaurierungsgrads unterdrückt werden kann. Jedoch wird die chromatische Aberration der Vergrößerung mit Ansteigen des Restaurierungsgrads erzeugt, was auch offenbart ist.
PTL 3 offenbart eine Vorrichtung, Verfahren, Programm und Aufzeichnungsmedium für Bildwiderherstellung. Ein Bild, dessen Wiederherstellungsgrad basierend auf der Differenz zwischen jedem Pixel und einem benachbarten Pixel des Pixels in einer lichtempfindlichen Elementanordnung 101 bestimmt wird, wird in eine Vielzahl von Bereichen basierend auf dem bestimmten Wiederherstellungsgrad unterteilt, und die Bereiche des Bildes werden jeweils gemäß dem bestimmten Wiederherstellungsgrad wiederhergestellt. Auf diese Weise kann nicht nur ein Überschwingen und ein Anstieg von Rauschen wirksam unterdrückt werden, sondern auch die Grenze zwischen den Bereichen, die bei der Aufteilung des Bildes in zwei Arten von Bereichen auffällig ist, wird weniger auffällig, so dass ein natürlich wiederhergestelltes Bild erhalten werden kann.
Zitateliste
Patentliteratur

PTL 1: Japanische Patentoffenlegungsschrift JP 2010-086138 A
PTL 2: Japanische Patentoffenlegungsschrift JP 2011-124692 A
PTL 3: US 2003/0184663 A1

Zusammenfassung der Erfindung
Technisches Problem
Jedoch, in der in PTL 1 offenbarte Technologie, da die Falschfarbe berücksichtigt wird, um den Bildrestaurierungsprozess durchzuführen, aber das aufgrund von chromatischer Aberration und dem Demosaikprozess erzeugte Aliasing nicht berücksichtigt wird, um den Bildrestaurierungsprozess durchzuführen, können das durch die chromatische Aberration und den Demosaikprozess verursachtes Aliasing als Erzeugungsfaktoren die Bildverschlechterung in einigen Fällen involvieren. Hier bezieht sich die in PTL 1 offenbarte Falschfarbe auf jene, die erzeugt wird, wenn es eine Differenz zwischen dem Aberrationszustand, der abhängig von einem Zustand des optischen Systems bei der Bildaufnahme variiert, und einem Aberrationszustand, mit dem sich der Bildrestaurierungsfilter befasst, in einem Fall, bei dem ein nicht fokussierendes Objekt dem Bildrestaurierungsprozess unterworfen wird, unter Verwendung eines Bildrestaurierungsfilters (der als einem Restaurierungsfilter der vorliegenden Anmeldung entsprechend angesehen werden kann), der optimal für eine Fokussierdistanz ist, nicht aber optimal für eine Nichtfokussierdistanz ist, gibt. Das aufgrund der chromatischen Aberration und des Demosaikprozesses in der vorliegenden Anmeldung erzeugte Aliasing wird später im Detail beschrieben.
Zusätzlich kann in der in PTL 1 offenbarten Technologie, da ein Erzeugungsgrad von der chromatischen Aberration als einer der Erzeugungsfaktoren der Falschfarbe nicht berücksichtigt wird, selbst ein Bereich mit einem Lichterzeugungsgrad der chromatischen Aberration in einigen Fällen nicht dem Bildrestaurierungsprozess unterworfen werden. In einem Fall, bei dem nur eine leichte Falschfarbe erzeugt wird, falls der Bildrestaurierungsprozess durchgeführt wird, kann eher eine gute Bildqualität erhalten werden, indem der Bildrestaurierungsprozess durchgeführt wird. Weiterhin kann der Bildrestaurierungsprozess adäquat durchgeführt werden, indem der Bildrestaurierungsprozess an Luminanz-System-Bilddaten durchgeführt wird, die nach dem Demosaikprozess erhalten werden, eher als Durchführen des Bildrestaurierungsprozesses vor dem Demosaikprozess.
In der in PTL 2 offenbarten Technologie, da ein Artefakt und die Falschfarbe berücksichtigt werden, um den Bildrestaurierungsprozess durchzuführen, aber das aufgrund der chromatischen Aberration und des Demosaikprozesses erzeugte Aliasing nicht berücksichtigt wird, um den Bildrestaurierungsprozess durchzuführen, kann das durch die chromatische Aberration und den Demosaikprozess verursachte Aliasing als Erzeugungsfaktoren in einigen Fällen die Bildverschlechterung involvieren. Hier wird das in PTL 2 offenbarte Artefakt in einem wiederhergestellten Bild in einem Fall erzeugt, bei dem es eine Differenz zwischen einer Aberrationseigenschaft, die in einem Zustand erzeugt wird, in dem tatsächlich Bildgebung erfolgt, und einer in der Bildrestaurierung vorhergesagten Aberrationseigenschaft gibt. Die in PTL 2 offenbarte Falschfarbe wird ein einem restaurierten Bild erzeugt, falls der Restaurierungsgrad sich von demjenigen unterscheidet, der für jede Farbkomponente von RGB vorhergesagt wird.
In der in PTL 2 offenbarten Technologie, da das durch die chromatische Aberration und den Demosaikprozess verursachte Aliasing nicht berücksichtigt wird, um den Bildrestaurierungsprozess durchzuführen, kann das durch die chromatische Aberration und den Demosaikprozess als die Erzeugungsfaktoren verursachte Aliasing in einigen Fällen eine Bildverschlechterung involvieren. Da der Erzeugungsgrad der chromatischen Aberration als einer der Erzeugungsfaktoren der Falschfarbe nicht berücksichtigt wird, mag der Bildrestaurierungsprozess in einigen Fällen nicht adäquat justiert werden, abhängig von der Erzeugung der chromatischen Aberration der Vergrößerung.
Die vorliegende Erfindung ist unter Berücksichtigung eines solchen Umstands gemacht worden und hat als technisches Problem, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm bereitzustellen, die in der Lage sind, ein Bild einer höheren Bildqualität zu erhalten, durch Ausführen des Punktbildrestaurierungsprozesses mit dem Erzeugungsgrad des Aliasing aufgrund von chromatischer Aberration, die berücksichtigt wird, und in der Lage ist, ein klares Bild zu erhalten, durch Ausführen des Punktbildrestaurierungsprozesses an den Luminanz-System-Bilddaten.
Problemlösung
Um die obige Aufgabe zu erzielen, beinhaltet eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung die Merkmale des Patentanspruchs 1.
Dies gestattet es, dass der Punktbildrestaurierungsprozess mit den Erzeugungsgrad des Aliasing aufgrund von chromatischer Aberration und den Demosaikprozess berücksichtigend ausgeführt wird, was ein Bild einer höheren Bildqualität ergibt. Der an Luminanz-System-Bilddaten durchgeführte Punktbildrestaurierungsprozess macht es möglich, ein klareres Bild zu erhalten.
In der Bildverarbeitungsvorrichtung kann die Bildgebungs-Information vorzugsweise zumindest eine beinhalten von Information bezüglich eines für die Bildaufnahme verwendeten Objektivs, einem Blendenwert bei der Bildaufnahme, einer Brennweite bei der Bildaufnahme und einer Subjektdistanz bei der Bildaufnahme.
Dies gestattet es, dass der Punktbildrestaurierungsprozess adäquater ausgeführt wird, wobei der Erzeugungsgrad von Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses berücksichtigt wird, was ein Bild einer höheren Bildqualität ergibt.
Die Bildverarbeitungsvorrichtung beinhaltet vorzugsweise ein Bildanalysemittel, das auf Basis der Mosaikbilddaten oder der Demosaikbilddaten analysiert, ob die Bilddaten Mosaikbilddaten sind, in denen Aliasing intensiviert ist, oder nicht, falls der Punktbildrestaurierungsprozess ausgeführt wird, oder ob die Bilddaten die Demosaikbilddaten sind oder nicht, in welchen das Aliasing intensiviert ist, falls der Punktbildrestaurierungsprozess ausgeführt wird, in welchen das Informations-Erfassungsmittel die Steuerinformation aufgrund der Bildgebungs-Information und der Analyse-Information erfasst, welche durch das Bildanalysemittel erfasst sind.
Dies gestattet es, den Punktbildrestaurierungsprozess unter Berücksichtigung nicht nur von Bildgebungs-Information auszuführen, sondern auch von Analyse-Information, die durch Analysieren eines aufgenommenen Bildes ermittelt wird, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung kann vorzugsweise das Bildanalysemittel eine Kontrastgröße auf Basis der Mosaikbilddaten oder der Demosaikbilddaten finden, um zu analysieren, ob die Bilddaten die Mosaikbilddaten, in denen Aliasing intensiviert ist, falls der Punktbildrestaurierungsprozess ausgeführt wird, sind, oder nicht, oder ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing intensiviert ist, falls der Punktbildrestaurierungsprozess ausgeführt wird, oder nicht.
Dies ermöglicht es, den Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses durch die Bildanalyse adäquater zu erfassen, und gestattet es, dass der Punktbildrestaurierungsprozess adäquater ausgeführt wird, wobei der Erzeugungsgrad von Aliasing aufgrund von chromatischer Aberration berücksichtigt wird, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung bestimmt vorzugsweise das Punktbildrestaurierungsprozess-Steuermittel, ob das Aliasing intensiviert ist oder nicht, falls der Punktbildrestaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, steuert das Punktbildrestaurierungsprozess-Steuermittel im Falle der Bestimmung, das das Aliasing nicht intensiviert ist, das Punktbildrestaurierungsprozess-Ausführungsmittel zum Ausführen des Punktbildrestaurierungsprozesses an den Luminanz-System-Bilddaten und hindert das Punktbildrestaurierungsprozess-Steuermittel im Falle des Bestimmens, dass das Aliasing intensiviert ist, das Punktbildrestaurierungsprozess-Ausführungsmittel am Ausführen des Punktbildrestaurierungsprozesses an den Luminanz-System-Bilddaten.
Dies gestattet es, dass der Punktbildrestaurierungsprozess adäquater ausgeführt wird, abhängig vom Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung bestimmt vorzugsweise das Punktbildrestaurierungsprozess-Steuermittel, ob das Aliasing intensiviert ist oder nicht, falls der Punktbildrestaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, steuert das Punktbildrestaurierungsprozess-Steuermittel im Falle der Bestimmung, dass das Aliasing nicht intensiviert ist, das Punktbildrestaurierungsprozess-Ausführungsmittel, um den Punktbildrestaurierungsprozess an den Luminanz-System-Bilddaten auszuführen, und identifiziert das Punktbildrestaurierungsprozess-Steuermittel im Falle des Bestimmens, dass das Aliasing intensiviert ist, eine Aliasing-intensivierte Region, die eine Region ist, wo das Aliasing intensiviert ist, und steuert das Punktbildrestaurierungsprozess-Ausführungsmittel, um am Ausführen des Punktbildrestaurierungsprozesses in der Aliasing-intensivierten Region gehindert zu werden und den Punktbildrestaurierungsprozess an einer anderen Region als der Aliasing-intensivierten Region auszuführen.
Dies gestattet es dem Punktbildrestaurierungsprozess, adäquater ausgeführt zu werden, abhängig vom Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung bestimmt vorzugsweise das Punktbildrestaurierungsprozess-Steuermittel, ob das Aliasing intensiviert ist oder nicht, falls der Punktbildrestaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, steuert das Punktbildrestaurierungsprozess-Steuermittel im Fall des Bestimmens, dass das Aliasing nicht intensiviert ist, das Punktbildrestaurierungsprozess-Ausführungsmittel zum Ausführen des Punktbildrestaurierungsprozesses an den Luminanz-System-Bilddaten und identifiziert das Punktbildrestaurierungsprozess-Steuermittel in einem Fall des Bestimmens, dass das Aliasing intensiviert ist, eine Aliasing-intensivierte Region, die eine Region ist, wo das Aliasing intensiviert ist, steuert das Punktbildrestaurierungsprozess-Ausführungsmittel zum Ausführen des Punktbildrestaurierungsprozesses an einer anderen Region als der Aliasing-intensivierten Region und steuert das Punktbildrestaurierungsprozess-Ausführungsmittel an der Aliasing-intensivierten Region zum Ausführen eines Punktbildrestaurierungsprozesses, der schwächer ist in einem Effekt als und anstelle des Punktbildrestaurierungsprozesses ausgeführt wird an der anderen Region als der Aliasing-intensivierten Region.
Dies gestattet es dem Punktbildrestaurierungsprozess, adäquater ausgeführt zu werden, abhängig vom Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung bestimmt das Punktbildrestaurierungsprozess-Steuermittel vorzugsweise, ob das Aliasing intensiviert ist oder nicht, falls der Punktbildrestaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, steuert das Punktbildrestaurierungsprozess-Steuermittel in einem Fall des Bestimmens, dass das Aliasing nicht intensiviert ist, das Punktbildrestaurierungsprozess-Ausführungsmittel zum Ausführen des Punktbildrestaurierungsprozesses an den Luminanz-System-Bilddaten und identifiziert das Punktbildrestaurierungsprozess-Steuermittel in einem Fall des Bestimmens, dass das Aliasing intensiviert ist, einen Aliasing-intensivierten Grad, der ein Grad ist, in welchem das Aliasing intensiviert ist, und steuert das Punktbildrestaurierungsprozess-Ausführungsmittel zum Ausführen des Punktbildrestaurierungsprozesses, wobei die Stärke des Punktbildrestaurierungsprozesses abhängig vom Aliasing-intensivierten Grad variiert wird.
Dies gestattet es, dass der Punktbildrestaurierungsprozess adäquater ausgeführt wird, abhängig vom Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung ist vorzugsweise die durch das Punktbildrestaurierungsprozess-Steuermittel identifizierte Aliasing-intensivierte Region eine Region mit einer hohen Bildhöhe.
Dies gestattet es, dass der Punktbildrestaurierungsprozess adäquater ausgeführt wird, abhängig vom Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses, was ein Bild einer höheren Bildqualität ergibt.
In der Bildverarbeitungsvorrichtung wird vorzugsweise der durch das Punktbildrestaurierungsprozess-Steuermittel identifizierte Aliasing-intensivierte Grad relativ zur Bildhöhe größer.
In der Bildverarbeitungsvorrichtung sind vorzugsweise die Luminanz-System-Bilddaten ein Luminanzsignal, was auf Basis von Farbdaten in den Demosaik-Bilddaten mit dem höchsten Beitragsverhältnis zum Ermitteln eines Luminanzsignals oder den Demosaikbilddaten ermittelt wird.
Dies gestattet, dass der effektivere Punktbildrestaurierungsprozess ausgeführt wird.
In der Bildverarbeitungsvorrichtung sind vorzugsweise die Luminanz-System-Bilddaten ein Wert eines Luminanzsignals Y in einem Farbraum, der durch ein Luminanzsignal Y und Farbdifferenzsignale Cb und Cr repräsentiert ist.
In der Bildverarbeitungsvorrichtung beinhaltet vorzugsweise das Demosaikprozessmittel einen Prozess zum Bestimmen einer korrelierten Richtung in mehreren Pixelsignalen, welche die Mosaikbilddaten bilden, auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Ermitteln des Luminanzsignals.
In der Bildverarbeitungsvorrichtung beinhaltet vorzugsweise das Demosaikprozessmittel einen Prozess des Detektierens einer Kante in den Mosaikbilddaten auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen des Luminanzsignals.
Um das technische Problem zu lösen, beinhaltet ein Bildverarbeitungsverfahren gemäß einem anderen Aspekt der Erfindung die Merkmale des Patentanspruchs 15.
Dies gestattet es, dass der Punktbildrestaurierungsprozess ausgeführt wird, wobei der Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses berücksichtigt wird, was ein Bild einer höheren Bildqualität ergibt. Der an den Luminanz-System-Bilddaten durchgeführte Punktbildrestaurierungsprozess ermöglicht es, ein klareres Bild zu erhalten.
Um das technische Problem zu lösen, veranlasst ein Programm gemäß den Merkmalen des Patentspruchs 16 einen Computer, die Schritte des Verfahrens gemäß Patentanspruch 15 auszuführen.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung ermöglicht es der Punktbildrestaurierungsprozess, der ausgeführt wird, wobei der Erzeugungsgrad des Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses berücksichtigt worden ist, ein Bild einer höhere Bildqualität zu erhalten. Gemäß der vorliegenden Erfindung ermöglicht es der an den Luminanz-System-Bilddaten ausgeführte Punktbildrestaurierungsprozess, ein klares Bild zu erhalten.
Figurenliste

1 ist ein Hauptteil-Blockdiagramm einer Bildaufnahmevorrichtung als ein Aspekt der vorliegenden Erfindung.
2 ist eine Illustration, die ein Mosaik-Farbfilter-Array (Bayer-Array) zeigt, das auf einer Bildaufnahmevorrichtung angeordnet ist.
3 ist ein Hauptblockteil-Diagramm, das eine erste Ausführungsform einer Bildverarbeitungsvorrichtung als einen anderen Aspekt der Erfindung zeigt.
4 ist eine Illustration, die einen Zustand eines Punktbilds zeigt, dass durch den Punktbildrestaurierungsprozess restauriert ist.
5 ist eine Illustration, die ein Beispiel bezüglich der Erzeugung von Steuerinformation durch eine Informations-Erfassungseinheit erläutert.
6 ist eine Illustration, die ein anderes Beispiel bezüglich Erzeugung von Steuerinformation durch die Informations-Erfassungseinheit erläutert.
7 ist eine Illustration, die einen Demosaikprozess an einem Bild mit keinem erzeugten Aliasing aufgrund chromatischer Aberration erläutert.
8 ist eine Illustration, die einen Demosaikprozess an einem Bild mit erzeugtem Aliasing aufgrund von chromatischer Aberration erklärt.
9 ist eine Illustration, die eine Originalposition einer Kante in einem Fall zeigt, bei dem der Demosaikprozess an einem in (A) Bereich von 8 gezeigten Bild durchgeführt wird.
10 ist eine Illustration, die erläutert, dass das Aliasing aufgrund der chromatischen Aberration durch den Punktbildrestaurierungsprozess intensiviert ist.
11 ist eine Illustration, die einen Betriebsfluss in der ersten Ausführungsform der Bildverarbeitungsvorrichtung zeigt.
12 ist eine Illustration, die ein Steuerbeispiel des Punktbildrestaurierungsprozesses erläutert.
13 ist eine Illustration, welche die Stärke-Einstellung des Punktbildrestaurierungsprozesses erläutert.
14 ist ein Hauptteil-Blockdiagramm, das eine zweite Ausführungsform einer Bildverarbeitungsvorrichtung zeigt.
15 ist eine Illustration, die einen Operationsfluss in der zweiten Ausführungsform der Bildverarbeitungsvorrichtung zeigt.
16 ist ein Hauptteil-Blockdiagramm, das eine dritte Ausführungsform einer Bildverarbeitungsvorrichtung zeigt.
17 ist ein Hauptteil-Blockdiagramm, das eine vierte Ausführungsform einer Bildverarbeitungsvorrichtung zeigt.
18 ist eine Illustration, die ein Modifikationsbeispiel eines auf einer Bildaufnahmevorrichtung angeordneten Mosaik-Farbfilter-Arrays zeigt.
19 ist eine Illustration, die ein Basis-Array-Muster, das in 18 gezeigt ist, in einem Zustand zeigt, bei dem es vierteilt ist mit jeweils 3 × 3 Pixeln.
20 ist ein Blockdiagramm, das eine Form eines Bildaufnahmemoduls einschließlich eines EDoF-Optiksystems zeigt.
21 ist eine Illustration, die ein beispielhaftes EDoF-Optiksystem zeigt.
22 ist ein Flussdiagramm, das einen beispielhaften Restaurierungsprozess in einem in 20 gezeigten Restaurierungsprozessblock zeigt.
23 ist eine Illustration, die als einen Aspekt der vorliegenden Erfindung eine andere Ausführungsform einer Bildaufnahmevorrichtung zeigt.
24 ist ein Blockdiagramm, das eine Konfiguration der in 23 gezeigten Bildaufnahmevorrichtung zeigt.

Beschreibung von Ausführungsformen
Nachfolgend wird eine Beschreibung von Beispielen der vorliegenden Erfindung mit Bezug auf die Zeichnungen gegeben. In der vorliegenden Anmeldung werden der Ausdruck „Mittel“ und der Ausdruck „Einheit“ als dieselbe Verwendungsbedeutung aufweisend angesehen. Beispielsweise haben ein Demosaikprozessmittel und eine Demosaikprozesseinheit dieselbe Bedeutung, haben ein Luminanz-System-Bilddaten-Erfassungsmittel und eine Luminanz-System-Bilddaten-Erfassungseinheit dieselbe Bedeutung, haben ein Punktbildrestaurierungsprozess-Ausführungsmittel und eine Punktbildrestaurierungsprozess-Ausführungsseinheit dieselbe Bedeutung, haben ein Informations-Erfassungsmittel und eine Informations-Erfassungseinheit dieselben Bedeutung, haben ein Punktbildrestaurierungsprozess-Steuermittel und eine Punktbildrestaurierungsprozess-Steuereinheit dieselbe Bedeutung, und haben ein Bildanalysemittel und eine Bildanalyseeinheit dieselbe Bedeutung.
Bildaufnahmevorrichtung mit Bildverarbeitungsvorrichtung
1 ist ein Blockdiagramm, das eine Ausführungsform einer Bildaufnahmevorrichtung 10 mit einer Bildverarbeitungsvorrichtung (als ein Bildprozessor in 1 bezeichnet) 28 gemäß der Erfindung zeigt.
Die Bildaufnahmevorrichtung 10, die den Bildprozessor 28 gemäß der Erfindung aufweist, ist eine Digitalkamera, die ein aufgenommenes Bild in einem internen Speicher (Speichereinheit 26) oder einem externen Speicher-Aufzeichnungsmedium (nicht gezeigt) aufzeichnet, und der Betrieb der Gesamtvorrichtung ist insgesamt durch eine zentrale Verarbeitungseinheit (CPU) 12 gesteuert.
Die Bildaufnahmevorrichtung 10 ist mit einer Betriebseinheit 14 versehen, die eine Verschlusstaste oder Verschlussschalter, Moduswählscheibe, Spieltaste, Menü/OK-Taste, kreuzförmige Taste, Zoom-Taste, Zurück-Taste und dergleichen beinhaltet. Ein Signal aus der Betriebseinheit 14 wird an der CPU 12 eingegeben und die CPU 12 steuert Schaltungen in der Bildaufnahmevorrichtung 10 auf Basis des Eingangssignals, das heißt steuert beispielsweise einen Objektivabschnitt 18, Verschluss 20 und eine Bildaufnahmevorrichtung 22, die als ein Bild-Erfassungsmittel dienen, über eine Vorrichtungssteuerung 16, wie sie auch Bild-Betriebssteuerung, Bildverarbeitungssteuerung, Bilddaten-Aufzeichnungs-/Abspielsteuerung, Anzeigesteuerung einer Anzeigeeinheit 25 und dergleichen durchführt.
Der Objektivabschnitt 18 beinhaltet eine Fokus-Linse, eine Zoom-Linse, eine Blende und dergleichen, und ein den Objektivabschnitt 18 und den Verschluss 20 passierender Lichtfluss bildet ein Bild auf einer Lichtempfangsoberfläche der Bildaufnahmevorrichtung 22. Der Objektivabschnitt 18 der Bildaufnahmevorrichtung 10 kann austauschbar oder nicht austauschbar sein.
Die Bildabnahmevorrichtung 22 weist viele Lichtempfangselemente (Photodioden), die darauf zweidimensional angeordnet sind, auf und ein auf einer Lichtempfangsoberfläche jeder Photodiode gebildetes Subjektbild wird in eine Signalspannung (oder elektrische Ladung) in einer Menge entsprechend der Menge seines Einfallslichts umgewandelt.
2 ist eine Illustration, die eine Form der Bildabnahmevorrichtung 22 zeigt und zeigt insbesondere bezüglich des Farbfilter-Arrays, das auf der LichtempfangsOberfläche der Bildabnahmevorrichtung 22 angeordnet ist. Jede Photodiode, die mit jedem Farbfilter versehen ist, ist ein Pixel und aus jeder Photodiode ausgegebene Daten sind Pixeldaten (Pixelsignal).
Das Farbfilter-Array auf der in 2 gezeigten Bildabnahmevorrichtung 22 wird allgemein das Bayer-Array genannt. Hier bezieht sich das Bayer-Array auf ein Farbfilter-Array, in welchem eine Farbe, welche die Hauptkomponente eines Luminanzsignals ist, das hohe Auflösung erfordert, schachbrettmusterartig angeordnet ist und der Rest des Arrays darin zwei schachbrettmusterartig angeordnete Farbinformations-Komponenten aufweist, welche die Auflösung relativ nicht erfordern. Ein spezifisches Beispiel des Bayer-Arrays kann, wie in 2 gezeigt, ein Farbfilter-Array beinhalten, in welchem ein Farbfilter (G-Filter) von Grün (G) mit einem großen, zum Luminanzsignal beitragenden Anteil schachbrettmusterartig angeordnet ist und ein Farbfilter (R-Filter) von Rot (R) und ein Farbfilter (B-Filter) von Blau (B) schachbrettmusterartig auf dem Rest des Arrays angeordnet ist.
Eine in der Bildabnahmevorrichtung 22 akkumulierte elektrische Signalladung der obigen Konfiguration wird als ein Spannungssignal ausgelesen, das von der elektrischen Signalladung abhängt, auf Basis eines Auslesesignals, das aus der Vorrichtungssteuerung 16 addiert wird. Das aus der Bildabnahmevorrichtung 22 ausgelesene Spannungssignal wird zum A/D-Wandler 24 gegeben, sequentiell im A/D-Wandler 24 in ein digitales R-, G- oder B-Signal (Pixeldaten) entsprechend dem Farbfilter-Array umgewandelt und zeitweilig in der Speichereinheit 26 gespeichert.
Die Speichereinheit 26 beinhaltet ein SDRAM (Synchronous Dynamic Random Access Memory, synchroner dynamischer Wahlfreizugriffspeicher), der ein flüchtiger Speicher ist, ein EEPROM (Electronically Erasable and Programmable Read Only Memory, elektronisch löschbarer und programmierbarer Nur-LeseSpeicher), der wiederbeschreibbar ist, und nicht-flüchtigen Speicher und dergleichen, und das SDRAM wird als Arbeitsbereich zum Ausführen eines Programms durch die CPU 12 oder als ein Speicherbereich zum transienten Halten eines digitalen Bildsignals, das aufgenommen und ermittelt wird, verwendet. Andererseits weist das EEPROM darin ein Kamera-Steuerprogramm auf, das ein Bildverarbeitungsprogramm, Defektinformation bezüglich des Pixels in der Bildabnahmevorrichtung 22 und verschiedene Parameter, Tabellen und dergleichen, welche für die Bildverarbeitung oder dergleichen verwendet werden, beinhaltet.
Der Bildprozessor 28 unterwirft das zeitweilig in der Speichereinheit 26 gespeicherte Digitalbildsignal einer vorbestimmten Signalverarbeitung, wie etwa einer WeißAbgleichskorrektur, einer Gamma-Korrekturverarbeitung, einem Demosaikprozess, einer RGB/YC-Umwandlung, einer Konturenkorrektur, chromatischer Aberrations-Korrektur, Unschärfekorrektur und dergleichen. Die Bildverarbeitungsvorrichtung (Bildprozessor) 28 gemäß der Erfindung wird später im Detail beschrieben.
Die durch den Bildprozessor 28 verarbeiteten Bilddaten werden durch einen Codierer 30 in Daten zur Anzeige auf einem Bildschirm codiert und über einen Treiber 32 an die auf einer Rückseite der Kamera angeordneten Anzeigeeinheit 25 ausgegeben. Dies gestattet es, dass das Subjektbild kontinuierlich auf einem Anzeigebildschirm der Anzeigeeinheit 25 angezeigt wird.
Wenn die Verschlusstaste in der Betriebseinheit 14 auf die erste Stufe (Halbwegsdruck) heruntergedrückt wird, startet die CPU 12 eine AF- (Automatikfokus-) Operation und eine AE-(Automatische Expositions-) Operation und bewegt die Fokuslinse des Linsenabschnitts 18 über die Vorrichtungssteuerung 16 in einer Lichtachsenrichtung, um die Fokuslinse zu steuern, auf einer Fokussierposition positioniert zu sein.
Bei halbwegs Drücken der Verschlusstaste bezeichnet die CPU 12 die Helligkeit des Subjekts (Aufnahme-Ev-Wert) auf Basis der aus dem A/D-Wandler 24 herausgegebenen Bilddaten, um die Belichtungsbedingungen (Blendenwert, Verschlusszeit) basierend auf dem Aufnahme-Ev-Wert zu bestimmen.
Nachdem die AE-Operation und die AF-Operation enden, werden, wenn die Verschlusstaste auf die zweite Stufe (volles Drücken) heruntergedrückt wird, die Iris, der Verschluss 20 und eine elektrische Ladungsakkumulierungsperiode in der Bildabnahmevorrichtung 22 basierend auf den oben bestimmten Belichtungsbedingungen gesteuert, um eine Hauptbildaufnahme auszuführen. Die Bilddaten eines RGB-Mosaikbilds (Bild entsprechend dem in 2 gezeigten Farbfilter-Array), welche durch A/D-Wandeln von Daten durch den A/D-Wandler 24 erhalten werden, wobei die Daten aus der Bildabnahmevorrichtung 22 in der Hauptbildaufnahme ausgelesen werden, werden vorübergehend in der Speichereinheit 26 gespeichert.
Die in der Speichereinheit 26 vorübergehend gespeicherten Bilddaten werden durch den Bildprozessor 28 korrekt ausgelesen und im Bildprozessor 28 einer vorbestimmten Signalverarbeitung unterworfen, die eine Weißabgleichskorrektur, Gamma-Korrektur, Demosaikprozess, RGB/YC-Umwandlung, Konturenkorrektur, Farbkorrektur und dergleichen beinhaltet. Die Bilddaten (YC-Daten), welche durch die RGB/YC-Umwandlung erhalten werden, werden gemäß einem vorbestimmten Kompressionsformat (z.B. JPEG- (Joint Photographic Experts Group) Verfahren) komprimiert, und die komprimierten Bilddaten werden im internen Speicher oder dem externen Speicher in einem vorbestimmten Bilddatei- (z.B. Exif- (Exchangeable image file format, austauschbares Bilddateiformat) Datei) -Format aufgezeichnet.
Das Farbfilter-Array auf der Bildaufnahmevorrichtung 22, das für die Erfindung verwendet wird, ist nicht auf das in 2 gezeigte beschränkt. Die verschiedenen Farbfilter-Arrays können eingesetzt werden, solange wie der durch die Erfindung ausgeübte Effekt nicht beeinträchtigt wird.
Der Farbfilter kann weiter einen Farbfilter einer Farbe beinhalten, die am meisten zur Luminanz beiträgt, zusätzlich zu Rot, Grün und Blau. Beispielsweise kann eine am meisten zur Luminanz beitragende Farbe Weiß (transparent) und dergleichen beinhalten.
(Erste Ausführungsform einer Bildverarbeitungsvorrichtung)
3 ist ein Teil-Blockdiagramm, das eine interne Konfiguration einer ersten Ausführungsform der in 1 gezeigten Bildverarbeitungsvorrichtung (Bildprozessor) 28 zeigt.
Die in 3 gezeigte Bildverarbeitungsvorrichtung 28 beinhaltet eine Demosaikprozesseinheit (Mittel) 100, das den Demosaikierungsprozess an Mosaikbilddaten, die aus der Bildabnahmevorrichtung 22 ausgegeben werden, durchführt, um Demosaikbilddaten zu erzeugen, eine Luminanz-System-Bilddaten-Erfassungseinheit (Mittel) 105, die Luminanz-System-Bilddaten als Bilddaten bezüglich der Luminanz auf Basis der durch die Demosaikprozesseinheit 100 erhaltenen Demosaikbilddaten erfasst, eine Punktbild-Restaurierungsprozess-Ausführungseinheit (Mittel) 110, die einen Punktbild-Restaurierungsprozess an den durch die Luminanz-System-Bilddaten-Erfassungseinheit (Mittel) 105 erfassten Luminanz-System-Bilddaten ausführt, eine Informations-Erfassungseinheit (Mittel) 115, die Information bezüglich der Ausführung des Punktbild-Restaurierungsprozesses auf Basis der Bildgebungsinformation in der Bildgebung eines Subjektes steuert, und eine Punktbild-Restaurierungsprozess-Steuereinheit (Mittel) 120, die eine Verarbeitungsoperation der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 auf Basis der durch die Informationserfassungseinheit 115 erfassten Steuerinformation steuert.
Der Bildprozessor 28 beinhaltet eine Weißabgleichskorrektureinheit, eine Gamma-Korrektureinheit und dergleichen, die in der 3 aus Gründen der Bequemlichkeit der Erläuterung nicht gezeigt sind.
Die in 3 gezeigte Demosaikprozesseinheit 100 erfasst die Mosaikbilddaten. Dann führt die Demosaikprozesseinheit 100 den Demosaikprozess an den erfassten Mosaikbilddaten durch. Hier sind die Mosaikbilddaten, die als „RAW“- (Roh-) Daten bezeichnet werden, Daten, die aus der Bildabnahmevorrichtung 22 ausgegeben werden. Beispielsweise wird in einem Fall, bei dem die Bildabnahmevorrichtung 22 den in 2 gezeigten Farbfilter hat, eine Sammlung von Farbdaten entsprechend dem in 2 gezeigten Farbfilter aus der Bildabnahmevorrichtung 22 ausgegeben. Die Demosaikprozesseinheit 100 kann eine korrelierte Richtung in mehreren Pixelsignalen bestimmen, welche die Mosaikbilddaten bilden, auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen des sogenannten Signals. Weiter kann die Demosaikprozesseinheit 100 einen Prozess des Detektierens einer Kante in den Mosaikbilddaten auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen des Luminanzsignals durchführen. Hier beziehen sich die Farbdaten in den Mosaikbilddaten mit dem höchsten Beteiligungsanteil zum Erfassen des Luminanzsignals beispielsweise auf die dem G-Filter entsprechenden Pixeldaten.
Darüber hinaus bezieht sich der Demosaikprozess hier auf einen Prozess, in welchem ein Interpolationsprozess unter Verwendung von Pixeldaten mehrerer Pixel durchgeführt wird, die einen Zielpixel umgeben, um einen R-, B- oder G-Signalwert des Zielpixels zu ergeben.
Spezifisch wird Farbinformation von R, G, B für jeden Pixel aus dem R-, G-, B-Mosaikbild berechnet (simultan umgewandelt), das durch das Farbfilter-Array einer Einzelplatten-Farbbild-Aufnahmevorrichtung involviert ist. Der Demosaikprozess wird auch als der Demosaikprozess, Synchronisationsprozess und Farbsyntheseprozess bezeichnet. Die Demosaikprozesseinheit 100 unterwirft die Mosaikbilddaten dem Demosaikprozess, um die Demosaikbilddaten zu erzeugen.
Die Luminanz-System-Bilddaten-Erfassungseinheit 105, die in 3 gezeigt ist, erfasst die Demosaikbilddaten aus der Demosaikprozesseinheit 100, um die Luminanz-System-Bilddaten zu erfassen, auf Basis des Demosaikbilds. Hier beziehen sich die Luminanz-System-Bilddaten auf verschiedene Datenteile, die Information bezüglich der Luminanz des aufgenommenen Bildes aufweisen. Beispielsweise beinhalten Beispiele der Luminanz-System-Bilddaten einen Wert eines Luminanzsignals Y in einem durch Y, Cb, und Cr repräsentierten Farbraums, einen Wert eines Luminanzsignals Y in einem durch Y, Pb und Pr repräsentierten Farbraum und Daten mit dem höchsten Beitragsanteil zum Erfassen des Luminanzsignals. Ein Wert eines Luminanzsignals Y in einem durch Y, Cb und Cr repräsentierten Farbraums kann ungefähr in Formel 1 ausgedrückt werden, und ein Wert eines Luminanzsignals Y in einem durch Y, Pb und Pr repräsentierten Farbraum kann angenähert in Formel 2 angrenzend werden. Es kann gesagt werden, dass die Luminanzsignale Y, die gemäß Formel 1 und Formel 2 aufgefunden werden, G-Farbdaten als die Daten aufweisen, die den höchsten Beitragsanteil zum Erfassen des Luminanzsignals aufweisen. $Y = 0,3 R + 0,6 G + 0,1 B$
$Y = 0,2 R + 0,5 G + 0,1 B$
Die durch die Luminanz-System-Bilddaten-Erfassungseinheit 105 erfassten Luminanz-System-Bilddaten werden an die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 weitergeleitet.
Die in 3 gezeigte Punktbild-Restaurierungsprozess-Ausführungseinheit 110 führt einen Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten durch. Die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 wird durch die Punktbild-Restaurierungsprozess-Steuereinheit 120 gesteuert.
Als Nächstes wird eine Beschreibung des durch die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 ausgeführten Punktbild-Restaurierungsprozesses gegeben. Unter der Annahme, dass ein durch Erfassen eines Punktbilds ermitteltes unscharfes Bild durch g(x, y) repräsentiert wird, ein Originalpunktbild durch f(x, y) repräsentiert wird und eine Punktspreizfunktion (PSF) durch h(x, y) repräsentiert wird, kann eine Beziehung zwischen diesen in der unten stehenden Formel ausgedrückt werden. $g (x, y) = h (x, y) * (f (x, y)$
wobei „*“ Konvolution ausdrückt.
Der Wert von h(x, y) (das heißt, der Punktspreizfunktion (PSF)) in [Formel 3] wird auf Basis des obigen unscharfen Bilds g(x, y), das durch Aufnehmen des Punktbilds erhalten wird, aufgefunden.
Als Nächstes wird eine inverse Funktion der ermittelten Punktspreizfunktion (PSF) aufgefunden. Unter der Annahme, dass die inverse Funktion durch R(x, y) repräsentiert ist, wird das phasenmodulierte Bild g(x, y) einem Konvolutionsprozess mit R(x, y) unterzogen, wie in einer Formel unten gezeigt, um ein restauriertes Bild entsprechend dem Originalbild f(x, y) zu erhalten (Punktbild-Restaurierungsprozess). $g (x, y) * R (x, y) = f (x, y)$
Das R(x, y) wird als ein Restaurierungsfilter bezeichnet. Für den Restaurierungsfilter kann ein kleinster mittleres Quadratfilter (Wiener Filter) verwendet werden, um einen mittleren Quadratfehler zwischen dem Originalbild und dem wiederhergestellten Bild zu minimieren, ein begrenzter Konvolutionsfilter, ein Rekursivfilter, ein homomorphischer Filter und dergleichen. In der Erfindung werden einer oder mehreren Restaurierungsfilter in der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 gespeichert.
Die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 führt den Punktbild-Restaurierungsprozess an den aus der Luminanz-System-Bilddaten-Erfassungseinheit 105 weitergeleiteten Luminanz-System-Bilddaten mittels des oben beschriebenen Restaurierungsfilters aus.
Mit anderen Worten wird das die Bildgebungslinse passierende Punktbild (optisches Bild) zu einem Bild als einem großen Punktbild (unscharfes Bild) auf der Bildabnahmevorrichtung 22 gebildet, wie in dem (A)-Teil von 4 gezeigt, und dann zu einem kleinen Punktbild (Hochauflösungsbild), wie im (B)-Teil in 4 gezeigt, durch den Punktbild-Restaurierungsprozess in der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 restauriert.
Die in 3 gezeigte Informationserfassungseinheit 115 erfasst die Bildgebungsinformation zum Erzeugen (Erfassen) der Steuerinformation, die Information bezüglich dem aufweist, ob der Punktbild-Restaurierungsprozess ausgeführt wird oder nicht, und reicht die Steuerinformation an die Punktbild-Restaurierungsprozess-Steuereinheit 120 weiter. Die Information, welche die Steuerinformation aufweist, ist nicht auf die Information bezüglich dem beschränkt, ob der Punktbild-Restaurierungsprozess ausgeführt wird oder nicht. Beispielsweise kann die Steuerinformation Information bezüglich dem enthalten, dass der Punktbildrestaurierungsprozess schwach ausgeführt wird, dass der Punktbild-Restaurierungsprozess mit einer Stärke desselben ausgeführt wird, die abhängig von dem Erzeugungsgrad des Aliasings aufgrund der chromatischen Aberration und dergleichen justiert wird.
Die Bildgebungsinformation beinhaltet verschiedene Stücke von Information bezüglich der Bildgebungsbedingung des Subjekts. Beispiele der Bildgebungsinformation beinhalten beispielsweise Information zu einem bei der Bildgebung verwendeten Objektiv (Art des Objektivs, maximaler Blendenwert), Bedingungen, mit denen ein Subjekt aufgenommen wird (Blendenwert, Brennweite, Subjektdistanz etc.).
5 ist eine Illustration, die erläutert, dass die Informationserfassungseinheit 115 Steuerinformation (C-1 oder C-2) auf Basis der Bildgebungsinformation (A-1, A-2 oder A-3) erzeugt, und sendet die Steuerinformation (C-1 oder C-2) an die Punktbild-Restaurierungsprozess-Steuereinheit 120. Spezifischer Beispiele der Bildgebungsinformation in 5 beinhalteten (A-1) in dem Fall, bei dem ein Objektiv A verwendet wird und der Blendenwert auf F1.8 eingestellt wird, um Aufnahme durchzuführen, (A-2) in einem Fall, bei dem das Objektiv (A) verwendet wird und der Blendenwert auf F4 eingestellt wird, um Aufnahme durchzuführen, und dass in einem Fall, bei dem das Objektiv A verwendet wird und der Blendenwert auf F5.6 eingestellt wird, um Aufnahme durchzuführen.
Zuerst wird eine Beschreibung des Falls gegeben, bei dem die Informationserfassungseinheit 115 als die Bildgebungsinformation Information (A-1) empfängt, dass das Objektiv A verwendet wird und der Blendenwert auf F1.8 eingestellt wird, um Bildgebung durchzuführen. Die Informationserfassungseinheit 115, welche die Information (A-1) empfangen hat, dass das Objektiv A verwendet wird und der Blendenwert auf F1.8 eingestellt wird, um Bildgebung durchzuführen, bezieht sich auf Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-1). Mit anderen Worten ist die Bildgebungsinformation (A-1), dass das Objektiv A verwendet wird, und der Blendenwert auf F1.8 eingestellt wird, um Bildgebung durchzuführen, und beschreibt die Tabelleninformation (B) bezüglich des Aliasing „falls Bildgebung unter einer Bedingung durchgeführt wird, bei der das Objektiv A verwendet wird und der Blendenwert gleich oder größer F4 ist, wird das Aliasing nicht intensiviert“, und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing in einem mit der Bildaufnahmeinformation (A-1) aufgenommenen Bild zu intensivieren ist. Die Informationserfassungseinheit 115 sendet Steuerinformation (C-1), dass der Punkt des Restaurierungsprozesses nicht ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 auf Basis der Bestimmung, dass das Aliasing zu intensivieren ist.
Als Nächstes wird eine Beschreibung eines Falls gegeben, bei dem die Informationserfassungseinheit 115, als die Bildgebungsinformation, Information (A-2) empfängt, dass das Objektiv A verwendet wird der Blendenwert auf F4 eingestellt wird, um Bildgebung durchzuführen. Die Informationserfassungseinheit 115, welche die Information (A-2) empfangen hat, dass das Objektiv A verwendet wird und der Blendenwert auf F4 eingestellt wird, um Bildgebung durchzuführen, bezieht sich auf Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-2). Mit anderen Worten ist die Bildgebungsinformation (A-2), dass das Objektiv A verwendet wird und der Blendenwert auf F4 eingestellt wird, um Bildgebung durchzuführen, und beschreibt die Tabelleninformation (B) bezüglich des Aliasing „falls Bildgebung unter einer Bedingung durchgeführt wird, bei der das Objektiv A verwendet wird und der Blendenwert gleich oder größer als F4 ist, wird das Aliasing nicht intensiviert und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing nicht in einem mit der Bildgebungsinformation (A-2) aufgenommenen Bild zu intensivieren ist. Die Informationserfassungseinheit 115 sendet Steuerinformation (C-2), dass der Punktbild-Bestimmungsprozess ausgeführt ist, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 auf Basis der Bestimmung, dass das Aliasing nicht intensiviert wird.
Als Nächstes wird eine Beschreibung eines Falls gegeben, bei dem die Informationserfassungseinheit 115 als die Bildgebungsinformation Information (A-3) empfängt, dass das Objektiv A verwendet wird und der Blendenwert auf F5.6 eingestellt wird, um Bildgebung durchzuführen. Die Informationserfassungseinheit 115, welche die Information (A-3) empfangen hat, dass das Objektiv A verwendet wird und der Blendenwert auf F5.6 eingestellt wird, um Bildgebung durchzuführen, bezieht sich auf Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-3). Mit anderen Worten ist die Bildgebungsinformation (A-3), dass das Objektiv A verwendet wird und der Blendenwert auf F5.6 eingestellt wird, um Bildgebung durchzuführen und beschreibt die Tabelleninformation (B) bezüglich des Aliasing „falls Bildgebung unter einer Bedingung durchgeführt wird, bei der das Objektiv A verwendet wird, und der Blendenwert gleich oder größer als F4 ist, ist das Aliasing nicht intensiviert“ und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing nicht in einem mit der Bildgebungsinformation aufgenommenen Bild zu intensivieren ist (A-3). Die Informationserfassungseinheit 115 sendet Steuerinformation (C-2), dass der Punktbild-Restaurierungsprozess ausgeführt ist, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 auf Basis der Bestimmung, dass das Aliasing nicht zu intensivieren ist.
6 ist eine Illustration, welche erläutert, dass die Informationserfassungseinheit 115 weiter Steuerinformation (C-1 oder C-2) auf Basis der Bildgebungsinformation (A-1, A-2 oder A-3) von anderer Form als 5 erzeugt und die Steuerinformation (C-1 oder C-2) an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet. Spezifische Beispiele der Bildgebungsinformation in 6 beinhalten (A-1) in einem Fall, bei dem das Objektiv eines maximalen Blendenwerts F1.4 zum Durchführen von Bildgebung verwendet wird, (A-2) in einem Fall, bei dem das Objektiv des maximalen Blendenwerts F2 zum Durchführen von Bildgebung verwendet wird und dass in einem Fall, bei dem die Linse des maximalen Brennwerts F2.4 zum Durchführen der Bildgebung verwendet wird.
Zuerst wird eine Beschreibung eines Falls gegeben, in welchem die Informationserfassungseinheit 115 als die Bildgebungsinformation Information (A-1) empfängt, dass das Objektiv maximalen Blendenwerts Fl.4 zum Durchführen der Bildgebung verwendet wird. Die Informationserfassungseinheit 115, welche die Information (A-1) empfangen hat, dass das Objektiv mit dem maximalen Blendenwert F1.4 verwendet wird, um Bildgebung durchzuführen, bezieht sich auf die Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-1). Mit anderen Worten ist die Bildgebungsinformation (A-1), dass die Linse maximalen Blendenwerts F1.4 zum Durchführen der Bildgebung verwendet wird, und beschreibt die Telefonbuchinformation (B) bezüglich des Aliasing „Falls das Objektiv des maximalen Blendenwerts F1.4 verwendet wird, ist das Aliasing nicht intensiviert“ und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing nicht zu intensivieren ist in einem Bild, das mit der Bildgebungsinformation (A-1) aufgenommen wird. Die Informationserfassungseinheit 115 sendet Steuerinformation (C-2), dass der Punktbild-Restaurierungsprozess ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120, auf Basis der Bestimmung, dass das Aliasing nicht zu intensivieren ist.
Als Nächstes wird eine Beschreibung eines Falls gegeben, bei dem die Informationserfassungseinheit 115 als die Bildgebungsinformation Information (A-2) empfängt, dass das Objektiv maximalen Blendenwerts F2 zum Durchführen der Bildgebung verwendet wird. Die Informationserfassungseinheit 115, welche die Information (A-2) empfangen hat, dass das Objektiv maximalen Blendenwerts F2 verwendet wird, um Bildgebung durchzuführen, referenziert auf die Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-2). Mit anderen Worten ist die Bildgebungsinformation (A-2), dass das Objektiv maximalen Blendenwerts F2 zum Durchführen von Bildgebung verwendet wird und beschreibt die Tabelleninformation (B) bezüglich des Aliasing „falls das Objektiv maximalen Blendenwerts F2 verwendet wird, ist das Aliasing intensiviert“ und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing im mit der Bildgebungsinformation (A-2) aufgenommenen Bild zu intensivieren ist. Die Informationserfassungseinheit 115 sendet Steuerinformation (C-1), dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120, auf Basis der Bestimmung, dass das Aliasing zu intensivieren ist.
Als Nächstes wird eine Beschreibung eines Falls gegeben, bei dem die Informationserfassungseinheit 115 als die Bildgebungsinformation Information (A-3) empfängt, dass das Objektiv maximalen Blendenwerts F2.4 zum Durchführen der Bildgebung verwendet wird. Die Informationserfassungseinheit 115, welche die Information (A-3) empfangen hat, dass das Objektiv maximalen Blendenwerts F2.4 verwendet wird, um die Bildgebung durchzuführen, bezieht sich auf die Tabelleninformation (B) bezüglich des Aliasing, die in der Informationserfassungseinheit 115 gespeichert ist, und die erfasste Bildgebungsinformation (A-3). Mit anderen Worten ist die Bildgebungsinformation (A-3), dass das Objektiv maximalen Blendenwerts F2.4 zum Durchführen der Bildgebung verwendet wird und beschreibt die Tabelleninformation (B) bezüglich des Aliasings „falls das Objektiv maximalen Blendenwerts F2.4 verwendet wird, wird das Aliasing intensiviert“ und daher bestimmt die Informationserfassungseinheit 115, dass das Aliasing in einem mit der Bildgebungsinformation (A-2) aufgenommenen Bild zu intensivieren ist. Die Informationserfassungseinheit 115 sendet Steuerinformation (C-1), dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 auf Basis der Bestimmung, dass das Aliasing zu intensivieren ist.
Die in 3 gezeigte Punktbild-Restaurierungsprozess-Steuereinheit 120 erfasst die aus der Informationserfassungseinheit 115 gesendete Steuerinformation zum Steuern der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 auf Basis der Steuerinformation. Spezifisch bestimmt die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Information bezüglich dem, ob der Punktbild-Restaurierungsprozess ausgeführt wird, der in der erfassten Steuerinformation enthalten ist, um die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 zu steuern. Falls die Punktbild-Restaurierungsprozess-Steuereinheit 120 feststellt, dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, auf Basis der Steuerinformation, hindert die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 am Ausführen des Punktbild-Restaurierungsprozesses an den Luminanz-System-Bilddaten. Falls andererseits die Punktbild-Restaurierungsprozess-Steuereinheit 120 feststellt, dass der Punktbild-Restaurierungsprozess ausgeführt wird, auf Basis der Steuerinformation, steuert die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen. Die chromatische Aberration (chromatische Aberration der Vergrößerung und axiale chromatische Aberration) wird dadurch verursacht, dass eine Differenz bei der Bildgröße zu einer Differenz bei der Bildgröße für jede Farbe führt, und eine Differenz bei der Lichtwellenlänge zu einer Differenz bei der Brennweite des Objektivs für jede Farbe führt. Ein Kriterium zur Bestimmung, dass chromatische Aberration erzeugt ist, kann so sein, dass die chromatische Aberration bestimmt wird, erzeugt zu werden, wenn Daten für jede Farbe um mehr als eine Kernelgröße (minimale Array-Muster) des Farbfilter-Arrays abweichen.
Hier wird eine Beschreibung gegeben, dass das Aliasing aufgrund der chromatischen Aberration durch Ausführen des Punktbild-Restaurierungsprozesses unter Bezugnahme auf 7 intensiviert wird, 8, 9 und 10. 7, 8, 9 und 10 zeigen Beispiele, wo ein Farbfilter des Bayer-Arrays verwendet wird.
7 zeigt eine Situation des Demosaikprozesses in einem Fall, bei dem das Aliasing aufgrund der chromatischen Aberration nicht erzeugt wird. Der (A)-Bereich von 7 zeigt ein Mosaikbild (Rohdaten) von 4 Pixel Daten (Höhe) × 4 Pixel Daten (Breite) versammelt. Die in dem (A)-Bereich von 7 gezeigten Mosaikbilddaten repräsentieren ein Bild mit einer Kante in einer Höhenrichtung. Mit anderen Worten, 4 Pixeldaten (Höhe) × 2 Pixeldaten (Breite) auf der linken Seite des (A)-Bereichs von 7 in Bezug auf die Kante zwischengefügt, weist R, G oder B-Pixeldaten eines Ausgabewerts „0“ versammelt auf. Andererseits weisen 4 Pixeldaten (Höhe) × 2 Pixeldaten (Weite) auf der rechten Seite des (A)-Bereichs von 7 in Bezug auf die eingefügte Kante R, G oder B-Pixeldaten eines versammelten Ausgangswerts „1“ auf.
Der (B)-Bereich, (C)-Bereich und (D)-Bereich von 7 zeigen das Mosaikbild im (A)-Bereich von 7 wird der Demosaikprozess unterworfen, um drei Ebenen von Farbdaten R, G, B zu erzeugen. Im Mosaikbild im (A)-Bereich von 7 sind die Ausgangswerte der Pixeldaten in 0 und 1 klassifiziert, mit der Kante als einer Grenze und somit werden auch in drei Ebenen von Farbdaten im (B)-Bereich, (C)-Bereich und (D)-Bereich von 7 nach dem Demosaikprozess die Ausgangswerte der Pixeldaten in 0 und 1 mit der Kante als eine Grenze klassifiziert.
Andererseits zeigt 8 eine Situation des Demosaikprozesses in einem Fall, bei dem das durch die chromatische Aberration verursachte Aliasing und der Demosaikprozess erzeugt werden. Der (A)-Bereich von 8 sollte natürlich dieselben Daten wie der (A)-Bereich von 7 haben, hat aber sich vom (A)-Bereich von 7 unterscheidende Daten aufgrund der chromatischen Aberration. Mit anderen Worten zeigt der (A)-Bereich von 8 ein Mosaikbild (Rohdaten) von 4 Pixeln Daten (Höhe) × 4 Pixeln Daten (Breite) gesammelt, aber 4 Pixeln Daten (Höhe) × 2 Pixeln Daten (Breite) auf der linken Seite des (A)-Bereichs von 8 in Bezug auf die zwischengefügte Kante, wie im (A)-Bereich von 7, haben nicht durchgängig die Ausgangswerte „0“ anders als der (A)-Bereich von 7, aber die an der Originalkante angrenzenden G-Pixeldaten repräsentieren zeigen den Ausgangswert „1“ aufgrund der chromatischen Aberration.
Im Bayer-Array ist eine Abtastfrequenz für ein G-Pixel höher als jene für ein R-Pixel und ein B-Pixel, und G-Pixeldaten haben den Beitragsanteil in Bezug auf das Luminanz-System, der höher ist als die Pixeldaten eines R-Pixels und B-Pixels. Aus diesem Grund beinhaltet der Demosaikprozess allgemein einen Prozess, in welchem die korrelierte Richtung bei den Bilddaten auf Basis der G-Pixeldaten bestimmt wird, und den Interpolationsprozess, in welchem eine Kante, die auf Basis der vorbestimmten korrelierten Richtung detektiert wird, berücksichtigt wird. Das Mosaikbild im (A)-Bereich von 8 weist Farbabweichung auf, welche durch chromatische Aberration verursacht ist (die Pixeldaten des G-Pixels betragen „1“) (siehe Bezugszeichen 40 und Bezugszeichen 42 in 8). Falls das in dem (A)-Bereich von 8 gezeigte Mosaikbild dem Demosaikprozess unterworfen wird, werden Kanten aufgrund der Pixeldaten der G-Pixel fehlerhaft detektiert, welche durch das Bezugszeichen 40 und das Bezugszeichen 42 bezeichnet sind, und es kann Aliasing erzeugt werden, wie beispielsweise im (B)-Bereich, (C)-Bereich und (D)-Bereich von 8 gezeigt, als Farbdaten nach dem Demosaikprozess. Mit anderen Worten sollte die Kante im (A)-Bereich von 8 idealer Weise als eine gerade Linie in Höhenrichtung in der Natur durch den Demosaikprozess reproduziert werden, wie im (B)-Bereich, (C)-Bereich und (D)-Bereich von 9 gezeigt, aber es kann eine konkave und konvexe stufenförmige Differenz (Differenz zwischen Ausgangswerten), die in der Natur nicht existiert, in irgendwelchen der Farbdaten R, G und B nahe der Kante erzeugt werden, aufgrund des durch die chromatischen Aberration und den Demosaikprozess verursachten Aliasings, wie im (B)-Bereich, (C)-Bereich und (D)-Bereich von 8 gezeigt. Hier ist das im (A)-Bereich in 9 gezeigte Mosaikbild das gleiche wie das im (A)-Bereich von 8 gezeigt Mosaikbild.
10 zeigt ein Phänomen, bei dem die Ausführung des Punktbild-Restaurierungsprozesses das Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses veranlasst, intensiviert zu werden. Der (A)-Bereich, (B)-Bereich und (C)-Bereich von 10 sind drei Ebenen von Farbdaten, die jeweils dem (B)-Bereich, (C)-Bereich und (D)-Bereich von 8 entsprechen. Im (A)-Bereich, (B)-Bereich und (C)-Bereich von 10 wird eine Kante, die ursprünglich eine gerade Linie ist, konkav und konvex gemacht, aufgrund des Aliasings wegen der chromatischen Aberration und des Demosaikprozesses.
Der (D)-Bereich von 10 zeigt einen Fall, bei dem der Punktbild-Restaurierungsprozess an den G-Farbdaten ((B)-Bereich von 10) ausgeführt wird, der ein Beispiel der Luminanz-Systemdaten ist. Wie im (D)-Bereich von 10 gezeigt, werden die konkave und konvexe Kante in den G-Farbdaten ((B)-Bereich von 10) durch den Punktbild-Restaurierungsprozess intensiviert. Mit anderen Worten, werden die den Ausgabewert „1“ repräsentierenden, im (B)-Bereich von 10 gezeigten Pixeldaten verstärkt, um den Ausgangswert der Pixeldaten „3“ zu haben, durch den Punktbild-Restaurierungsprozess ((D)-Bereich von 10) und die Pixeldaten, die den Ausgangswert „0“ repräsentieren, der im (B)-Bereich von 10 gezeigt ist, verbleiben, um den Ausgangswert der Pixeldaten „0“ aufzuweisen, selbst nachdem der Punktbild-Restaurierungsprozess durchgeführt wird. Daher wird im (D)-Bereich von 10, an welchem der Punktbild-Restaurierungsprozess ausgeführt wird, das Aliasing aufgrund der chromatischen Aberration intensiviert (größere stufenförmige Differenz wird erzeugt).
Auf diese Weise verursacht im an den Luminanz-Systemdaten nach dem Demosaikprozess ausgeführten Punktbild-Restaurierungsprozess, da der Demosaikprozess einen Prozess beinhaltet, in welchem die korrelierte Richtung in den Bilddaten auf Basis der G-Pixeldaten bestimmt wird und dem Interpolationsprozess, in welchem eine Kante, die auf Basis der bestimmten korrelierten Richtung detektiert wird, berücksichtigt wird, die im optischen System erzeugte chromatische Aberration wahrscheinlich das Aliasing aufgrund des Demosaikprozesses, was ein schädliches Ergebnis bringt, dass dieses Aliasing durch den Restaurierungsprozess intensiviert wird. Dieses schädliche Ergebnis kann als dem an den Luminanz-Systemdaten nach dem Demosaikprozess ausgeführtem Punktbild-Restaurierungsprozess inhärent erwogen werden, bei dem ein System, in welchem der Restaurierungsprozess an jedem Teil der Farbdaten von R, G und B mittels eines optimalen Restaurierungsfilters für jede Farbe von R, G und B ausgeführt wird, die chromatische Aberration ebenfalls durch Ausführen des Punktbild-Restaurierungsprozesses an jedem Teil der Farbdaten von R, G und B restauriert werden kann.
11 zeigt einen Betriebsablauf der Bildverarbeitungsvorrichtung 28. Zuerst werden Mosaikbilddaten an der Demosaikprozesseinheit 100 eingegeben (Schritt S10). Dann wird der Demosaikprozess an den Mosaikbilddaten durch die Demosaikprozesseinheit 100 durchgeführt (Schritt S15), um Demosaikbilddaten zu erzeugen (Demosaikprozessschritt).
Danach werden die Luminanz-System-Bilddaten aus den Demosaikbilddaten durch die Luminanz-System-Bilddaten-Erfassungseinheit 105 erfasst (Schritt S20) (Luminanz-System-Bilddaten-Erfassungsschritt). Dann wird der Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten durch die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 ausgeführt (Schritt S25) (Punktbild-Restaurierungsprozess-Ausführungsschritt) .
Andererseits wird die Bildgebungsinformation durch die Informationserfassungseinheit 115 ermittelt (Schritt S30) (Informations-Erfassungsschritt). Dann wird die Steuerinformation durch die Informationserfassungseinheit 115 erzeugt (Schritt S35). Danach wird die Steuerinformation durch die Punktbild-Restaurierungsprozess-Steuereinheit 120 erfasst (Schritt S40). Dann wird der Punktbild-Restaurierungsprozess (Punktbild-Restaurierungsprozess-Ausführungsschritt) durch die Punktbild-Restaurierungsprozess-Steuereinheit 120 gesteuert, um so durch die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 ausgeführt zu werden (Punktbild-Restaurierungsprozess-Steuerschritt).
(Punktbild-Restaurierungsprozess-Steuerbeispiel)
12 ist eine Illustration, die ein Beispiel der Steuerung für die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 zeigt, welche durch die Punktbild-Restaurierungsprozess-Steuereinheit 120 durchgeführt wird. Spezifisch zeigen A-1 bis A-4 je ein Beispiel der Punktbild-Restaurierungsprozess-Ausführung an den Luminanz-System-Bilddaten im Falle der Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird. B-1 bis B-4 zeigen jeweils ein Beispiel in einem Fall der Steuerinformation, dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird. Bezugszeichen 50, 52, 54, 56, 68 und 78 bezeichnen Bereiche, die dem Punktbild-Restaurierungsprozess unterworfen worden sind. Die Bezugszeichen 58, 60, 62, 64 und 66 bezeichnen Bereiche, die dem Punktbild-Restaurierungsprozess nicht unterworfen werden. Bezugszeichen 70, 72, 74 und 76 bezeichnen Bereiche (Regionen), die dem Punktbild-Restaurierungsprozess in einem schwächeren Ausmaß unterworfen worden sind als der an den Bereichen 50, 52, 54, 56, 68 und 78 ausgeführte Punktbild-Restaurierungsprozess. Das Bezugszeichen 80 bezeichnet einen Bereich in einem Fall, bei dem der Punktbild-Restaurierungsprozess mit der Stärke des Punktbild-Restaurierungsprozesses graduell variiert ausgeführt wird. Der Fall des Bezugszeichens 80 zeigt, dass der Punktbild-Restaurierungsprozess relativ zu einer Farbdichte stärker ausgeführt wird.
<Erstes Punktbild-Restaurierungsprozess-Steuerbeispiel>
A-1 von 12 zeigt eine Situation, bei der die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet und die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 steuert, den Punktbild-Restaurierungsprozess an der gesamten Ebene der Luminanz-System-Bilddaten auszuführen. Andererseits zeigt B-1 von 12 eine Situation, bei der die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet, und die Punktbild-Restaurierungsprozess-Steuereinheit 120 hindert die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 daran, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen. Im ersten Punktbild-Restaurierungsprozess-Steuerbeispiel schaltet die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Steuerungen der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 abhängig von der Steuerinformation beispielsweise zwischen A-1 und B-1 um, wie oben beschrieben.
<Zweites Punktbild-Restaurierungsprozess-Steuerbeispiel>
A-2 von 12 zeigt eine Situation, bei der die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet, und die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 steuert, den Punktbild-Restaurierungsprozess an der gesamten Ebene der Luminanz-System-Bilddaten auszuführen. Andererseits sendet in B-2 von 12 die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess nicht an einem Bereich ausgeführt wird, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist (Aliasing-intensivierte Region) an die Punktbild-Restaurierungsprozess-Steuereinheit 120. Dann hindert die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 an der Ausführung des Punktbild-Restaurierungsprozesses an dem Bereich, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist (Aliasing-intensivierte Region) (siehe Bezugszeichen 60, 62, 64 und 66 in B-2 von 12), und steuert die Einheit 110, den Punktbild-Restaurierungsprozess an dem Bereich des Rests auszuführen (andere Region als die Aliasing-intensivierte Region) (siehe Bezugszeichen 68 in B-2 von 12). Im zweiten Punktbild-Restaurierungsprozess-Steuerbeispiel schaltet die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Steuerungen der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 abhängig von der Steuerinformation beispielsweise zwischen A-2 und B-2 um, wie oben beschrieben.
<Drittes Punktbild-Restaurierungsprozess-Steuerbeispiel>
A-3 von 12 zeigt eine Situation, bei der die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet und die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 steuert, den Punktbild-Restaurierungsprozess an der gesamten Ebene der Luminanz-System-Bilddaten auszuführen. Andererseits sendet in B-3 von 12 die Informationserfassungseinheit 115 die Steuerinformation, dass ein schwächerer Punktbild-Restaurierungsprozess an dem Bereich ausgeführt wird, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist (Aliasing-intensivierte Region), an die Punktbild-Restaurierungsprozess-Steuereinheit 120. Dann steuert die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 zum Ausführen eines schwächeren Punktbild-Restaurierungsprozesses an den Bereich, an dem Aliasing aufgrund chromatischer Aberration intensiviert ist (Aliasing-intensivierte Region) (siehe Bezugszeichen 70, 72, 74 und 76 in B-3 von 12), und steuert die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 zum Ausführen des Punktbild-Restaurierungsprozesses, welcher stärker als der schwächere Punktbild-Restaurierungsprozess ist, an den Bereich des Rests (andere Region als die Aliasing-intensivierte Region) (siehe Bezugszeichen 78 in B-3 von 12). In dem dritten Punktbild-Restaurierungsprozess-Steuerbeispiel schaltet die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 abhängig von der Steuerinformation beispielsweise zwischen A-3 und B-3 um.
<Viertes Punktbild-Restaurierungsprozess-Steuerbeispiel>
A-4 von 12 zeigt eine Situation, bei der die Informationserfassungseinheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120 sendet, und die Punktbild-Restaurierungsprozess-Steuereinheit 120 steuert die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 zum Ausführen des Punktbild-Restaurierungsprozesses an der gesamten Ebene der Luminanz-System-Bilddaten. Andererseits sendet in B-4 von 12 die Informationserfassungseinheit 115 die Steuerinformation, dass die Stärke des Punktbild-Restaurierungsprozesses abhängig von einem Grad, zu welchem das Aliasing aufgrund der chromatischen Aberration intensiviert ist (Aliasing-intensivierter Grad) variiert wird, an die Punktbild-Restaurierungsprozess-Steuereinheit 120. Dann steuert die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Punktbild-Restaurierungsprozess-Ausführungseinheit 110, um die Stärke des Punktbild-Restaurierungsprozesses abhängig von dem Grad zu variieren, in welchem das Aliasing aufgrund der chromatischen Aberration intensiviert ist (siehe B-4 von 12). Im vierten Punktbild-Restaurierungsprozess-Steuerbeispiel schaltet die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Steuerungen der Punktbild-Restaurierungsprozess-Ausführungseinheit 110 abhängig von der Steuerinformation beispielsweise zwischen A-4 und B-4 um, wie oben beschrieben. Das Steuerbeispiel durch die Punktbild-Restaurierungsprozess-Steuereinheit 120 ist nicht auf die oben beschriebenen Steuerbeispiele beschränkt, sondern die Ausführung des Punktbild-Restaurierungsprozesses kann vorgenommen werden, wobei der Erzeugungsgrad des Aliasing aufgrund chromatischer Aberration berücksichtigt wird.
Im obigen Punktbild-Restaurierungsprozess-Steuerbeispiel kann die Aliasing-intensivierte Region eine Region mit einer hohen Bildhöhe im Bild sein. Im obigen Punktbild-Restaurierungsprozess-Steuerbeispiel kann der Aliasing-intensivierte Grad relativ zur Bildhöhe in einigen Fällen größer werden.
Wie oben beschrieben, kann die Punktbild-Restaurierungsprozess-Steuereinheit 120 die Stärke des durch die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 ausgeführten Punktbild-Restaurierungsprozesses steuern und einstellen. Hier bezieht sich das Steuern der Stärke des Punktbild-Restaurierungsprozesses darauf, dass die Stärke des Punktbild-Restaurierungsprozesses durch Justieren eines Koeffizienten des Restaurierungsfilters eingestellt werden kann.
13 zeigt Bildansichten einer Mehrzahl von Punktspreizfunktionen (PSF) A bis F. Wie oben beschrieben, wird der Restaurierungsfilter auf Basis dieser PSF erzeugt.
Wie in 13 gezeigt, steigt eine Verbreiterung der PSF graduell in der Reihenfolge von A, B, C, D, E und F. Dann ist der Punktbild-Restaurierungsprozess mittels des die PSF von A verwendenden Restaurierungsfilters ein schwächerer Punktbild-Restaurierungsprozess als der Punktbild-Restaurierungsprozess mittels des die PSF mit einer Verbreiterung größer als der PSF von A (z.B. PSF von B) verwendenden Restaurierungsfilters.
Beispielsweise im Fall des oben beschriebenen dritten Punktbild-Restaurierungsprozess-Steuerbeispiels (A-3 und B-3 von 12), in einem Fall, bei dem das Aliasing aufgrund der chromatischen Aberration nicht integriert ist, oder an einem Bereich, wo das Aliasing aufgrund der chromatischen Aberration nicht intensiviert ist (Bezugszeichen 78 in B-3 von 12) führt die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 den Punktbild-Restaurierungsprozess unter Verwendung des F entsprechenden Restaurierungsfilters aus (in einem Fall, bei dem die PSF des verwendeten Objektivs die in F von 13 gezeigte PSF ist). In dem Fall des oben beschriebenen dritten Punktbild-Restaurierungsprozess-Steuerbeispiels führt an dem Bereich, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist (Aliasing-intensivierte Region) die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 einen schwächeren Punktbild-Restaurierungsprozess unter Verwendung des der in Fig. A von 13 gezeigten PSF entsprechenden Restaurierungsfilters durch.
(Zweite Ausführungsform der Bildverarbeitungsvorrichtung)
14 zeigt eine zweite Ausführungsform der Bildverarbeitungsvorrichtung 28. Die gleichen Teile wie in der ersten Ausführungsform der Bildverarbeitungsvorrichtung 28 in 3 werden durch dieselben Bezugszeichen bezeichnet und eine Beschreibung derselben wird weggelassen. Im Vergleich zur zweiten Ausführungsform der Bildverarbeitungsvorrichtung 28 bei der ersten Ausführungsform der Bildverarbeitungsvorrichtung 28 unterscheidet sich die zweite Ausführungsform der Bildverarbeitungsvorrichtung 28 von letzterer darin, dass eine Bildanalyseeinheit 111 hinzugefügt ist und die Informationserfassungseinheit 115 auch Information zum Erzeugen der Steuerinformation analysiert.
Der in 14 gezeigte Bildverarbeitungsvorrichtung 28 beinhaltet die Bildanalyseeinheit 111 innerhalb der Demosaikprozesseinheit 100. Die Bildanalyseeinheit 111 führt die Bildanalyse an den Mosaikbilddaten durch, bevor sie dem Demosaikprozess durch einen Demosaik-Bildprozessor unterworfen werden, oder den Demosaikbilddaten nach Unterwerfung unter einen Demosaik-Bildprozess. In der in 14 gezeigten Bildverarbeitungsvorrichtung 28 ist die Bildanalyseeinheit 111 innerhalb der Demosaikprozesseinheit 100 vorgesehen, und die Bildanalyse an den Mosaikbilddaten oder den Demosaikbilddaten durchzuführen, ist aber nicht darauf beschränkt. Die Bildanalyse kann an verschiedenen Datenteilen durchgeführt werden, solange die Erzeugung des Aliasing aufgrund der chromatischen Aberration und der Erzeugungsgrad desselben analysiert werden kann.
Hier bezieht sich die Bildanalyse, wie unter Verwendung von 7 bis 10 als einem Beispiel beschrieben, auf das Identifizieren, ob Bilddaten Mosaikbilddaten sind, oder nicht, in welchem das Aliasing aufgrund der chromatischen Aberration intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder ob Bilddaten Demosaikbilddaten sind oder nicht, in welchen das Aliasing aufgrund der chromatischen Aberration intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird. Beispielsweise findet die Bildanalyseeinheit 111 eine Größe des Kontrasts in den Mosaikbilddaten oder den Demosaikbilddaten, um zu analysieren, ob die Bilddaten Demosaikbilddaten sind oder nicht, in welchen das Aliasing intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder nicht. Die Bildanalyseeinheit 111 identifiziert ein Bild mit einem großen Kontrast als ein Bild, bei welchem das Aliasing aufgrund der chromatischen Aberration intensiviert ist. Weiter wird ein Bild mit einem Kantenbereich eines großen Kontrasts als ein Bild identifiziert, in welchem das Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses intensiviert ist. Hier bezieht sich der Bereich mit einem großen Kontrast auf einen Bereich, der repräsentiert werden kann durch ein Kontrastverhältnis von, und ein Kontrastverhältnis aufweist im Bereich von beispielsweise 130 : 1 bis 170 : 1 bei 8-Bit, vorzugsweise von 140 : 1 bis 160 : 1, weiter bevorzugt von 145 : 1 bis 155 : 1.
Die Bildanalyseeinheit 111 analysiert die Mosaikbilddaten oder die Demosaikbilddaten, um einen Bereich zu identifizieren, in welchem das Aliasing aufgrund der chromatischen Aberration und des Demosaikprozesses intensiviert ist und/oder ob das Aliasing aufgrund der chromatischen Aberration erzeugt wird, und sendet das identifizierte Ergebnis als die Analyseinformation an die Informationserfassungseinheit 115.
Die Informationserfassungseinheit 115 erzeugt die Steuerinformation auf Basis der Analyseinformation und der Bildgebungsinformation. Spezifisch bezieht sich die Einheit 115 auf die erfasste Bildgebungsinformation und die Tabelleninformation bezüglich des Aliasing, um zu identifizieren, ob das Aliasing aufgrund der chromatischen Aberration intensiviert ist oder nicht. Dann, in einem Fall, wo festgestellt wird, dass abhängig von der Bildgebungsinformation das Aliasing aufgrund der chromatischen Aberration nicht zu intensivieren ist, bestimmt die Informationserfassungseinheit 115 weiter die Analyseinformation berücksichtigend, ob das Aliasing aufgrund der chromatischen Aberration intensiviert ist oder nicht, falls der Punktbild-Restaurierungsprozess ausgeführt wird, und in einem Fall, bei dem abhängig von der Bildgebungsinformation und der Analyseinformation festgestellt wird, dass das Aliasing aufgrund der chromatischen Aberration nicht intensiviert ist, erzeugt und sendet die Einheit 115 die Steuerinformation, dass der Punktbild-Restaurierungsprozess ausgeführt wird (im Falle von A-1 von 12).
In einem Fall, bei dem abhängig von der Bildgebungsinformation festgestellt wird, dass der Aliasing aufgrund der chromatischen Aberration nicht intensiviert ist, sondern abhängig von der Analyseinformation festgestellt wird, dass das Aliasing aufgrund der chromatischen Aberration intensiviert ist, wird die Steuerinformation, dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, erzeugt und gesendet (im Falle von B-1 von 12).
Andererseits wird abhängig von der Bildgebungsinformation festgestellt, dass das Aliasing aufgrund der chromatischen Aberration intensiviert ist, kann die Informationserfassungseinheit 115 die Steuerinformation erzeugen, dass der Punktbild-Restaurierungsprozess nicht ausgeführt wird, ohne die Analyseinformation zu berücksichtigen. Selbst in einem Fall, bei dem abhängig von der Bildgebungsinformation festgestellt wird, dass das Aliasing aufgrund der chromatischen Aberration intensiviert ist, kann die Steuerinformation Information bezüglich einer Region beinhalten, wo das Aliasing aufgrund der chromatischen Aberration erzeugt ist, wobei weiter die Analyseinformation berücksichtigt wird.
Weiter kann in der zweiten Ausführungsform der Bildverarbeitungsvorrichtung 28 die Informationserfassungseinheit 115, welche die Analyseinformation erfasst, auch adäquater die Region (Bereich), die dem Punktbild-Restaurierungsprozess unterworfen ist, von der Region (Bereich), die nicht dem Punktbild-Restaurierungsprozess zu unterwerfen ist, unterscheiden. Spezifisch identifiziert in dem Fall, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist, die Informationserfassungseinheit 115, an welchem Bereich das Aliasing aufgrund der chromatischen Aberration intensiviert ist, abhängig von der Analyseinformation, um Steuerinformation zu erzeugen, wobei der identifizierte Bereich berücksichtigt wird. Beispielsweise kann die Steuerung so durchgeführt werden, dass der Punktbild-Restaurierungsprozess nicht an dem Bereich ausgeführt wird, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist, und der Punktbild-Restaurierungsprozess an anderen Bereichen ausgeführt wird (B-2 von 12), kann die Steuerung so durchgeführt werden, dass der schwächere Punktbild-Restaurierungsprozess an dem Bereich ausgeführt wird, wo das Aliasing aufgrund der chromatischen Aberration intensiviert ist, und der normale Punktbild-Restaurierungsprozess oder stärkere Punktbild-Restaurierungsprozess an anderen Bereichen ausgeführt wird (B-3 von 12), und kann die Steuerung so durchgeführt werden, dass die Stärke des Punktbild-Restaurierungsprozesses abhängig von dem intensivierten Grad des Aliasing aufgrund der chromatischen Aberration variiert wird (B-4 von 12).
15 ist ein Flussdiagramm der zweiten Ausführungsform der Bildverarbeitungsvorrichtung 28. Dieselben Teile wie das Flussdiagramm der ersten Ausführungsform der in 11 gezeigten Bildverarbeitungsvorrichtung 28 werden durch dieselben Bezugszeichen bezeichnet und die Beschreibung derselben wird weggelassen. Im Flussdiagramm der zweiten Ausführungsform der in 15 gezeigten Bildverarbeitungsvorrichtung 28 unterscheidet sich im Vergleich zum Flussdiagramm der zweiten Ausführungsform der in 11 gezeigten Bildverarbeitungsvorrichtung 28 das Flussdiagramm der zweiten Ausführungsform von Letzteren darin, dass die Bildanalyse durch die Bildanalyseeinheit 111 durchgeführt wird (Schritt S31), und die Informationserfassungseinheit 115 auch die Analyseinformation erfasst (Schritt S33) .
In der zweiten Ausführungsform der in 15 gezeigten Bildverarbeitungsvorrichtung 28 führt die Bildanalyseeinheit 111 die Bildanalyse an den Mosaikbilddaten durch (Schritt S31). Die Bildanalyseeinheit 111 kann die Bildanalyse an den Demosaikbilddaten durchführen und kann die Bildanalyse an den Luminanz-System-Bilddaten durchführen.
Dann führt die Bildanalyseeinheit 111 die Bildanalyse durch (Schritt S31), erzeugt Bildanalyse-Information aufgrund eines Ergebnisses der Bildanalyse und sendet die Bildanalyse-Information an die Informationserfassungseinheit 115. Dann erfasst die Informationserfassungseinheit 115 die Bildanalyse-Information (Schritt S33).
(Dritte Ausführungsform der Bildverarbeitungsvorrichtung)
16 zeigt eine dritte Ausführungsform der Bildverarbeitungsvorrichtung 28. Dieselben Teile wie die erste Ausführungsform der Bildverarbeitungsvorrichtung 28 in 3 werden durch dieselben Bezugszeichen bezeichnet und deren Beschreibung wird weggelassen. Beim Vergleichen der dritten Ausführungsform der Bildverarbeitungsvorrichtung 28 mit der ersten Ausführungsform der Bildverarbeitungsvorrichtung 28 unterscheidet sich die dritte Ausführungsform darin, dass der Punktbild-Restaurierungsprozess an einem Luminanzsignal Y als einem spezifischen Beispiel der Luminanz-System-Bilddaten durchgeführt wird, von der ersten Ausführungsform, bei der der Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten ausgeführt wird. Die Ausführung des Punktbild-Restaurierungsprozesses an dem Luminanzsignal Y gestattet dem Punktbild-Restaurierungsprozess, adäquat ausgeführt zu werden. Hier bezieht sich das Luminanzsignal Y auf ein Luminanzsignal Y im durch das Luminanzsignal Y und die Farbdifferenzsignale Cb und Cr repräsentierten Farbraum.
(Vierte Ausführungsform der Bildverarbeitungsvorrichtung)
17 zeigt eine vierte Ausführungsform der Bildverarbeitungsvorrichtung 28. Dieselben Teile wie die erste Ausführungsform der Bildverarbeitungsvorrichtung 28 in 3 werden durch dieselben Bezugszeichen bezeichnet und deren Beschreibung wird weggelassen. Beim Vergleichen der vierten Ausführungsform der Bildverarbeitungsvorrichtung 28 mit der ersten Ausführungsform der Bildverarbeitungsvorrichtung 28 unterscheidet sich die vierte Ausführungsform darin, dass der Punktbild-Restaurierungsprozess an G-Farbdaten als einem spezifischen Beispiel der Luminanz-System-Bilddaten ausgeführt wird, von der ersten Ausführungsform, bei welcher der Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten ausgeführt wird. Die G-Farbdaten sind ein Wert, der am meisten zur Erzeugung eines Wertes des Luminanzsignals Y beiträgt (siehe Formel 1, Formel 2) und somit gestattet die Ausführung des Punktbild-Restaurierungsprozesses an den G-Farbdaten die Ausführung eines genaueren Punktbild-Restaurierungsprozesses.
(Modifikationsbeispiel der Bildaufnahmevorrichtung)
18 ist eine Illustration, die ein Modifikationsbeispiel der Bildabnahmevorrichtung 22 zeigt. Insbesondere im Hinblick auf das in der Lichtempfangsoberfläche der Bildabnahmevorrichtung 22 angeordnete Farbfilter-Array ist ein Farbfilter-Array („X-trans“ (registriertes Warenzeichen)) als ein Modifikationsbeispiel des in 2 beschriebenen Farbfilter-Arrays gezeigt. In der Erfindung können verschiedene Farbfilter-Arrays für die Bildabnahmevorrichtung 22 verwendet werden und 18 zeigt ein Modifikationsbeispiel von ihnen.
Ein Farbfilter-Array dieser Bildabnahmevorrichtung 22 beinhaltet ein Basis-Array-Muster P, das aus einem Quadrat-Array-Muster entsprechend 6 × 6 Pixeln (mit einem dicken Rahmen umgebenes Muster) besteht und die Basis-Array-Muster P sind wiederholt in einer horizontalen Richtung und einer vertikalen Richtung angeordnet. Spezifisch weist dieses Farbfilter-Array Farbfilter von Rot (R), Grün (G) und Blau (B) (R-Filter, G-Filter und B-Filter) auf, die in einer vorgegebenen Periode angeordnet sind. Eine solche Anordnung des R-Filters, des G-Filters und des B-Filters bei vorbestimmter Periode wie dieser ermöglicht es, in Übereinstimmung mit dem wiederholten Muster einen Prozess wie etwa Bildverarbeitung an den RAW-Daten von RGB (Mosaikbilddaten) durchzuführen, ausgelesen aus der Bildaufnahmevorrichtung 22, im Vergleich mit dem im Stand der Technik bekannten beliebigen Array.
In dem in 18 gezeigten Farbfilter-Array sind ein oder mehrere G-Filter entsprechend einer Farbe, die am meisten zur Erfassung des Luminanzsignals (G-Farbe) beiträgt, in einem Basis-Array-Muster in Linien in horizontalen, vertikalen, diagonalen Rechts-hinauf (NE) und diagonalen Links-hinauf (NW-Richtungen des Farbfilter-Arrays angeordnet.
Die G-Filter, die alle einem Luminanzsignalpixel entsprechen, sind in den Linien in den horizontalen, vertikalen und diagonalen (NE und NW) Richtungen des Farbfilter-Arrays angeordnet, was eine Wiedergabegenauigkeit des Synchronisationsprozesses (Demosaikprozess) in einer Hochfrequenzregion verbessern kann, die nicht auf eine Richtung hoher Frequenz beschränkt ist.
In dem in 18 gezeigten Farbfilter-Array sind ein oder mehrere R-Filter und B-Filter entsprechend zwei oder mehr anderen Farben als der G-Farbe (R und B Farben in dieser Ausführungsform) in dem Basis-Array-Muster in Linien in den horizontalen und vertikalen Richtungen des Farbfilter-Arrays angeordnet.
Die R-Filter und B-Filter sind in den Linien in horizontaler und vertikaler Richtung im Farbfilter-Array angeordnet, was die Erzeugung der Falschfarbe (Farb-Moire) reduzieren kann.
Dies ermöglicht es, einen optischen Tiefpassfilter zum Reduzieren (Unterdrücken) der Erzeugung der Falschfarbe wegzulassen. Selbst in einem Fall der Anwendung des optischen Tiefpassfilters können solche verwendet werden, die eine schwache Funktionalität beim Abschneiden einer Hochfrequenzkomponente zum Erzeugen der Falschfarbe haben, was es gestattet, dass die Auflösung nicht beeinträchtigt wird.
Weiter weist das Basis-Array-Muster B im in 18 gezeigten Farbfilter-Array die Pixelzahlen von R-Pixeln, G-Pixeln und B-Pixeln auf, die 8, 20 bzw. 8 sind, entsprechend den R-, G- und B-Filtern in dem Basis-Array-Muster. Mit anderen Worten beträgt ein Verhältnis zwischen den Pixelzahlen der RGB-Pixel 2 : 5 : 2 und es wird gefunden, dass das Verhältnis der Pixelanzahl der G-Pixel, die am meisten zur Erfassung des Luminanzsignals beitragen, größer als die Verhältnisse der Pixelzahlen der R-Pixel und B-Pixel von anderen Farben ist.
Wie oben beschrieben, unterscheidet sich der Anteil der Pixelzahl der G-Pixel von den Anteilen der Pixelzahlen der Rund B-Pixel und insbesondere wird der Anteil der Pixelanzahl des G-Pixels, das am meisten zur Erfassung des Luminanzsignals beiträgt, größer gemacht als die Anteile der Pixelzahlen der R- und B-Pixel, was das Aliasing im Synchronisationsprozess unterdrücken kann und die Hochfrequenz-Reproduzierbarkeit verbessern kann.
19 zeigt einen Zustand, der durch vierteilen des in 18 gezeigten Basis-Array-Musters P in jeweils 3 × 3 Pixel erhalten wird. Wie in 19 gezeigt, weist das Basis-Array-Muster P ein Array auf, in welchem ein A-Array von 3 × 3 Pixeln, umgeben von einem durchgezogenen Linienrahmen, und ein B-Array von 3 × 3 Pixeln, umgeben von einem Strichlinienrahmen, abwechselnd in den horizontalen und vertikalen Richtungen ausgerastert sind.
Das A-Array und das B-Array haben beide die G-Filter an vier Ecken und dem Zentrum derselben und sind in beiden Diagonalen angeordnet. Das A-Array hat die R-Filter in horizontaler Richtung gerastert und die B-Filter in vertikaler Richtung gerastet, wobei die zentralen G-Filter eingefügt sind. Andererseits weist das B-Array die B-Filter in horizontaler Richtung gerastet und die R-Filter in vertikaler Richtung gerastet auf, wobei die zentralen G-Filter eingefügt sind. Mit anderen Worten wird eine Positionsbeziehung zwischen dem R-Filter und dem B-Filter zwischen dem A-Array und dem B-Array invertiert, andere Anordnungen sind aber identisch.
Die G-Filter an den vier Ecken im A-Array und dem B-Array entsprechen einem quadratischen Array-G-Filter von 2 × 2 Pixeln, weil das A-Array und das B-Array abwechselnd in horizontaler und vertikaler Richtung angeordnet sind.
Die Aufgabe der Erfindung kann auch dadurch erzielt werden, dass ein System oder ein Computer in der Vorrichtung (oder CPU, MPU (Micro-Processing Unit)) einen Programmcode (Programm) aus einem Speichermedium (nicht-transitorisches Aufzeichnungsmedium) ausliest und ausführt, das darin den Programmcode gespeichert hat, der in den oben beschriebenen Ausführungsformen gezeigte Ablaufprozeduren implementiert. Die Erfindung kann als ein Computerprogrammprodukt bereitgestellt werden, das darin einen ausführbaren Code zur Verwendung des Verfahrens gemäß der Erfindung speichert. In diesem Fall kann der Programmcode, der selbst aus dem Speichermedium ausgelesen ist, die Funktionen der oben beschriebenen Ausführungsformen erzielen.
In diesem Fall kann der aus dem Speichermedium ausgelesene Programmcode selbst die Funktionen der oben beschriebenen Ausführungsformen erzielen. Daher können der Programmcode und ein den Programmcode darin speicherndes/aufzeichnendes Computer-lesbares Steuermedium auch einen Aspekt der Erfindung konfigurieren.
Beispiele des zum Bereitstellen des Programmcodes verwendeten Speichermediums beinhalten beispielsweise eine Floppy-(registriertes Warenzeichen) Disk, eine Festplatte, eine Optikdisk, eine Magnetooptik-Disk, DC-ROM (Compact Disc, Nur-Lese-Speicher), CD-R- (Compact Disc Recordable), Magnetband, nicht-flüchtige Speicherkarte, ROM (Nur-Lese-Speicher) und dergleichen.
Die Funktionen der oben beschriebenen Ausführungsform können dadurch erzielt werden, dass der Computer das ausgelesene Programm ausführt. Die Ausführung des Programms beinhaltet auch einen Fall, bei dem das BS (Betriebssystem) oder dergleichen, das auf dem Computer läuft, einen Teil oder alle der tatsächlichen Prozesse auf Basis einer Anweisung des Programms ausführt.
Weiter können die Funktionen der oben beschriebenen Ausführungsformen auch durch eine Funktionserweiterungsplatine erzielt werden, die in einem Computer eingesteckt wird, oder eine Funktionserweiterungseinheit, die mit dem Computer gekoppelt ist. In diesem Fall wird zuerst das aus dem Speichermedium ausgelesene Programm in einen Speicher geschrieben, der in der in den Computer eingesteckten Funktionserweiterungsplatine enthalten ist, oder in der mit dem Computer gekoppelten Funktionserweiterungseinheit. Danach führt die in der Funktionserweiterungsplatine oder in der Funktionserweiterungseinheit enthaltene CPU oder dergleichen einen Teil oder die gesamten tatsächlichen Prozesse auf Basis der Anweisung des Programms aus. Die Verarbeitung, die durch eine solche Funktionserweiterungsplatine oder Funktionserweiterungseinheit durchgeführt wird, kann auch die Funktionen der oben beschriebenen Ausführungsformen erzielen.
Jeder Schritt in den Abläufen der oben beschriebenen Ausführungsformen muss nicht darauf beschränkt sein, unter Verwendung von Software (Computer) implementiert zu werden, sondern kann unter Verwendung von Hardware (Elektronikschaltung) implementiert werden.
<Anwendungsbeispiel von EDoF-System>
Der durch die Punktbild-Restaurierungsprozess-Ausführungseinheit 110 ausgeführte Punktbild-Restaurierungsprozess in den obigen Ausführungsformen ist eine Bildverarbeitung, in der eine Punktspreizung (Punktbildunschärfe) abhängig von einer gewissen Bildgebungsbedingung (z.B. Blendenwert, Brennweite, Art des Objektivs und so weiter) wiederhergestellt und korrigiert wird, um ein originales Subjektbild wiederherzustellen, aber die Bildverarbeitung, auf welche die Erfindung anwendbar ist, ist nicht auf den Punktbild-Restaurierungsprozess in den oben beschriebenen Ausführungsformen beschränkt. Beispielsweise kann der Punktbild-Restaurierungsprozess gemäß der Erfindung auch auf einen Punktbild-Restaurierungsprozess an den Daten angewendet werden, die durch ein optisches System (Bildgebungsobjektiv etc.) abgebildet und erhalten werden, das eine ausgedehnte Schärfentiefe (Fokus) aufweist (EDoF). Die Ausführung des Punktbild-Restaurierungsprozesses an den Bilddaten eines unscharfen Bilds, das aufgenommen und erhalten wird durch ein EDoF-Optiksystem mit einer Tiefenschärfe (Fokussierschärfe), die sich erweitert, ermöglicht es, Hochauflösungs-Bilddaten, die in einem breiten Bereich fokussiert sind, zu restaurieren und zu erzeugen. In diesem Fall wird der Punktbild-Restaurierungsprozess unter Verwendung des Restaurierungsfilters auf Basis der Punktspreizfunktion des optischen EDoF-Systems (PSF, OTF (optische Transferfunktion), MTF (Modulations-Transferfunktion, Magnetuden-Transferfunktion), PTF (Phasen-Transferfunktion) etc.) ausgeführt, wobei der Restaurierungsfilter einen Filterkoeffizienten aufweist, der so eingestellt ist, dass die gute Bildrestaurierung in einem Bereich erweiterter Schärfentiefe (Fokussiertiefe) gemacht werden kann.
Nachfolgend wird eine Beschreibung eines Beispielsystem (EDoF-System) gegeben, das sich auf die Restaurierung der Bilddaten, die aufgenommen sind, und ermittelt durch das optisches Systeme EDoF-System, bezieht. Im unten gezeigten Beispiel wird der Punktbild-Restaurierungsprozess auch am Luminanzsignal (Luminanzsignal Y) ausgeführt, das aus den Bilddaten (RGB-Daten) nach dem Demosaikprozess erfasst wird.
20 ist ein Blockdiagramm, das eine Form eines Bildaufnahmemoduls 201 mit dem EDoF-Optiksystem zeigt. Das Bildaufnahmemodul 201 (Digitalkamera etc.) 201 in diesem Beispiel beinhaltet ein EDoF-Optiksystem (Objektiveinheit) 210, Bildaufnahmevorrichtung 212, A/D-Wandler 214 und Punktbild-Restaurierungsprozessblock (Bildprozessor) 220.
21 ist eine Illustration, die ein Beispiel des optischen EDoF-Systems 210 zeigt. Das optische EDoF-System 210 in diesem Beispiel weist eine Einzelfokus-Aufnahmeobjektiv 210A und einen optischen Filter 211, der an einer Pupillenposition lokalisiert ist, auf. Der optische Filter 211, der eine Phase moduliert, bringt das optische EDoF-System 210 (Aufnahmeobjektiv 210A) dazu, den EDoF so zu haben, dass die erweiterte Tiefenschärfe (Fokustiefe) EDoF erhalten wird. Auf diese Weise bilden das Aufnahmeobjektiv 210a und der optische Filter 210 einen Objektivabschnitt, der die Phase moduliert, um die Schärfentiefe zu erweitern.
Das optische EDoF-System 210 beinhaltet andere Komponenten nach Bedarf und beispielsweise ist eine Blende (in der Figur weggelassen) nahe dem optischen Filter 211 angeordnet. Die Anzahl des optischen Filters 211 kann Eins sein, oder es kann eine Kombination von mehreren optischen Filtern verwendet werden. Der optische Filter 211 ist nur ein Beispiel eines optischen Phasenmodulationsmittels und das optische EDoF-System 210 (Aufnahmeobjektiv 210A) kann hergestellt sein, den EDoF durch ein anderes Mittel zu haben. Beispielsweise kann anstelle des Anordnens des optischen Filters 211 das Aufnahmeobjektiv 210A, dessen Linse entworfen ist, eine Funktion äquivalent zu der eines optischen Filters 210 des Beispiels aufzuweisen, es erreichen, das optische EDoF-System dazu zu bringen, die EDoF aufzuweisen.
Spezifisch kann das optische EDoF-System 210 dazu gebracht werden, die EDoF aufzuweisen, unter Verwendung verschiedener Mittel zum Ändern einer Wellenfront eines Bildes, das die Lichtempfangsoberfläche der Bildaufnahmevorrichtung 210 bildet. Beispielsweise als Mittel, das EDoF-Optiksystem 210 dazu zu bringen, die EDoF aufzuweisen, kann ein „optisches Element, dessen Dicke variabel ist“, ein „optisches Element, dessen refraktiver Index variabel ist (Gradientenindex-Wellenfront-Modulationslinse ect.)“, ein „optisches Element, dessen Dicke oder refraktiver Indes aufgrund von Codierung der Linsenoberfläche variabel ist, (Wellenfront-Modulations-Hybridlinse, optisches Element, das als eine Phasenfront der Linsenoberfläche gebildet ist, etc.)“ und ein „Flüssigkristallelement, dessen Lichtphasenverteilung modulatorisch ist (Flüssigkristall-Raumphasen-Modulationselement etc.)“ verwendet werden. Auf diese Weise ist die Erfindung nicht nur auf einen Fall anwendbar, wo das Bild gebildet sein kann, regulär verteilt zu sein, unter Verwendung der optischen Wellenformmodulation (optischer Filter 211) (Phasenplatte)), sondern auch in einem Fall, bei dem ein Bild mit einer Verteilung ähnlich zu der, die unter Verwendung des optischen Wellenfront-Modulationselements erhalten wird, unter Verwendung des Aufnahmeobjektivs 210A selbst gebildet werden, ohne das optische Wellenfront-Modulationselement zu verwenden.
Das in 21 gezeigte optische EDoF-System 210, bei welchem ein Fokussiermechanismus zum mechanischen Fokussieren weggelassen werden kann, kann von reduzierter Größe sein und daher kann es insbesondere an einem Kameratelefon oder einem persönlichen digitalen Assistenten montiert werden.
Das optische Bild nach Passieren des optischen EDoF-Systems 210, das dazu gebracht worden ist, die EDoF aufzuweisen, wird in einem Bild auf der Bildaufnahmevorrichtung 212 ausgebildet, die in 20 gezeigt ist, und in der Vorrichtung 212 in ein elektrisches Signal umgewandelt.
Die Bildaufnahmevorrichtung 212 besteht aus mehreren Pixeln, die in einer Matrix in einem vorbestimmten Muster-Array (Bayer-Array, G-Streifen R/G-voll-gerastertes Array, X-Trans-Array, Honigwaben-Array etc.) angeordnet sind und, jedes Pixel ist konfiguriert, eine Mikrolinse, einen Farbfilter (im Beispiel RGB-Farbfilter) und eine Photodiode zu enthalten. Das optische Bild, welches durch das optische EDoF-System 210 auf die Lichtempfangsoberfläche der Bildaufnahmevorrichtung 212 einfällt, wird durch die auf der Lichtempfangsoberfläche angeordneten Photodioden in die elektrische Signalladung einer Menge entsprechend einem Betrag seines Einfallslichts umgewandelt. Dann wird die elektrische Signalladung von R, G und B, die in den Photodioden akkumuliert sind, seriell als das Spannungssignal (Bildsignal) für jeden Pixel ausgegeben.
Der A/D-Wandler 214 wandelt analoge R-, G- und B-Bildsignale, die für jedes Pixel aus der Bildaufnahmevorrichtung 212 ausgegeben werden, in digitale RGB-Bildsignale. Das über die digitale Bildsignalumwandlung durch den A/D-Wandler 214 erhaltene Digitalbildsignal wird zum Punktbild-Restaurierungsprozessblock 220 addiert.
Der Punktbild-Restaurierungsprozessblock 220 beinhaltet beispielsweise einen Schwarzpegeljustierer 222, eine Weißabgleichs-Verstärkungseinheit 223, einen Gamma-Prozessor 224, eine Demosaikprozesseinheit 225, einen RGB/YCrCb-Wandler 226 und eine Luminanzsignal-Y-Punktbild-Restaurierungsprozesseinheit 227.
Der Schwarzpegeljustierer 222 unterwirft das aus dem A/D-Wandler 214 ausgegebene digitale Bildsignal einer Schwarzpegeljustierung. Die Schwarzpegeljustierung kann unter Verwendung eines vorbekannten Verfahrens vorgenommen werden. Beispielsweise wird die Schwarzpegeljustierung so durchgeführt, dass einem gewissen effizienten elektrischen Umwandlungselement Aufmerksamkeit geschenkt wird, durch Auffinden eines Durchschnitts von Signalen zum Ermitteln von Schwarzstrombetrag jeweils entsprechend den mehreren OB-Photolektrik-Umwandlungselementen, die in einer Zeile des photoelektrischen Umwandlungselements beinhaltet sind, das das relevante effiziente photoelektrische Umwandlungselement enthält, und Subtrahieren des Durchschnitts vom Signal zum Erfassen des Dunkelstrombetrags entsprechend dem relevanten effizienten photoelektrischen Umwandlungselement.
Die Weißabgleichs-Verstärkungseinheit 223 führt Verstärkungsjustierung abhängig von einer Weißabgleichsverstärkung für jedes Farbsignal von RGB durch, das im Digitalbildsignal mit justierten Schwarzpegeldaten enthalten ist.
Der Gamma-Prozessor 224 führt eine Gamma-Korrektur zur Tonwertkorrektur von Grautönen oder dergleichen durch, so dass die R-, G- und B-Bildsignale mit dem justierten Weißabgleich gewünschte Gamma-Charakteristika aufweisen.
Die Demosaikprozesseinheit 225 führt den Demosaikprozess an den R-, G- und B-Bildsignalen nach Unterwerfen unter die Gamma-Korrektur durch. Spezifisch unterwirft die Demosaikprozesseinheit 225 die R-, G- und B-Bildsignale einem Farbinterpolationsprozess zum erzeugen eines Satzes von Bildsignalen (R-Signal, G-Signal, B-Signal), das aus den Lichtempfangspixeln in der Bildaufnahmevorrichtung 212 ausgegeben wird. Das heißt, dass das Pixelsignal aus jedem der Lichtempfangspixel vor einem Farbdemosaikprozess irgendeines der R-, G- und B-Bildsignale ist, aber ein Satz von drei Pixelsignalen von R-, G- und B-Signalen entsprechend jeweils den Lichtempfangspixeln nach dem Farbdemosaikprozess ausgegeben wird.
Der RGB/YCrCb-Wandler 226 wandelt die R-, G- und B-Signale für jedes Pixel nach Durchlaufen des Demosaikprozesses in das Luminanzsignal Y und die Farbdifferenzsignale Cr und Cb um, um das Luminanzsignal Y und die Farbdifferenzsignale Cr und Cb für jedes Pixel auszugeben.
Die Luminanzsignal-Y-Punktbild-Restaurierungsprozesseinheit 227 führt den Punktbild-Restaurierungsprozess am Luminanzsignal Y aus dem RGB/YCrCb-Wandler 226 auf Basis des vorab gespeicherten Restaurierungsfilters aus. Der Restaurierungsfilter beinhaltet beispielsweise einen Dekonvolierungskernel mit einer Kernelgröße von 7 × 7 (entsprechend der Anzahl von Abgriffen, M = 7, N = 7) und einem Betriebs-Koeffizienten entsprechend dem Dekonvolierungskernel (entsprechend Restaurierungsverstärkungsdaten, Filterkoeffizienten) und wird für den Dekonvolierungsprozess (Dekonvolierungs-Betriebsprozess) um einen Betrag von Phasenmodulation durch den optischen Filter 210 verwendet. Der dem optischen Filter 210 entsprechende Restaurierungsfilter wird in einem Speicher gespeichert, der in der Figur nicht gezeigt ist (z.B. Speicher, der identisch für die Luminanzsignal-Y-Bildrestaurierungs-Prozesseinheit 227 vorgesehen ist). Die Kernelgröße des Dekonvolierungskernels ist nicht auf 7 × 7 begrenzt.
Als Nächstes wird eine Beschreibung des Punktbild-Restaurierungsprozesses durch den Punktbild-Restaurierungsprozessblock 220 gegeben. 22 ist ein Flussdiagramm, das einen beispielhaften Punktbild-Restaurierungsprozess im in 20 gezeigten Punktbild-Restaurierungsprozessblock 220 zeigt.
Das digitale Bildsignal wird vom A/D-Wandler 214 an einem der Eingänge des Schwarzpegeljustierers 222 eingegeben und die Schwarzpegeldaten werden am anderen der Eingänge eingegeben. Der Schwarzpegeljustierer 222 subtrahiert die Schwarzpegeldaten vom Digitalbildsignal und gibt das digitale Bildsignal, aus welchem die Schwarzpegeldaten subtrahiert worden sind, an die Weißabgleichs-Verstärkungseinheit 223 aus (Schritt S1). Dadurch enthält das Digitalbildsignal die Schwarzpegelkomponente nicht und somit ist das den Schwarzpegel angebende Digitalbildsignal „0“.
Die Bilddaten, nach der Schwarzpegeleinstellung werden durch die Weißabgleichs-Verstärkungseinheit 223 und den Gamma-Prozessor 224 in dieser Reihenfolge prozessiert (Schritt S2 und S3).
Die R-, G- und B-Signale, die der Gamma-Korrektur unterworfen sind, werden durch die Demosaikprozesseinheit 225 dem Demosaikprozess unterworfen und danach im RGB/YCrCb-Wandler 226 in ein Luminanzsignal Y und die Chrominanzsignale Cr und Cb umgewandelt (Schritt S4).
Die Luminanzsignal-Y-Bildrestaurierungs-Prozesseinheit 227 führt am Luminanzsignal Y den Punktbild-Restaurierungsprozess aus, der den Dekonvolierungsprozess um einen Betrag von Phasenmodulation durch den optischen Filter 211 im optischen EDoF-System 210 durchführt (Schritt S5). Spezifisch führt die Luminanzsignal-Y-Punktbildrestaurierungs-Prozesseinheit 227 den Dekonvolierungsprozess (Dekonvolierungs-Betriebsprozess) des Luminanzsignals (hier Luminanzsignal von 7 × 7 Pixeln) entsprechend einer Pixelgruppe in Einheiten vorbestimmter Pixel, wobei das Zentrum der Gruppe irgendein Pixel als ein zu prozessierendes Ziel ist, und in dem Speicher oder dergleichen vorab gespeicherten Restaurierungsfilter (Dekonvolierungskernel von 7 × 7 und sein Betriebskoeffizient) durch. Die Luminanzsignal-Y-Punktbildrestaurierungs-Prozesseinheit 227 führt den Punktbild-Restaurierungsprozess durch Wiederholen des Dekonvolierungsprozesses für jede Pixelgruppe in Einheiten vorbestimmter Pixel aus, um so die Gesamtfläche der Bildaufnahmeoberfläche abzudecken, um eine Bildunschärfe über das Bild zu eliminieren. Der Restaurierungsfilter wird unabhängig von der Position des Zentrums der dem Dekonvolierungsprozess unterworfenen Pixelgruppe eingestellt. Mit anderen Worten wird ein gemeinsamer Restaurierungsfilter auf die aneinander angrenzenden Pixelgruppen angewendet. Um den Punktbild-Restaurierungsprozess zu vereinfachen, wird es bevorzugt, den gemeinsamen Restaurierungsfilter auf alle Pixelgruppen anzuwenden.
Wie oben beschrieben, wird das Punktbild (optisches Bild) des Luminanzsignals nach Passieren des optischen EDoF-Systems 210 zu einem Bild als einem großen Punktbild (unscharfes Bild) auf der Bildaufnahmevorrichtung 212 wie im (a) Bereich von 4 auch im Anwendungsbeispiel des EDoF-Systems gebildet, wird aber zu einem kleinen Punktbild (Hochauflösungsbild) durch den Dekonvolierungsprozess durch die Luminanzsignal-Y-Bildrestaurierungs-Prozesseinheit 227 restauriert, wie im (b) Bereich von 4 gezeigt.
Wie oben beschrieben, kann die Ausführung des Punktbild-Restaurierungsprozesses am Luminanzsignal nach dem Demosaikprozess die Notwendigkeit des Haltens der Parameter des Punktbild-Restaurierungsprozesses getrennt für RGB eliminieren und den Punktbild-Restaurierungsprozess beschleunigen. Darüber hinaus wird der Dekonvolierungsprozess, in welchem die R-, G- und B-Bildsignale entsprechend den getrennt in einer Distanz positionierten R-, G- und B-Pixeln jeweils in einer Einheit versammelt werden, nicht durchgeführt, wird aber der Dekonvolierungsprozess, in welchem die Luminanzsignale angrenzender Pixel in einer vorbestimmten Einheit versammelt sind, auf welche der gemeinsame Restaurierungsfilter angewendet wird, durchgeführt, was die Genauigkeit des Punktbild-Restaurierungsprozesses verbessert. Bezüglich der Farbdifferenzsignale Cr und Cb ist im Hinblick auf die Charakteristika des menschlichen Auges, selbst falls die Auflösung nicht durch den Punktbild-Restaurierungsprozess verbessert wird, die Bildqualität zulässig. In einem Fall, bei dem das Bild in einem Kompressionsformat wie etwa JPEG aufgezeichnet wird, da das Farbdifferenzsignal bei einem höheren Kompressionsverhältnis als das Luminanzsignal, komprimiert wird, gibt es wenig Notwendigkeit, die Auflösung durch den Punktbild-Restaurierungsprozess zu verbessern. Auf diese Weise können sowohl die Restaurierungs-Genauigkeitsverbesserung als auch eine Vereinfachung und Beschleunigung des Prozesses erreicht werden.
Der Punktbild-Restaurierungsprozess gemäß den Ausführungsformen der Erfindung kann auch auf den Punktbild-Restaurierungsprozess im EDoF-System angewendet werden, wie oben beschrieben.
Die Digitalkamera wird in 1 als eine Ausführungsform der Bildaufnahmevorrichtung gemäß der Erfindung beschrieben (die Bildaufnahmevorrichtung, welche die Bildverarbeitungsvorrichtung 28 gemäß der Erfindung enthält), aber eine Konfiguration einer bildgebenden Vorrichtung ist nicht darauf beschränkt. Beispiele anderer bildgebender Vorrichtungen gemäß der Erfindung können beispielsweise eine eingebaute oder externe Kamera für einen PC oder eine tragbare Endgerätvorrichtung mit der Bildgebungsfunktion wie unten beschrieben beinhalten.
Beispiele der tragbaren Endgerätvorrichtung als eine Ausführungsform der Bildgebungsvorrichtung gemäß der Erfindung beinhalten beispielsweise Mobiltelefone, Smartphones, PDAs (Persönliche Digitale Assistenten) und tragbare Spielekonsolen. Nachfolgend wird eine Beschreibung im Detail unter Verwendung des Smartphones (multifunktionelles Mobiltelefon) als einem Beispiel unter Bezugnahme auf die Zeichnungen gegeben.
23 zeigt eine äußere Anmutung eines Smartphones 301, das eine Ausführungsform der Bildgebungsvorrichtung der Erfindung ist. Das in 23 gezeigte Smartphone 301 mit einem Gehäuse 302, geformt als eine flache Platte, beinhaltet auf einer Fläche des Gehäuses 302 eine Anzeige und Eingabeeinheit 320, in welcher ein Anzeigepaneel 321 als eine Anzeigeeinheit und ein Bedienpaneel 322 als eine Eingabeeinheit integriert sind.
Ein solches Gehäuse 302 beinhaltet einen Lautsprecher 331, eine Mikrofon 332, eine Bedieneinheit 340 und eine Kameraeinheit 341. Eine Konfiguration des Gehäuses 302 ist nicht darauf beschränkt und es können beispielsweise eine Konfiguration, in welcher die Anzeigeeinheit und die Eingabeeinheit voneinander unabhängig sind, und eine Konfiguration mit einer Muschelschalen- bzw. Klappstruktur oder einem Gleitmechanismus verwendet werden.
24 ist ein Blockdiagramm, das die Konfiguration des in 23 gezeigten Smartphones 301 zeigt. Wie in 24 gezeigt, sind als Hauptkomponenten des Smartphones eine Funkkommunikationseinheit 310, Anzeige- und Eingabeeinheit 320, Telefoneinheit 330, Bedieneinheit 340, Kameraeinheit 341, Speichereinheit 350, externe Eingabe/Ausgabeeinheit 360, GPS-(Global-Positioniersystem) Empfangseinheit 370, Bewegungssensoreinheit 380, Stromversorgungseinheit 390 und Hauptsteuerung 400 beinhaltet. Das Smartphone 301 weist als eine Hauptfunktion eine Funkkommunikationsfunktion zum Ausführen von mobiler Funkkommunikation mit einer Basisstationsvorrichtung BS über ein Mobilkommunikationsnetzwerk NW auf. Eine Form kann erwogen werden, in welcher der oben beschriebene Bildprozessor 28 hauptsächlich zur Hauptsteuerung 400 gehört, sie ist aber nicht darauf beschränkt.
Die Funkkommunikationseinheit 310 führt Funkkommunikation mit der Basisstationsvorrichtung BS, die im Mobilkommunikationsnetzwerk NW enthalten ist, gemäß einer Anweisung aus der Hauptsteuerung 400 durch. Eine solche Funkkommunikation wird verwendet, um verschiedene Teile von Dateidaten wie etwa Audiodaten, Bilddaten und dergleichen und e-Mail-Daten und dergleichen zu senden und zu empfangen, und Web-Daten, Streaming-Daten und dergleichen zu empfangen.
Die Anzeige- und Eingabeeinheit 320 ist ein sogenanntes Touch-Panel, welches mittels Steuerung durch die Hauptsteuerung 400 einem Anwender ein Bild (Standbild und Bewegtbild) anzeigt und visuell liefert, und Textinformation, wie auch eine Anwenderbedienung auf der angezeigten Information detektiert, und beinhaltet ein Anzeigepaneel 321 und ein Bedienpaneel 322.
Das Anzeigepaneel 321 verwendet eine LCD (Flüssigkristallanzeige), ein OELD (Organisches Elektro-Luminanz-Display) und dergleichen als eine Anzeigevorrichtung. Das Bedienpaneel 322, das so platziert wird, dass ein auf einer Anzeigenoberfläche des Anzeigepaneels 321 angezeigtes Bild visuell erkannt werden kann, ist eine Vorrichtung zum Detektieren einer oder mehrerer Koordinaten, die durch einen Anwenderfinger oder einen Stylus bedient wird. Falls die derartige Vorrichtung durch Anwenderfinger oder Stylus bedient wird, wird ein aufgrund der Bedienung erzeugtes Detektionssignal an die Hauptsteuerung 400 ausgegeben. Nachfolgend detektiert die Hauptsteuerung 400 eine betätigte Position (Koordinaten) auf den Anzeigepaneel 321 auf Basis des empfangenen Detektionssignals.
Wie in 23 gezeigt, sind das Anzeigepaneel 321 und das Bedienpaneel 322 in dem Smartphone 301, das als eine Ausführungsform der bildgebenden Vorrichtung gemäß der Erfindung illustriert ist, integriert, um die Anzeige- und Eingabeeinheit 320 zu bilden, und ist das Bedienpaneel 322 in einer Weise angeordnet, um das Anzeigepaneel 321 voll abzudecken. Im Fall der Verwendung einer solchen Anordnung kann das Bedienpaneel 322 eine Funktion aufweisen, um die Anwenderbedienung auf auch einer Fläche außerhalb des Anzeigepaneels 321 zu detektieren. Mit anderen Worten kann das Bedienpaneel 322 eine Detektionsfläche für einen Überlappungsbereich, der mit dem Anzeigepaneel 321 überlappt (nachfolgend als eine angezeigte Fläche bezeichnet) und eine Detektionsfläche für einen peripheren Bereich, der nicht mit dem Anzeigepaneel 321 überlappt, neben dem überlappenden Bereich (nachfolgend als nicht angezeigte Fläche bezeichnet) aufweisen.
Man beachte, dass eine Größe der angezeigten Fläche und eine Größe des Anzeigepaneels 321 komplett zueinander passen können, aber beide Größen nicht notwendigerweise passen müssen. Das Bedienpaneel 322 kann zwei sensitive Flächen des peripheren Bereichs und außer diesen eines inneren Bereichs aufweisen. Weiter ist eine Breite des peripheren Bereichs angemessen ausgelegt, abhängig von einer Größe des Gehäuses 302 und dergleichen. Ein für das Bedienpaneel 322 verwendetes Positionsdetektionsverfahren beinhaltet ein Matrix-Schaltverfahren, Widerstandsfilmverfahren, akustisches Oberflächenwellenverfahren, Infrarotstrahlenverfahren, elektromagnetisches Induktionsverfahren, elektrostatisches Kapazitätsverfahren und dergleichen, von denen jegliches Verfahren verwendet werden kann.
Die Telefoneinheit 330 mit dem Lautsprecher 331 und dem Mikrofon 332 wandelt durch das Mikrofon 332 eingegebene Anwenderstimme in die Audiodaten um, welche durch die Hauptsteuerung 400 prozessierbar sind, um sie an die Hauptsteuerung 400 auszugeben und decodiert die durch die Funkkommunikationseinheit 310 oder die externe Eingabe-/Ausgabeeinheit 360 empfangenen Audiodaten, um sie aus dem Lautsprecher 331 auszugeben. Wie beispielsweise in 23 gezeigt, kann der Lautsprecher 331 auf derselben Oberfläche montiert sein, auf der die Anzeige- und Eingabeeinheit 320 vorgesehen ist, und das Mikrofon 332 kann auf der Seitenfläche des Gehäuses 302 montiert sein.
Die Bedieneinheit 340, die eine Hardware-Taste ist, die einen Schlüsselschalter und dergleichen verwendet, akzeptiert eine Anweisung vom Anwender. Beispielsweise ist, wie in 23 gezeigt, die Bedieneinheit 340 auf der Seitenfläche des Gehäuses 302 des Smartphones 302 montiert und ist ein Drucktastentypschalter, der eingeschaltet wird, wenn durch einen Finger oder dergleichen heruntergedrückt wird, und in den ausgeschalteten Zustand durch eine Rückstellkraft einer Feder oder dergleichen gebracht wird, wenn der Finger losgelassen wird.
Die Speichereinheit 350 speichert ein Steuerprogramm und Steuerdaten für die Hauptsteuerung 400, Anwendungs-Software, Adressdaten mit einem Namen, einer Telefonnummer und dergleichen des miteinander assoziierten Kommunikations-Gegenendes, Daten von gesendeter und empfangener e-Mail, mittels Web-Browsing heruntergeladene Webdaten und heruntergeladene Inhaltsdaten, und speichert Streaming-Daten oder dergleichen transient. Die Speichereinheit 350 beinhaltet eine interne Speichereinheit 351, die in das Smartphone eingebaut ist, und eine externe Speichereinheit 352, die einen abnehmbaren externen Speicherschlitz aufweist. Jede der internen Speichereinheiten 351 und der externen Speichereinheit 352, die in der Speichereinheit 350 enthalten sind, wird unter Verwendung eines Speichermediums erhalten, wie etwa einem Flash-Speichertyp, Festplattentyp, Multimedienkarten-Mikrotyp, Kartentypspeicher, z.B. Micro SD (registriertes Warenzeichen), Speicher etc.), RAM (Wahlfreizugriffspeicher) und ROM (Nur-Lese-Speicher).
Die externe Eingabe-/Ausgabeeinheit 360 dient als eine Schnittstelle zu allen mit dem Smartphone 301 gekoppelten externen Vorrichtungen, um anderen externen Vorrichtungen zu gestatten, direkt oder indirekt über eine Kommunikation oder dergleichen (zum Beispiel USB (Universal Serial Bus), IEEE1394, etc.) oder Netzwerk (z.B. Internet, Funk-LAN, Bluetooth (registriertes Warenzeichen), RFID (Radio-Frequenz-Identifikation), IrDA (Infrarot-Daten-Assoziierung) (registriertes Warenzeichen), UWB (Ultra-Breitband) (registriertes Warenzeichen), ZigBee (registriertes Warenzeichen), etc.) verbunden zu sein.
Beispiele der mit dem Smartphone 301 gekoppelten externen Vorrichtungen beinhalten beispielsweise ein verdrahtetes/drahtloses Headset, einen verdrahteten/drahtlosen externen Lader, einen verdrahteten/drahtlosen Datenanschluss, Speicherkarte oder SIM- (Subscriber Identity Module Card)/UIM (User Identity Module Card) Karte, die über einen Kartensockel verbunden ist, eine externe Audio- und Videovorrichtung, die über ein Audio- und Video-E/A- (Eingabe/Ausgabe) Endgerät verbunden ist, und eine Videovorrichtung, die drahtlos verbunden ist, Smartphone über eine verdrahtete/drahtlose Verbindung, persönlicher Computer über eine verdrahtete/Drahtlos-Verbindung, PDA über verdrahtete/Drahtlos-Verbindung, persönlicher Computer über eine verdrahtete/Drahtlos-Verbindung, Ohrhörer oder dergleichen. Die externe Eingabe/Ausgabe-Einheit kann mittels der Übertragung aus einer solchen externen Einheit empfangene Daten an entsprechende Komponenten im Smartphone 301 liefern und die Daten im Smartphone 301 an die externen Vorrichtungen senden.
Die GPS-Empfangseinheit 370 empfängt aus GPS-Satelliten ST1 bis STn gesendete GPS-Signale zur Durchführung von Positionierungs-Arithmetik-Verarbeitung auf Basis der empfangenen mehrerer GPS-Signale anhand einer Anweisung aus der Hauptsteuerung 400 und detektiert eine Position einschließlich Breitengrad, Längengrad und Höhe des Smartphones 301. Wenn Positionsinformation aus der Kommunikationseinheit 310 oder der externen Eingabe/AusgabeEinheit 360 (z.B. Funk-LAN) erfasst werden kann, kann die GPS-Empfangseinheit 370 die Positionsinformation zum Detektieren der Position verwenden.
Die Bewegungssensoreinheit 380, die beispielsweise einen triaxialen Beschleunigungssensor oder dergleichen beinhaltet, detektiert die physische Bewegung des Smartphones 301 anhand einer Anweisung aus der Hauptsteuerung 400. Die Detektion der physischen Bewegung des Smartphones 301 gestattet es, eine Richtung oder Beschleunigung der Bewegung des Smartphones 301 zu detektieren. Ein solches Detektionsergebnis wird an die Hauptsteuerung 400 ausgegeben.
Die Stromversorgungseinheit 390 liefert elektrischen Strom, der in einer (nicht gezeigten) Batterie gespeichert ist, an jede Einheit des Smartphones 301 anhand einer Anweisung aus der Hauptsteuerung 400.
Die Hauptsteuerung 400, die einen Mikroprozessor beinhaltet, arbeitet gemäß dem Steuerprogramm oder von Steuerdaten, die in der Speichereinheit 350 gespeichert sind, und steuert gemeinsam die entsprechenden Teile des Smartphones 301. Die Hauptsteuerung 400 weist eine Mobilkommunikations-Steuerfunktion zur Steuerung jeder Einheit in einem Kommunikationssystem und eine Anwendungs-Verarbeitungsfunktion auf, um Audio-Kommunikation oder Datenkommunikation über die Funkkommunikationseinheit 310 durchzuführen.
Die Anwendungs-Verarbeitungsfunktion wird durch die Hauptsteuerung 400 erzielt, die gemäß der in der Speichereinheit 350 gespeicherten Anwendungs-Software arbeitet. Beispiele der Anwendungs-Verarbeitungsfunktion beinhalten beispielsweise eine Infrarot-Kommunikationsfunktion zum Steuern der externen Eingabe-/Ausgabeeinheit 360 zum Durchführen der Datenkommunikation mit einer Gegenpart-Vorrichtung, eine e-Mail-Funktion zum Senden und Empfangen von e-Mail, eine Web-Browsing-Funktion zur Betrachtung einer Webseite und dergleichen.
Die Hauptsteuerung 400 weist eine Bildverarbeitungsfunktion zur Anzeige eines Videos auf der Anzeige- und Eingabeeinheit 320 und so weiter auf, auf Basis der Bilddaten wie etwa der empfangenen Daten oder der heruntergeladenen Streaming-Daten (Daten von Standbildern und Bewegtbildern). Die Bildverarbeitungsfunktion bezieht sich auf eine Funktion, dass die Hauptsteuerung 400 die obigen Bilddaten decodiert und ein solches Decodierergebnis der Bildverarbeitung unterwirft, um das Bild auf der Anzeige- und Eingabeeinheit 320 anzuzeigen.
Weiter führt die Hauptsteuerung 400 die Anzeigesteuerung des Anzeigepaneels 321 und Bediendetektionssteuerung zum Detektieren der Anwenderbedienung über die Bedieneinheit 340 und das Bedienpaneel 322 auf.
Die Hauptsteuerung 400 führt die Anzeigesteuerung zur Anzeige eines Icons zum Starten der Anwendungs-Software oder einer Softwaretaste wie etwa einer Scrollbar oder der Anzeige eines Fensters zum Erzeugen einer e-Mail durch. Man beachte, dass sich die Scrollbar auf die Softwaretaste zum Akzeptieren einer Anweisung zum Bewegen eines angezeigten Bereichs eines Bildes bezieht, wie etwa eines großen Bildes, das nicht komplett innerhalb der angezeigten Fläche des Anzeigepaneels 321 untergebracht wird.
Die Hauptsteuerung 400 führt die Bediendetektionssteuerung durch, um die Anwenderbedienungseingabe über die Bedieneinheit 340 zu detektieren, über das Bedienpaneel 322 eine Bedienung am obigen Icon oder Eingabe einer Zeichenkette an einem Eingabefeld in dem obigen Fenster zu akzeptieren, oder eine über die Scrollbar zum Scrollen des angezeigten Bildes eingegebene Anfrage zu akzeptieren.
Weiter weist die Hauptsteuerung 400 eine Touch-Panel-Steuerfunktion zum Durchführen der Bediendetektionssteuerung zum Bestimmen auf, ob eine betätigte Position auf dem Bedienpaneel 322 der überlappende Bereich (angezeigte Fläche) ist, der mit dem Anzeigepaneel 321 überlappt, oder dem Peripheriebereich (nicht angezeigte Fläche), die nicht mit dem Anzeigepaneel 321 überlappt, neben dem Überlappungsbereich, und die sensitive Fläche des Bedienpaneels 322 oder eine angezeigte Position der Softwaretaste zu steuern.
Die Hauptsteuerung 400 kann auch eine Gestenbedienung auf dem Bedienpaneel 322 detektieren und eine vorbestimmte Funktion durchführen, die von der detektierten Gestenbedienung abhängt. Die Gestenbedienung bedeutet nicht eine einfache Touch-Bedienung des Stands der Technik, sondern eine Bedienung, die Ziehen durch einen Finger oder dergleichen beinhaltet, was simultan eine Mehrzahl von Positionen spezifiziert, oder Kombinieren dieser Bedienungen zum Verfolgen zumindest einer einer Mehrzahl von Positionen.
Die Kameraeinheit 341 ist eine Digitalkamera, die unter Verwendung der Bildaufnahmevorrichtung wie etwa eines CMOS (Komplementär-Oxid-Halbleiter) oder einer CCD (ladungsgekoppelte Vorrichtung) elektronisch aufnimmt. Die Kameraeinheit 341 kann unter der Steuerung der Hauptsteuerung 400 die durch Aufnehmen eines Bildes erhaltenen Bilddaten in komprimierte Bilddaten, wie etwa beispielsweise JPEG (Joint Photographic coding Experts Group) umwandeln, um in der Speichereinheit 350 zu speichern, und über die externe Eingabe-/Ausgabeeinheit 360 oder die Funkkommunikationseinheit 310 auszugeben. Im in 23 gezeigten Smartphone 301 ist die Kameraeinheit 341 auf derselben Fläche wie die Anzeige- und Eingabeeinheit 320 montiert, aber weil eine Montage-Position der Kameraeinheit 341 nicht darauf beschränkt sei, kann sie auf einer Rückfläche der Anzeige- und Eingabeeinheit 320 montiert sein oder es kann eine Mehrzahl von Kameraeinheiten 341 montiert werden. In dem Fall, in dem eine Mehrzahl von Kameraeinheiten 341 montiert wird, kann die Kameraeinheit 341 zum Aufnehmen zum singulären Aufnehmen umgeschaltet werden, oder einer Mehrzahl von Kameraeinheiten 341 kann simultan zum Aufnehmen verwendet werden.
Die Kameraeinheit 341 kann für die verschiedenen Funktionen des Smartphones 301 verwendet werden. Beispielsweise kann ein durch die Kameraeinheit 341 erhaltenes Bild auf dem Anzeigepaneel 321 angezeigt werden, oder es kann ein Bild der Kameraeinheit 341 als eines von Bedieneingabe auf dem Bedienpaneel 322 verwendet werden. Wenn die GPS-Empfangseinheit 370 eine Position detektiert, kann die Position unter Bezugnahme eines Bildes aus der Kameraeinheit 341 detektiert werden. Weiterhin kann durch Bezugnahme auf ein Bild aus der Kameraeinheit 341 ohne Verwendung des Triaxial-Beschleunigungssensors oder in Kombination mit dem Triaxial-Beschleunigungssensor eine Richtung der optischen Achsen der Kameraeinheit 341 des Smartphones 301 festgestellt werden, und kann auch eine aktuelle Verwendungsumgebung bestimmt werden. Selbstverständlich kann ein Bild aus der Kameraeinheit 341 in der Anwendungs-Software verwendet werden.
Übrigens können die Bilddaten eines Standbilds oder Bewegtbilds mit der durch die GPS-Empfangseinheit 370 ermittelten Positionsinformation, durch das Mikrofon 332 erhaltene Stimminformation (die durch die Hauptsteuerung oder dergleichen zu Textinformation Stimmtext-konvertiert werden kann), Raumlage-Information, die durch die Bewegungssensoreinheit 380 erhalten wird, und dergleichen, ergänzt werden, was in der Speichereinheit 350 zu speichern ist und über die externe Eingabe-/Ausgabeeinheit 360 oder die Funkkommunikationseinheit 310 auszugeben ist.
Es versteht sich, dass die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist und verschiedentlich innerhalb des Schutzumfangs ohne Abweichung vom Geist der Erfindung modifiziert werden kann.
Bezugszeichenliste
10 Bildaufnahmevorrichtung, 22 Bildabnahmevorrichtung, 28 Bildverarbeitungsvorrichtung, 100 Demosaikprozesseinheit, 105 Luminanz-System-Bilddaten-Erfassungseinheit, 110 Punktbild-Restaurierungsprozess-Ausführungseinheit, 111 Bildanalyseeinheit, 115 Informationserfassungseinheit, 120 Punktbild-Restaurierungsprozess-Steuereinheit, 201 Bildaufnahmemodul, 210 optisches EDoF-System, 220 Punktbild-Restaurierungsprozessblock, 301 Smartphone

1

14

BEDIENEINHEIT

16

VORRICHTUNGSSTEUERUNG

18

OBJEKTIVABSCHNITT

20

VERSCHLUSS

22

BILDAUFNAHMEVORRICHTUNG

24

A/D-WANDLER

25

ANZEIGEEINHEIT

26

SPEICHEREINHEIT

28

BILDVERARBEITUNGSVORRICHTUNG

30

CODIERER

32

TREIBER
3

100

DEMOSAIKPROZESSEINHEIT

105

LUMINANZ-SYSTEM-BILDDATEN-ERFASSUNGSEINHEIT

110

PUNKTBILDRESTAURIERUNGSPROZESSAUSFÜHRUNGSSEINHEIT

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

#1

MOSAIKBILDDATEN

#2

DEMOSAIKBILDDATEN

#3

LUMINANZ-SYSTEMBILDDATEN

#4

ANDERE DEMOSAIKBILDDATEN

#5

BILDGEBUNGSINFORMATION

#6

STEUERINFORMATION
4

#1

PUNKTBILD

#2

PUNKTBILDSCHNITTANSICHT
5

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

(A-1)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV A NIMM MIT BLENDENWERT: F1.8 AUF

(A-1)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV A NIMM MIT BLENDENWERT: F4 AUF

(A-1)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV A NIMM MIT BLENDENWERT: F5.6 AUF

(B)

TABELLENINFORMATION BEZÜGLICH ALIASING OBJEKTIV A: FALLS BILDGEBUNG UNTER BEDINGUNG DURCHGEFÜHRT WIRD, WO BLENDENWERT GLEICH ODER GRÖSSER ALS F4 IST, WIRD ALIASING NICHT INTENSIVIERT OBJEKTIV B: FALLS BILDGEBUNG UNTER BEDINGUNG DURCHGEFÜHRT WIRD, WO BLENDENWERT GLEICH ODER GRÖSSER ALS F2.8 IST, IST ALIASING NICHT INTENSIVIERT OBJEKTIV C: ALIASING NICHT INTENSIVIERT FÜR ALLE BLENDENWERTEN

(C-1)

STEUERINFORMATION PUNKTBILDRESTAURIERUNGSPROZESS NICHT AUSFÜHREN

(C-2)

STEUERINFORMATION PUNKTBILDRESTAURIERUNGSPROZESS AUSFÜHREN

#1

BILDGEBUNGSINFORMATION

#2

STEUERINFORMATION
6

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

(A-1)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV VON MAXIMALEM BLENDENWERT F1.4

(A-2)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV VON MAXIMALEM BLENDENWERT F2

(A-3)

BILDGEBUNGSINFORMATION VERWENDE OBJEKTIV MAXIMALEN BLENDENWERTS F2.4

(B)

TABELLENINFORMATION BEZÜGLICH ALIASING FALLS OBJEKTIV MAXIMALEN BLENDENWERTS F1.4 VERWENDET WIRD, IST DAS ALIASING NICHT INTENSIVIERT FALLS OBJEKTIV MAXIMALEN BLENDENWERTS F2 VERWENDET WIRD, IST DAS ALIASING INTENSIVIERT FALLS OBJEKTIV MAXIMALEN BLENDENWERTS F2.4 VERWENDET WIRD, IST DAS ALIASING INTENSIVIERT

(C-1)

STEUERINFORMATION PUNKTBILDRESTAURIERUNGSPROZESS NICHT AUSFÜHREN

(C-2)

STEUERINFORMATION PUNKTBILDRESTAURIERUNGSPROZESS AUSFÜHREN

#1

BILDGEBUNGSINFORMATION

#2

STEUERINFORMATION
7

#1

KANTE

#2

MOSAIKBILD

#3

DEMOSAIKPROZESS
8

#1

ORIGINALPOSITION VON KANTE

#2

MOSAIKBILD

#3

DEMOSAIK-PROZESS
9

#1

ORIGINALPOSITION VON KANTE

#2

MOSAIKBILD

#3

DEMOSAIK-PROZESS
10

#1

PUNKTBILDRESTAURIERUNGSPROZESS
11

S10

EINGABE MOSAIKBILDDATEN

S15

FÜHRE DEMOSAIKPROZESS DURCH

S20

ERFASSE LUMINANZ-SYSTEMBILDDATEN

S25

FÜHRE PUNKTBILDRESTAURIERUNGSPROZESS AUS

S30

ERFASSE BILDGEBUNGSINFORMATION

S35

ERZEUGE STEUERINFORMATION

S40

ERFASSE STEUERINFORMATION

S45

STEUERPUNKTBILDRESTAURIERUNGSPROZESS

#1

ENDE
14

100

DEMOSAIKPROZESSEINHEIT

105

LUMINANZ-SYSTEMBILDDATENERFASSUNGSEINHEIT

110

PUNKTBILDRESTAURIERUNGSPROZESSAUSFÜHRUNGSEINHEIT

111

BILDANALYSEEINHEIT

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

#1

MOSAIKBILDDATEN

#2

DEMOSAIKBILDDATEN

#3

LUMINANZ-SYSTEMBILDDATEN

#4

ANDERE DEMOSAIKBILDDATEN

#5

BILDGEBUNGSINFORMATION

#6

STEUERINFORMATION

#7

ANALYSEINFORMATION
15

S10

EINGABE MOSAIKBILDDATEN

S15

FÜHRE DEMOSAIKPROZESS DURCH

S20

ERFASSE LUMINANZ-SYSTEMBILDDATEN

S25

FÜHRE PUNKTBILDRESTAURIERUNGSPROZESS AUS

S30

ERFASSE BILDGEBUNGSINFORMATION

S31

ANALYSIERE BILD

S33

ERFASSE ANALYSEINFORMATION

S35

ERZEUGE STEUERINFORMATION

S40

ERFASSE STEUERINFORMATION

S34

STEUERPUNKTBILDRESTAURIERUNGSPROZESS

#1

ENDE
16

100

DEMOSAIKPROZESSEINHEIT

105

LUMINANZ-SYSTEMBILDDATENERFASSUNGSEINHEIT

110

PUNKTBILDRESTAURIERUNGSPROZESSAUSFÜHRUNGSEINHEIT

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

#1

MOSAIKBILDDATEN

#2

DEMOSAIKBILDDATEN

#3

BILDGEBUNGSINFORMATION

#4

STEUERINFORMATION
17

100

DEMOSAIKPROZESSEINHEIT

105

LUMINANZ-SYSTEMBILDDATENERFASSUNGSEINHEIT

110

PUNKTBILDRESTAURIERUNGSPROZESSAUSFÜHRUNGSEINHEIT

115

INFORMATIONSERFASSUNGSEINHEIT

120

PUNKTBILDRESTAURIERUNGSPROZESSSTEUEREINHEIT

#1

MOSAIKBILDDATEN

#2

DEMOSAIKBILDDATEN

#3

BILDGEBUNGSINFORMATION

#4

STEUERINFORMATION
19

#1

A-ARRAY

#2

B-ARRAY
20

210

OPTISCHES EDOF-SYSTEM

212

BILDAUFNAHMEVORRICHTUNG

214

AD

222

SCHWARZPEGELJUSTIERUNG

223

WEISSABGLEICHSVERSTÄRKUNG

224

GAMMA

225

DEMOSAIKING

226

RGB NACH YCrCb UMWANDLUNG

227

LUMINANZ-SIGNAL-Y-PUNKTBILDRESTAURIERUNGSPROZESS
21

#1

EDOF-BEREICH
22

S1

JUSTIERE SCHWARZPEGEL

S2

KORRIGIERE WEISSABGLEICHSVERSTÄRKUNG

S3

KORRIGIERE GAMMA

S4

WANDLE RGB IN YCrCb UM

S5

RESTAURIERE Y

#1

START

#2

ENDE
24

310

FUNKKOMMUNIKATIONSEINHEIT

320

ANZEIGE- UND EINGABEEINHEIT

330

TELEFONEINHEIT

340

BEDIENEINHEIT

341

KAMERAEINHEIT

350

SPEICHEREINHEIT

351

INTERNE SPEICHEREINHEIT

352

EXTERNE SPEICHEREINHEIT

360

EXTERNE EINGABE/AUSGABEEINHEIT

370

GPS-EMPFANGSEINHEIT

380

BEWEGUNGSSENSOREINHEIT

390

STROMVERSORGUNGSEINHEIT

400

HAUPTSTEUERUNG

#1

AN JEDE EINHEIT

Claims

Bildverarbeitungsvorrichtung (28), umfassend: ein Demosaikprozessmittel (100), das einen Demosaikprozess an Mosaikbilddaten durchführt, die aus einer Bildaufnahmevorrichtung ausgegeben werden, um Demosaikbilddaten zu erzeugen, ein Luminanz-System-Bilddaten-Erfassungsmittel (105), das Luminanz-System-Bilddaten als Bilddaten bezüglich Luminanz auf Basis der durch das Demosaikprozessmittel ermittelten Demosaikbilddaten erfasst, ein Punktbildrestaurierungsprozess-Ausführungsmittel (110), das einen Punktbildrestaurierungsprozess an den durch das Luminanz-System-Bilddaten-Erfassungsmittel erfassten Luminanz-System-Bilddaten ausführt, ein Informations-Erfassungsmittel (115), das Steuerinformation bezüglich der Ausführung des Punktbildrestaurierungsprozesses auf Basis von Bildgebungs-Information bezüglich einer BildgebungsBedingung eines Subjekts erfasst, ein Punktbildrestaurierungsprozess-Steuermittel (120), das eine Verarbeitungsoperation des Punktbildrestaurierungsprozess-Ausführungsmittels auf Basis der durch das Informations-Erfassungsmittel erfassten Steuerinformation steuert, und ein Bildanalysemittel (111), das auf Basis der Mosaikbilddaten oder der Demosaikbilddaten analysiert, ob die Bilddaten die Mosaikbilddaten, in welchen Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, sind, oder nicht, oder ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder nicht, wobei das Informations-Erfassungsmittel die Steuerinformation auf Basis der Bildgebungsinformation und durch das Bildanalysemittel erfasste Analyseinformation erfasst.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Bildgebungsinformation beinhaltet zumindest eins von Information bezüglich eines für die Bildgebung verwendeten Objektivs, einem Blendenwert bei der Bildgebung, einer Brennweite bei der Bildgebung und einer Subjektdistanz bei der Bildgebung.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei das Bildanalysemittel eine Größe des Kontrasts auf Basis der Mosaikbilddaten oder der Demosaikbilddaten auffindet, um zu analysieren, ob die Bilddaten die Mosaikbilddaten sind, oder nicht, in welchen Aliasing intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder nicht.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das Punktbild-Restaurierungsprozess-Steuermittel feststellt, ob das Aliasing intensiviert ist oder nicht, falls der Punktbild-Restaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, das Punktbild-Restaurierungsprozess-Steuermittel in einem Falle der Bestimmung, dass das Aliasing nicht intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen, und das Punktbild-Restaurierungsprozess-Steuermittel im Falle der Bestimmung, dass das Aliasing intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel daran hindert, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das Punktbild-Restaurierungsprozess-Steuermittel bestimmt, ob das Aliasing intensiviert ist oder nicht, falls der Punktbild-Restaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, das Punktbild-Restaurierungsprozess-Steuermittel in einem Fall des Bestimmens, dass das Aliasing nicht intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen, und das Punktbild-Restaurierungsprozess-Steuermittel in einem Fall des Bestimmens, dass das Aliasing intensiviert ist, eine Aliasing-intensivierte Region identifiziert, die eine Region ist, wo das Aliasing intensiviert ist, und das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, das Ausführen des Punktbild-Restaurierungsprozesses an der Aliasing-intensivierten Region zu verhindern, und den Punktbild-Restaurierungsprozess an einer anderen Region als der Aliasing-intensivierten Region auszuführen.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das Punktbild-Restaurierungsprozess-Steuermittel feststellt, ob das Aliasing intensiviert ist oder nicht, falls der Punktbild-Restaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, das Punktbild-Restaurierungsprozess-Steuermittel in einem Falle des Bestimmens, dass das Aliasing nicht intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen, und das Punktbild-Restaurierungsprozess-Steuermittel in einem Falle des Bestimmens, dass das Aliasing intensiviert ist, eine Aliasing-intensivierte Region identifiziert, die eine Region ist, wo das Aliasing intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess an einer anderen Region als der Aliasing-intensivierten Region auszuführen, und das Punktbild-Restaurierungsprozess-Ausführungsmittel an der Aliasing-intensivierten Region steuert, einen Punktbild-Restaurierungsprozess auszuführen, der von schwächerem Effekt ist als und an Stelle des Punktbild-Restaurierungsprozesses ist, der an der anderen Region als der Aliasing-intensivierten Region ausgeführt wird.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das Punktbild-Restaurierungsprozess-Steuermittel feststellt, ob das Aliasing intensiviert ist oder nicht, falls der Punktbild-Restaurierungsprozess ausgeführt wird, abhängig von der Steuerinformation, das Punktbild-Restaurierungsprozess-Steuermittel in einem Falle des Bestimmens, dass das Aliasing nicht intensiviert ist, das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess an den Luminanz-System-Bilddaten auszuführen, und das Punktbild-Restaurierungsprozess-Steuermittel in einem Fall des Feststellens, dass das Aliasing intensiviert ist, einen Aliasing-intensivierten Grad identifiziert, der ein Grad ist, in welchem das Aliasing intensiviert ist, und das Punktbild-Restaurierungsprozess-Ausführungsmittel steuert, den Punktbild-Restaurierungsprozess auszuführen, wobei die Stärke des Punktbild-Restaurierungsprozesses abhängig vom Aliasing-intensivierten Grad variiert wird.
Bildverarbeitungsvorrichtung gemäß Anspruch 5 oder 6, wobei die durch das Punktbild-Restaurierungsprozess-Steuermittel identifizierte Aliasing-intensivierte Region eine Region mit einer hohen Bildhöhe ist.
Bildverarbeitungsvorrichtung gemäß Anspruch 7, wobei der Aliasing-intensivierte Grad, der durch das Punktbild-Restaurierungsprozess-Steuermittel identifiziert ist, relativ zur Bildhöhe größer wird.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 9, wobei die Luminanz-System-Bilddaten ein Luminanzsignal sind, das auf Basis von Farbdaten in den Demosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen eines Luminanzsignals, oder den Demosaikbilddaten erhalten wird.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 10, wobei die Luminanz-System-Bilddaten ein Wert eines Luminanzsignals Y in einem durch ein Luminanzsignal Y und Farbdifferenzsignale Cb und Cr repräsentierten Farbraum ist.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 11, wobei das Demosaikprozessmittel einen Prozess des Bestimmens einer korrelierten Richtung in mehreren Pixelsignalen beinhaltet, welche die Mosaikbilddaten bilden, auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen eines Luminanzsignals.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 12, wobei das Demosaikprozessmittel einen Prozess des Detektierens einer Kante in den Mosaikbilddaten auf Basis der Farbdaten in den Mosaikbilddaten mit dem höchsten Beitragsanteil zum Erfassen eines Luminanzsignals beinhaltet.
Bildaufnahmevorrichtung, die eine Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 13 umfasst.
Bildverarbeitungsverfahren, umfassend: einen Demosaikprozessschritt des Durchführens eines Demosaikprozesses an Mosaikbilddaten, die aus einer Bildaufnahmevorrichtung ausgegeben sind, um Demosaikbilddaten zu erzeugen; einen Luminanz-System-Bilddaten-Erfassungsschritt des Erfassens von Luminanz-System-Bilddaten bezüglich Luminanz auf Basis der in dem Demosaikprozessschritt erzeugten Demosaikbilddaten; einen Punktbild-Restaurierungsprozess-Ausführungsschritt des Ausführens eines Punktbild-Restaurierungsprozesses an den in dem Luminanz-System-Bilddaten-Erfassungsschritt erfassten Luminanz-System-Bilddaten; einen Informations-Erfassungsschritt des Erfassens von Steuerinformation bezüglich der Ausführung des Punktbild-Restaurierungsprozesses auf Basis von Bildgebungsinformation bezüglich einer Bildgebungsbedingung eines Subjekts; und einen Punktbild-Restaurierungsprozess-Steuerschritt des Steuerns einer Verarbeitungsoperation des Punktbild-Restaurierungsprozess-Ausführungsschritts auf Basis der im Informations-Erfassungsschritt erfassten Steuerinformation, einen Bildanalyseschritt des Analysierens, auf Basis der Mosaikbilddaten oder der Demosaikbilddaten, ob die Bilddaten die Mosaikbilddaten, in welchen Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, sind, oder nicht, oder ob die Bilddaten die Demosaikbilddaten sind, in welchen das Aliasing aufgrund chromatischer Aberration und dem Demosaikprozess intensiviert ist, falls der Punktbild-Restaurierungsprozess ausgeführt wird, oder nicht, wobei der Informations-Erfassungsschritt die Steuerinformation auf Basis der Bildgebungsinformation und durch den Bildanalyseschritt erfasste Analyseinformation erfasst.
Programm, das einen Computer veranlasst, auszuführen: das Bildverarbeitungsverfahren gemäß Anspruch 15.