DE112013004435T5 - Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium - Google Patents

Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium Download PDF

Info

Publication number
DE112013004435T5
DE112013004435T5 DE112013004435.8T DE112013004435T DE112013004435T5 DE 112013004435 T5 DE112013004435 T5 DE 112013004435T5 DE 112013004435 T DE112013004435 T DE 112013004435T DE 112013004435 T5 DE112013004435 T5 DE 112013004435T5
Authority
DE
Germany
Prior art keywords
image
recovery
data
image data
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE112013004435.8T
Other languages
English (en)
Inventor
c/o FUJIFILM CORPORATION Sugimoto Masahiko
c/o FUJIFILM Corporation Hayashi Kenkichi
c/o FUJIFILM CORPORATION Naruse Yousuke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of DE112013004435T5 publication Critical patent/DE112013004435T5/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Ein Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters, der auf einer Punktspreizfunktion für ein optisches System basiert, wird für ursprüngliche Bilddaten durchgeführt, die von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung des optischen Systems, so das wiederhergestellte Bilddaten erfasst werden. Der obige Wiederherstellungsprozess wird in einem Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 durchgeführt, für Farbdaten der ursprünglichen Bilddaten, in denen eine Gradationskorrektur durch einen logarithmischen Prozess durchgeführt wurde. Der Wiederherstellungsfilter kann durch einen Filterkoeffizienten entsprechend den Bilddaten vor dem logarithmischen Prozess konfiguriert sein oder kann durch einen Filterkoeffizienten entsprechend der Bilddaten nach dem logarithmischen Prozess konfiguriert sein. Durch die Durchführung des Wiederherstellungsprozesses, wobei flexibel auf verschiedene Eigenschaften des ursprünglichen Bildes geantwortet werden kann, ist es möglich, die Bildverschlechterung, wie zum Beispiel das Ringing in dem Wiederherstellungsbild zu reduzieren.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, eine Bildaufnahmevorrichtung, ein Bildverarbeitungsverfahren, ein Programm und ein Aufzeichnungsmedium, die einen Wiederherstellungsprozess auf Grundlage einer Punktspreizfunktion (engl. point spread function) beinhalten.
  • Stand der Technik
  • In einen Objektbild, das durch ein optisches Bildaufnahmesystem aufgenommen wird, tritt manchmal ein so genanntes Punktspreizphänomen auf, bei dem ein Punktobjekt durch den Einfluss der Brechung, Aberration und Sonstigem aufgrund des optischen Bildaufnahmesystems eine geringe Spreizung aufweist. Eine Funktion, die das Ansprechverhalten auf eine Punktlichtquelle des optischen Systems angibt, wird als eine Punktspreizfunktion (engl. point spread function bzw. PSF) bezeichnet, und ist als ein Parameter bekannt, der die Auflösungsverschlechterung (Unschärfe) eines aufgenommenen Bildes beeinträchtigt.
  • Für ein aufgenommenes Bild, in dem die Bildqualität aufgrund des Punktspreizphänomens verschlechtert wurde, kann die Bildqualität wiederhergestellt werden, indem dieses einem Punktbild-Wiederherstellungsprozess auf Grundlage der PSF unterworfen wird. Der Punktbild-Wiederherstellungsprozess ist ein Prozess, bei dem die Verschlechterungseigenschaft (Punktbildeigenschaft) aufgrund der Aberration einer Linse (optisches System) und dergleichen vorab bestimmt wird, und die Punktspreizung des aufgenommenen Bildes durch einen Bildprozess unter Verwendung eines Wiederherstellungsfilters (Zurückbringungsfilters) entsprechend der Punktbildeigenschaft aufgehoben wird.
  • Für den Punktbild-Wiederherstellungsprozess wurden verschiedene Techniken vorgeschlagen. Zum Beispiel offenbart PTL 1 eine Bildverarbeitungsvorrichtung, die die Leistung des Wiederherstellungsprozesses ändern kann, nachdem der Wiederherstellungsprozess für ein Bild einmal durchgeführt wurde. In der Bildverarbeitungsvorrichtung wird ein Korrekturfilter in einem aufgenommenen Bild angewendet, und dadurch wird ein korrigiertes Bild erzeugt. Es wird dann ein Differenzbild zwischen dem aufgenommenen Bild und dem Korrekturbild erzeugt, und das aufgenommene Bild, das Korrekturbild und das Differenzbild gespeichert.
  • Ferner offenbart PTL 2 eine Bildverarbeitungsvorrichtung, die eine Bildwiederherstellung für ein Bild nach einer nicht linearen Korrektur durchführt, unter Verwendung einer blinden Entfaltung. Die Bildverarbeitungsvorrichtung enthält einen Korrekturabschnitt zum Durchführen einer Korrektur zur Reduzierung einer nicht linearen Gradationskorrektur, für ein aufgenommenes Bild, indem die nicht lineare Gradationskorrektur durchgeführt wurde, und einen Bildwiederherstellungsabschnitt zum Durchführen der Bildwiederherstellung, indem die blinde Entfaltung an dem aufgenommenen Bild angewendet wird, indem die Gradationskorrektur reduziert wurde.
  • Ferner offenbart PTL 3 eine Bildverarbeitungsvorrichtung, die eine exzessive Wiederherstellung von Bilddaten aufgrund eines Bildwiederherstellungsprozesses reduziert. In der Bildverarbeitungsvorrichtung wird ein Bildwiederherstellungsprozess für RGB-Format-Farbbilddaten vor einem Gammaprozess durchgeführt, wobei die Differenz in der Verstärkung und Unterdrückung eines Pixelsignalwerts aufgrund der Gammakorrektur absorbiert wird, und der Grenzwert der Variation in dem Pixelsignalwert berechnet wird, so dass der Maximalwert der Variation konstant ist, selbst nach der Gammakorrektur. Dies führt zur Lösung technischer Probleme, wie zum Beispiel ”ein Auftreten einer Situation, bei der aufgrund gesättigter Pixel der Verschlechterungszustand von Bilddaten, die tatsächlich erhalten werden sollen, nicht mit dem Verschlechterungszustand von Bilddaten übereinstimmt, die als ein Wiederherstellungsziel eines Bildwiederherstellungsfilters beabsichtigt sind”, und ”ein Auftreten einer Bildqualitätsverschlechterung, wie zum Beispiel ein Unterschwingen oder Überschwingen an einem Kantenabschnitt, insbesondere die Verstärkung eines Unterschwingens an einem Abschnitt geringer Helligkeit aufgrund des Gammaprozesses nach dem Bildwiederherstellungsprozess”.
  • Die Punktspreizfunktion für ein optisches System wird ferner auch in einer Wiederherstellungs-Technologie für ein Bild verwendet, in dem die Fokustiefe erweitert wurde. Zum Beispiel offenbart PTL 4 ein Bildaufnahmemodul, das eine Bildwiederherstellung in einer kurzen Zeit akkurat ausführt. In dem Bildaufnahmemodul wird ein Wiederherstellungsprozess an einem Helligkeitssignal nach einem Demosaik (Synchronisationsprozess) angewendet. Es ist daher nicht erforderlich, einen Parameter des Wiederherstellungsprozesses für alle RGB aufzuweisen, was zu einer Beschleunigung des Wiederherstellungsprozesses führt. Benachbarte Pixel sind darüber hinaus als eine vorbestimmte Einheit angeordnet, es wird ein gemeinsamer Wiederherstellungsprozessparameter für die Einheit angewendet, und es wird ein Entfaltungsprozess durchgeführt. Es wird dadurch eine Verbesserung der Wiederherstellungsprozess-Genauigkeit erreicht.
  • Liste der Patentliteratur
    • PTL 1: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2011-151627
    • PTL 2: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2011-059813
    • PTL 3: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2013-020610
    • PTL 4: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2012-049759
  • Zusammenfassung der Erfindung
  • Technisches Problem
  • Der oben beschriebene Punktbild-Wiederherstellungsprozess ist ein Prozess zum Wiederherstellen eines Bildes, das aufgrund des Punktspreizphänomens (optische Bildaufnahmeeigenschaft) durch ein optisches System unscharf ist, zu einem primären scharfen Bild, und ist eine Technologie zum Anwenden eines Wiederherstellungsfilters basierend auf einer Punktspreizfunktion, an ursprünglichen Bilddaten, an denen die Bildqualität verschlechtert wurde, und dadurch zum Erfassen eines wiederhergestellten Bildes, in dem die Bildqualitätsverschlechterung eliminiert wurde.
  • Zum Erhalten eines wiederhergestellten Bildes, für das ein Objektbild genau reproduziert wurde, ist es daher erforderlich, dass die ”Eigenschaft des Wiederherstellungsfilters”, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, und die ”Bildqualitätsverschlechterung der ursprünglichen Bilddaten” geeignet übereinstimmen.
  • Das heißt, dass es prinzipiell möglich ist, ein ”Bild mit einer hohen Bildqualität, für das ein Objektbild genau reproduziert wurde” aus einem ”aufgenommenen Bild, in dem die Bildqualität verschlechtert wurde” zu erhalten, wenn eine Bildverschlechterung, die durch das optische System verursacht wird, genau erfasst wird, ein Wiederherstellungsfilter ausgebildet wird, der eine derartige Bildqualität genaue eliminieren kann, und die Bildqualitätsverschlechterung (das Punktspreizphänomen) durch das optische System präzise in den ursprünglichen Bilddaten reflektiert wird.
  • In Abhängigkeit von der Eigenschaft des Objektbildes und den Bildaufnahmevorrichtungen stimmen jedoch in manchen Fällen die ”Eigenschaft des Wiederherstellungsfilters” und die ”Bildqualitätsverschlechterung der ursprünglichen Bilddaten” nicht genau überein.
  • In den ursprünglichen Bilddaten variiert zum Beispiel die Bildqualität in Abhängigkeit von den Bildaufnahmefähigkeiten des Bildaufnahmeelements, und wenn das Objektbild sehr hell ist, tritt manchmal das Pixelsättigungsphänomen in dem Bildaufnahmeelement auf. Wenn eine derartige Pixelsättigung auftritt, reproduzieren die ursprünglichen Bilddaten, die erhalten werden sollen, nicht notwendiger Weise das Objektbild genau, da ein Abschneiden der gesättigten Pixeldaten (gesättigter Pixelwert) und dergleichen durchgeführt wird.
  • Die ursprünglichen Bilddaten, wobei es sich um das Ziel des Wiederherstellungsprozesses handelt, unterliegen daher nicht nur dem Einfluss der Verschlechterungseigenschaft, die von dem optischen System abgeleitet wird, sondern auch dem Einfluss der Verschlechterungseigenschaft, die von dem Bildaufnahmeelement abgeleitet wird, und insbesondere dann, wenn das Objektbild einen großen Kontrast aufweist, tritt in einigen Fällen eine nicht erwartete Bildqualitätsverschlechterung auf.
  • Selbst dann, wenn die Eigenschaft des optischen Systems ausreichend analysiert wird und ein Wiederherstellungsfilter ausgebildet wird, der den Einfluss des Punktspreizphänomens unterdrücken kann, stimmen daher die ”Eigenschaft des Wiederherstellungsfilms” und die Bildqualitätsverschlechterung der ursprünglichen Bilddaten” in einigen Fällen nicht genau überein, in Abhängigkeit von dem Objektbild.
  • Wenn der Wiederherstellungsprozess unter der Bedingung durchgeführt wird, dass die ”Eigenschaft des wiederhergestellten Films” und die ”Bildqualitätsverschlechterung der ursprünglichen Bilddaten” nicht genau übereinstimmen, wird die Bildqualitätsverschlechterung nicht ausreichend eliminiert, und ein Wiederherstellungsbild guter Qualität wird nicht erhalten. In einigen Fällen wird die Bildqualitätsverschlechterung verstärkt, so dass ein Ringing bzw. Überschwingen oder dergleichen in dem wiederhergestellten Bild auffällig wird.
  • Das Ausmaß bzw. der Grad der Bildqualitätsverschlechterung (das Ringing oder dergleichen), das in dem wiederhergestellten Bild auftritt, wird durch verschiedene Faktoren beeinflusst. Die Bildqualität des wiederhergestellten Bildes nach dem Punktbild-Wiederherstellungsprozess variiert zum Beispiel durch den Einfluss der Eigenschaft des Wiederherstellungsfilters, der in dem Wiederherstellungsprozess verwendet wird, der Dateneigenschaft der ursprünglichen Bilddaten, für die der Wiederherstellungsprozess angewendet wird, andere Bildprozesse, die vor und nach dem Wiederherstellungsprozess durchgeführt werden, und dergleichen. Für eine effektivere Verhinderung oder Reduzierung der Bildqualitätsverschlechterung in dem wiederhergestellten Bild ist daher ein Vorschlag einer neuen Wiederherstellungsverarbeitungstechnik wünschenswert, in der verschiedene Eigenschaften umfassend berücksichtigt werden. Wenn insbesondere verschiedene Objektbilder aufgenommen werden, sind die Bilddaten Eigenschaften der Wiederherstellungsprozessziele nicht konstant, und Bilder mit verschiedenen Eigenschaften, wie zum Beispiel ein Bild, in dem der Kontrast insgesamt oder lokal stark ist, ein Bild, in dem die Farbe verzerrt ist, und ein Bild, in dem einige Pixelwerte in einem gesättigten Zustand sind, können Ziele des Wiederherstellungsprozesses sein. Ein Vorschlag einer Wiederherstellungsverarbeitungstechnik ist daher wünschenswert, die flexibel auf Prozesszielbilder reagieren kann, die verschiedene Eigenschaften aufweisen und die eine exzellente Bildrobustheit zeigt.
  • In den oben beschriebenen PTLs 1 bis 4 ist jedoch das obige Problem überhaupt nicht erwähnt, und ein Vorschlag bezüglich einer ”Bildverarbeitungstechnik, in der verschiedene Faktoren nicht nur in dem Wiederherstellungsprozess selbst, sondern auch Prozesse vor und nach dem Wiederherstellungsprozess umfassend in dem Wiederherstellungsprozess unter Verwendung der Punktspreizfunktion berücksichtigt werden, und dass flexibel auf ursprüngliche Bilder mit verschiedenen Eigenschaften reagieren kann, und dass in der Bildrobustheit exzellent ist”, oder dergleichen, ist nicht erfolgt.
  • Die vorliegende Erfindung, die angesichts der oben erläuterten Umstände erfolgte, hat die Bereitstellung einer Technologie zur Aufgabe, die die Bildqualitätsverschlechterung, wie zum Beispiel das Ringing bzw. das Überschwingen in dem wiederhergestellten Bild, unterdrücken kann, indem ein Wiederherstellungsprozess durchgeführt wird, der flexibel auf verschiedene Eigenschaften ursprünglicher Bilder reagieren kann.
  • Lösung des Problems
  • Ein Aspekt der vorliegenden Erfindung betrifft eine Bildverarbeitungsvorrichtung zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch ein Bildaufnehmen eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei die Bildverarbeitungsvorrichtung umfasst: einen Gradationskorrekturabschnitt zum Durchführen einer Gradationskorrektur für einen logarithmischen Prozess für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsabschnitt zum Durchführen des Wiederherstellungsprozesses für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten vor dem logarithmischen Prozess aufweist.
  • Gemäß diesem Aspekt wird der Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters, der den Filterkoeffizienten entsprechend den Bilddaten vor dem logarithmischen Prozess aufweist, für die Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur durchgeführt. Es ist dadurch möglich, einen Wiederherstellungsprozess durchzuführen, der flexibel auf ursprüngliche Bilddaten mit verschiedenen Eigenschaften reagieren kann, und der eine exzellente Bildrobustheit aufweist, und es ist möglich, Wiederherstellungsbilddaten mit einer guten Farbreproduzierbarkeit zu erhalten.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft eine Bildverarbeitungsvorrichtung zur Erfassung von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei die Bildverarbeitungsvorrichtung umfasst: einen Gradationskorrekturabschnitt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsabschnitt zum Durchführen des Wiederherstellungsprozesses für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  • Gemäß diesem Aspekt wird der Wiederherstellungsprozess, der den Wiederherstellungsfilter verwendet, der den Filterkoeffizienten entsprechend den Bilddaten nach dem logarithmischen Prozess aufweist, für die Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur durchgeführt. Es ist dadurch möglich, einen Wiederherstellungsprozess durchzuführen, der flexibel auf ursprüngliche Bilddaten mit unterschiedlichen Eigenschaften reagieren kann, und der eine exzellente Bildrobustheit aufweist, und der das Objektbild exakter wiederherstellen kann, und es ist möglich, Wiederherstellungsbilddaten mit einer guten Farbreproduzierbarkeit zu erhalten.
  • Bevorzugt sollte der Wiederherstellungsverarbeitungsabschnitt optische Systemdaten erfassen, die die Punktspreizfunktion für das optische System angeben, und sollte den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführen, der auf den optischen Systemdaten basiert.
  • Gemäß diesem Aspekt ist es möglich, einen genauen Wiederherstellungsprozess durchzuführen, unter Verwendung eines Wiederherstellungsfilters, der die optischen Systemdaten genau wiedergibt, welche die Punktspreizfunktion für das optische System angeben. Die optischen Systemdaten können hier Daten sein, die direkt die Punktspreizfunktion angeben, oder können Daten sein, die die Punktspreizfunktion (Daten, wie zum Beispiel den Typ des optischen Systems) indirekt angeben.
  • Bevorzugt sollten die Wiederherstellungsfilter vorab erzeugt werden, und der Wiederherstellungsverarbeitungsabschnitt sollte einen Wiederherstellungsfilter entsprechend den optischen Systemdaten für das optische System auswählen, das bei der Erfassung der ursprünglichen Bilddaten verwendet wird, aus dem vorab erzeugten ? Wiederherstellungsfilter, und sollte den ausgewählten Wiederherstellungsfilter in dem Wiederherstellungsprozess verwenden.
  • Gemäß diesem Aspekt wird der Wiederherstellungsfilter entsprechend den optischen Systemdaten aus den Wiederherstellungsfiltern ausgewählt, die vorab erzeugt werden, und wird in dem Wiederherstellungsprozess verwendet, und es ist daher nicht erforderlich, einen Berechnungsabschnitt zum Berechnen des Wiederherstellungsfilters bereitzustellen, zusammen mit dem Wiederherstellungsverarbeitungsabschnitt, was die Vereinfachung der Vorrichtungskonfiguration ermöglicht.
  • Bevorzugt sollten der Wiederherstellungsverarbeitungsabschnitt den Wiederherstellungsfilter erzeugen, auf Grundlage der optischen Systemdaten für das optische System, das bei der Erfassung der ursprünglichen Bilddaten verwendet wird, und sollte den erzeugten Wiederherstellungsfilter in dem Wiederherstellungsprozess verwenden.
  • Gemäß diesem Aspekt wird der Wiederherstellungsfilter, der auf Grundlage der optischen Systemdaten erzeugt wird, in dem Wiederherstellungsprozess verwendet, und selbst dann, wenn das optische System, das bei der Bildaufnahme der ursprünglichen Bilddaten verwendet wird, geändert werden kann, ist es daher möglich, den Wiederherstellungsprozess durchzuführen, unter Verwendung eines Wiederherstellungsfilters, der für ein zu verwendendes optisches System geeignet ist.
  • Der Wiederherstellungsverarbeitungsabschnitt sollte bevorzugt einen Analyseprozess der ursprünglichen Bilddaten durchführen, und sollte den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführen, der auf einem Resultat des Analyseprozesses basiert.
  • Gemäß diesem Aspekt wird die Eigenschaft der ursprünglichen Bilddaten analysiert, und es ist möglich, den Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters entsprechend der Eigenschaft durchzuführen.
  • Der Analyseprozess sollte bevorzugt einen Prozess zum Bestimmen von Daten enthalten, die ein Hauptobjektbild der ursprünglichen Bilddaten angeben, die das Objektbild angeben, und der Wiederherstellungsverarbeitungsabschnitt sollte den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführen, der auf den Daten basiert, die das Hauptobjektbild der ursprünglichen Bilddaten angeben.
  • Gemäß diesem Aspekt wird der Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchgeführt, der auf den Daten basiert, welche das Hauptobjektbild angeben, und insbesondere für das Hauptobjektbild des Objektbildes ist es daher möglich, die Wiederherstellungsgenauigkeit zu verbessern, oder den Einfluss der Bildqualitätsverschlechterung zu reduzieren, die durch den Wiederherstellungsprozess verursacht werden kann.
  • Der Wiederherstellungsverarbeitungsabschnitt sollte bevorzugt den Wiederherstellungsfilter bestimmen, der in dem Wiederherstellungsprozess verwendet wird, in Einheiten des Objektbildes, aus einem Resultat des Analyseprozesses.
  • Gemäß diesem Aspekt wird der Wiederherstellungsfilter in Einheiten des Objektbildes bestimmt, und es ist möglich, einen Punktbild-Wiederherstellungsprozess durchzuführen, der erlaubt, dass der Wiederherstellungsfilter in Einheiten der ursprünglichen Bilddaten gewechselt werden kann, und der eine hohe Anpassungsfähigkeit aufweist.
  • Der Wiederherstellungsverarbeitungsabschnitt sollte bevorzugt das Objektbild, das durch die ursprünglichen Bilddaten angegeben wird, in mehrere Unterteilungsbereiche segmentieren, und sollte den in dem Wiederherstellungsprozess zu verwendenden Wiederherstellungsfilter in Einheiten des Unterteilungsbereiches bestimmen, aus einem Resultat des Analyseprozesses.
  • Gemäß diesem Aspekt wird der Wiederherstellungsfilter in Einheiten des Unterteilungsbereiches bestimmt, und es ist möglich, einen Punktbild-Wiederherstellungsprozess durchzuführen, der erlaubt, dass der Wiederherstellungsfilter in Einheiten des Unterteilungsbereiches gewechselt bzw. geschaltet wird, und der eine hohe Anpassungsfähigkeit aufweist.
  • Der Wiederherstellungsverarbeitungsabschnitt sollte bevorzugt den Wiederherstellungsfilter, der in dem Wiederherstellungsprozess verwendet wird, in Einheiten von Pixeldaten der ursprünglichen Bilddaten bestimmen, aus einem Resultat des Analyseprozesses.
  • Gemäß diesem Aspekt wird der Wiederherstellungsfilter in Einheiten der Pixeldaten bestimmt, und es ist möglich, einen Punktbild-Wiederherstellungsprozess durchzuführen, der ermöglicht, dass der Wiederherstellungsfilter in Einheiten der Pixel gewechselt wird, und der eine hohe Anpassungsfähigkeit aufweist.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft eine Bildaufnahmevorrichtung mit einem Bildaufnahmeelement zum Ausgeben ursprünglicher Bilddaten durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, und der obigen Bildverarbeitungsvorrichtung.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft ein Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprünglichen Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Bildverarbeitungsverfahren umfasst: einen Gradationskorrekturschritt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsschritt zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient aufweist entsprechend von Bilddaten vor dem logarithmischen Prozess.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft ein Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf eine Punktspreizfunktion des optischen Systems basiert, wobei das Bildverarbeitungsverfahren umfasst: einen Gradationskorrekturschritt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsschritt zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizienten entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft ein Programm zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, in solch einer Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Programm dazu führt, dass ein Computer ausführt: eine Prozedur zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und eine Prozedur zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend der Bilddaten vor dem logarithmischen Prozess aufweist.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft ein Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Programm dazu führt, dass ein Computer ausführt: eine Prozedur zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und eine Prozedur zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  • Ein anderer Aspekt der vorliegenden Erfindung betrifft ein nichtflüchtiges Aufzeichnungsmedium mit einem Code, der darin aufgezeichnet ist, wobei der Code ein Computer-lesbarer Code des Programms gemäß den oben beschriebenen Aspekten ist. Für ein derartiges Aufzeichnungsmedium ist es möglich, verschiedene magnetooptische Aufzeichnungsmedien und Halbleiteraufzeichnungsmedien zu verwenden, wie zum Beispiel eine CD (engl. Compact Disk), eine DVD (engl. Digital Versatile Disk), eine HD (engl. Hard Disk), eine SSD (engl. Solid State Drive) und ein USB-Speicher.
  • Vorteilhafte Effekte der Erfindung
  • Da gemäß der vorliegenden Erfindung der Wiederherstellungsprozess für die Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur (logarithmischer Prozess) durchgeführt wird, ist es möglich, einen Wiederherstellungsprozess durchzuführen, der flexibel auf verschiedene Eigenschaften der ursprünglichen Bilddaten reagieren kann. Durch den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters, der den Filterkoeffizienten entsprechend der Bilddaten vor dem logarithmischen Prozess oder den Bilddaten nach dem logarithmischen Prozess aufweist, ist es ferner möglich, die Bildqualitätsverschlechterung, wie zum Beispiel das Ringing bzw. das Überschwingen, in den Wiederherstellungsbilddaten, effektiv zu unterdrücken.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm zur Darstellung einer Digitalkamera, die mit einem Computer verbunden wird.
  • 2 ist ein Blockdiagramm zur Darstellung eines funktionellen Konfigurationsbeispiels einer Kamerakörpersteuerung.
  • 3 ist ein Diagramm zur Darstellung eines Prozesses von einer Bildaufnahme bis zu einem Punktbild-Wiederherstellungsprozess.
  • 4 ist ein Blockdiagramm zur Darstellung eines Beispiels des Punktbild-Wiederherstellungsprozesses.
  • 5 ist ein Diagramm zur Darstellung eines Beispiels der Kontraständerung an einem Kantenabschnitt eines Objektbildes, wenn ein idealer Punktbild-Wiederherstellungsprozess (keine Pixelwertsättigung und kein Abschneiden) durchgeführt wird, wobei (a) einen primären Kontrast des Objektbildes zeigt, (b) einen Kontrast in ursprünglichen Bilddaten vor dem Punktbild-Wiederherstellungsprozess zeigt, und (c) einen Kontrast in den Wiederherstellungsbilddaten nach dem Punktbild-Wiederherstellungsprozess zeigt.
  • 6 ist ein Diagramm zur Darstellung eines Beispiels ursprünglicher Bilddaten, Wiederherstellungsbilddaten und Bilddaten nach einem Gammakorrekturprozess, wenn eine ”tatsächliche Bildverschlechterungseigenschaft (Bildverzerrungseigenschaft)” und eine ”Punktspreizfunktion (eine PSF oder dergleichen), die eine Basis für einen zu verwendenden Wiederherstellungsfilter ist” nicht vollständig übereinstimmen.
  • 7A ist ein Blockdiagramm als Beispiel eines Ablaufs verschiedener Bildprozesse in einem Bildverarbeitungsabschnitt (Kamerakörpersteuerung).
  • 7B ist ein anderes Blockdiagramm als Beispiel eines Ablaufs verschiedener Bildprozesse in dem Bildverarbeitungsabschnitt (Kamerakörpersteuerung).
  • 7C ist ein anderes Blockdiagramm als Beispiel eines Ablaufs verschiedener Bildprozesse in dem Bildverarbeitungsabschnitt (Kamerakörpersteuerung).
  • 7D ist ein anderes Blockdiagramm als Beispiel eines Ablaufs verschiedener Bildprozesse in dem Bildverarbeitungsabschnitt (Kamerakörpersteuerung).
  • 8 ist ein Diagramm zur Darstellung einer Korrelation zwischen einem ”Gradationskorrekturprozess (Gammakorrekturprozess)” und ”Farbdaten/Helligkeitsdaten” in dem Punktbild-Wiederherstellungsprozess.
  • 9 ist ein Diagramm zur Darstellung eines Beispiels der Beziehung zwischen Daten vor der Verarbeitung und Daten nach der Verarbeitung durch den Gammaprozess (logarithmischer Prozess).
  • 10A ist ein Diagramm zur Darstellung eines Beispiels der Beziehung zwischen einem Eingangswert (Ein) und einem Ausgangswert (Aus) in der Gradationskorrektur (Gammakorrekturprozess) und zur Darstellung einer Gammaprozess-Gradationskurve, die verwendet wird, wenn ein Landschaftsbildaufnahmemodus ausgewählt ist.
  • 10B ist ein Diagramm zur Darstellung eines Beispiels der Beziehung zwischen dem Eingangswert (Ein) und dem Ausgangswert (Aus) in der Gradationskorrektur (Gammakorrekturprozess), und zur Darstellung einer Gammaprozess-Gradationskurve, die verwendet wird, wenn ein Personenbildaufnahmemodus ausgewählt ist.
  • 11 ist ein funktionales Blockdiagramm zur Darstellung eines Beispiels eines Punktbild-Wiederherstellungsverarbeitungsabschnitts gemäß einer ersten Ausführungsform.
  • 12 ist ein funktionales Blockdiagramm zur Darstellung eines Modifikationsbeispiels des Punktbild-Wiederherstellungsverarbeitungsabschnitts gemäß der ersten Ausführungsform.
  • 13 ist ein funktionales Blockdiagramm zur Darstellung eines Beispiels eines Punktbild-Wiederherstellungsverarbeitungsabschnitts gemäß einer zweiten Ausführungsform.
  • 14 ist ein funktionales Blockdiagramm zur Darstellung eines Modifikationsbeispiels des Punktbild-Wiederherstellungsverarbeitungsabschnitts gemäß der zweiten Ausführungsform.
  • 15 ist ein funktionales Blockdiagramm zur Darstellung eines Bildanalyseabschnitts.
  • 16A ist ein Diagramm als Beispiel einer ”räumlichen Frequenz-Amplituden”-Beziehung eines Wiederherstellungsfilters, und zur Darstellung eines Beispiels der Eigenschaft eines Filters (Filter A), der in einem herkömmlichen Punktbild-Wiederherstellungsprozess verwendet wird.
  • 16B ist ein Diagramm als Darstellung einer ”räumlichen Frequenz-Amplituden”-Beziehung eines Wiederherstellungsfilters, und zur Darstellung eines Beispiels der Eigenschaft eines Ringing-Gegenmaßnahmen-Wiederherstellungsfilters (Filter B).
  • 17 ist ein Blockdiagramm zur Darstellung eines Beispiels eines Prozessablaufs von dem Gammakorrekturprozess zu dem Punktbild-Wiederherstellungsprozess im Fall der Berechnung und Erfassung eines repräsentativen Werts durch Analysieren der ursprünglichen Bilddaten.
  • 18 ist ein Blockdiagramm zur Darstellung eines anderen Beispiels des Prozessablaufs von dem Gammakorrekturprozess zu dem Punktbild-Wiederherstellungsprozess im Fall der Berechnung und Erfassung eines repräsentativen Werts durch Analysieren der ursprünglichen Bilddaten.
  • 19 ist ein Diagramm zur Darstellung eines beispielhaften Objektbildes (aufgenommenes Bild) zur Erläuterung eines Beispiels, bei dem der Punktbild-Wiederherstellungsprozess in Einheiten von Pixeldaten gesteuert wird.
  • 20A ist ein Diagramm zur Darstellung eines beispielhaften Objektbildes (aufgenommenes Bild) zur Erläuterung eines Beispiels, bei dem der Punktbild-Wiederherstellungsprozess in Einheiten eines Unterteilungsbereiches gesteuert wird.
  • 20B ist ein anderes Diagramm zur Darstellung eines beispielhaften Objektbildes (aufgenommenes Bild) zur Erläuterung eines Beispiels, bei dem der Punktbild-Wiederherstellungsprozess in Einheiten eines Unterteilungsbereiches gesteuert wird.
  • 21 ist ein Blockdiagramm zur Darstellung einer Form eines Bildaufnahmemoduls mit einem optischen EDoF-System.
  • 22 ist ein Diagramm zur Darstellung eines Beispiels des optischen EDoF-Systems.
  • 23 ist ein Diagramm zur Darstellung eines Beispiels eines Wiederherstellungsprozessablaufs durch den in 21 gezeigten Wiederherstellungsprozessblock.
  • 24 ist ein Diagramm zur Darstellung eines Wiederherstellungsbeispiels für ein Bild, das durch das optische EDoF-System erfasst wird, bei dem (a) ein unscharfes Bild vor dem Wiederherstellungsprozess zeigt, und (b) ein Bild ohne Unschärfe (Punktbild) nach dem Wiederherstellungsprozess zeigt.
  • 25 ist eine externe Ansicht eines Smart Phones.
  • 26 ist ein Blockdiagramm zur Darstellung der Konfiguration des in 25 gezeigten Smart Phones.
  • Beschreibung der Ausführungsformen
  • Ausführungsformen der vorliegenden Erfindung werden mit Bezug auf die begleitenden Zeichnungen erläutert. In der folgenden Beschreibung wird ein Beispiel, bei dem die vorliegende Erfindung für eine digitale Kamera (Bildaufnahmevorrichtung) angewendet wird, die mit einem Computer (PC: Personalcomputer) verbunden werden kann, als ein Beispiel erläutert.
  • 1 ist ein Blockdiagramm zur Darstellung einer Ansicht einer Digitalkamera, die mit einem Computer verbunden wird.
  • Eine Digitale Kamera 10 enthält einen Kamerakörper 14, der mit einer austauschbaren Linseneinheit 12 und einem Bildaufnahmeelement 26 bereitgestellt ist, und die Linseneinheit 12 und der Kamerakörper 14 sind über einen Linseneinheit-Eingangs/Ausgangs-Abschnitt 22 der Linseneinheit 12 und einen Kamerakörper-Eingangs/Ausgangs-Abschnitt 30 des Kamerakörpers 14 elektrisch verbunden.
  • Die Linseneinheit 12 ist mit einem optischen System bereitgestellt, wie zum Beispiel einer Linse 16 und einem Diaphragma bzw. einer Blende 17, sowie einem Betriebsabschnitt des optischen Systems 18 zum Steuern des optischen Systems. Der Betriebsabschnitt des optischen Systems 18 enthält eine Linseneinheitsteuerung 20, die mit dem Linseneinheit-Eingangs/Ausgangs-Abschnitt 22 verbunden wird, sowie einen Aktuator (nicht gezeigt), um das optische System zu betreiben. Die Linseneinheitsteuerung 20 steuert das optische System durch den Aktuator, auf Grundlage eines Steuersignals, das von dem Kamerakörper 14 durch den Linseneinheit-Eingangs/Ausgangs-Abschnitt 22 gesendet wird, und führt zum Beispiel die Fokussteuerung und Zoomsteuerung durch die Linsenbewegung, die Diaphragmagrößensteuerung des Diaphragmas 17 und dergleichen durch.
  • Das Bildaufnahmeelement 26 des Kamerakörpers 14 enthält Kondensormikrolinsen, RGB-Farbfilter oder dergleichen und einen Bildsensor (Photodiode: einen CMOS (engl. Complementary Metal Oxide Semiconductor), eine CCD (engl. Charge Coupled Device) oder dergleichen), wandelt das Licht eines Objektbildes, das durch das optische System (die Linse 16, das Diaphragma 17 und dergleichen) der Linseneinheit 12 emittiert wird, in ein elektrisches Signal, und sendet das Bildsignal (ursprüngliche Bilddaten) an eine Kamerakörpersteuerung 28.
  • Das Bildaufnahmeelement 26 in dem Beispiel gibt daher die ursprünglichen Bilddaten durch die Bildaufnahme des Objektbildes unter Verwendung des optischen Systems aus, und die ursprünglichen Bilddaten werden an eine Bildverarbeitungsvorrichtung der Kamerakörpersteuerung 28 gesendet.
  • Die Kamerakörpersteuerung 28 steuert integral den Kamerakörper 14, und enthält einen Vorrichtungssteuerabschnitt 34 und einen Bildverarbeitungsabschnitt (Bildverarbeitungsvorrichtung) 35, wie in 2 gezeigt. Der Vorrichtungssteuerabschnitt 34 steuert zum Beispiel die Ausgabe des Bildsignals (Bilddaten) von dem Bildaufnahmeelement 26, erzeugt ein Steuersignal zum Steuern der Linseneinheit 12, um dieses an die Linseneinheit 12 (die Linseneinheitsteuerung 20) über den Kamerakörper-Eingangs/Ausgangs-Abschnitt 30 zu senden, und sendet Bilddaten (RAW-Daten, JPEG-Daten und dergleichen) vor und nach einem Bildprozess an eine externe Vorrichtung (einen Computer 60 und dergleichen), die über eine Eingangs/Ausgangs-Schnittstelle 32 verbunden wird. Der Vorrichtungssteuerabschnitt 34 steuert ferner geeignete Vorrichtungen, die in der Digitalkamera 10 bereitgestellt sind, wie zum Beispiel einen Anzeigeabschnitt (EVF: engl. Electronic View Finder, Rückoberflächen-Flüssigkristall-Anzeigeabschnitt), der in der Figur nicht gezeigt ist.
  • Der Bildverarbeitungsabschnitt 35 kann unterdessen einen beliebigen Prozess bei Bedarf durchführen, für das Bildsignal von dem Bildaufnahmeelement 26. Der Bildverarbeitungsabschnitt 35 führt zum Beispiel geeignet verschiedene Bildprozesse durch, wie zum Beispiel einen Sensorkorrekturprozess, einen Demosaik-(Synchronisations-)-Prozess, einen Pixelinterpolationsprozess, einen Farbkorrekturprozess (einen Offset-Korrekturprozess, einen Weißabgleichprozess, einen Farbmatrixprozess, einen Gammawandelungsprozess und dergleichen), einen RGB-Bildprozess (einen Schärfungsprozess, einen Farbtonkorrekturprozess, einen Belichtungskorrekturprozess, einen Konturkorrekturprozess und dergleichen), einen RGB/YCrCb-Wandlungsprozess und einen Bildkompressionsprozess. Der Bildverarbeitungsabschnitt 35 in dem Beispiel enthält darüber hinaus einen Punktbild-Wiederherstellungsverarbeitungsabschnitt (Wiederherstellungsverarbeitungsabschnitt) 36, um sogenannten Punktbild-Wiederherstellungsprozess (engl. Point-Image Restoration Process) für das Bildsignal (ursprüngliche Bilddaten) durchzuführen. Die Details des Punktbild-Wiederherstellungsprozesses werden später erläutert.
  • Wie in 1 gezeigt, werden die Bilddaten nach dem Bildprozess durch die Kamerakörpersteuerung 28 an den Computer 60 gesendet, der mit der Eingangs/Ausgangs-Schnittstelle 32 oder dergleichen verbunden ist. Das Format der Bilddaten, das von der Digitalkamera 10 (der Kamerakörpersteuerung 28) an den Computer 60 oder dergleichen gesendet werden, kann, ohne besondere Beschränkung, ein beliebiges Format sein, wie zum Beispiel RAW, JPEG und TIFF. Die Kamerakörpersteuerung 28 kann daher eine einzelne Bilddatei bilden, als das sogenannte Exif (engl. exchangable image file Format), in dem das gegenseitige Abbilden mehrfacher Gruppen assoziierter Daten durchgeführt wird, wie zum Beispiel der Header-Information (die Bildaufnahmeinformation (das Bildaufnahmedatum und Zeit, das Modell, die Pixelanzahl, der Diaphragma- bzw. Blendenwert und dergleichen) und dergleichen) Hauptbilddaten und Thumbnail-Bilddaten, und kann die Bilddatei an den Computer 60 senden.
  • Der Computer 60 ist über die Eingangs/Ausgangs-Schnittstelle 32 des Kamerakörpers 14 und einem Computer-Eingangs/Ausgangs-Abschnitt 62 mit der Digitalkamera 10 verbunden und empfängt Daten, wie zum Beispiel die Bilddaten, die von dem Kamerakörper 14 gesendet werden. Eine Computersteuerung 64, die den Computer 60 integral steuert, führt einen Bildprozess der Bilddaten an der Digitalkamera 10 durch, und führt die Kommunikationssteuerung mit einem Server 80 und dergleichen durch, der über eine Netzwerkleitung, wie zum Beispiel dem Internet 70, mit dem Computer-Eingangs/Ausgangs-Anschnitt 62 verbunden wird. Der Computer 60 enthält eine Anzeige 66, und ein Verarbeitungsinhalt in der Computersteuerung 64 und dergleichen wird bei Bedarf in der Anzeige 66 angezeigt. Durch Bedienen eines Eingangsmittels (nicht gezeigt), wie zum Beispiel einer Tastatur, während der Überprüfung der Anzeige 66, kann ein Nutzer Daten eingeben und die Computersteuerung 64 anweisen, kann den Computer steuern, und kann Vorrichtungen (die Digitalkamera 10 und den Server 80) steuern, die mit dem Computer 60 verbunden sind.
  • Der Server 80 enthält einen Server-Eingangs/Ausgangs-Abschnitt 82 und eine Serversteuerung 84. Der Server-Eingangs/Ausgangs-Abschnitt 82 bildet einen Sende/Empfangs-Verbindungsabschnitt mit externen Vorrichtungen, wie zum Beispiel den Computer 60, und ist mit dem Computer-Eingangs/Ausgangs-Abschnitt 62 des Computers 60 über die Netzwerkleitung, wie zum Beispiel dem Internet 70, verbunden. Die Serversteuerung 84, die mit der Computersteuerung 64 kooperiert, ansprechend auf ein Steueranweisungssignal von dem Computer 60, führt das Senden und Empfangen von Daten mit der Computersteuerung 64 bei Bedarf durch, lädt Daten an den Computer 60 herunter, und führt einen Berechnungsprozess durch, um das Berechnungsresultat an den Computer 60 zu senden.
  • Jede Steuerung (die Linseneinheitsteuerung 22, die Kamerakörpersteuerung 28, die Computersteuerung 64, und die Serversteuerung 84) enthält hier Schaltungen, die für den Steuerprozess erforderlich sind, und ist zum Beispiel mit einer Berechnungsverarbeitungsschaltung (einer CPU oder dergleichen), einem Speicher und dergleichen bereitgestellt. Die Kommunikation zwischen der Digitalkamera 10, dem Computer 60 und dem Server 80 kann darüberhinaus drahtgebunden sein, oder kann drahtlos sein. Der Computer 60 und der Server 80 können darüberhinaus in einer integrierten Art und Weise konfiguriert sein, oder der Computer 60 und/oder der Server 80 können weggelassen werden. Die Digitalkamera 10 kann darüberhinaus eine Kommunikationsfunktion mit dem Server 80 aufweisen, und das Senden und Empfangen von Daten kann direkt zwischen der Digitalkamera 10 und dem Server 80 durchgeführt werden.
  • Ein Programm gemäß einer Ausführungsform der vorliegenden Erfindung kann hier verwendet werden, indem dieses in einem nicht-flüchtigen Aufzeichnungsmedium aufgezeichnet wird, wie zum Beispiel verschiedener magneto-optischer Aufzeichnungsmedien und Halbleiteraufzeichnungsmedien, die in dem Bildverarbeitungsabschnitt 35, dem Computer 60 oder einem Speicherabschnitt 250 eines Smart Phones 201, das später beschrieben wird, enthalten sind.
  • Im Folgenden wird ein Punktbild-Wiederherstellungsprozess (engl. Point-Image Restoration Prozess) der Bildaufnahmedaten (Bilddaten) des Objektbildes, das über das Bildaufnahmeelement 26 erhalten wird, erläutert.
  • In dem Beispiel wird ein Beispiel erläutert, bei dem der Punktbild-Wiederherstellungsprozess in dem Kamerakörper 14, der Kamerakörpersteuerung 28) durchgeführt wird. Der gesamte oder ein Teil des Punktbild-Wiederherstellungsprozesses kann jedoch in einer anderen Steuerung auf der (Linseneinheitsteuerung 20, der Computersteuerung 64 und der Serversteuerung 84 oder dergleichen) durchgeführt werden.
  • Der Punktbild-Wiederherstellungsprozess ist ein Prozess zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters durchgeführt wird, der auf einer Punktspreizfunktion (engl. Point Spread Function) für das optische System basiert, für die ursprünglichen Bilddaten, die von dem Bildaufnahmeelement 26 durch die Bildaufnahme unter Verwendung des optischen Systems (die Linse 16, das Diaphragma 17 und dergleichen) erfasst werden.
  • 3 ist ein Diagramm zur Darstellung eines Ablaufs von der Bildaufnahme zu dem Punktbild-Wiederherstellungsprozess. Wenn ein Punktbild (engl. Point-Image) als ein Objekt aufgenommen wird, wird ein Objektbild durch das Bildaufnahmeelement 26 (Bildsensor) über das optische System (die Linse 16, das Diaphragma 17 und dergleichen) durch Licht empfangen, und ursprüngliche Bilddaten Do werden von dem Bildaufnahmeelement 26 ausgegeben. Die ursprünglichen Bilddaten Do sind Bilddaten in einem Zustand, in dem das primäre Objektbild durch das Punktspreizphänomen, das aus der Eigenschaft des optischen Systems resultiert, unscharf ist.
  • Zur Wiederherstellung des primären Objektbildes (Punktbildes) aus den ursprünglichen Bilddaten Do des unscharfen Bildes wird ein Punktbild-Wiederherstellungsprozess P10 unter Verwendung eines Wiederherstellungsfilters F für die ursprünglichen Bilddaten Do durchgeführt, und es werden Wiederherstellungsbilddaten Dr erhalten, die ein Bild (Wiederherstellungsbild) anzeigen, das näher an dem primären Objektbild (Punktbild) ist.
  • Der Wiederherstellungsfilter F, der in dem Punktbild-Wiederherstellungsprozess P10 verwendet wird, wird aus der Punktbildinformation (Punktspreizfunktion) für das optische System erhalten, entsprechend Bildaufnahmebedingungen zum Zeitpunkt der Aufnahme bzw. Erfassen der ursprünglichen Bilddaten Do, durch einen Wiederherstellungsfilter-Berechnungsalgorithmus P20. Die Punktbildinformation (Punktspreizfunktion) für das optische System kann nicht nur in Abhängigkeit von dem Typ der Linse 16 variieren, sondern auch aufgrund verschiedener Bildaufnahmebedingungen, wie zum Beispiel der Diaphragmagröße, des Fokusabstands, der Zoomgröße, der Bildhöhe, der Aufzeichnungspixelanzahl und dem Pixelabstand. Für die Berechnung des Wiederherstellungsfilters F werden daher diese Bildaufnahmebedingungen erfasst.
  • 4 ist ein Blockdiagramm zur Darstellung einer Ansicht eines Beispiels des Punktbild-Wiederherstellungsprozesses.
  • Der Punktbild-Wiederherstellungsprozess P10 ist, wie oben beschrieben, ein Prozess zum Erzeugen der Wiederherstellungsbilddaten Dr aus den ursprünglichen Bilddaten Do durch einen Filterprozess unter Verwendung des Wiederherstellungsfilters F, und der Wiederherstellungsfilter F im realen Raum, der zum Beispiel durch N × M Taps (N und M sind ganze Zahlen von zwei oder mehr, konfiguriert ist, wird für die Prozessziel-Bilddaten angewendet. Die gewichtete Durchschnittsberechnung (Entfaltungsberechnung) von Filterkoeffizienten, die den jeweiligen Taps zugewiesen sind, und der entsprechenden Pixeldaten (Prozessziel-Pixeldaten und benachbarte Pixeldaten der ursprünglichen Bilddaten Do= wird dadurch durchgeführt, und es ist somit möglich, die Pixeldaten nach dem Punktbild-Wiederherstellungsprozess (die Wiederherstellungsbilddaten Dr) zu berechnen. Der gewichtete Durchschnittsprozess unter Verwendung des Wiederherstellungsfilters F wird für alle Pixeldaten angewendet, die die Bilddaten ausbilden, während das Zielpixel in einer Reihenfolge geändert wird, und es ist somit möglich, den Punktbild-Wiederherstellungsprozess durchzuführen.
  • Es ist hier möglich, den Wiederherstellungsfilter im realen Raum abzuleiten, der durch die N × M Taps konfiguriert ist, in dem die inverse Fourier-Transformation eines Wiederherstellungsfilters in einem Frequenzraum durchgeführt wird. Es ist daher möglich, den Wiederherstellungsfilter im realen Raum genau zu berechnen, indem der Wiederherstellungsfilter im Frequenzraum spezifiziert wird, wobei es sich um eine Basis handelt, und durch eine Bestimmung der Anzahl von Taps, die den Wiederherstellungsfilter im realen Raum konfigurieren.
  • Im Folgenden wird ein nachteiliger Effekt für die Bildqualität beschrieben, der durch den Punktbild-Wiederherstellungsprozess auftreten kann.
  • 5, wobei es sich um ein Diagramm zur Darstellung eines Beispiels der Bildqualitätsänderung an einem Kantenabschnitt (einen Bildgrenzabschnitt) von dem Objektbild handelt, zeigt einen Fall, bei dem ein idealer Punktbild-Wiederherstellungsprozess (keine Pixelwertsättigung und kein Abschneiden) durchgeführt wird. In 5 zeigt (a) einen primären Kontrast des Objektbildes, zeigt (b) einen Kontrast in den ursprünglichen Bilddaten Do vor dem Punktbild-Wiederherstellungsprozess, und zeigt (c) einen Kontrast in den Wiederherstellungsbilddaten Dr nach dem Punktbild-Wiederherstellungsprozess. Die horizontale Richtung (X-Richtung) in 5 zeigt hier die Position (eindimensionale Position) in dem Objektbild, und die vertikale Richtung (Y-Richtung) zeigt die Stärke des Kontrastes.
  • An dem ”Kantenabschnitt mit einer Kontrastdifferenz” (siehe (a) von 5) in dem Objektbild, tritt, wie oben beschrieben, eine Bildunschärfe in dem aufgenommenen Bild (den ursprünglichen Bilddaten Do) auf, durch das Punktspreizphänomen des optischen Systems zum Zeitpunkt der Bildaufnahme (siehe (b) von 5), und es werden Wiederherstellungsbilddaten Dr durch den Punktbild-Wiederherstellungsprozess (siehe (c) von 5) erhalten.
  • Wenn in dem Punktbild-Wiederherstellungsprozess die ”tatsächliche Bildverschlechterungseigenschaft (Bildunschärfeeigenschaft)” und die ”Punktspreizfunktion (die PSF oder dergleichen), wobei es sich um eine Basis für den zu verwendenden Wiederherstellungsfilter handelt” übereinstimmen, wird das Bild richtig wiederhergestellt, und die Wiederherstellungsbilddaten Dr, in denen der Kantenabschnitt und dergleichen richtig wiederhergestellt wurden, kann erhalten werden (siehe 5).
  • In dem tatsächlichen Punktbild-Wiederherstellungsprozess stimmen jedoch die ”tatsächliche Bildverschlechterungseigenschaft (Bildunschärfeeigenschaft)” und die Punktspreizfunktion, die eine Basis für den zu verwendenden Wiederherstellungsfilter ist” in einigen Fällen nicht vollständig überein.
  • 6 ist ein Diagramm zur Darstellung eines Beispiels der ursprünglichen Bilddaten, der Wiederherstellungsbilddaten und der Bilddaten nach dem Gammakorrekturprozess, wenn die ”tatsächliche Bildverschlechterungseigenschaft (Bildunschärfeeigenschaft)” und die ”Punktspreizfunktion, die die Basis für den zu verwendenden Wiederherstellungsfilter ist” nicht vollständig übereinstimmen. In 6 zeigt die horizontale Richtung (X-Richtung) die Position (eindimensionale Position) in dem Bild, und die vertikale Richtung (Y-Richtung) zeigt den Pixelwert. Wenn die ”tatsächliche Bildverschlechterungseigenschaft (Bildunschärfeeigenschaft)” und die ”Punktspreizfunktion, die die Basis für den zu verwendenden Wiederherstellungsfilter ist” nicht vollständig übereinstimmen, tritt manchmal ein Überschwingen (Unterschwingen) an einem Kantenabschnitt auf, an dem die Kontrastdifferenz relativ groß ist (siehe (a) und (b) von 6). Selbst in dem Fall, wenn eine Bildqualitätsverschlechterung durch eine derartige Überschwingung (Unterschwingung) oder dergleichen auftritt, ermöglicht ein Punktbild-Wiederherstellungsprozess mit einer exzellenten Bildreproduzierbarkeit und Bildrobustheit (Bild-Nichtstörungseigenschaft) die Erfassung der Wiederherstellungsbilddaten Dr, in denen die Bildqualität auf ein Niveau wiederhergestellt wurde, auf dem eine derartige Bildqualitätsverschlechterung nicht sichtbar (unauffällig) ist.
  • Selbst dann, wenn die Wiederherstellungsbilddaten nach der Wiederherstellung auf das Niveau, auf dem die Bildqualitätsverschlechterung unauffällig ist, durch den Punktbild-Wiederherstellungsprozess erhalten werden, ist die Bildqualitätsverschlechterung in den Wiederherstellungsbilddaten jedoch manchmal verstärkt auffällig, durch einen anderen Prozess (einen Gammakorrekturprozess (Gradationskorrekturprozess) oder dergleichen) nach dem Punktbild-Wiederherstellungsprozess.
  • Selbst dann, wenn zum Beispiel, wie in 6 gezeigt, das Überschwingen (Unterschwingen), das selbst durch den Punktbild-Wiederherstellungsprozess auftritt, gering ist und der Einfluss insbesondere visuell nicht auffällig ist, ist das Überschwingen (Unterschwingen) manchmal mehr als notwendig hervorgehoben (siehe ”E1” und ”E2” in (c) von 6, wenn der Gradationskorrekturprozess (Gammakorrekturprozess) nachfolgend durchgeführt wird. Insbesondere konfiguriert ein schattenseitiger Überschwing-(Unterschwing)-Abschnitt, für den eine große Verstärkung (Verstärkungsfaktor) durch den anschließenden Gammakorrekturprozess angewendet wird, einen Bereich bzw. Abschnitt, in dem der Pixelwert stark in dem Bildkantenabschnitt (siehe ”E2” in (c) von 6) nach Schwarz verschoben ist. Dieses Phänomen ist hier nicht einzigartig für den Punktbild-Wiederherstellungsprozess, und gleich auch für den Fall, bei dem der Kontourkorrekturprozess für Bilddaten in einem antilogarithmischen Raum durchgeführt wird, und als Ergebnis tritt ein Überschwingen in einem Kantenbereich auf.
  • Wenn daher der Punktbild-Wiederherstellungsprozess tatsächlich als ein Teil des Bildverarbeitungsablaufes ausgebildet ist, wird bevorzugt, einen vollständigen Bildverarbeitungsablauf unter Berücksichtigung nicht nur des Punktbild-Wiederherstellungsprozesses selbst auszubilden, sonder auch in Assoziation mit Prozessen vor und nach dem Punktbild-Wiederherstellungsprozess.
  • 7A bis 7D sind Blockdiagramme als Beispiel verschiedener Bildverarbeitungsabläufe in dem Bildverarbeitungsabschnitt 35 (die Kamerakörpersteuerung 28). 7A zeigt ein Beispiel, bei dem der Punktbild-Wiederherstellungsprozess für Helligkeitsdaten (Y) nach dem Gammakorrekturprozess (dem Gradationskorrekturprozess) durchgeführt wird, und 7B zeigt ein Beispiel, bei dem der Punktbild-Wiederherstellungsprozess für RGB-Farbdaten nach dem Gammakorrekturprozess durchgeführt wird. Ferner zeigt 7C ein Beispiel, bei dem der Punktbild-Wiederherstellungsprozess für die RGB-Farbdaten vor dem Gammakorrekturprozess durchgeführt wird, und 7D zeigt ein Beispiel, bei dem der Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten (Y) vor dem Gammakorrekturprozess durchgeführt wird.
  • Wenn in dem Beispiel der 7A Mosaikdaten (RAW-Bilddaten; ursprüngliche Bilddaten) eingegeben werden, führt der Bildverarbeitungsabschnitt 35 sequentiell einen ”Offset-Korrekturprozess 41 zum Anpassen der Helligkeit des Bildes”, einen ”WB-Korrekturprozess 42 zum Anpassen des Weißabgleichs (engl. White Balance bzw. WB) des Bildes”, einen ”Demosaikprozess 43 zum Erfassen von Farbdaten von jeder Farbe von RGB für alle Pixel durch den Pixelinterpolationsprozess”, einen ”Gammakorrekturprozess (Gradationskorrekturschritt, Gradationskorrekturabschnitt) 44 zum Anpassen der Gradation von Pixeldaten durch ein Durchführen der Gradationskorrektur durch den logarithmischen Prozess”, einen ”Helligkeits- und Farbdifferenz-Wandlungsprozess 45 zum Berechnen von Helligkeitsdaten (Y) und Farbdifferenzdaten (Cb/Cr) aus den RGB-Farbdaten” und einen ”Bildpunkt-Wiederherstellungsprozess (Wiederherstellungsverarbeitungsschritt) 46 zum Durchführen eines Punktbild-Wiederherstellungsprozesses unter Verwendung eines Wiederherstellungsfilters, der auf der Punktspreizfunktion für das optische System basiert, das in der Bildaufnahme verwendet wird, für die Bilddaten (Helligkeitsdaten)” durch. Die Farbdaten entsprechend den Farbtypen der Farbfilter, die in dem Bildaufnahmeelement 26 enthalten sind, das die Bildaufnahme und Erfassung der Mosaikdaten (ursprüngliche Bilddaten) durchführt, und die Helligkeitsdaten und die Farbdifferenzdaten können aus den Farbdaten durch eine bekannte Berechnungsformel berechnet werden.
  • In dem Beispiel der 7B wird darüberhinaus die Verarbeitungsreihenfolge des Helligkeits- und Farbdifferenz-Wandlungsprozesses 45 und des Punktbild-Wiederherstellungsprozesses 46 relativ zu dem Bildverarbeitungsbeispiel von 7A ausgetauscht. Obwohl der Punktbild-Wiederherstellungsprozess 46 daher für die Helligkeitsdaten der ursprünglichen Bilddaten nach dem Gammakorrekturprozess (Gradationskorrekturschritt) 44 in dem Beispiel der 7A durchgeführt wird, wird der Punktbild-Wiederherstellungsprozess 46 für die RGB-Farbdaten der ursprünglichen Bilddaten nach dem Gammakorrekturprozess (Gradationskorrekturschritt) 44 in dem Punktbild-Wiederherstellungsverarbeitungsabschnitt 36 durchgeführt, und danach werden die Helligkeitsdaten und Farbdifferenzdaten in dem Beispiel der 7B berechnet.
  • In dem Beispiel der 7C wird ferner die Verarbeitungsreihenfolge des Gammakorrekturprozesses 44 und des Punktbild-Wiederherstellungsprozesses 46 relativ zu dem Bildverarbeitungsbeispiel von 7B ausgetauscht. Obwohl daher der Punktbild-Wiederherstellungsprozess 46 nach dem Gammakorrekturprozess 44 in dem Beispiel der 7B durchgeführt wird, wird der Punktbild-Wiederherstellungsprozess 46 vor dem Gammakorrekturprozess 44 in dem Beispiel von 7C durchgeführt.
  • In dem Beispiel von 7D sind darüberhinaus der Offsetkorrekturprozess 41, der WB-Korrekturprozess 42 und der Demosaikprozess 43 gleich zu den Beispielen der 7A bis 7C. Ein Helligkeits- und Farbdifferenz-Wandlungsprozess 45a wird jedoch nach dem Demosaikprozess 43 durchgeführt, und ein Farbsignal-Wandlungsprozess 47 zum Berechnen der RGB-Farbdaten aus den Helligkeitsdaten und den Farbdifferenzdaten wird durchgeführt, nachdem der Punktbild-Wiederherstellungsprozess 46 für die Helligkeitsdaten durchgeführt wird. Der Gammakorrekturprozess 44 und ein Helligkeits- und Farbdifferenz-Wandlungsprozess 45b werden dann sequentiell für die RGB-Farbdaten durchgeführt, und dadurch werden die Helligkeitsdaten und die Farbdifferenzdaten erfasst.
  • Jede der 7A bis 7D zeigt hier nur ein Beispiel des Verarbeitungsablaufs. Ein anderer Prozess kann in einer beliebigen Stufe bei Bedarf durchgeführt werden, ein Teil der in den 7A bis 7D gezeigten Prozesse kann weggelassen werden.
  • Eine Reihe Bildverarbeitungsabläufen weist daher viele Variationen auf. Es wurde herkömmlich nicht diskutiert, welcher Unterschied in dem Effekt des Punktbild-Wiederherstellungsprozesses unter verschiedenen Bildverarbeitungsabläufen auftritt, zum Beispiel aus dem Standpunkt ”was aus hoher und nach der Gradationskorrektur (Gammakorrekturprozess) als Reihenfolge des Punktbild-Wiederherstellungsprozesses bevorzugt ist; ”ob der Punktbild-Wiederherstellungsprozess für die Farbdaten in RGB und dergleichen bevorzugt ist oder der Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten (Y) bevorzugt ist”, und dergleichen.
  • Der Erfinder hat die Aufmerksamkeit auf die Differenz in dem Punktbild-Wiederherstellungsprozesseffekt unter verschiedenen Bildverarbeitungsabläufen gerichtet und die Studien sorgfältig durchgeführt, und als Ergebnis eine neue Erkenntnis bezüglich der Korrelation zwischen dem ”Gradationskorrekturprozess (Gammakorrekturprozess) und dem Punktbild-Wiederherstellungsprozess” erlangt.
  • 8 ist ein Diagramm zur Darstellung einer Korrelation zwischen dem ”Gradationskorrekturprozess (Gammakorrekturprozess)” und den ”Farbdaten-Helligkeitsdaten” in dem Punktbild-Wiederherstellungsprozess.
  • In 8 zeigt die Spalte, die als ”Antilogarithmus (vor Gradationskorrektur)” gezeigt ist, die Bildeigenschaft an, wenn der Punktbild-Wiederherstellungsprozess für die Bilddaten (Antilogarithmus-Bilddaten) vor dem Gradationskorrekturprozess (Gammakorrekturprozess) durchgeführt wurde (siehe 7C und 7D), und die Spalte, die als ”Logarithmus (nach Gradationskorrektur)” gezeigt ist, zeigt die Bildeigenschaft an, wenn der Punktbild-Wiederherstellungsprozess für die Bilddaten (Logarithmus-Bilddaten) nach dem Gradationskorrekturprozess (Gammakorrekturprozess) durchgeführt wurde (siehe 7A und 7B). In 8 zeigt ferner die Spalte, die als ”Farbdaten (RGB)” gezeigt ist, die Bildeigenschaft an, wenn der Punktbild-Wiederherstellungsprozess für die Farbdaten (RGB-Daten) durchgeführt wurde (siehe 7B und 7C), und die Spalte, die als ”Helligkeitsdaten (Y)” gezeigt ist, zeigt die Bildeigenschaft an, wenn der Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten durchgeführt wurde (siehe 7A und 7D).
  • Ein Vergleich der Antilogarithmus-Bilddaten und der Logarithmus-Bilddaten in einem idealen System zeigt, dass die Punktbild-Wiederherstellung der Antilogarithmus-Bilddaten (der Bilddaten vor der Gradationskorrektur) in der Bildwiederherstellbarkeit exzellenter ist als das Punktbild der Logarithmus-Bilddaten (der Bilddaten nach der Gradationskorrektur) (siehe ”Wiederherstellbarkeit im idealen System” in 8).
  • Das hier beschriebene ideale System bedeutet ein ideales System, das Bedingungen zum Durchführen des geeigneten Punktbild-Wiederherstellungsprozesses ausreichend erfüllt, wie zum Beispiel ”die Anzahl von Filter-Tabs des Wiederherstellungsfilters, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, ist ausreichend groß”, ”die Anzahl von arithmetischen Bits ist ausreichend groß”, die tatsächliche Unschärfeeigenschaft des optischen Systems und die Unschärfeeigenschaftsdaten des optischen Systems, die in dem Bildverarbeitungsabschnitt 35 erhalten werden, stimmen überein”, und ”die Eingangsbilddaten (ursprünglichen Bilddaten) enthalten keine gesättigten Pixeldaten, in denen der Pixelwert gesättigt ist”.
  • Andererseits bestätigt der Erfinder durch mehrfache Experimente, dass in einem tatsächlichen Verarbeitungssystem, das von dem idealen System abweicht, die Punktbild-Wiederherstellung der logarithmischen Bilddaten (der Bilddaten nach der Gradationskorrektur) geringer im Erscheinungsgrad eines Seiteneffekts ist, wie zum Beispiel das Ringing in dem Punktbild-Wiederherstellungsbild (Wiederherstellungsbild) als die Punktbild-Wiederherstellung der antilogarithmischen Bilddaten (der Bilddaten vor der Gradationskorrektur) (siehe ”Helligkeitssystemrobustheit im System, das vom idealen System abweicht (Ringing-Grad und dergleichen) in 8).
  • Ein Grund dafür, warum in dem realen Verarbeitungssystem, das sich von dem idealen System unterscheidet, der ”Punktbild-Wiederherstellungsprozess der logarithmischen Bilddaten (der Bilddaten in dem logarithmischen Raum)” geringer im Auftreten eines Seiteneffekts, wie zum Beispiel dem Ringing, ist als der ”Punktbild-Wiederherstellungsprozess für die antilogarithmischen Bilddaten (die Bilddaten in dem antilogarithmischen Raum)” besteht darin, dass die Gradation an einem Abschnitt geringer Helligkeit hervorgehoben (verstärkt wird und die Gradation an einem Abschnitt mit hoher Helligkeit nicht hervorgehoben wird. Ein Grund dafür, warum die Bilddegradation, wie zum Beispiel das Ringing, auffällig ist, besteht darüberhinaus darin, dass ein Überschwingen (Unterschwingen) an einer Kante (Grenzabschnitt) durch den Punktbild-Wiederherstellungsprozess auftritt, und ein derartiges Überschwingen (Unterschwingen) durch die Gradationskorrektur hervorgehoben wird (siehe 6).
  • Wenn ferner die Farbdaten (Farbsignal) von jeder RGB-Farbe in dem Punktbild-Wiederherstellungsverarbeitungsabschnitt 36 wie erwartet eingegeben werden (als gehaltene Degradationsinformation (die Punktspreiz-Funktionsinformation bezüglich optischen Systems)), erlaubt der ”Punktbild-Wiederherstellungsprozess für die Farbdaten (RGB-Daten)” eine effektive Farbdatenkorrektur, und ermöglicht die effektive Reduzierung der chromatischen Aberration und dergleichen, verglichen mit dem ”Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten (Y-Daten)” (siehe ”Wiederherstellbarkeit im idealen System” und ”Farbsystem-Korrekturfähigkeit” in 8). Wenn sich das tatsächliche Eingangssignal jedoch nicht wie erwartet verhält, bewirkt der Punktbild-Wiederherstellungsprozess für die Farbdaten (RGB-Daten) manchmal einen Seiteneffekt, wie zum Beispiel das Auffälligwerden einer unnatürlichen Farbschattierung durch eine Erhöhung in Orten, wenn ein nicht-erforderliches Farbgeben auftritt (siehe ”Farbsystemrobustheit im System, das vom idealen System abweicht (Farbgebungsgrad, Bleeding- bzw. Zerfließungsgrad und dergleichen)” in 8).
  • Auch in der Verarbeitungsskalierung (wenn das Verarbeitungssystem Hardware ist, die Skalierung der Verarbeitungsschaltung) gibt es einen Unterschied, der in 8 gezeigt ist. Das heißt, dass relativ zu den antilogarithmischen Bilddaten (die Bilddaten in dem antilogarithmischen Raum), der Punktbild-Wiederherstellungsprozess für die logarithmischen Bilddaten (die Bilddaten in dem logarithmischen Raum), den Berechnungsprozess vereinfacht, und daher den Verarbeitungsmaßstab reduziert und einen Vorteil aufweist. Obwohl der Punktbild-Wiederherstellungsprozess für die Farbdaten (RGB-Daten) ferner ein Verarbeitungssystem mit drei Kanälen (3ch) erfordert, erfordert der Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten (Y-Daten) nur ein Verarbeitungssystem mit einem Kanal (1ch). Der Punktbild-Wiederherstellungsprozess für die Helligkeitsdaten macht den Berechnungsprozess daher leichter, was einen kompakteren Verarbeitungsmaßstab ermöglicht.
  • In dem tatsächlichen Bildverarbeitungssystem wird daher bevorzugt, ein geeignetes System entsprechend den Bedürfnissen des Benutzers hinsichtlich der oben erläuterten verschiedenen Eigenschaften, die in 8 gezeigt sind, auszubilden. Für den Fall, dass zum Beispiel die Verarbeitungsbedingung von dem idealen Verarbeitungssystem abweicht, werden derartige ”verschiedene Arten eingegeben, als das einzugebende Bildsignal (Bilddaten) das Verarbeitungssystem aus Hardware besteht, wird der Maßstab soweit wie möglich reduziert”, oder ”es gibt keine Garantie, dass die tatsächliche Bildverschlechterungsinformation und die Bildverschlechterungsinformation, die in dem Verarbeitungssystem erhalten wird, vollständig übereinstimmt”, der Punktbild-Wiederherstellungsprozess für die logarithmischen Bilddaten in der Bildrobustheit (Bild-Nichtstörungseigenschaft) exzellenter ist als der Punktbild-Wiederherstellungsprozess für die antilogarithmischen Bilddaten. In dem tatsächlichen Bildverarbeitungssystem wird daher vom Standpunkt der Verbesserung der Bildverbesserung bevorzugt, den Punktbild-Wiederherstellungsprozess in einer anschließenden Stufe des Gradationskorrekturprozesses (Gammakorrekturprozess) durchzuführen. Im Fall, dass der Unterdrückung eines Seiteneffekts aufgrund des Bildprozesses oder der Verkleinerung des Verarbeitungssystems Gewicht gegeben wird, wird ferner das Bildverarbeitungssystem zum Durchführen des Punktbild-Wiederherstellungsprozesses für die Helligkeitsdaten anstelle der Farbdaten bevorzugt, jedoch ist in dem Fall des Gewichts auf der Farbwiederherstellbarkeit das Bildverarbeitungssystem zum Durchführen des Punktbild-Wiederherstellungsprozesses für die Farbdaten anstelle der Helligkeitsdaten bevorzugt.
  • Für den Fall, dass die Gradationskorrektur durch den logarithmischen Prozess (Gammakorrekturprozess) durchgeführt wird, kann der Wiederherstellungsfilter selbst einen Filterkoeffizienten entsprechend den Bilddaten vor dem logarithmischen Prozess aufweisen, oder kann einen Filterkoeffizienten entsprechend der Bilddaten nach dem logarithmischen Prozess aufweisen.
  • Für den Fall, dass der Wiederherstellungsprozess (Punktbild-Wiederherstellungsprozess) durchgeführt wird, indem zweckdienlich der ”Wiederherstellungsfilter, der einen Filterkoeffizienten entsprechend dem Pixelwert (antilogarithmische Pixeldaten) vor der Gradationskorrektur (vor dem logarithmischen Prozess)” für den ”Pixelwert (logarithmische Pixeldaten) der Bilddaten nach der Gradationskorrektur (nach dem logarithmischen Prozess)” angewendet wird, ist es möglich, die Robustheit gegenüber der Bildqualitätsverschlechterung (Ringing oder dergleichen) zu verbessern, die in dem wiederhergestellten Bild (Wiederherstellungsbild) auftritt, und um das Ringing in dem wiederhergestellten Bild unauffällig zu machen. Dies ist der Fall, da in den Pixeldaten (Bilddaten) nach dem logarithmischen Prozess die Gradation an einem Abschnitt bzw. Bereich geringer Helligkeit hervorgehoben (verstärkt) wird und die Gradation in einem Bereich hoher Helligkeit nicht hervorgerufen wird.
  • 9 ist ein Diagramm (Graph) zur Darstellung eines Beispiels der Beziehung zwischen Daten vor der Verarbeitung und Daten nach der Verarbeitung durch den Gammaprozess (logarithmischer Prozess). In 9 zeigt die horizontale Achse die Daten vor der Verarbeitung (Gammaprozess-Eingangsdaten ”Ein”), die vertikale Achse zeigt die Daten nach der Verarbeitung (Gammaprozess-Ausgangsdaten ”Aus”), und die durchgezogene Linie in dem Diagramm zeigt eine Gammaprozess-Gradationskurve.
  • In dem Punktbild-Wiederherstellungsprozess für allgemeine Bilddaten ist ein Bereich, in dem der Effekt des Punktbild-Wiederherstellungsprozesses visuell leicht erkennbar ist, ein Bereich mit einem geringen Kontrast, und ein ”Bereich, in dem der Pegelunterschied in dem Pixelwert relativ gering ist”, bei dem die Gammaprozess-Gradationskurve durch eine gerade Linie (siehe ”A” in 9) approximiert werden kann. In einem Bereich mit einem hohen Kontrast, das heißt, einem ”Bereich, in dem der Pegelunterschied in dem Pixelwert relativ groß ist”, was zu einem Abschnitt mit einer gekrümmten Linie in der Gammaprozess-Gradationskurve führt, ist der intrinsische Kontrast andererseits hoch und die Unschärfe ist schwer zu erkennen (siehe ”B” 9).
  • Wenn ferner der Punktbild-Wiederherstellungsprozess für die Pixeldaten durchgeführt wird, in denen der Pixelwert antilogarithmisch ist (die Pixeldaten vor der Gradationskorrektur), in einem Bereich, der ein gesättigtes Pixel in dem Bereich hohen Kontrastes beinhaltet, und danach der Gradationsprozess (der Gammakorrekturprozess, der logarithmische Prozess) durchgeführt wird, ist das Überschwingen/Unterschwingen (Ringing) leicht auffällig. Wenn andererseits der Punktbild-Wiederherstellungsprozess für die Pixeldaten nach dem logarithmischen Prozess durchgeführt wird, wird der hohe Kontrast durch den logarithmische Prozess verkleinert, und die Stärke des Ringings durch den Punktbild-Wiederherstellungsprozess wird verringert.
  • Das heißt, dass der Wiederherstellungsprozess (Punktbild-Wiederherstellungsprozess) für die Pixeldaten nach dem logarithmischen Prozess durchgeführt wird, unter Verwendung des Wiederherstellungsfilters, der den Filterkoeffizienten entsprechend der Pixeldaten aufweist, in denen der Pixelwert antilogarithmisch ist, und es ist dadurch möglich, den Punktbild-Wiederherstellungsprozess für einen Bereich geringen Kontrasts durchzuführen, in dem die visuelle Erkennung im Allgemeinen leicht ist, während es möglich ist, den Hervorhebungsgrad für das Ringing für einen Bereich hohen Kontrastes zu verringern, in dem das Ringing durch den Punktbild-Wiederherstellungsprozess leicht auftritt.
  • Insbesondere in dem Fall, in dem die Bildverarbeitungsvorrichtung (die Bildaufnahmevorrichtung oder dergleichen) mehrere Arten von Gradationskorrekturen (Gammakorrekturprozesse) ausführen kann, und Daten mehrerer Arten von Gammaprozess-Gradationskurven hält, erfordert der Stand der Technik (siehe PTL 3), dass der Grenzwert der Variation in dem Pixelsignalwert für jeden der mehreren Typen von Gradationskorrekturen berechnet wird. Da jedoch gemäß dem Schema der Punktbild-Wiederherstellungsprozess für die Pixeldaten nach der Gradationskorrektur angewendet wird, ist es nicht erforderlich, den Prozess in Abhängigkeit vom Typ des Gradationsprozesses zu wechseln.
  • 10A und 10B zeigen jeweils ein Beispiel der Beziehung zwischen dem Eingangswert (Ein) und dem Ausgangswert (Aus) in der Gradationskorrektur (Gammakorrekturprozess). 10A zeigt eine Gammaprozess-Gradationskurve, die verwendet wird, wenn ein Landschaftsbild-Aufnahmemodus ausgewählt wird, und 10B zeigt eine Gammaprozess-Gradationskurve, die verwendet wird, wenn ein Personenbild-Aufnahmemodus ausgewählt wird. Im Fall des Haltens mehrerer Typen von Gammaprozess-Gradationskurven, die in dem Gradationskorrekturprozess (Korrekturprozess) verwendet werden, wählt die Bildaufnahmevorrichtung, wie zum Beispiel die Digitalkamera 10 (siehe 1), oder die Bildverarbeitungsvorrichtung eine optimale Gammaprozess-Gradationskurve entsprechend dem Bildaufnahmemodus, aus den gehaltenen Gammaprozess-Gradationskurven. Wenn in diesem Fall der Punktbild-Wiederherstellungsprozess für die Bilddaten vor der Gradationskorrektur (Gammakorrekturprozess) durchgeführt wird, ist es notwendig, den Grenzwert des Punktbild-Wiederherstellungsprozesses für jede Gradationskorrektur zu bestimmen, und den Punktbild-Wiederherstellungsprozess in Abhängigkeit von dem Typ des Gammakorrekturprozesses zu wechseln (siehe, zum Beispiel, PTL 3). Wenn jedoch der Punktbild-Wiederherstellungsprozess für die Pixeldaten nach dem Gammakorrekturprozess durchgeführt wird, ist es nicht erforderlich, den Punktbild-Wiederherstellungsprozess in Abhängigkeit vom Typ des Gammakorrekturprozesses zu wechseln. In dem ”Fall, in dem der Punktbild-Wiederherstellungsprozess für die Pixeldaten nach dem Gammakorrekturprozess durchgeführt wird”, in dem das Prozesswechseln bzw. Prozessschalten nicht erforderlich ist, ist es daher möglich, die Speicherkapazität zu reduzieren, die verbraucht wird, wenn der Wiederherstellungsfilter vorab erzeugt wird, oder es ist möglich, den Prozess zu vereinfachen und die Berechnungszeit zu reduzieren, wenn der Wiederherstellungsfilter auf einer Prozess-zu-Prozess-Basis berechnet wird.
  • Die PSF (engl. Point Spread Function) setzt im Allgemeinen ferner voraus, dass die Eingabe linear ist, und der Wiederherstellungsfilter auf Grundlage dieser Voraussetzung wird leichter erzeugt, wenn dieser einen ”linearen Koeffizienten” aufweist, das heißt, einen ”Filterkoeffizienten entsprechend den antilogarithmischen Pixeldaten”.
  • Wenn daher der Wiederherstellungsfilter durch den Filterkoeffizienten entsprechend dem Pixelwert vor dem Gammakorrekturprozess (Gradationskorrektur) konfiguriert ist, ist es möglich, den Speicher, die Verarbeitungszeit, die Entwicklung und Ausbildungsbelastung und dergleichen zu reduzieren, was zu einem großen praktischen Effekt und Nützlichkeit führt.
  • Wenn der Wiederherstellungsprozess (Punktbild-Wiederherstellungsprozess) darüberhinaus für den Pixelwert (logarithmische Pixeldaten) nach der Gradationskorrektur (nach dem logarithmischen Prozess) unter Verwendung des Wiederherstellungsfilters durchgeführt wird, der den Filterkoeffizienten entsprechend dem Pixelwert (logarithmische Pixeldaten) nach dem logarithmischen Prozess aufweist, ist es möglich, die Robustheit gegenüber einer Bildqualitätsverschlechterung durch das Ringing zu verbessern, das in dem Punktbild-Wiederherstellungsprozess auftritt, und das Auftreten des Ringings in dem Bild unauffällig zu machen.
  • Für den Fall, dass die Pixeldaten der Pixelwert (logarithmische Pixeldaten) nach der Gradationskorrektur (logarithmischer Prozess) sind, ist es somit möglich, den Punktbild-Wiederherstellungsprozess selbst exakt durchzuführen, in dem der Punktbild-Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchgeführt wird, der den Filterkoeffizienten entsprechend dem Pixelwert (logarithmische Pixeldaten) nach dem logarithmischen Prozess aufweist. Durch Verwendung der Ziel-Bilddaten in dem Punktbild-Wiederherstellungsprozess als ”ursprüngliche Bilddaten nach der Gradationskorrektur” ist es in diesem Fall möglich, einen hohen Kontrast durch die Gradationskorrektur (logarithmischer Prozess) zu verkleinern, und die Stärke des Auftretens des Ringings durch den Punktbild-Wiederherstellungsprozess zu verringern.
  • Der Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, kann im Allgemeinen vorab erzeugt werden, oder kann jedesmal dann berechnet und erzeugt werden, wenn der Punktbild-Wiederherstellungsprozess ausgeführt wird. Vom Standpunkt der Verringerung in der Berechnungsgröße zum Zeitpunkt des Punktbild-Wiederherstellungsprozesses wird bevorzugt, dass der Wiederherstellungsfilter vorab erzeugt wird. Vom Standpunkt der Verwendung eines Wiederherstellungsfilters, der in der Anpassungsfähigkeit exzellent ist, wird bevorzugt, dass der Wiederherstellungsfilter jedesmal dann berechnet wird, wenn der Punktbild-Wiederherstellungsprozess ausgeführt wird.
  • Für den Fall, dass der Wiederherstellungsfilter vorab erzeugt wird, kann der Filterkoeffizient des Wiederherstellungsfilters durch eine Berechnung auf Grundlage eines Pixelwerts bestimmt werden, der durch den logarithmischen Prozess (Gammakorrekturprozess) für den eingegebenen Pixelwert (Eingangsbilddaten) bestimmt wird. Der Pixelwert, der in der Erzeugung des Wiederherstellungsfilters verwendet wird, kann der Helligkeitswert sein, oder kann der Pixelwert (zum Beispiel, ein Pixelwert G) bezüglich einem Kanal sein, der repräsentativ aus RGB-Farbdaten ausgewählt wird. Der Pixelwert, der bei der Erzeugung des Wiederherstellungsfilters verwendet wird, kann ferner ein Pixelwert eines Hauptobjektbildes sein, oder kann ein Pixelwert sein, der aus dem Durchschnittswert des gesamten Bildschirms bestimmt wird.
  • Der Punktbild-Wiederherstellungsprozess kann hier ein Prozess zum Wiederherstellen nur der Amplitudenkomponente der ursprünglichen Bilddaten sein, um die wiederhergestellten Bilddaten zu erhalten, oder kann einen Prozess zum Wiederherstellen der Amplitudenkomponente und Phasenkomponente der ursprünglichen Bilddaten sein, um die wiederhergestellten Bilddaten zu erhalten. Das heißt, dass es möglich ist, den Wiederherstellungsfilter auf Grundlage zumindest einem von einer MTF (engl. Modulation Transfer Function) und PTF (engl. Phase Transfer Function) für das optische System zu berechnen. Die Unschärfeeigenschaft des optischen Systems kann hier durch eine sogenannte optische Transferfunktion (OTF) ausgedrückt werden, und eine Funktion, die durch die inverse Fourier-Transformation der OTF erhalten wird, wird als eine Punktbild-Verteilungsfunktion (PSF: Point Spread Function) bezeichnet. Die MTF ist die Absolutwertkomponente der OTF, und die PTF ist die Phasenabweichung, die als eine Funktion bezüglich der räumlichen Frequenz wiedergegeben wird. Der Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, kann daher geeignet auf Grundlage der OTF (MTF/PTF) oder PSF für das optische System ausgebildet werden.
  • In Anbetracht der oben erläuterten neuen Einsicht, werden im Folgenden bevorzugte Ausführungsformen der vorliegenden Erfindung beschrieben.
  • Erste Ausführungsform
  • 11 ist ein funktionales Blockdiagramm zur Darstellung eines Beispiels eines Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß einer ersten Ausführungsform. Mehrere Bildverarbeitungsblöcke in der Figur müssen nicht immer separat bereitgestellt werden, und die mehreren Bildverarbeitungsblöcke können als Hardware/Software realisiert werden, die in einer integrierten Art und Weise konfiguriert ist.
  • Der Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß der Ausführungsform, in dem die RGB-Farbdaten der ursprünglichen Bilddaten nach dem Gamma-Korrekturprozess (Gradationskorrektur) eingegeben werden, führt den Punktbild-Wiederherstellungsprozess 46 für die Farbdaten durch (siehe 7B). Der Punktbild Wiederherstellungsbearbeitungsabschnitts 36 gemäß der Ausführungsform erfasst darüber hinaus optische Systemdaten, die die Punktspreizfunktion für das optische System angeben, und kühlt den Punktbild-Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters durch, der auf Grundlage der optischen Systemdaten aus mehreren Arten von Wiederherstellungsfiltern, die im Voraus erzeugt werden, ausgewählt wird.
  • Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 enthält insbesondere einen optischen Systemdaten-Erfassungsabschnitt 51, einen Filterauswahlabschnitt 52, einen Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 und einen Wiederherstellungsfilter-Speicherabschnitt 54.
  • Der optische Systemdaten-Erfassungsabschnitt 51 erfasst die optischen Systemdaten, die die Punktspreizfunktion für das optische System angeben. Die optischen Systemdaten, wobei es sich um Daten als das Auswahlkriterium für den Wiederherstellungsfilter in dem Filterauswahlabschnitt 52 handelt, muss nur die Information sein, die direkt oder indirekt die Punktspreizfunktion für das optische System angeben, das verwendet wird, wenn ursprüngliche Bearbeitungsziel-Bilddaten durch Bildaufnahme erfasst werden. Bei den optischen Systemdaten kann es sich daher zum Beispiel um die Punktspreizfunktion (die PSF, die OTF (die MTF, die PTF)) selbst für das optische System handeln, oder die optischen Systemdaten können der Typ des optischen Systems sein (zum Beispiel, die Modellnummer oder Anderes der Linseneinheit 12 (der Linse 16), die zum Zeitpunkt der Bildaufnahme verwendet wird), das die Punktspreizfunktion für das optische System indirekt angibt, oder dergleichen.
  • Auf Grundlage der optischen Systemdaten, die durch den optischen Systemdaten-Erfassungsabschnitt 51 erfasst werden, wählt der Filterauswahlabschnitt 52 einen Wiederherstellungsfilter entsprechend den optischen Systemdaten für das optische System aus, das bei der Bildaufnahme und Erfassung der ursprünglichen Bilddaten verwendet wird, aus Wiederherstellungsfiltern, die in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert sind. Die Information bezüglich des durch den Filterauswahlabschnitt 52 ausgewählten Wiederherstellungsfilters wird als Filterauswahldaten an den Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 gesendet.
  • Der Filterauswahlabschnitt 52 erfasst die Typinformation (Wiederherstellungsfilter-Speicherinformation) bezüglich der Wiederherstellungsfilter, die durch den Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert und gehalten werden. Die Erfassungstechnik für die Wiederherstellungsfilter-Speicherinformation durch den Filterauswahlabschnitt 52 ist nicht besonders eingeschränkt. Der Filterauswahlabschnitt 52 kann zum Beispiel eine Speicherabschnitt (nicht dargestellt) enthalten, in dem die Wiederherstellungsfilter-Speicherinformation gespeichert ist, und wenn die Typinformation bezüglich der Wiederherstellungsfilter, die in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert sind, geändert wird, kann die Wiederherstellungsfilter-Speicherinformation, die in dem Speicherabschnitt des Filterauswahlabschnitt 52 gespeichert ist, ebenso geändert werden. Der Filterauswahlabschnitt 52 kann darüber hinaus mit dem Wiederherstellungsfilter-Speicherabschnitt 54 verbunden sein, um die ”Information bezüglich der Wiederherstellungsfilter, die durch den Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert und gehalten werden” direkt erfasst, oder kann die Wiederherstellungsfilter-Speicherinformation von einem anderen Verarbeitungsabschnitt (einem Speicher oder dergleichen) erfassen, der die Wiederherstellungsfilter-Speicherinformation erfasst.
  • Der Filterauswahlabschnitt 52 muss ferner nur dem Wiederherstellungsfilter entsprechend der Punktspreizfunktion für das optische System auswählen, das bei der Bildaufnahme und Erfassung der ursprünglichen Bilddaten verwendet wird, und die Auswahltechnik ist nicht besonders eingeschränkt. Für den Fall, dass die optischen Systemdaten aus dem optischen Systemdaten-Erfassungsabschnitt 51 direkt die Punktspreizfunktion angeben, wählt der Filterauswahlabschnitt 52 daher zum Beispiel einen Wiederherstellungsfilter entsprechend einer Punktspreizfunktion aus, die durch die optischen Systemdaten angegeben wird. Für den Fall, dass die optischen Systemdaten aus dem optischen Systemdaten-Erfassungsabschnitt 51 indirekt die Punktspreizfunktion angeben, wählt der Filterauswahlabschnitt 52 aus den ”optischen Systemdaten, die die Punktspreizfunktion indirekt angeben” einen Wiederherstellungsfilter entsprechend einer Punktspreizfunktion für das optische System aus, das bei der Bildaufnahme und Erfassung der ursprünglichen Prozessziel-Bilddaten verwendet wird.
  • In dem Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 werden die ursprünglichen Bilddaten (RGB-Farbdaten) nach dem Gammakorrekturprozess und die Filterauswahldaten eingegeben. Auf Grundlage der Filterauswahldaten liest der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 den Wiederherstellungsfilter (Filterkoeffizienten) entsprechend der optischen Systemdaten für das optische System, das bei der Erfassung der ursprünglichen Bilddaten verwendet wird, aus dem Wiederherstellungsfilter-Speicherabschnitt 54 aus. Der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 führt dann den Punktbild-Wiederherstellungsprozess unter Verwendung des ausgewählten und ausgelesenen Wiederherstellungsfilters der optischen Systemdaten durch, und berechnet und erfasst die Wiederherstellungsbilddaten aus den ursprünglichen Bilddaten.
  • Der Wiederherstellungsfilter-Speicherabschnitt 54 speichert und hält die im Voraus erzeugten Wiederherstellungsfilter, und die Wiederherstellungsfilter, die in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert und gehalten werden, werden durch den Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 geeignet ausgelesen. Die Typinformation bezüglich der Wiederherstellungsfilter, die in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert sind, wird durch den Filterauswahlabschnitt 52 erfasst, und der Filterauswahlabschnitt 52 führt die Auswahl der Wiederherstellungsfilter durch, aus den Wiederherstellungsfiltern, die durch den Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert und gehalten werden.
  • Die Wiederherstellungsfilter, die in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert und gehalten werden, können hier durch Filterkoeffizienten entsprechend der Bilddaten vor dem Gammakorrekturprozess (logarithmischer Prozess) konfiguriert sein, oder können durch Filterkoeffizienten entsprechend der Bilddaten nach dem Gammakorrekturprozess konfiguriert sein.
  • Gemäß dem Punktbild-Wiederherstellungsbearbeitungsabschnitt 36, der in 11 gezeigt ist, werden somit mehrere Arten bzw. Typen von Wiederherstellungsfiltern vorab erzeugt und in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert, und ein optimaler Wiederherstellungsfilter wird auf Grundlage der optischen Systemdaten ausgewählt und in dem Punktbild-Wiederherstellungsprozess verwendet. Der Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, kann jedes Mal dann berechnet werden, wenn der Punktbild-Wiederherstellungsprozess durchgeführt wird.
  • 12 ist ein funktionales Blockdiagramm zur Darstellung eines Modifikationsbeispiels der Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß der ersten Ausführungsform. Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 gemäß dem Modifikationsbeispiel erzeugt den Wiederherstellungsfilter bei jedem Mal, basierend auf den optischen Systemdaten für das optische System, das bei der Erfassung der ursprünglichen Bilddaten verwendet wird, und führt den Punktbild-Wiederherstellungsprozess unter Verwendung des erzeugten Wiederherstellungsfilters durch.
  • Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 gemäß dem Modifikationsbeispiel enthält somit einen Filterberechnungsabschnitt 55 anstelle des Filterauswahlabschnitts 52 (siehe 11), und enthält den Wiederherstellungsfilter-Speicherabschnitt 54 nicht.
  • Der Filterberechnungsabschnitt 55 in dem Beispiel erfasst die Punktspreizfunktion für das optische System, das bei der Bildaufnahme und Erfassung der ursprünglichen Prozessziel-Bilddaten verwendet wird, basierend auf den optischen Systemdaten aus dem optischen Systemdaten-Erfassungsabschnitt 51, und berechnet den Wiederherstellungsfilter entsprechend der erfassten Punktspreizfunktion. Der Wiederherstellungsfilter, der in dem Filterberechnungsabschnitt 55 berechnet wird, wird an den Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 gesendet, und wird für den Punktbild-Wiederherstellungsprozess der ursprünglichen Bilddaten in dem Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 verwendet.
  • Die Berechnungstechnik für den Wiederherstellungsfilter in dem Filterberechnungsabschnitt 55 ist hier nicht sonderlich eingeschränkt. Die ”Punktspreizfunktion für das optische System, das bei der Bildaufnahme und Erfassung ursprünglich in Prozessziel-Bilddaten verwendet wird” selbst kann daher zum Beispiel als die optischen Systemdaten von dem optischen Systemdaten-Erfassungsabschnitt 51 an den Filterberechnungsabschnitt 55 gesendet werden, und der Filterberechnungsabschnitt 55 kann dann den Wiederherstellungsfilter aus den optischen Systemdaten durch eine beliebige Technik berechnen und erzeugen. Für den Fall, dass der Filterberechnungsabschnitt 55 ferner einen Speicherabschnitt (nicht dargestellt) enthält, in dem die Daten der Punktspreizfunktion für das optische System vorab gespeichert werden und in Einheiten des Typs des optischen Systems gehalten werden, können optische Systemdaten, die den ”Typ des optischen Systems, das bei der Bildaufnahme und Erfassung der ursprünglichen Prozessziel-Bilddaten verwendet wird” von dem optischen Systemdaten-Erfassungsabschnitt 51 an den Filterberechnungsabschnitt 55 gesendet werden, und der Filterberechnungsabschnitt 55 kann dann den Typ des optischen Systems aus den optischen Systemdaten entscheiden, kann die Daten der Punktspreizfunktion für ein optisches System des entschiedenen Typs auslesen, und kann den Wiederherstellungsfilter aus den ausgelesenen Daten der Punktspreizfunktion berechnen und erzeugen.
  • Zweite Ausführungsform
  • In dieser Ausführungsform werden für die gleiche Konfiguration und Wirkung wie in der oben beschriebenen ersten Ausführungsform die Beschreibungen weggelassen.
  • Ein Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 gemäß der Ausführungsform führt einen Analyseprozess der ursprünglichen Bilddaten durch, und führt den Punktbild-Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters durch, der auf dem Resultat des Analyseprozesses basiert.
  • 13 ist ein funktionales Blockdiagramm zur Darstellung eines Beispiels eines Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß der zweiten Ausführungsform.
  • Der in 13 gezeigte Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 enthält einen Bildanalyseabschnitt 56 zum Senden von Bildanalysedaten an den Filterauswahlabschnitt 52, zusätzlich zu dem optischen Systemdaten-Erfassungsabschnitt 51, dem Filterauswahlabschnitt 52, dem Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 und dem Wiederherstellungsfilter-Speicherabschnitt 54 (siehe 11).
  • Der Bildanalyseabschnitt 56 analysiert die ursprünglichen Bilddaten, und sendet das Resultat der Analyse als die Bildanalysedaten an den Filterauswahlabschnitt 52. Das in 13 gezeigte Beispiel zeigt ein Beispiel, bei dem die ursprünglichen Bilddaten nach dem Gammakorrekturprozess durch den Bildanalyseabschnitt 56 analysiert werden. Die ursprünglichen Bilddaten vor dem Gammakorrekturprozess können jedoch durch den Bildanalyseabschnitt 56 analysiert werden, und das Analyseresultat kann dann als die Bildanalysedaten an den Filterauswahlabschnitt 52 gesendet werden. Ein Analysebeispiel in dem Bildanalyseabschnitt 56 wird hier später erläutert (siehe 15).
  • Der Filterauswahlabschnitt 52 wählt den Wiederherstellungsfilter entsprechend der Punktspreizfunktion für das optische System aus, das bei der Bildaufnahme und Erfassung der ursprünglichen Prozessziel-Bilddaten verwendet wird, auf Grundlage der Bildanalysedaten von dem Bildanalyseabschnitt 56, zusätzlich zu den optischen Systemdaten von dem optischen Systemdaten-Erfassungsabschnitt 51. Der Filterauswahlabschnitt 52 gemäß der Ausführungsform wählt den Wiederherstellungsfilter unter Berücksichtigung der Bildanalysedaten, was die Auswahl des Wiederherstellungsfilters entsprechend der Eigenschaft (Charakteristik) der ursprünglichen Bilddaten erlaubt. Ein spezifisches Beispiel der ”Auswahl des Wiederherstellungsfilters entsprechend der Eigenschaft der ursprünglichen Bilddaten” in dem Filterauswahlabschnitt 52 wird hier später erläutert.
  • Der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 und der Wiederherstellungsfilter-Speicherabschnitt 54 sind die gleichen wie jene des Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß der in 11 gezeigten ersten Ausführungsform. Das heißt, dass der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 den entsprechenden Wiederherstellungsfilter aus dem Wiederherstellungsfilter-Speicherabschnitt 54 ausliest, basierend auf den Filterauswahldaten von dem Filterauswahlabschnitt 52, und wendet den ausgelesenen Wiederherstellungsfilter für die ursprünglichen Bilddaten nach dem Gammakorrekturprozess an, so dass die Wiederherstellungsbilddaten erfasst werden.
  • Gemäß dem Punktbild-Wiederherstellungsbearbeitungsabschnitt 36, der in 13 gezeigt ist, werden daher mehrere Typen von Wiederherstellungsfiltern vorab erzeugt und in dem Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert, und ein optimaler Wiederherstellungsfilter wird auf Grundlage der optischen Systemdaten ausgewählt und wird in dem Punktbild-Wiederherstellungsprozess verwendet. Vergleichbar zu dem in 12 gezeigten Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 kann der Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, jedes Mal dann berechnet werden, wenn der Punktbild-Wiederherstellungsprozess durchgeführt wird.
  • 14 ist ein funktionales Blockdiagramm zur Darstellung eines Modifikationsbeispiels des Punktbild-Wiederherstellungsbearbeitungsabschnitts 36 gemäß der zweiten Ausführungsform. Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 gemäß dem Modifikationsbeispiel enthält eine Bildanalyseabschnitt 56 zum Sender von Bildanalysedaten an den Filterberechnungsabschnitt 55, zusätzlich zu dem optischen Systemdaten-Erfassungsabschnitt 51, dem Filterberechnungsabschnitt 55 und dem Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 (siehe 12).
  • Der Bildanalyseabschnitt 56 gemäß dem Modifikationsbeispiel, der gleich ist wie der oben beschriebene Bildanalyseabschnitt 56, gezeigt in 13, analysiert die ursprünglichen Bilddaten, und sendet das Resultat der Analyse, als die Bildanalysedaten, an den Filterberechnungsabschnitt 55.
  • Der Filterberechnungsabschnitt 55 berechnet und erzeugt den Wiederherstellungsfilter entsprechend der Punktspreizfunktion für das optische System, das bei der Bildaufnahme und Erfassung der ursprünglichen Prozessziel-Bilddaten verwendet wird, basierend auf den Bildanalysedaten von dem Bildanalyseabschnitt 56, zusätzlich zu den optischen Systemdaten von dem optischen Systemdaten-Erfassungsabschnitt 51. Der Filterberechnungsabschnitt 55 gemäß der Ausführungsform berechnet den Wiederherstellungsfilter unter Berücksichtigung der Bildanalysedaten, was die Berechnung des Wiederherstellungsfilters entsprechend der Eigenschaft (Charakteristik) der ursprünglichen Bilddaten ermöglicht. Ein spezielles Beispiel der ”Berechnung des Wiederherstellungsfilters entsprechend der Eigenschaft zu ursprünglichen Bilddaten” in dem Filterberechnungsabschnitt 55 wird hier später erläutert.
  • 15 ist ein funktionales Blockdiagramm zur Darstellung eines Beispiels des Bildanalyseabschnitts 56 (siehe 13 und 14).
  • Der Bildanalyseabschnitt 56 in dem Beispiel enthält einen Hauptobjektbild-Extraktionsabschnitt 57, einen gesättigten Pixelerfassungsabschnitt bzw. Sättigungspixel-Erfassungsabschnitt 58 und einen Repräsentativwert-Berechnungsabschnitt 59. Der Bildanalyseabschnitt 56 muss hier nicht sowohl den Hauptobjektbild-Extraktionsabschnitt 57, den gesättigten Pixelerfassungsabschnitt 58 als auch den Repräsentativwert-Berechnungsabschnitt 59 enthalten, und kann nur einen oder zwei dieser Verarbeitungsabschnitte (funktionale Blöcke) enthalten. Der Bildanalyseabschnitt 56 kann darüber hinaus einen Verarbeitungsabschnitt außer dem Hauptobjektbild-Extraktionsabschnitt 57, dem gesättigten Pixelerfassungsabschnitt 58 und dem Repräsentativwert-Berechnungsabschnitt 59 enthalten.
  • Der Hauptobjektbild-Extraktionsabschnitt 57 führt einen Prozess (Analyseprozess) zum Extrahieren und Bestimmen von Daten (Bilddaten) durch, die ein ”Hauptobjektbild” der ursprünglichen Bilddaten, die das Objektbild angeben, angeben. Das Hauptobjektbild ist nicht sonderlich eingeschränkt, und zum Beispiel kann ein beabsichtigtes Ziel (engl. target), wie zum Beispiel ein ”Gesicht” als das Hauptobjektbild verwendet werden. Wenn das Hauptobjektbild das ”Gesicht” ist, kann ein beliebiger Gesichtserkennungsprozess als der Analyseprozess eingesetzt werden, der durch den Hauptobjektbild-Extraktionsabschnitt 57 durchgeführt wird.
  • Die Information bezüglich des Hauptobjektbildes, das durch den Hauptobjektbild-Extraktionsabschnitt 57 bestimmt wird, wird, als die Bildanalysedaten, an den Filterauswahlabschnitt 52 (siehe 13) oder den Filterberechnungsabschnitt 55 (siehe 14) gesendet. Der Filterauswahlabschnitt 52 oder der Filterberechnungsabschnitt 55, die die erfasste Information bezüglich des Hauptobjektbildes aufweisen, kann die Auswahl/Berechnung des Wiederherstellungsfilters durchführen, basierend nicht nur auf den ”optischen Systemdaten”, sondern auch auf der ”Information bezüglich des Hauptobjektbildes”.
  • Zwischen ”ursprünglichen Bilddaten, die das Hauptobjektbild enthalten” und ”ursprünglichen Bilddaten, die das Hauptobjektbild nicht enthalten” kann zum Beispiel der Wiederherstellungsfilter (Filterkoeffizient) geändert werden, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, oder es kann geschaltet werden, ob oder ob nicht der Punktbild-Wiederherstellungsprozess ausgeführt wird (AN/AUS). Wenn ferner der Punktbild-Wiederherstellungsprozess in Einheiten von einem Pixel/einem Unterteilungsbereich der später beschriebenen ursprünglichen Bilddaten geschaltet werden kann, zwischen ”einem Pixel/einem Unterteilungsbereich, der das Hauptobjektbild enthält” und ”einem Pixel/einem Unterteilungsbereich, der das Hauptobjektbild nicht enthält”, kann ferner der Wiederherstellungsfilter (Filterkoeffizient) geändert werden, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, oder es kann geschaltet werden, ob oder ob nicht der Punktbild-Wiederherstellungsprozess ausgeführt wird (AN/AUS). Wenn hier der Punktbild-Wiederherstellungsprozess nicht ausgeführt wird, kann der Filterauswahlabschnitt 52 (siehe 13) oder der Filterberechnungsabschnitt 55 (14) einen Wiederherstellungsfilter auswählen/berechnen, durch den die Bilddaten vor und nach dem Punktbild-Wiederherstellungsprozess (die ursprünglichen Bilddaten und die Wiederherstellungsbilddaten) exakt identisch werden, oder die Daten, die von dem Filterauswahlabschnitt 52/Filterberechnungsabschnitt 55 an den Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 gesendet werden, können eine Anweisung für die ”Nichtausführung (AUS) des Punktbild-Wiederherstellungsprozesses in dem Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53” enthalten.
  • Der gesättigte Pixelerfassungsabschnitt 58 bestimmt ”ob oder ob nicht die ursprünglichen Bilddaten gesättigte Pixeldaten enthalten” und/oder die ”Position der gesättigten Pixeldaten (gesättigtes Pixel) in den ursprünglichen Bilddaten”. Die gesättigten Pixeldaten sind Pixeldaten (gesättigte Pixeldaten), in denen der Pixelwert gesättigt ist, und sind Pixeldaten, in denen das ausbildende Pixel des Bilderfassungselements 26 den maximal erlaubten Pixelwert ausbilden. Der gesättigten Pixelerfassungsabschnitt 58 kann hier ”Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” bestimmen, anstelle der ”gesättigten Pixeldaten”. Der ”Pixelwert größer als ein vorbestimmter Schwellenwert” ist ein Pixelwert, der in der Nähe zu den gesättigten Pixeldaten ist und der relativ groß ist. Zum Beispiel ist es möglich, dass der ”vorbestimmte Schwellenwert” als 90% der gesättigten Pixeldaten definiert ist, und ein Pixelwert größer als 90% der gesättigten Pixeldaten als ”Pixelwert größer als ein vorbestimmter Schwellenwert” verwendet wird.
  • Die Information bezüglich ”den gesättigten Pixeldaten oder den Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert”, spezifiziert in dem Sättigungspixel-Erfassungsabschnitt 58, wird als die Bildanalysedaten an den Filterauswahlabschnitt 52 (siehe 13) oder den Filterberechnungsabschnitt 55 (siehe 14) gesendet. Der Filterauswahlabschnitt 52 oder der Filterberechnungsabschnitt 55, die Information bezüglich ”den gesättigten Pixeldaten oder den Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” erfasst haben, kann die Auswahl/Berechnung des Wiederherstellungsfilters durchführen, auf Grundlage nicht nur der ”optischen Systemdaten”, sondern auch auf der Information bezüglich ”den gesättigten Pixeldaten oder den Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert”.
  • Zwischen ursprünglichen Bilddaten, die ”die gesättigten Pixeldaten oder den Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” enthalten, und ursprünglichen Bilddaten, die ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” nicht enthalten, kann der Wiederherstellungsfilter (Filterkoeffizient), der in dem Punktbild-Wiederherstellungsprozess verwendet wird, geändert werden, oder ob oder ob nicht der Punktbild-Wiederherstellungsprozess ausgeführt wird (AN/AUS), kann geschaltet bzw. gewechselt werden. Wenn darüber hinaus der Punktbild-Wiederherstellungsprozess in Einheiten eines Pixels/eines Unterteilungsbereiches der ursprünglichen Bilddaten geschalten werden kann, wie später beschrieben wird, zwischen einem Pixel/einem Unterteilungsbereich, der ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” enthalten, und einem Pixel/einem Unterteilungsbereich, der ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” nicht enthalten, kann der Wiederherstellungsfilter (Filterkoeffizient) geändert werden, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, oder ob oder ob nicht der Punktbild-Wiederherstellungsprozess ausgeführt wird (AN/AUS) kann geschaltet bzw. gewechselt werden.
  • Wenn hier der Wiederherstellungsfilter (Filterkoeffizient) zwischen den ursprünglichen Bilddaten, Pixeln oder einem Unterteilungsbereich, der ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” enthalten, und ursprünglichen Bilddaten (Pixel oder Unterteilungsbereich, der ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” nicht enthalten, können Wiederherstellungsfilter, die zum Beispiel in den 16A und 16B gezeigt sind, als Auswahl des Wiederherstellungsfilters (Filterkoeffizienten) verwendet werden.
  • 16A und 16B sind Diagramme als Beispiel von ”räumlichen Frequenz-Amplituden” Beziehungen der Wiederherstellungsfilter. 16A zeigt ein Beispiel der Eigenschaft eines Filters (Filter A), der in einem herkömmlichen Punktbild-Wiederherstellungsprozess verwendet wird, und 16B zeigt ein Beispiel der Eigenschaft eines Ringing-Gegenmaßnahmen-Wiederherstellungsfilters (Filter B). Um das Verständnis zu vereinfachen, zeigen die 16A und 16B hier beispielhafte eindimensionale Frequenzeigenschaften. Die vertikale Achse für jeden Filter, der in den 16A und 16B gezeigt wird, gibt hier das Ansprechverhalten (Amplitude) an, und die horizontale Achse gibt die Frequenz an. Die horizontale Achse ist an der Basis numerischer Werte, die durch eine Abtastfrequenz normalisiert sind.
  • Der Filterauswahlabschnitt 52 (siehe 13) und der Filterberechnungsabschnitt 55 (siehe 14) kann die Auswahl/Berechnung eines ”Helligkeiten Wiederherstellungsfilters, in dem das Ansprechverhalten (Amplitude) an einen Hochfrequenzbereich relativ stark geändert wird” wie in 16 gezeigt durchführen, für ein Bild (ursprüngliche Bilddaten, ein Pixel oder einen Unterteilungsbereich), das als ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” nicht enthaltend entschieden wird (d. h., als nicht hoch (als gering) in der Ringing-Auftretungswahrscheinlichkeit). Der Filterauswahlabschnitt 52 (siehe 13) und der Filterberechnungsabschnitt 55 (siehe 14) können ferner die Auswahl/Berechnung eines ”Ringing-Gegenmaßnahmen-Wiederherstellungsfilters, in den die Ansprechverhalten-(Amplitude)Komponente in einem Frequenzband mit einem auffälligen Ringing (es wird hier eine Hochfrequenzseite angenommen) relativ allmählich geändert wird”, wie in 16B gezeigt, durchführen, für ein Bild (ursprüngliche Bilddaten, ein Pixel oder ein Unterteilungsbereich), das als ”die gesättigten Pixeldaten oder die Pixeldaten mit einem Pixelwert größer als ein vorbestimmter Schwellenwert” enthaltend entschieden wird (d. h., als hoch in der Ringing-Auftretungswahrscheinlichkeit).
  • Der Filterauswahlabschnitt 52 (siehe 13) hält zum Beispiel die Information bezüglich der Wiederherstellungsfilter, die durch den Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert werden) und wählt einen optimalen Wiederherstellungsfilter aus den Wiederherstellungsfiltern aus, wie in 16A und 16B gezeigt, die durch den Wiederherstellungsfilter-Speicherabschnitt 54 gespeichert sind, auf Grundlage der optischen Systemdaten und der Bildanalysedaten. Die in den 16A und 16B gezeigten Wiederherstellungsfilter sind hier lediglich ein Beispiel, und der Filterauswahlabschnitt 52 (siehe 13) und der Filterberechnungsabschnitt 55 (siehe 14) können die Auswahl/Berechnung eines beliebigen Wiederherstellungsfilters entsprechend dem Anwendungszweck durchführen. Mehrere Typen von Korrelationsfiltern, die in der Konturkorrektur verwendet werden, können zum Beispiel als Basisfilter eingesetzt werden, und ein Wiederherstellungsfilter, der durch die lineare Summe dieser Basisfilter konfiguriert ist, kann als oben beschriebene Ringing-Gegenmaßnahmen-Filter ausgewählt/berechnet werden.
  • Der Repräsentativwert-Berechnungsabschnitt 59 analysiert die ursprünglichen Bilddaten, und berechnet und erfasst einen repräsentativen Wert der ursprünglichen Bilddaten (Objektbild). Der ”repräsentative Wert” gibt die Eigenschaft (Charakteristik) der ursprünglichen Bilddaten an. Der ”Durchschnittswert der Pixeldaten der gesamten (alle Pixel) der ursprünglichen Bilddaten” kann zum Beispiel für den repräsentativen Wert verwendet werden, oder der ”Durchschnittswert der Pixeldaten an einem Abschnitt bzw. Bereich entsprechend dem Hauptobjektbild, spezifiziert in dem Hauptobjektbild-Extraktionsabschnitt 57” kann als der repräsentative Wert verwendet werden.
  • Der ”repräsentative Wert” der ursprünglichen Bilddaten, spezifiziert in dem Repräsentativwert-Berechnungsabschnitt 59, kann als die Bildanalysedaten an den Filterauswahlabschnitt 52 (siehe 13) oder den Filterberechnungsabschnitt 55 (siehe 14) gesendet werden, und die Auswahl oder Berechnung des Wiederherstellungsfilters kann dann auf Grundlage des ”repräsentativen Werts” zusätzlich zu den optischen Systemdaten durchgeführt werden.
  • 17 ist ein Blockdiagramm zur Darstellung eines Beispiels eines Prozessablaufs von dem Gammakorrekturprozess zu dem Punktbild-Wiederherstellungsprozess im Fall der Berechnung und Erfassung des repräsentativen Werts durch Analysieren der ursprünglichen Bilddaten. Der Bildverarbeitungsabschnitt 35 (der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36, siehe 2) in dem Beispiel bestimmt den Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, in Einheiten des Objektbildes (in Einheiten der ursprünglichen Bilddaten), aus dem Resultat des Analyseprozesses der ursprünglichen Bilddaten.
  • Das heißt, dass in dem Punktbild-Wiederherstellungsprozess 46 nach dem Gammakorrekturprozess 44 ein Repräsentativwert-Berechnungsprozess 48a, ein Wiederherstellungsfilter-Auswahl/Berechnungsprozess 49a und ein Wiederherstellungsberechnungsprozess 50a sequentiell durchgeführt werden. In dem Repräsentativwert-Berechnungsprozess 48a wird der repräsentative Wert in Einheiten des Objektbildes (in Einheiten der ursprünglichen Bilddaten) bestimmt, durch den Repräsentativwert-Berechnungsabschnitt 59 (siehe 15). Der ”Durchschnittswert der Pixeldaten der Gesamtheit (aller Pixel) der ursprünglichen Bilddaten” oder der ”Durchschnittswert der Pixeldaten an einem Abschnitt bzw. Bereich entsprechend dem Hauptobjektbild, spezifiziert in dem Hauptobjektbild-Extraktionsabschnitt 57” wird zum Beispiel als der repräsentative Wert berechnet. In dem Wiederherstellungsfilter-Auswahl/Berechnungsprozess 49a führt der Filterauswahlabschnitt 52/Filterberechnungsabschnitt 55 (siehe 13 und 14) die Auswahl/Berechnung des Wiederherstellungsfilters basierend auf dem repräsentativen Wert und den optischen Systemdaten durch. In dem Wiederherstellungsberechnungsprozess 50a führt der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 dann eine Punktbild-Wiederherstellungsverarbeitungsberechnung durch, bei der der ausgewählte/berechnete Wiederherstellungsfilter an den ursprünglichen Bilddaten nach dem Gammakorrekturprozess angewendet wird, so dass die wiederhergestellten Bilddaten erfasst werden.
  • Obwohl hier das Beispiel beschrieben wurde, bei dem der repräsentative Wert in Einheiten des Objektbildes ”in Einheiten der ursprünglichen Bilddaten” bestimmt wird, kann der repräsentative Wert in Einheiten eines lokalen Bereiches (in Einheiten eines Pixels oder in Einheiten der Unterteilungsfläche) des Objektbildes (ursprüngliche Bilddaten) berechnet werden, und die Auswahl/Berechnung des Wiederherstellungsfilters kann ebenso in Einheiten des lokalen Bereiches durchgeführt werden.
  • 18 ist ein Blockdiagramm zur Darstellung eines anderen Beispiels des Prozessablaufes von dem Gammakorrekturprozess zu dem Punktbild-Wiederherstellungsprozess im Fall der Berechnung und Erfassung des repräsentativen Werts durch Analysieren der ursprünglichen Bilddaten. Der Bildverarbeitungsabschnitt 35 (der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36, siehe 2) in dem Beispiel bestimmt den Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, in Einheiten des lokalen Bereiches des Objektbildes (ursprüngliche Bilddaten), aus dem Ergebnis des Analyseprozesses für die ursprünglichen Bilddaten.
  • Vergleichbar zu dem oben erläuterten Beispiel, das in 17 gezeigt ist, werden in diesem Beispiel in dem Punktbild-Wiederherstellungsprozess 46 nach dem Gammakorrekturprozess 44 ein Repräsentativwert-Berechnungsprozess 48b, ein Wiederherstellungsfilter-Auswahl/Berechnungsprozess 49b und ein Wiederherstellungsberechnungsprozess 50b sequentiell durchgeführt, jedoch werden der Repräsentativwert-Berechnungsprozess 48b, Wiederherstellungsfilter-Auswahl/Berechnungsprozess 49b und Wiederherstellungsberechnungsprozess 50b in diesem Beispiel in Einheiten des lokalen Bereiches des Objektbildes durchgeführt. Das heißt, dass in dem Repräsentativwert-Berechnungsprozess 48b der Repräsentativwert-Berechnungsabschnitt 59 (der Bildanalyseabschnitt 56) den repräsentativen Wert in Einheiten des lokalen Bereiches des Objektbildes (ursprünglichen Bilddaten) bestimmt. In dem Wiederherstellungsfilter-Auswahl/Berechnungsprozess 49b führt der Filterauswahlabschnitt 52/Filterberechnungsabschnitt 55, in Einheiten des lokalen Bereiches des Objektbildes (ursprüngliche Bilddaten), die Auswahl/Berechnung des Wiederherstellungsfilters der auf dem repräsentativen Wert basiert, in Einheiten des lokalen Bereiches durch. In dem Wiederherstellungsberechnungsprozess 50b führt dann der Wiederherstellungsberechnungs-Verarbeitungsabschnitt 53 in Einheiten des lokalen Bereiches des Objektbildes (ursprüngliche Bilddaten) eine Punktbild-Wiederherstellungsverarbeitungsberechnung durch, bei der der Wiederherstellungsfilter, der in Einheiten des lokalen Bereiches ausgewählt/berechnet wird, für die ursprünglichen Bilddaten nach dem Gammakorrekturprozess angewendet wird, so dass die wiederhergestellten Bilddaten erfasst werden.
  • Der ”lokale Bereich des Objektbildes (ursprüngliche Bilddaten)”, der hier beschrieben ist, bedeutet einen partiellen Bereich des Objektbildes (ursprüngliche Bilddaten). zum Beispiel kann ”jedes Pixel, das die ursprünglichen Bilddaten konfiguriert” oder ”jeder Unterteilungsbereich, wenn das Objektbild in mehrere Unterteilungsbereiche segmentiert wird (jeder Unterteilungsbereich ist durch mehrere Pixel konfiguriert)” als der ”lokale Bereich” verwendet werden.
  • 19 ist ein Diagramm zur Darstellung eines beispielhaften Objektbildes (ein aufgenommenes Bild 75) zur Erläuterung eines Beispiels, bei dem der Punktbild-Wiederherstellungsprozess in Einheiten von Pixeldaten gesteuert wird, und zeigt ein Beispiel, bei dem der Punktbild-Wiederherstellungsprozess auf Grundlage der Bildanalysedaten (Bildinformation) eines Pixels von Interesse und der peripheren Pixel in einem Kernel (Km, Kn) durchgeführt wird.
  • Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 (der Filterauswahlabschnitt 52 oder der Filterberechnungsabschnitt 55) in dem Beispiel bestimmt den Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, in Einheiten der Pixeldaten der ursprünglichen Bilddaten, aus dem Ergebnis des Analyseprozesses (der Bildanalyseabschnitt 56) der ursprünglichen Bilddaten.
  • Auf Grundlage eines Kernels mit einer vorbestimmten Größe (zum Beispiel ein Kernel von ca. 9 Pixeln (X-Richtung)×9 Pixeln (Y-Richtung)(siehe ”Km” und ”Kn” in 18)), der durch ein Pixel von Interesse konfiguriert ist, angeordnet im Zentrum, sowie periphere Pixel, die in der Peripherie angeordnet sind, kann der Wiederherstellungsfilter für das Pixel von Interesse ausgewählt/berechnet werden, basierend darauf ”oder nicht das Hauptobjektbildbild in dem Kernel (der Hauptobjektbild-Extraktionsabschnitte 57) enthalten ist”, ”ob oder ob nicht das gesättigte Pixel in dem Kernel enthalten ist (der gesättige Pixel-Erfassungsabschnitt 58)”, dem ”repräsentativen Wert, der aus den Pixeldaten in dem Kernel berechnet wird”, oder dergleichen. Durch die Durchführung des Prozesses der ”Auswahl/Berechnung des Wiederherstellungsfilters in Einheiten der Pixeldaten”, während das Pixel von Interesse in der horizontalen Richtung H/vertikalen Richtung V sequentiell geändert wird, ist es möglich, den Wiederherstellungsfilter für jedes von allen Pixeln zuzuweisen, die die ursprünglichen Bilddaten konfigurieren.
  • Die Größe des Kernels, der nicht sonderlich eingeschränkt ist, sollte hier bevorzugt auf Grundlage der Größe des Wiederherstellungsfilters (dem Wiederherstellungsfilter im realen Raum) bestimmt werden, der in dem Punktbild-Wiederherstellungsprozess verwendet wird (siehe die ”N Taps” und ”M Taps” des ”Realraumfilters” in 4), und die Kernelgröße sollte bevorzugt auf eine Größe eingestellt werden, die gleich zu oder geringer als die Größe des Realraumfilters ist, der in dem Punktbild-Wiederherstellungsprozess verwendet wird.
  • 20A und 20B sind Diagramme zur Darstellung eines beispielhaften Objektbildes (das aufgenommene Bild 75) zur Erläuterung von Beispielen, in denen der Punktbild-Wiederherstellungsprozess ein Einheiten des Unterteilungsbereiches gesteuert wird. In dem in 20A gezeigten Beispiel sind mehrere viereckige (rechteckige) Unterteilungsbereiche 76 in der horizontalen Richtung H und der vertikalen Richtung V bereitgestellt. In dem in 20B gezeigten Beispiel sind darüber hinaus mehrere unterteilte Bereiche 76, segmentiert durch mehrere konzentrische Kreise, um das Zentrum des Objektbildes (das aufgenommene Bild 75) bereitgestellt.
  • Der Punktbild-Wiederherstellungsbearbeitungsabschnitt 36 (der Filterauswahlabschnitt 52 oder der Filterberechnungsabschnitt 55) in den Beispielen, die in den 20A und 20B gezeigt sind, segmentiert das Objektbild (ursprüngliche Bilddaten), durch die ursprünglichen Bilddaten angezeigt wird, in mehrere unterteilte Bereiche, und bestimmt den Wiederherstellungsfilter, der in dem Punktbild-Wiederherstellungsprozess verwendet wird, in Einheiten der unterteilten Bereiche 76, aus dem Ergebnis des Analyseprozesses der ursprünglichen Bilddaten.
  • Auf Grundlage von jedem unterteilten Bereich 76 kann zum Beispiel der Wiederherstellungsfilter für die Pixel in dem Unterteilungsbereich 76 ausgewählt/berechnet werden, während darauf ”ob oder ob nicht das Hauptobjektbild in dem unterteilten Bereich 76 enthalten ist (dem Hauptobjekt-Bildextraktionsabschnitt 57)”, ”ob oder ob nicht das gesättigte Pixel in dem unterteilten Bereich 76 enthalten ist (der gesättigte Pixelerfassungsabschnitt 58)”, dem ”repräsentativen Wert, der aus den Pixeldaten in dem unterteilten Bereich 76 berechnet wird”, oder dergleichen. Indem der Prozess ”Auswahl/Berechnung des Wiederherstellungsfilters in Einheiten des unterteilten Bereiches” durchgeführt wird, während sequentiell der unterteilte Bereich geändert wird, ist es möglich, den Wiederherstellungsfilter für jedes von allen den Pixeln zuzuweisen, die die ursprünglichen Bilddaten konfigurieren.
  • Der Punktbild-Wiederherstellungsprozess wird somit durchgeführt, so dass der Wiederherstellungsfilter, der in Einheiten des lokalen Bereiches (in Einheiten der Pixeldaten (siehe 19) oder in Einheiten des unterteilten Bereiches (siehe 20A und 20B)) des Objektbildes (ursprüngliche Bilddaten) ausgewählt/berechnet wird, in Einheiten der lokalen Position angewendet wird, und es ist somit möglich, Wiederherstellungsbilddaten zu erfassen, die der Eigenschaft (Charakteristik) in Einheiten der lokalen Position entsprechen, und die eine hohe Wiederherstellungsgenauigkeit aufweisen.
  • Andere Modifikationen
  • Die oben beschriebene Digitalkamera 10 ist lediglich ein Beispiel, und die vorliegende Erfindung kann ebenso für andere Konfigurationen verwendet werden. Jede funktionale Konfiguration kann geeignet durch beliebige Hardware, Software oder die Kombination aus Beidem realisiert werden. Die vorliegende Erfindung kann daher ebenso, zum Beispiel, für ein Programm angewendet werden, das dazu führt, dass ein Computer die Bildverarbeitungsverfahren (Bildverarbeitungsprozeduren) in den oben beschriebenen jeweiligen Vorrichtungen und Verarbeitungsabschnitten auf der Kamerakörpersteuerung 28, dem Vorrichtungssteuerabschnitt 34, dem Bildverarbeitungsabschnitt 35, dem Punktbild-Wiederherstellungsverarbeitungsabschnitt 36, dem Punktbild-Wiederherstellungsbearbeitungsabschnitt 36, und dergleichen) ausführt, einem Computer-lesbaren Aufzeichnungsmedium, in dem ein derartiges Programm aufgezeichnet ist, oder ein Computer, in dem ein Programm installiert werden kann.
  • Anwendungsbeispiel für EDoF-System
  • Obwohl die Wiederherstellungsprozess in den oben beschriebenen Ausführungsformen Bildprozesse zum Wiederherstellen eines primären Objektbildes durch Wiederherstellung und Modifizieren einer Punktspreizung (Punktbildunschärfe) in Abhängigkeit von bestimmten Bedingungen ist (zum Beispiel, der Diaphragma-Wert, der F-Wert, der Fokusabstand, der Linsentyp, und dergleichen), ist der Bildwiederherstellungsprozess, auf dem die vorliegende Erfindung angewendet werden kann, nicht auf die Wiederherstellungsprozesse in den oben beschriebenen Ausführungsformen beschränkt. Der Wiederherstellungsprozess gemäß der vorliegenden Erfindung kann zum Beispiel auch für einen Wiederherstellungsprozess für Bilddaten angewendet werden, die durch ein optisches System (eine Bildaufnahmelinse und dergleichen) aufgenommen und erfasst werden kann, das ein erweitertes Tiefenfeld (Fokus) aufweist (engl. Extended Depth of Field bzw. EDoF). Der Wiederherstellungsprozess wird für die Bilddaten eines unscharfen Bildes durchgeführt, das durch das optische EDoF-System in einem Zustand aufgenommen und erfasst wird, in dem das Tiefenfeld (Fokustiefe) erweitert ist, und es ist daher möglich, hochauflösende Bilddaten wiederherzustellen und zu erzeugen, in dem ein breiter Bereich im Fokus ist. In diesem Fall wird ein Wiederherstellungsprozess unter Verwendung eines Wiederherstellungsfilters durchgeführt, der auf der Punktspreizfunktion (PSF, OTF, MTF, PTF oder dergleichen) für das optische EDoF-System basiert, und das einen Filterkoeffizienten aufweist, der derart eingestellt ist, dass eine gute Bildwiederherstellung in einem Bereich des erweiterten Tiefenfelds (Fokustiefe) durchgeführt werden kann.
  • Im Folgenden wird ein Beispiel eines Systems (EDoF-System) beschrieben, das für die Wiederherstellung der Bilddaten relevant ist, die durch das optische EDoF-System aufgenommen und erfasst werden. In dem Beispiel, das hier im Folgenden gezeigt wird, wird ein Beispiel beschrieben, bei dem der Wiederherstellungsprozess für das Helligkeitssignal (Y-Daten) durchgeführt wird, aus den Bilddaten (RGB-Daten) nachdem der Mosaikprozess erhalten wird. Der Zeitpunkt des Wiederherstellungsprozesses ist jedoch nicht sonderlich eingeschränkt, und der Wiederherstellungsprozess kann zum Beispiel für die ”Bilddaten (Mosaikbilddaten) vor dem Demosaikprozess” oder die ”Bilddaten (Demosaikdaten) nach dem Demosaikprozess und vor dem Helligkeitssignal-Wandlungsprozess” durchgeführt werden.
  • 21 ist ein Blockdiagramm zur Darstellung einer Form eines Bildaufnahmemoduls 101 mit einem optischen EDoF-System. Das Bildaufnahmemodul (eine Digitalkamera oder dergleichen) 101 in dem Beispiel enthält ein optisches EDoF-System (Linseneinheit) 110, ein Bildaufnahmeelement 112, einen AD-Wandlungsabschnitt 114 und einen Wiederherstellungsverarbeitungsblock (Bildverarbeitungsabschnitt 120).
  • 22 ist ein Diagramm zur Darstellung eines Beispiels des optischen EDoF-Systems 110. Das optische EDoF-System 110 in dem Beispiel enthält eine fixierte Einzelfokus-Bildaufnahmelinse 110a und einen optischen Filter 111, der an einer Pupillenposition (engl. Pupil Position) angeordnet ist. Der optische Filter 111, der die Phasen moduliert, führt zu einem Zustand, in dem das optische EDoF-System 110 (die Bildaufnahmelinse 110A) ein EDoF aufweist, so dass das erweiterte Tiefenfeld (Fokustiefe auf EDoF) erhalten wird. Die Bildaufnahmelinse 110A und der optische Filter 111 bilden daher einen Linsenabschnitt aus, der die Phase moduliert, um das Tiefenfeld zu erweitern.
  • Das optische EDoF-System 110 enthält hier andere ausgebildete Elemente bei Bedarf, und zum Beispiel ist ein Diaphragma (nicht dargestellt) in der Nähe des optischen Filters 111 angeordnet. Der. optische Filter 111 kann darüberhinaus ein einzelner Filter sein oder kann eine Kombination mehrerer Filter sein. Der optische Filter 111 ist ferner nur ein Beispiel eines optischen Phasenmodulationsmittels, und der Zustand, in dem das optische EDoF-System 110 (die Bildaufnahmelinse 110A) ein EDoF aufweist, kann durch verschiedene Mittel realisiert werden. Anstelle der Bereitstellung des optischen Filters 111 kann zum Beispiel der Zustand, in dem das optische EDoF-System 110 eine EDoF aufweist, durch eine Bildaufnahmelinse 110A realisiert werden, bei der die Linse derart ausgebildet ist, eine Funktion aufzuweisen, die in diesem Beispiel äquivalent zu dem optischen Filter 111 ist.
  • Das heißt, dass der Zustand, in dem das optische EDoF-System 110 eine EDoF aufweist, kann durch eine Vielzahl von Mitteln zum Ändern der Wellenfront der Bildformation auf der Lichtempfangsoberfläche des Bildaufnahmeelements 112 realisiert werden. Zum Beispiel kann ein ”optisches Element, dessen Dicke änderbar ist”, ein ”optisches Element, dessen Brechungsindex änderbar ist (eine Brechungsindex-Verteilungstyp-Wellenfront-Modulationslinse, oder dergleichen)”, ein ”optisches Element, dessen Dicke oder Brechungsindex durch die Codierung auf der Linsenoberfläche änderbar ist, oder dergleichen (eine Wellenfront-Modulationshybridlinse, ein optisches System, das auf der Linsenoberfläche ausgebildet wird, als eine Phasenebene, oder dergleichen)”, und ein ”Flüssigkristallelement, das die Phasenverteilung des Lichts modulieren kann (ein Flüssigkristall-Raum-Phasen-Modulationselement oder dergleichen)” kann zum Beispiel als Mittel zum Einstellen eines Zustands eingesetzt werden, in dem das optische EDoF-System 110 eine EDoF aufweist. Die vorliegende Erfindung kann somit nicht nur für den Fall angewendet werden, bei dem ein reguläres dispergiertes Bild durch ein Licht-Wellenfront-Modulationselement (den optischen Filter 111) Phasenplatte)) ausgebildet werden kann, jedoch auch für den Fall, bei dem das gleiche dispergierte Bild für den Fall der Verwendung des Licht-Wellenfront-Modulationselements durch die Bildaufnahmelinse 110A selbst ausgebildet werden kann, ohne das Licht-Wellenfront-Modulationselement zu verwenden.
  • Da ein Fokusanpassungsmechanismus zum mechanischen Durchführen einer Fokusanpassung weggelassen werden kann, ermöglicht das optische EDoF-System 110, das in 22 gezeigt ist, eine Verkleinerung, und kann geeignet in einem mit einer Kamera ausgestatteten Mobilphon oder einem persönlichen digitalen Assistenten montiert werden.
  • Ein optisches Bild nach dem Durchgang durch das optische EDoF-System 110, das eine EDoF aufweist, wird an dem in 21 gezeigten Bildaufnahmeelement 112 ausgebildet, und wird hier in ein elektrisches Signal gewandelt.
  • Das Bildaufnahmeelement 112 ist durch mehrere Pixel konfiguriert, die in einer Matrix angeordnet sind, die eine Musteranordnung (Bayer-Anordnung, streifen-gemustertes G und vollständig schachbrett-gemustertes R/G, X-Trans-Anordnung, Bienenwabenanordnung, oder dergleichen) aufweist, und jedes Pixel ist mit einer Mikro-Linse, einem Farbfilter (ein RGB-Farbfilter in dem Beispiel) und einer Photodiode konfiguriert. Das optische Bild, das in die Lichtempfangsoberfläche des Bildaufnahmeelements 112 über das optische EDoF-System 110 eingetreten ist, wird in eine Signalladung verwandelt, die eine Größe entsprechend der Einfallslichtgröße aufweist, durch jede Photodiode, die an der Lichtempfangsoberfläche angeordnet ist. Die R-, G- oder B-Signalladung, die in jeder Photodiode akkumuliert wird, wird dann sequentiell als ein Spannungssignal (Bildsignal auf jedes Pixel ausgegeben).
  • Der AD-Wandlungsabschnitt 114 wandelt das R-, G- oder B-Bildsignal, das analog ist, und das von dem Bildaufnahmeelement 112 für jedes Pixel ausgegeben wird, in ein RGB-Bildsignal, das digital ist. Das digitale Bildsignal, wobei es sich um ein Signal handelt, nachdem der AD-Wandlungsabschnitt 114 die Wandlung in das Bildsignal durchführt, das digital ist, wird in dem Wiederherstellungsverarbeitungsblock 120 eingegeben.
  • Der Wiederherstellungsverarbeitungsblock 120 enthält zum Beispiel einen Schwarzpegel-Anpassungsabschnitt 120, einen Weißabgleich-Verstärkungsabschnitt 123, einen Gammaverarbeitungsabschnitt 124, einen Demosaikverarbeitungsabschnitt 125, einen RGB/YCrCb-Wandlungsabschnitt 126, und einen Y-Signalwiederherstellungs-Verarbeitungsabschnitt 127.
  • Der Schwarzpegel-Anpassungsabschnitt 122 führt eine Schwarzpegelanpassung für das digitale Bildsignal durch, das von dem AD-Umwandlungsabschnitt 114 ausgegeben wird. Für die Schwarzpegelanpassung kann ein bekanntes Verfahren eingesetzt werden. Im Fall der Konzentration auf ein effektives photoelektrisches Wandlungselement wird zum Beispiel der Durchschnittswert von Dunkelstromgrößen-Erfassungssignalen, die jeweils mehreren OB-photoelektrischen Wandlungselementen entsprechen, die in einer photoelektrischen Wandlungselementlinie enthalten sind, die das effektive photoelektrische Wandlungselement enthält, bestimmt, und der Durchschnittswert wird von dem Dunkelstromgrößen-Erfassungssignal entsprechend dem effektiven photoelektrischen Wandlungselement subtrahiert. Somit wird die Schwarzpegelanpassung durchgeführt.
  • Der Weißabgleich-Verstärkungsabschnitt 123 führt eine Verstärkungsanpassung entsprechend der Weißabgleichverstärkung von jedem Farbsignal von RGB durch, das in dem digitalen Bildsignal enthalten ist, in dem die Schwarzpegeldaten angepasst wurden.
  • Der Gammaverarbeitungsabschnitt 124 führt eine Gammakorrektur, wie zum Beispiel ein Halbfarbton der Gradationskorrektur durch, sodass das R-, G- oder B-Bildsignal nach der Weißabgleichanpassung eine beabsichtigte Gammaeigenschaft aufweist.
  • Der Demosaikverarbeitungsabschnitt 125 führt einen Demosaikprozess für R-, G- oder B-Bildsignal nach der Gammakorrektur durch. Der Demosaikverarbeitungsabschnitt 125 führt insbesondere einen Farbinterpolationsprozess für das R-, G- oder B-Bildsignal durch, und erzeugt dadurch einen Satz von Bildsignalen (ein R-Signal, ein G-Signal und ein B-Signal), die von jedem Lichtempfangspixel des Bilderfassungselements 112 ausgegeben wird. Vor dem Farbdemosaikprozess ist daher das Pixelsignal von jedem Lichtempfangspixel eines von den R-, G- und B-Bildsignalen, jedoch wird nach dem Farbdemosaikprozess ein Satz von drei Pixelsignalen der R-, G- und B-Signale entsprechend jedem Lichtempfangspixel ausgegeben.
  • Der RGB/YCrCb-Wandlungsabschnitt 126 wandelt die R-, G- und B-Signale für jedes Pixel nach dem Demosaikprozess in ein Helligkeitssignal Y und Farbdifferenzsignale Cr, Cb, und das Helligkeitssignal Y und die Farbdifferenzsignale Cr, Cb für jedes Pixel werden ausgegeben.
  • Der Y-Signalwiederherstellungs-Verarbeitungsabschnitt 127 führt einen Wiederherstellungsprozess für das Helligkeitssignal Y aus dem RGB/YCrCb-Wandlungsabschnitt 126 durch, auf Grundlage eines vorab gespeicherten Wiederherstellungsfilters. Der Wiederherstellungsfilter weist zum Beispiel einen Entfaltungskernel mit einer Kernel-Größe von 7 × 7 auf (entsprechend einer Tap-Anzahl von M = 7, N = 7) und einen Berechnungskoeffizienten (Berechnungsverstärkungsdaten, entsprechend dem Filterkoeffizienten) entsprechend dem Entfaltungskernel, und wird in einem Entfaltungsprozess (Entfaltungsberechnungsprozess) durch die Phasenmodulationsgröße des optischen Filters 111 verwendet. Der Wiederherstellungsfilter entspricht hier dem optischen Filter 111 und wird in einem Speicher gespeichert, der in der Figur nicht gezeigt ist (zum Beispiel, einen Speicher, der im Übrigen in dem Y-Signal-Wiederherstellungsverarbeitungsabschnitt 127 bereitgestellt ist. Die Kernel-Größe des Entfaltungskernels ist ferner nicht auf 7 × 7 beschränkt.
  • Im Folgenden wird der Wiederherstellungsprozess durch den Wiederherstellungsverarbeitungsblock 120 beschrieben. 23 ist ein Diagramm zur Darstellung eines Beispiels eines Wiederherstellungsprozessablaufs durch den in 21 gezeigten Wiederherstellungsverarbeitungsblock 120.
  • In eine Eingabe des Schwarzpegel-Anpassungsabschnitts 122 wird das digitale Bildsignal von dem AD-Wandlungsabschnitt 114 eingegeben, und in eine andere Eingabe werden die Schwarzpegeldaten eingegeben. Der Schwarzpegel-Anpassungsabschnitt 122 subtrahiert die Schwarzpegeldaten in dem digitalen Bildsignal, und gibt das digitale Bildsignal nach der Subtraktion der Schwarzpegeldaten an den Weißabgleich-Verstärkungsabschnitt 123 aus (S61). Die Schwarzpegelkomponente wird dadurch von dem digitalen Bildsignal entfernt, und das digitale Bildsignal, das den Schwarzpegel angibt, wird zu 0.
  • Für die Bilddaten nach der Schwarzpegelanpassung werden die Prozesse durch den Weißabgleich-Verstärkungsabschnitt 123 und den Gamma-Verarbeitungsabschnitt 124 sequentiell durchgeführt (S62 und S63).
  • Die R-, G- und B-Signale nach dem Gammaprozess werden in das Helligkeitssignal Y und die Farbsignale Cr, Cb in dem RGB/YCrCb-Wandlungsabschnitt 126 (S64) gewandelt, nach dem Demosaikprozess in dem Demosaikverarbeitungsabschnitt 125.
  • Der Y-Signal-Wiederherstellungsverarbeitungsabschnitt 127 führt einen Wiederherstellungsprozess durch, bei dem für das Helligkeitssignal Y der Entfaltungsprozess durch die Phasenmodulationsgröße des optischen Filters 111 des optischen EDoF-Systems 110 angewendet wird (S65). Das heißt, dass der Y-Signal-Wiederherstellungsverarbeitungsabschnitt 127 den Entfaltungsprozess (Entfaltungsberechnungsprozess) zwischen einem Helligkeitssignal entsprechend einer vorbestimmten Einheitspixelgruppe und ein beliebiges Prozesszielpixel (hier ein Helligkeitssignal für 7×7 Pixel) und einem Wiederherstellungsfilter (ein Entfaltungskernel von 7×7 und den Berechnungskoeffizienten), der in dem Speicher oder dergleichen abgespeichert ist, durchführt. Der Y-Signal-Wiederherstellungsverarbeitungsabschnitt 127 führt den Wiederherstellungsprozess zum Entfernen der Bildunschärfen des gesamten Bildes durch, indem der Entfaltungsprozess für jede der vorbestimmten Einheitspixelgruppen wiederholt wird, um den gesamten Bereich der Bildaufnahmeoberfläche abzudecken. Der Wiederherstellungsfilter wird in Abhängigkeit von der zentralen Position der Pixelgruppe bestimmt, für die der Entfaltungsprozess durchgeführt wird. Das heißt, dass ein gemeinsamer Wiederherstellungsfilter für benachbarte Pixelgruppen angewendet wird. Zur weiteren Vereinfachung des Wiederherstellungsprozesses wird bevorzugt, einen gemeinsamen Wiederherstellungsfilter für alle Pixelgruppen zu verwenden.
  • Wie in (a) von 24 gezeigt, wird das Punktbild (optisches Bild) des Helligkeitssignals nach dem Durchgang durch das optische EDoF-System 110 an dem Bildaufnahmeelement 112 ausgebildet, als ein großes Punktbild (ein unscharfes Bild). Wie jedoch in (b) von 24 gezeigt, wird dieses in ein kleines Punktbild (ein hochaufgelöstes Bild) wiederhergestellt, durch den Entfaltungsprozess in dem Y-Signal-Wiederherstellungsverarbeitungsabschnitt 127.
  • Durch den Einsatz des Wiederherstellungsprozesses an dem Helligkeitssignal nach dem Demosaikprozess, ist es, wie oben beschrieben, nicht erforderlich, die Parameter des Wiederherstellungsprozesses für jede von RGB zu haben, was zu einem schnelleren Wiederherstellungsprozess führt. Anstelle des Durchführens des Entfaltungsprozesses durch Anordnen, als eine Einheit, von jedem der R-, G- und B-Bildsignale entsprechend der R-, G- und B-Pixel, die in Intervallen positioniert sind, wird der Entfaltungsprozess durch ein Anordnen der Helligkeitssignale benachbarter Pixel als vorbestimmte Einheit und Anwenden eines gemeinsamen Wiederherstellungsfilters für die Einheit durchgeführt. Dadurch wird die Genauigkeit des Wiederherstellungsprozesses verbessert. Bezüglich der Farbdifferenzsignale Cr, Cb ist selbst dann, wenn die Auflösung durch den Wiederherstellungsprozess nicht erhöht wird, die Bildqualität aufgrund der Eigenschaft der visuellen Empfindlichkeit der menschlichen Augen zulässig. Für den Fall, dass das Bild in einem komprimierten Format, wie zum Beispiel JPEG aufgezeichnet wird, wird das Farbdifferenzsignal bei einer höheren Komprimierbarkeit als das Helligkeitssignal komprimiert. Es ist daher weniger notwendig, die Auflösung durch den Wiederherstellungsprozess zu erhöhen. Es ist somit möglich, sowohl eine Verbesserung der Wiederherstellungsgenauigkeit als auch der Vereinfachung und Beschleunigung des Prozesses zu erreichen.
  • Der Punktbild-Wiederherstellungsprozess gemäß jeder Ausführungsform der vorliegenden Erfindung kann ebenso für den Wiederherstellungsprozess des oben beschriebenen EDoF-Systems angewendet werden.
  • In jeder Ausführungsform, die oben beschrieben ist, wurde hier ein Aspekt erläutert, bei dem der Punktbild-Wiederherstellungsverarbeitungsabschnitt 36 in dem Kamerakörper 14 (der Kamerakörpersteuerung 28) der Digitalkamera 10 bereitgestellt ist. Der Punktbild-Wiederherstellungsverarbeitungsabschnitt 36 kann jedoch in einer anderen Vorrichtung, wie zum Beispiel einem Computer 60 und einem Server 80 bereitgestellt werden.
  • Wenn die Bilddaten in dem Computer 60 verarbeitet werden, kann zum Beispiel der Punktbild-Wiederherstellungsprozess der Bilddaten durch den Punktbild-Wiederherstellungsverarbeitungsabschnitt durchgeführt werden, der in dem Computer 60 bereitgestellt ist. In dem Fall, wenn der Server 80 den Punktbild-Wiederherstellungsverarbeitungsabschnitt enthält, können die Bilddaten zum Beispiel von der Digitalkamera 10 oder dem Computer 60 an den Server 80 gesendet werden, kann der Punktbild-Wiederherstellungsprozess für die Bilddaten in dem Punktbild-Wiederherstellungsverarbeitungsabschnitt des Servers 80 durchgeführt werden, und die Bilddaten (Wiederherstellungsbilddaten) nach dem Punktbild-Wiederherstellungsprozess können dann an die Quelle gesendet und bereitgestellt werden.
  • Aspekte, für die die vorliegende Erfindung angewendet werden kann, sind ferner nicht auf die Digitalkamera 10, den Computer 60 und den Server 80 beschränkt, und neben Kameras, in denen die Bildaufnahme die Hauptfunktion ist, ist die Anwendung für mobile Vorrichtungen möglich, die eine andere Funktion (eine Telefonruffunktion, eine Kommunikationsfunktion und andere Computerfunktionen) außer der Bildaufnahme zusätzlich zu der Bildaufnahmefunktion aufweisen. Als ein anderer Aspekt, für den die vorliegende Erfindung angewendet werden kann, gibt es ein Mobilphone mit einer Kamerafunktion, ein Smart Phone, einen PDA (engl. Personal Digital Assistants) und zum Beispiel tragbare Spielmaschinen. Im Folgenden wird ein Beispiel des Smart Phones beschrieben, für das die vorliegende Erfindung angewendet werden kann.
  • Konfiguration des Smartphones
  • 25 zeigt eine externe Ansicht eines Smartphones 201, wobei es sich um eine Ausführungsform der Bildaufnahmevorrichtung gemäß der vorliegenden Erfindung handelt. Das in 25 gezeigte Smart Phone 201 weist ein Gehäuse 202 in einer flachen Plattenform auf, und enthält, an einer Oberfläche des Gehäuses 102 einen Anzeige/Eingabe-Abschnitt 220, in dem ein Anzeigefeld 221 als ein Anzeigeabschnitt und ein Bedienungsfeld 222 als ein Eingabe-Abschnitt vereinheitlicht sind. Das Gehäuse 202 enthält ferner einen Lautsprecher 231, ein Mikrofon 232, einen Betriebsabschnitt 240 und einen Kameraabschnitt 241. Die Konfiguration des Gehäuses 202 ist nicht darauf beschränkt. Es kann zum Beispiel eine Konfiguration eingesetzt werden, bei der der Anzeigeabschnitt und der Eingabeabschnitt separiert sind, oder eine Konfiguration mit einer Faltungsstruktur und einem Verschiebungsmechanismus kann eingesetzt werden.
  • 26 ist ein Blockdiagramm zur Darstellung der Konfiguration des in 25 gezeigten Smart Phones 201. Wie in 26 gezeigt, enthält das Smart Phone als hauptsächliche Elemente einen Drahtloskommunikationsabschnitt 210, den Anzeige/Eingabe-Abschnitt 220, einen Telefonrufabschnitt 130, den Betriebsabschnitt 240, den Kameraabschnitt 241, einen Speicherabschnitt 250 und einen externen Eingabe/Ausgabeabschnitt 260, einen GPS-(engl. Global Positioning System)-Empfangsabschnitt 270, einen Bewegungssensorabschnitt 280, einen Netzabschnitt 290 und einen Hauptsteuerabschnitt 200. Das Smart Phone 201 enthält ferner als Hauptfunktion eine Drahtloskommunikationsfunktion zum Durchführen der mobilen drahtlosen Kommunikation über eine Basisstationsvorrichtung BS und einem Mobilkommunikationsnetz NW.
  • Der Drahtloskommunikationsabschnitt 210 führt die drahtlose Kommunikation mit einer Basisstationsvorrichtung BS durch, die in einem Mobilkommunikationsnetz NW enthalten ist, gemäß einer Anweisung des Hauptsteuerabschnitts 200. Unter Verwendung der drahtlosen Kommunikation wird das Senden und Empfangen verschiedener Dateidaten durchgeführt, wie zum Beispiel Audiodaten und Bilddaten, E-Mail-Daten oder dergleichen, sowie der Empfang von Web-Daten, Stream-Daten oder dergleichen.
  • Der Anzeige/Eingabe-Abschnitt 220 ist ein sogenanntes Berührungsfeld, das, unter Steuerung von dem Hauptsteuerabschnitt 200, ein Bild (ein Ruhebild und ein bewegendes Bild) anzeigt, sowie eine Zeicheninformation oder dergleichen, um die Information einem Nutzer visuell zu übertragen, und erfasst die Nutzer Operation an der angezeigten Information, und enthält das Anzeigefeld 221 und das Bedienungsfeld 222.
  • Das Anzeigefeld 221 ist eine LCD (engl. Liquid Crystal Display), ein OELD (engl. Organic Electro-Luminescence Display) oder dergleichen, das al seine Anzeigevorrichtung verwendet wird. Das Bedienungsfeld 222 ist eine Vorrichtung, die derart platziert ist, dass ein Bild, das auf der Anzeigeoberfläche des Anzeigefelds 221 angezeigt wird, visuell erkannt werden kann, und das eine einzelne oder mehrere Koordinaten erfasst, die durch einen Finger eines Nutzers oder einen Stift betrieben wird. Wenn diese Vorrichtung durch einen Finger eines Nutzers oder einen Stift betrieben wird, wird ein Erfassungs- bzw. Detektionssignal, das aufgrund der Operation erzeugt wird, an den Hauptsteuerabschnitt 200 ausgegeben. Der Hauptsteuerabschnitt 200 erfasst bzw. detektiert die Operationsposition (Koordinaten) an dem Anzeigefeld 221 auf Grundlage des empfangenen Detektionssignals.
  • Das Anzeigefeld 221 und das Bedienungsfeld 222 des Smart Phones 101, als Beispiel einer Ausführungsform der Bildaufnahmevorrichtung gemäß der vorliegenden Erfindung, sind hier, wie in 25 gezeigt, vereinheitlicht, um den Anzeige/Eingabe-Abschnitt 220 auszubilden, und sind derart angeordnet, dass das Bedienungsfeld 222 das Anzeigefeld 221 vollständig abdeckt. Im Fall des Einsatzes bzw. der Verwendung dieser Anordnung kann das Bedienungsfeld 222 die Funktion zum Erfassen der Nutzeroperation bzw. der Nutzerbedienung auch in einem Bereich außerhalb des Anzeigefeldes 221 erfassen. Mit anderen Worten kann das Bedienungsfeld 222 einen Erfassungsbereich enthalten, wobei es sich um einen Superpositionsabschnitt handeln, der mit dem Anzeigefeld 221 überlappt (im Folgenden als ein Anzeigebereich bezeichnet), und einen Erfassungsbereich, der sich davon unterscheidet, und der der äußere Kantenabschnitt ist, der mit dem Anzeigefeld 221 nicht überlappt (im Folgenden als ein Nichtanzeigebereich bezeichnet).
  • Die Größe des Anzeigebereiches und die Größe des Anzeigefeldes 221 können hier vollständig übereinstimmen, jedoch müssen diese beiden nicht immer übereinstimmen. Das Bedienungsfeld 222 kann ferner zwei empfindliche Bereiche enthalten: den äußeren Kantenbereich und den inneren Abschnitt, der sich davon unterscheidet. Die Breite des äußeren Kantenabschnitts ist darüber hinaus geeignet in Abhängigkeit von der Größe des Gehäuses 202 und dergleichen ausgebildet. Als Positionsdetektionsverfahren, die in dem Bedienungsfeld 222 eingesetzt werden, gibt es ein Matrixschaltverfahren, ein Wiederstandsfilmverfahren, ein akustisches Oberflächenwellenverfahren, ein Infrarotstrahlverfahren, ein elektromagnetisches Induktionsverfahren, ein elektrostatisches Kapazitätsverfahren und dergleichen, und jedes Verfahren kann eingesetzt werden.
  • Der Telefonrufabschnitt 230, der den Lautsprecher 231 und das Mikrofon 232 enthält, wandelt eine Sprache des Nutzers, die über das Mikrofon 232 eingegeben wird, in Audiodaten, die im Hauptsteuerabschnitt 200 verarbeitet werden können, und diese an den Hauptsteuerabschnitt 200 auszugeben, und decodiert Audiodaten, die empfangen werden durch den Drahtloskommunikationsabschnitt 210 oder den externen Eingabe/Ausgabe-Abschnitt 260, um diese von dem Lautsprecher 231 auszugeben. Ferner kann, wie in 25 gezeigt, der Lautsprecher 231 zum Beispiel an der gleichen Oberfläche wie eine Oberfläche montiert werden, an der der Anzeige/Eingabe-Abschnitt 220 bereitgestellt ist, und das Mikrofon 232 kann an der Seitenoberfläche des Gehäuses 102 montiert werden.
  • Der Bedienungsabschnitt 240 ist eine Hardwaretastatur unter Verwendung eines Tastschalters oder dergleichen, und empfängt eine Anweisung an einen Nutzer. Wie in 25 gezeigt, ist der Bedienungsabschnitt 240, der an der Seitenoberfläche des Gehäuse 202 des Smart Phones 201 montiert ist, zum Beispiel ein Druckknopfschalter, der durch Drücken mit einem Finger oder dergleichen eingeschaltet wird, und den Aus-Zustand annimmt, durch die Rückstellkraft einer Feder oder dergleichen, wenn der Finger entfernt wird.
  • Der Speicherabschnitt 250 speichert ein Steuerprogramm und Steuerdaten des Hauptsteuerabschnitts 200, Anwendungs-Software, Adressendaten, die mit dem Namen assoziiert sind, eine Telefonnummer und andere eines Kommunikationspartners, sendet oder empfängt E-Mail-Daten, Web-Daten, die durch Web-Browsen heruntergeladen werden, und heruntergeladene Kontent-Daten, und speichert ferner temporär Stream-Daten oder dergleichen. Der Speicherabschnitt 250 ist ferner durch einen internen Speicherabschnitt 151 ausgebildet, der in dem Smart Phone eingebaut ist, und einem externen Speicherabschnitt 252 mit einem entfernbaren externen Speicher-Slot. Sowohl der interne Speicherabschnitt 251 als auch der externe Speicherabschnitt 252, die den Speicherabschnitt 250 ausbilden, wird unter Verwendung eines Speichermediums realisiert, wie zum Beispiel einem Flash-Speicher, einem Festplatten-Speicher, einem Multimediakarten-Mikrotyp, einem Karten-Speicher (zum Beispiel, ein Mikro-SD-(registrierte Marke)-Speicher oder dergleichen, ein RAM-(engl. Random Access Memory) und einem ROM (engl. Read Only Memory).
  • Der externe Eingabe/Ausgabe-Abschnitt 260 spielt die Rolle einer Schnittstelle mit allen externen Vorrichtungen, die mit dem Smart Phone 201 verknüpft sind, und ist direkt oder indirekt mit einer anderen externen Vorrichtung verbunden über eine Kommunikation oder dergleichen (zum Beispiel, Universal-Serial Bus (USB), IEEE1394 oder dergleichen), oder einen Netz (zum Beispiel, Internet, drahtloses LAN, Bluetooth (registrierte Marke), RFID (engl. Radio Frequency Identification), Infrarotkommunikation (engl. Infrared Data Association: IrDA) (registrierte Marke), UWB (engl. Ultra Wideband) (registrierte Marke), ZigBee (registrierte Marke), oder dergleichen.
  • Beispiele der externen Vorrichtung, die mit dem Smartphone 201 verknüpft ist, umfasst ein verdrahtetes oder drahtloses Headset, einen verdrahteten oder drahtlosen externen Batterielader, einen verdrahteten oder drahtlosen Daten-Port, eine Speicherkarte oder SIM-(engl. Subscriber Identity Module Card)/UIM(engl. User Identity Module Card)Karte, die mit einen Card-Socket verbunden wird, eine externe Audio- und Videovorrichtung, die über einen Audio- und Video-(/O(Eingabe/Ausgabe)Abschluss verbunden wird, eine externe Audio- und Videovorrichtung, die drahtlos verbunden wird, ein Smartphone, das verdrahtet oder drahtlos verbunden wird, einen Personalcomputer, der verdrahtet oder drahtlos verbunden wird, einen PDA, der verdrahtet oder drahtlos verbunden wird, einen Personalcomputer, der verdrahtet oder drahtlos verbunden wird, einen Kopfhörer und dergleichen. Der externe Eingabe/Ausgabe-Abschnitt ermöglicht, dass Daten, die von einer derartigen externen Vorrichtung transferiert werden, an jedes ausbildende Element im Inneren des Smartphones 201 übertragen wird, und ermöglicht, dass Daten im Inneren des Smartphones 201 an eine externe Vorrichtung transferiert werden.
  • Der GPS-Empfangsabschnitt 270 empfängt, in Übereinstimmung mit einer Anweisung des Hauptsteuerabschnitts GPS-Signale, die von GPS-Satelliten ST1 bis STn gesendet werden, führt einen Positionsberechnungsprozess auf Grundlage der empfangenen mehreren GPS-Signale aus, und erfasst bzw. detektiert die Position des Smartphones 201, durch den Längengrad, Breitengrad und Höhengrad. Wenn die Positionsinformation von dem Drahtloskommunikationsabschnitt 210 oder dem externen Eingabe/Ausgabeabschnitt 160 (zum Beispiel einem drahtlosen LAN erfasst werden kann), kann der GPS-Empfangsabschnitt 270 die Position unter Verwendung der Positionsinformation detektieren.
  • Der Bewegungssensorabschnitt 280 enthält zum Beispiel einen Drei-Achsen-Beschleunigungssensor und dergleichen, und erfasst die physikalische Bewegung des Smartphones 201 in Übereinstimmung mit einer Anweisung des Steuerabschnitts 200. Die Erfassung der physikalischen Bewegung des Smartphones 201 führt zu der Erfassung bzw. Detektion der Bewegungsrichtung und Beschleunigung des Smartphones 201. Dieses Erfassungsresultat wird an den Hauptsteuerabschnitts 200 ausgegeben.
  • Der Netzabschnitt 290 liefert elektrischen Strom, der in einer Batterie (nicht gezeigt) gespeichert ist, an jeden Abschnitt des Smartphones 201, in Übereinstimmung mit einer Anweisung des Hauptsteuerabschnitts 200.
  • Der Hauptsteuerabschnitt 200, der einen Mikroprozessor enthält, arbeitet in Übereinstimmung mit dem Steuerprogramm und Steuerdaten, die in dem Speicherabschnitt 250 gespeichert sind, und steuert jeden Abschnitt des Smartphones 201 integral. Der Hauptsteuerabschnitt 200 weist darüber hinaus eine Mobilkommunikations-Steuerfunktion zum steuern jedes Abschnitts des Kommunikationssystems auf, sowie eine Anwendungsverarbeitungsfunktion zum Durchführen einer Sprachkommunikation und einer Datenkommunikation über den Drahtloskommunikationsabschnitt 210.
  • Der Hauptsteuerabschnitt 200 arbeitet in Übereinstimmung mit der Anwendungs-Software, die in dem Speicherabschnitt 250 gespeichert ist, und dadurch wird die Anwendungsverarbeitungsfunktion realisiert. Beispiele der Anwendungsverarbeitungsfunktion umfassen eine Infrarot-Kommunikationsfunktion zum Durchführen einer Datenkommunikation mit einer gegenüberliegenden Vorrichtung durch Steuern des externen Eingabe/Ausgabeabschnitts 260, eine e-Mail-Funktion zum Durchführen des Sendens und Empfangens einer e-Mail-Nachricht, einer Web-Brows-Funktion zum Browsen einer Web-Seite, und dergleichen.
  • Der Hauptsteuerabschnitt 200 weist darüber hinaus eine Bildverarbeitungsfunktion auf, wie zum Beispiel die Anzeige eines Bildes an dem Anzeige/Eingabeabschnitt 220, auf Grundlage von Bilddaten (Ruhebild- oder Bewegungsbilddaten), wie zum Beispiel empfangene Daten oder herunter geladene Stream-Daten. Die Bildverarbeitungsfunktion ist eine Funktion, durch die der Hauptsteuerabschnitt 200 die obigen Bilddaten decodiert, einen Bildprozess für das decodierte Resultat durchführt und das Bild an dem Anzeige/Eingabeabschnitt 220 anzeigt.
  • Der Hauptsteuerabschnitt 200 führt darüber hinaus die Anzeigesteuerung für das Anzeigefeld 221 durch, sowie eine Betriebserfassungssteuerung zur Erfassen einer Benutzeroperation über dem Bedienungsabschnitt 240 oder das Bedienungsfeld 220.
  • Durch die Ausführung der Anzeigensteuerung zeigt der Hauptsteuerabschnitt 200 Software-Tasten an, wie zum Beispiel einen Icon zum Aktivieren einer Anwendungs-Software und einen Scroll-Bar, oder zeigt ein Fenster zum Erzeugen einer e-Mail-Nachricht. Der Scroll-Bar ist hier eine Software-Tastatur zum Empfangen einer Anweisung zur Bewegung des Anzeigeabschnitts von einem Bild, das zu groß ist, um in den Anzeigebereich des Anzeigefeldes 121 zu passen, oder dergleichen.
  • Durch die Ausführung der Bedienungserfassungssteuerung erfasst der Hauptsteuerabschnitt 200 ferner eine Nutzeroperation über den Bedienungsabschnitt 240, empfängt eine Operation an dem obigen Icon und eine Eingabe eines Zeichen..? 240 in eine Eingabebox des obigen Fensters, über das Bedienungsfelds 222, oder empfängt eine Scroll-Anforderung des Anzeigebildes über dem Scroll-Bar.
  • Durch die Ausführung der Bedienungserfassungssteuerung weit der Hauptsteuerabschnitt 200 darüber hinaus eine Bedienungsfeld-Steuerfunktion auf, um zu entscheiden, ob die Bedienungsposition für das Bedienungsfeld 222 der Superpositionsabschnitt (Anzeigebereich) ist, der mit dem Anzeigefeld 221 überlappt, oder der äußere Kantenabschnitt (Nichtanzeigebereich), der sich davon unterscheidet und nicht mit dem Anzeigefeld 221 überlappt, und zum Steuern des empfindlichen Bereiches des Bedienungsfeldes 222 und der Anzeigeposition der Software-Tasten.
  • Der Hauptsteuerabschnitt 200 kann darüber hinaus einen Gesten-Betrieb des Bedienungsfeldes 222 erfassen, und kann eine voreingestellte Funktion ausführen, ansprechend auf den erfassten Gesten-Betrieb. Die Gesten-Operation bedeutet nicht eine herkömmliche einfache Berührungsoperation, sondern eine Operation zum Zeichnen einer Spur (engl. draw a track) aus zumindest einer von mehreren Positionen durch Zeichnen der Spur durch einen Finger oder dergleichen, indem mehrere Positionen simultan bestimmt werden, oder durch eine Kombination dieser.
  • Der Kameraabschnitt 241 ist eine Digitalkamera, die eine elektronische Bildaufnahme unter Verwendung eines Bildaufnahmeelements durchführt, wie zum Beispiel ein CMOS (engl. Complementary Metal Oxide Semiconductor) oder eine CCD (engl. Charge-Coupled Device). Durch die Steuerung von dem Hauptsteuerabschnitt 200 wandelt der Kameraabschnitt 241 ferner die Bilddaten, die durch die Bildaufnahme erhalten werden, in komprimierte Bilddaten, wie zum Beispiel JPEG (engl. Joint Photographic coding Experts Group), und kann diese in dem Speicherabschnitt 250 aufzeichnen, oder kann diese über den Eingabe/Ausgabeabschnitt 260 oder den Drahtloskommunikationsabschnitt 210 ausgeben. In dem in 25 gezeigten Smartphone 201 ist der Kameraabschnitt 241 an der gleichen Oberfläche wie der Anzeige/Eingabeabschnitt 220 montiert. Die Montageposition des Kameraabschnitts 241 ist jedoch nicht darauf beschränkt. Dieser kann an der Rückoberfläche des Anzeige/Eingabeabschnitts 220 montiert sein, oder mehrere Kameraabschnitte 241 können montiert sein. Für den Fall, dass mehre Kameraabschnitte 241 montiert sind, ist es möglich, einen Kameraabschnitt 241 für eine Bildaufnahme zu schalten, um die Bildaufnahme unabhängig durchzuführen, und die mehreren Kameraabschnitte 241 simultan zu verwenden, um eine Bildaufnahme durchzuführen.
  • Der Kameraabschnitt 241 kann darüber hinaus für verschiedene Funktionen des Smartphones 201 verwendet werden. Ein Bild, das zum Beispiel in dem Kameraabschnitt 241 aufgenommen wird, kann von dem Anzeigefeld 221 angezeigt werden, und ein Bild in dem Kameraabschnitt 241 kann als eine Bedienungseingabe des Bedienungsfeldes 222 verwendet werden. Wenn darüber hinaus GPS-Empfangsabschnitt 270 die Position erfasst, kann dieser die Position unter Bezugnahme auf ein Bild aus dem Kameraabschnitt 241 detektieren bzw. erfassen. Durch die Bezugnahme auf ein Bild aus dem Kartenbild 241 ist es darüber hinaus möglich, die optische Achsenrichtung des Kameraabschnitts 241 des Smartphones 201 zu entscheiden, und die gegenwärtige Nutzungsumgebung zu entscheiden, ohne den Drei-Achsen-Beschleunigungssensor zu verwenden oder den Drei-Achsen-Beschleunigungssensor zusammen zu verwenden. Es ist natürlich möglich, ein Bild des Kameraabschnitts 241 in der Anwendungs-Software zu verwenden.
  • Darüber hinaus ist es möglich, die Positionsinformation, die durch den GPS-Empfangsabschnitt 270 erfasst wird, die Sprachinformation, die durch das Mikrofon 232 erfasst wird (es kann die Textinformation nach der Sprach-Text-Wandlung durch den Hauptsteuerabschnitt oder dergleichen sein), die Höheninformation, die durch den Bewegungssensorabschnitt 280 erfasst wird, oder dergleichen, für die Bilddaten eines Ruhebildes oder eines sich bewegenden Bildes hinzuzufügen, um diese in dem Speicherabschnitt 250 zu speichern, und diese über den Eingabe/Ausgabeabschnitt 260, oder den Drahtloskommunikationsabschnitt 210 auszugeben.
  • In dem oben beschriebenen Smartphone 201 kann jeder der oben beschriebenen Verarbeitungsabschnitte, die mit dem Punktbild-Wiederherstellungsprozess assoziiert sind, geeignet, zum Beispiel, durch den Hauptsteuerabschnitt 200, den Speicherabschnitt 250 und dergleichen realisiert werden.
  • Die vorliegende Erfindung ist natürlich nicht auf die oben beschriebenen Ausführungsformen beschränkt, und es sind verschiedene Modifikationen in einem Bereich möglich, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
  • Liste der Bezugszeichen
    • 10 Digitalkamera, 12 Linseneinheit, 14 Kamerakörper, 16 Linse, 17 Diaphragma, 18 Optisches-System-Betriebsabschnitt, 20 Linseneinheitsteuerung, 22 Linseneinheitsanschluss, 26 Bildaufnahmeelement, 28 Kamerakörpersteuerung, 30 Kamerakörperanschluss, 32 Eingabe/Ausgabe-Schnittstelle, 34 Vorrichtungssteuerungsabschnitt, 35 Bildverarbeitungsabschnitt, 36 Punktbild-Wiederherstellungsbearbeitungsabschnitt, 41 Offset-Korrekturprozess, 42 WB-Korrekturprozess, 43 Demosaikprozess, 44 Gammaprozess-Korrekturprozess, 45 Helligkeits- und Farbdifferenz-Wandlungsprozess, 46 Punktbild-Wiederherstellungsprozess, 47 Farbsignal-Wandlungsprozess, 48 48 Repräsentativwert-Berechnungsprozess, 49 Wiederherstellungsfilter-Auswahl/Berechnungsprozess, 50 Wiederherstellungsberechnungsprozess, Optisches-System-Datenerfassungsabschnitt, Filterauswahlabschnitt, 53 Wiederherstellungsberechnungs-Verarbeitungsabschnitt, 54 Wiederherstellungsfilter-Speicherabschnitt, 55 Filterberechnungsabschnitt, 56 Bildanalyseabschnitt, 57 Hauptobjekt-Bildextraktionsabschnitt, 58 Sättigungspixel-Erfassungsabschnitt, 59 Repräsentationswert-Berechnungsabschnitt, 60 Computer, 62 Computerterminal, 64 Computersteuerung, 66 Anzeige, 70 Internet, 75 ausgenommenes Bild, 76 Unterteilungsbereich, 80 Server, 82 Server-Terminal, 84 Server-Steuerung, 200 Hauptsteuerabschnitt, 201 Smartphone, 202 Gehäuse, 210 Drahtloskommunikationsabschnitt, 220 Anzeige/Eingabeabschnitt, 221 Anzeigefeld, 222 Bedienungsfeld, 230 Telefonrufabschnitt, 231 Lautsprecher, 232 Mikrofon, 240 Betriebsabschnitt, 241 Kameraabschnitt 250 Speicherabschnitt, 251 interner Speicherabschnitt, 252 externer Speicherabschnitt, 260 externer Eingabe/Ausgabeabschnitt, 270 GPS-Empfangsabschnitt, 280 Bewegungssensorabschnitt, 290 Netzabschnitt

Claims (16)

  1. Bildverarbeitungsvorrichtung zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch ein Bildaufnehmen eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei die Bildverarbeitungsvorrichtung umfasst: einen Gradationskorrekturabschnitt zum Durchführen einer Gradationskorrektur für einen logarithmischen Prozess für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsabschnitt zum Durchführen des Wiederherstellungsprozesses für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten vor dem logarithmischen Prozess aufweist.
  2. Bildverarbeitungsvorrichtung zur Erfassung von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei die Bildverarbeitungsvorrichtung umfasst: einen Gradationskorrekturabschnitt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsabschnitt zum Durchführen des Wiederherstellungsprozesses für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  3. Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei der Wiederherstellungsverarbeitungsabschnitt optische Systemdaten erfasst, die die Punktspreizfunktion für das optische System angeben, und den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführt, der auf den optischen Systemdaten basiert.
  4. Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Wiederherstellungsfilter vorab erzeugt werden, und der Wiederherstellungsverarbeitungsabschnitt einen Wiederherstellungsfilter entsprechend den optischen Systemdaten für das optische System auswählt, das bei Erfassung der ursprünglichen Bilddaten verwendet wird, aus den vorab erzeugten Wiederherstellungsfiltern, und dem ausgewählten Wiederherstellungsfilter in dem Wiederherstellungsprozess verwendet.
  5. Bildverarbeitungsvorrichtung nach Anspruch 3, wobei der Wiederherstellungsverarbeitungsabschnitt den Wiederherstellungsfilter erzeugt, basierend auf den optischen Systemdaten für das optische System, das bei der Erfassung der ursprünglichen Bilddaten verwendet wird, und den erzeugten Wiederherstellungsfilter in dem Wiederherstellungsprozess verwendet.
  6. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Wiederherstellungsverarbeitungsabschnitt einen Analyseprozess der ursprünglichen Bilddaten durchführt, und den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführt, der auf einem Resultat des Analyseprozesses basiert.
  7. Bildverarbeitungsvorrichtung nach Anspruch 6, wobei der Analyseprozess einen Prozess zu Bestimmen von Daten enthält, die ein Hauptobjektbild der ursprünglichen Bilddaten angeben, die das Objektbild angeben, und wobei der Wiederherstellungsverarbeitungsabschnitt den Wiederherstellungsprozess unter Verwendung des Wiederherstellungsfilters durchführt, der auf den Daten basiert, die das Hauptobjektbild der ursprünglichen Bilddaten angeben.
  8. Bildverarbeitungsvorrichtung nach Anspruch 6 oder 7, wobei der Wiederherstellungsverarbeitungsabschnitt den Wiederherstellungsfilter bestimmt, der in dem Wiederherstellungsprozess verwendet wird, in Einheiten des Objektbildes, aus einem Resultat des Analyseprozesses.
  9. Bildverarbeitungsvorrichtung nach Anspruch 6 oder 7, wobei der Wiederherstellungsverarbeitungsabschnitt das Objektbild segmentiert, das durch die ursprünglichen Bilddaten angegeben wird, in mehrere Unterteilungsbereiche, und den Wiederherstellungsfilter bestimmt, der in dem Wiederherstellungsprozess verwendet wird, in Einheiten der Unterteilungsbereiche, aus einem Resultat des Analyseprozesses.
  10. Bildverarbeitungsvorrichtung nach Anspruch 6 oder 7, wobei der Wiederherstellungsverarbeitungsabschnitt den Wiederherstellungsfilter bestimmt, der in dem Wiederherstellungsprozess verwendet wird, in Einheiten von Pixeldaten der ursprünglichen Bilddaten, aus einem Resultat des Analyseprozesses.
  11. Bildaufnahmevorrichtung, umfassend: ein Bildaufnahmeelement zum Ausgeben ursprünglicher Bilddaten durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems; und die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10.
  12. Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprünglichen Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Bildverarbeitungsverfahren umfasst: einen Gradationskorrekturschritt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsschritt zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient aufweist entsprechend von Bilddaten vor dem logarithmischen Prozess.
  13. Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf eine Punktspreizfunktion des optischen Systems basiert, wobei das Bildverarbeitungsverfahren umfasst: einen Gradationskorrekturschritt zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und einen Wiederherstellungsverarbeitungsschritt zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizienten entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  14. Programm zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, in solch einer Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Programm dazu führt, dass ein Computer ausführt: eine Prozedur zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und eine Prozedur zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend der Bilddaten vor dem logarithmischen Prozess aufweist.
  15. Bildverarbeitungsverfahren zum Erfassen von Wiederherstellungsbilddaten, indem ein Wiederherstellungsprozess für ursprüngliche Bilddaten durchgeführt wird, wobei die ursprünglichen Bilddaten von einem Bildaufnahmeelement erfasst werden, durch eine Bildaufnahme eines Objektbildes unter Verwendung eines optischen Systems, wobei der Wiederherstellungsprozess einen Wiederherstellungsfilter verwendet, der auf einer Punktspreizfunktion für das optische System basiert, wobei das Programm dazu führt, dass ein Computer ausführt: eine Prozedur zum Durchführen einer Gradationskorrektur durch einen logarithmischen Prozess, für die ursprünglichen Bilddaten; und eine Prozedur zum Durchführen des Wiederherstellungsprozesses, für Farbdaten der ursprünglichen Bilddaten nach der Gradationskorrektur, wobei der Wiederherstellungsfilter einen Filterkoeffizient entsprechend von Bilddaten nach dem logarithmischen Prozess aufweist.
  16. Nicht-flüchtiges Aufzeichnungsmedium mit einem darin aufgezeichneten Code, wobei der Code ein Computer-lesbarer Code des Programms gemäß einem der Ansprüche 14 und 15 ist.
DE112013004435.8T 2013-03-28 2013-04-26 Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium Ceased DE112013004435T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013069687 2013-03-28
JP2013069687 2013-03-28
PCT/JP2013/062465 WO2014155754A1 (ja) 2013-03-28 2013-04-26 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体

Publications (1)

Publication Number Publication Date
DE112013004435T5 true DE112013004435T5 (de) 2015-06-11

Family

ID=51622797

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013004435.8T Ceased DE112013004435T5 (de) 2013-03-28 2013-04-26 Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium

Country Status (5)

Country Link
US (1) US9445069B2 (de)
JP (1) JP5752866B2 (de)
CN (1) CN104704807B (de)
DE (1) DE112013004435T5 (de)
WO (1) WO2014155754A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5864037B2 (ja) * 2013-08-02 2016-02-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2015154307A (ja) * 2014-02-17 2015-08-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2015146506A1 (ja) * 2014-03-27 2015-10-01 日立マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
JP6558935B2 (ja) * 2015-04-24 2019-08-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6578960B2 (ja) * 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
DE112016006582T5 (de) * 2016-03-14 2018-12-13 Realop Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren,aufzeichnungsmedium, programm und bildaufnahmegerät
JP7289653B2 (ja) * 2016-03-31 2023-06-12 ソニーグループ株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN105872318B (zh) * 2016-04-29 2018-10-02 中国科学院西安光学精密机械研究所 一种可增强ccd相机调制传递函数的方法及电路
WO2019111092A1 (ja) * 2017-12-07 2019-06-13 株式会社半導体エネルギー研究所 表示装置及びその動作方法
CN108663957A (zh) * 2018-04-23 2018-10-16 靳霞 基于图像识别的秋千防触底的控制方法
CN108786119A (zh) * 2018-04-23 2018-11-13 靳霞 基于图像识别的秋千防触底控制平台
CN108765286B (zh) * 2018-05-18 2020-06-30 浙江大学 一种辐射调制函数保真的数字图像插值算法
CN112639610B (zh) * 2018-09-26 2022-12-02 Oppo广东移动通信有限公司 恢复穿过显示器的图像的方法和装置
CN110308458B (zh) * 2019-06-27 2021-03-23 Oppo广东移动通信有限公司 调节方法、调节装置、终端及计算机可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339462B2 (en) * 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4986965B2 (ja) * 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP5233601B2 (ja) * 2008-11-07 2013-07-10 セイコーエプソン株式会社 ロボットシステム、ロボット制御装置およびロボット制御方法
JP2011059813A (ja) * 2009-09-07 2011-03-24 Nikon Corp 画像処理装置、撮影装置及びプログラム
JP5534832B2 (ja) 2010-01-21 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5514042B2 (ja) * 2010-08-26 2014-06-04 富士フイルム株式会社 撮像モジュール、画像信号処理方法および撮像装置
JP5635844B2 (ja) * 2010-09-06 2014-12-03 キヤノン株式会社 焦点調整装置および撮像装置
JP6045185B2 (ja) 2011-06-14 2016-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JPWO2014155754A1 (ja) 2017-02-16
CN104704807B (zh) 2018-02-02
US20150208051A1 (en) 2015-07-23
CN104704807A (zh) 2015-06-10
JP5752866B2 (ja) 2015-07-22
US9445069B2 (en) 2016-09-13
WO2014155754A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
DE112013004435T5 (de) Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
DE112013004507T5 (de) Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
DE112013006596B4 (de) Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
DE102019213184A1 (de) Verfahren und system zum automatischen weissabgleich auf basis von tiefem lernen
DE112013002286B4 (de) Bildaufnahmevorrichtung und Verfahren zur Fokussierungssteuerung
DE69028946T2 (de) Verfahren zur adaptiven Schärfung elektronischer Bilder
CN105432069B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105493493B (zh) 摄像装置、摄像方法及图像处理装置
DE112006001017B4 (de) Verfahren und Vorrichtung zum Eingliedern von Irisfarbe in eine Rotes-Auge-Korrektur
CN105103534B (zh) 摄像装置及校准方法
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
EP2030433B1 (de) Verfahren und anordnung zur behandlung von datensätzen bildgebender sensoren sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102016115292A1 (de) Verfahren und Vorrichtung zur automatischen Belichtungswerterfassung für High Dynamic Range Imaging
CN105453534B (zh) 图像处理装置及方法
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
DE112013006817B4 (de) Bildaufnahmevorrichtung, Signalverarbeitungsverfahren und Signalverarbeitungsprogramm
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN105165003B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106134177A (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
DE102020200310A1 (de) Verfahren und System zur Dunstreduzierung für die Bildverarbeitung
CN106165392A (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
DE112013004068B4 (de) Bilddatei-Erzeugungsvorrichtung und Anzeigenvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final