DE112017005616T5 - Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm - Google Patents

Abstract

Die vorliegende Technologie betrifft eine Bildverarbeitungsvorrichtung, die ermöglicht, dass eine Neufokussierung erreicht wird, die mit einem gewünschten optischen Effekt vermittelt wird, ein Bildverarbeitungsverfahren und ein Programm. Eine Fokussierungsverarbeitungseinheit führt eine Fokussierungsverarbeitung durch, bei der Bilder aus mehreren Sichtpunkten verwendet werden, um ein Verarbeitungsergebnisbild zu erzeugen, das in einem vorbestimmten Abstand fokussiert ist. Die Fokussierungsverarbeitung wird unter Verwendung der Bilder aus den mehreren Sichtpunkten durchgeführt, wobei für die Bilder die Pixelwerte durch Anpassungskoeffizienten für jeden Sichtpunkt angepasst wurden. Diese Technologie ist beispielsweise auf Fälle anwendbar, bei denen ein neufokussiertes Bild aus Bildern aus mehreren Sichtpunkten erhalten wird.

Description

• TECHNISCHES GEBIET
• Die vorliegende Technologie betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm und insbesondere eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm zum Ermöglichen einer Neufokussierung, die zum Beispiel von gewünschten optischen Effekten begleitet wird.
• STAND DER TECHNIK
• Eine Lichtfeldtechnik wurde vorgeschlagen, um aus Bildern mehrerer Sichtpunkte ein neufokussiertes Bild zu rekonstruieren, das heißt zum Beispiel ein Bild, das mit einem optischen System erfasst wird, dessen Fokus geändert ist, oder dergleichen (siehe zum Beispiel Nichtpatentdokument 1).
• Zum Beispiel offenbart das Nichtpatentdokument 1 ein Neufokussierungsverfahren unter Verwendung eines Kameraarrays, das mit 100 Kameras gebildet ist.
• ZITATLISTE
• NICHTPATENTDOKUMENT
• Nichtpatentdokument 1: Bennett Wilburn et al., „High Performance Imaging Using Large Camera Arrays“
• KURZDARSTELLUNG DER ERFINDUNG
• DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
• Hinsichtlich des Neufokussierens wird erwartet, dass der Bedarf des Realisierens einer Neufokussierung, die von von Benutzern gewünschten optischen Effekten begleitet wird, und dergleichen in der Zukunft zunimmt.
• Die vorliegende Technologie erfolgt in Anbetracht solcher Umstände und zielt darauf ab, eine Neufokussierung, die von gewünschten optischen Effekten begleitet wird, zu ermöglichen.
• LÖSUNGEN DER PROBLEME
• Eine Bildverarbeitungsvorrichtung oder ein Programm gemäß der vorliegenden Technologie ist
  eine Bildverarbeitungsvorrichtung, die Folgendes aufweist: eine Aufnahmeeinheit, die Bilder mehrerer Sichtpunkte aufnimmt; und eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen, wobei die Lichtsammlungsverarbeitungseinheit den Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchführt, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind, oder
  ein Programm zum Bewirken, dass ein Computer als eine solche Bildverarbeitungsvorrichtung fungiert.
• Ein Bildverarbeitungsverfahren gemäß der vorliegenden Technologie ist ein Bildverarbeitungsverfahren, das Folgendes aufweist: Aufnehmen von Bildern mehrerer Sichtpunkte; und Durchführen eines Lichtsammlungsprozesses, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen, wobei der Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchgeführt wird, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
• Bei der Bildverarbeitungsvorrichtung, dem Bildverarbeitungsverfahren und dem Programm gemäß der vorliegenden Technologie werden Bilder mehrerer Sichtpunkte aufgenommen und wird ein Lichtsammlungsprozess durchgeführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen. Dieser Lichtsammlungsprozess wird mit den Bildern der mehreren Sichtpunkte durchgeführt, wobei die Pixelwerte der Bilder mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst werden.
• Es wird angemerkt, dass die Bildverarbeitungsvorrichtung eine unabhängige Vorrichtung sein kann oder ein interner Block in einer einzigen Vorrichtung sein kann.
• Unterdessen kann das bereitzustellende Programm über ein Transmissionsmedium übertragen werden oder kann auf einem Aufzeichnungsmedium aufgezeichnet werden.
• EFFEKTE DER ERFINDUNG
• Gemäß der vorliegenden Technologie ist es möglich, eine Neufokussierung, die von gewünschten optischen Effekten begleitet wird, durchzuführen.
• Es ist anzumerken, dass Effekte der vorliegenden Technologie nicht auf die hier beschriebenen Effekte beschränkt sind und beliebige der in der vorliegenden Offenbarung beschriebenen Effekte aufweisen können.
• Figurenliste
• 1 ist ein Blockdiagramm, das eine Beispielkonfiguration einer Ausführungsform eines Bildverarbeitungssystems zeigt, auf das die vorliegende Technologie angewandt ist.
• 2 ist eine Rückansicht einer Beispielkonfiguration einer Bilderfassungsvorrichtung 11.
• 3 ist eine Rückansicht einer anderen Beispielkonfiguration der Bilderfassungsvorrichtung 11.
• 4 ist ein Blockdiagramm, das eine Beispielkonfiguration einer Bildverarbeitungsvorrichtung 12 zeigt.
• 5 ist ein Flussdiagramm, das einen durch das Bildverarbeitungssystem durchzuführenden Beispielprozess zeigt.
• 6 ist ein Diagramm zum Erklären eines Beispiels für die Erzeugung eines Interpolationsbildes bei einer Interpolationseinheit 32.
• 7 ist ein Diagramm zum Erklären eines Beispiels für die Erzeugung einer Disparitätskarte bei einer Parallaxeninformationserzeugungseinheit 31.
• 8 ist ein Diagramm zum Erklären eines Überblicks des Neufokussierens durch einen Lichtsammlungsprozess, der durch eine Lichtsammlungsverarbeitungseinheit 34 durchzuführen ist.
• 9 ist ein Diagramm zum Erklären eines Beispiels für eine Disparitätsumwandlung.
• 10 ist ein Diagramm zum Erklären eines Überblicks des Neufokussierens.
• 11 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Lichtsammlungsprozess, der durch die Lichtsammlungsverarbeitungseinheit 34 durchzuführen ist.
• 12 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Anpassungsprozess, der durch eine Anpassungseinheit 33 durchzuführen ist.
• 13 ist ein Diagramm, das ein erstes Beispiel für Objektivaperturparameter zeigt.
• 14 ist ein Diagramm, das ein zweites Beispiel für Objektivaperturparameter zeigt.
• 15 ist ein Diagramm, das ein drittes Beispiel für Objektivaperturparameter zeigt.
• 16 ist ein Diagramm, das ein viertes Beispiel für Objektivaperturparameter zeigt.
• 17 ist ein Diagramm, das ein Beispiel für Filterparameter zeigt.
• 18 ist ein Blockdiagramm, das eine andere Beispielkonfiguration der Bildverarbeitungsvorrichtung 12 zeigt.
• 19 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Lichtsammlungsprozess, der durch eine Lichtsammlungsverarbeitungseinheit 51 durchzuführen ist.
• 20 ist ein Blockdiagramm, das eine Beispielkonfiguration einer Ausführungsform eines Computers zeigt, auf den die vorliegende Technologie angewandt ist.
• AUSFÜHRUNGSWEISEN DER ERFINDUNG
• <Ausführungsform eines Bildverarbeitungssystems, auf das die vorliegende Technologie angewandt ist>
• 1 ist ein Blockdiagramm, das eine Beispielkonfiguration einer Ausführungsform eines Bildverarbeitungssystems zeigt, auf das die vorliegende Technologie angewandt ist.
• In 1 weist das Bildverarbeitungssystem eine Bilderfassungsvorrichtung 11, eine Bildverarbeitungsvorrichtung 12 und eine Anzeigevorrichtung 13 auf.
• Die Bilderfassungsvorrichtung 11 nimmt Bilder eines Gegenstands aus mehreren Sichtpunkten auf und liefert zum Beispiel (beinahe) Pan-Fokus-Bilder, die als Ergebnis des Erfassens aus den mehreren Sichtpunkten erhalten werden, an die Bildverarbeitungsvorrichtung 12.
• Die Bildverarbeitungsvorrichtung 12 führt eine Bildverarbeitung, wie etwa Neufokussieren zum Erzeugen (Rekonstruieren) eines Bildes, das auf ein gewünschtes Objekt fokussiert ist, durch Verwenden der erfassten Bilder der mehreren Sichtpunkte, die von der Bilderfassungsvorrichtung 11 bereitgestellt werden, durch und liefert ein Verarbeitungsergebnisbild, das als Ergebnis der Bildverarbeitung erhalten wird, an die Anzeigevorrichtung 13.
• Die Anzeigevorrichtung 13 zeigt das Verarbeitungsergebnisbild an, das von der Bildverarbeitungsvorrichtung 12 bereitgestellt wird.
• Es wird angemerkt, dass in 1 die Bilderfassungsvorrichtung 11, die Bildverarbeitungsvorrichtung 12 und die Anzeigevorrichtung 13, die das Bildverarbeitungssystem darstellen, alle in einer unabhängigen Einrichtung, wie etwa einer digitalen (Foto/Video-) Kamera oder einem portablen Endgerät, wie zum Beispiel einem Smartphone oder dergleichen, installiert sein können.
• Alternativ dazu können die Bilderfassungsvorrichtung 11, die Bildverarbeitungsvorrichtung 12 und die Anzeigevorrichtung 13 in voneinander unabhängigen Einrichtungen installiert sein.
• Des Weiteren können zwei beliebige Vorrichtungen der Bilderfassungsvorrichtung 11, der Bildverarbeitungsvorrichtung 12 und der Anzeigevorrichtung 13 in einer Einrichtung installiert sein, die von der Einrichtung unabhängig ist, in der die verbleibende Einrichtung installiert ist.
• Zum Beispiel können die Bilderfassungsvorrichtung 11 und die Anzeigevorrichtung 13 in einem portablen Endgerät installiert werden, das ein Benutzer besitzt, und die Bildverarbeitungsvorrichtung 12 kann in einem Server in einer Cloud installiert sein.
• Alternativ dazu können manche der Blöcke der Bildverarbeitungsvorrichtung 12 in einem Server in einer Cloud installiert sein und können die verbleibenden Blöcke der Bildverarbeitungsvorrichtung 12, die Bilderfassungsvorrichtung 11 und die Anzeigevorrichtung 13 in einem portablen Endgerät installiert sein.
• <Beispielkonfiguration der Bilderfassungsvorrichtung 11>
• 2 ist eine Rückansicht einer Beispielkonfiguration der in 1 gezeigten Bilderfassungsvorrichtung 11.
• Die Bilderfassungsvorrichtung 11 weist mehrere Kameraeinheiten (nachfolgend als Kameras bezeichnet) 21_i , die zum Beispiel Bilder mit den Werten von RGB als Pixelwerte erfassen, auf und die mehreren Kameras 21_i nehmen Bilder aus mehreren Sichtpunkten auf.
• In 2 weist die Bilderfassungsvorrichtung 11 zum Beispiel sieben Kameras 21₁ , 21₂ , 21₃ , 21₄ , 21₅ , 21₆ und 21₇ als die mehreren Kameras auf, und diese sieben Kameras 21₁ bis 21₇ sind in einer zweidimensionalen Ebene angeordnet.
• Ferner sind die sieben Kameras 21₁ bis 21₇ in 2 so angeordnet, dass eine der sieben Kameras 21₁ bis 21₇ , wie etwa zum Beispiel die Kamera 21₁ , in dem Zentrum angeordnet ist und die anderen sechs Kameras 21₂ bis 21₇ um die Kamera 21₁ herum angeordnet sind, so dass sie ein regelmäßiges Sechseck bilden.
• Daher ist in 2 der Abstand zwischen einer Kamera 21_i (i = 1, 2, ... oder 7) aus den sieben Kameras 21₁ bis 21₇ und einer Kamera 21_j (j = 1, 2, ... oder 7) am nächsten zu der Kamera 21_i (der Abstand zwischen den optischen Achsen) der gleiche Abstand von B.
• Der Abstand von B zwischen den Kameras 21_i bis 21_j kann zum Beispiel etwa 20 mm betragen. In diesem Fall kann die Bilderfassungsvorrichtung 11 so gestaltet sein, dass sie die gleiche Größe wie die Größe einer Karte, wie etwa einer IC-Karte, aufweist.
• Es wird angemerkt, dass die Anzahl der Kameras 21_i , die die Bilderfassungsvorrichtung 11 darstellen, nicht notwendigerweise sieben ist und es möglich ist, eine Anzahl von zwei bis sechs oder die Anzahl acht oder größer einzusetzen.
• Außerdem können bei der Bilderfassungsvorrichtung 11 die mehreren Kameras 21_i abgesehen davon, dass sie ein regelmäßiges Vieleck, wie etwa ein wie oben beschriebenes regelmäßiges Sechseck, bilden, bei beliebigen geeigneten Positionen angeordnet sein.
• Nachfolgend wird die Kamera 21₁ der Kameras 21₁ bis 21₇ , die bei dem Zentrum angeordnet ist, auch als die Referenzkamera 21₁ bezeichnet und werden die Kameras 21₁ bis 21₇ , die um die Referenzkamera 21₁ herum angeordnet sind, auch als die Peripheriekameras 21₂ bis 21₇ bezeichnet.
• 3 ist eine Rückansicht einer anderen Beispielkonfiguration der in 1 gezeigten Bilderfassungsvorrichtung 11.
• In 3 weist die Bilderfassungsvorrichtung 11 neun Kameras 21₁₁ bis 21₁₉ auf und sind die neun Kameras 21₁₁ bis 21₁₉ in drei Zeilen und drei Spalten angeordnet. Jede der 3 × 3 Kameras 21_i (i = 11, 12, ... und 19) ist in dem Abstand von B von einer angrenzenden Kamera 21_j (j = 11, 12, ... oder 19) oberhalb der Kamera 21_i , unterhalb der Kamera 21_i oder links oder rechts von der Kamera 21_i angeordnet.
• Bei der Beschreibung unten weist die Bilderfassungsvorrichtung 11 die sieben Kameras 21₁ bis 21₇ auf, wie in 2 gezeigt ist, sofern nichts anderes vorgegeben ist.
• Indessen wird der Sichtpunkt der Referenzkamera 21₁ auch als der Referenzsichtpunkt bezeichnet und wird ein erfasstes Bild PL1, das durch die Referenzkamera 21₁ erfasst wird, auch als das Referenzbild PL1 bezeichnet. Ferner wird ein erfasstes Bild PL#i, das durch eine Peripheriekamera 21_i erfasst wird, auch als das Peripheriebild PL#i bezeichnet.
• Es wird angemerkt, dass die Bilderfassungsvorrichtung 11 mehrere Kameras 21_i aufweist, wie in 2 und 3 gezeigt ist, aber mit einem Mikrolinsenarray (MLA) gebildet sein kann, wie zum Beispiel durch Ren. Ng und sieben andere in „Light Field Photography with a Hand-Held Plenoptic Camera“, Stanford Tech Report CTSR 2005-02, offenbart ist. Selbst wenn die Bilderfassungsvorrichtung 11 mit einem MLA gebildet ist, ist es möglich, Bilder zu erhalten, die im Wesentlichen aus mehreren Sichtpunkten erfasst werden.
• Ferner ist das Verfahren zum Erfassen von Bildern aus mehreren Sichtpunkten nicht notwendigerweise das obige Verfahren, durch das die Bilderfassungsvorrichtung 11 mehrere Kameras 21₁ aufweist, oder das Verfahren, durch das die Bilderfassungsvorrichtung 11 mit einem MLA gebildet ist.
• <Beispielkonfiguration der Bildverarbeitungsvorrichtung 12>
• 4 ist ein Blockdiagramm, das eine Beispielkonfiguration der in 1 gezeigten Bildverarbeitungsvorrichtung 12 zeigt.
• In 4 weist die Bildverarbeitungsvorrichtung 12 eine Parallaxeninformationserzeugungseinheit 31, eine Interpolationseinheit 32, eine Anpassungseinheit 33, eine Lichtsammlungsverarbeitungseinheit 34 und eine Parameterfestlegungseinheit 35 auf.
• Die Bildverarbeitungsvorrichtung 12 wird von der Bilderfassungsvorrichtung 11 mit erfassten Bildern PL1 bis PL7, die von sieben Sichtpunkten durch die Kameras 21₁ bis 21₇ erfasst werden, versorgt.
• Bei der Bildverarbeitungsvorrichtung 12 werden die erfassten Bilder PL#i an die Parallaxeninformationserzeugungseinheit 31 und die Interpolationseinheit 323 geliefert.
• Die Parallaxeninformationserzeugungseinheit 31 erhält Parallaxeninformationen unter Verwendung der erfassten Bilder PL#i, die von der Bilderfassungsvorrichtung 11 bereitgestellt werden, und liefert die Parallaxeninformationen an die Interpolationseinheit 32 und die Lichtsammlungsverarbeitungseinheit 34.
• Insbesondere führt die Parallaxeninformationserzeugungseinheit 31 zum Beispiel einen Prozess zum Erhalten der Parallaxeninformationen zwischen jeden der erfassten Bilder PL#i, die von der Bilderfassungsvorrichtung 11 bereitgestellt werden, und den anderen erfassten Bildern PL#j als Bildverarbeitung der erfassten Bilder PL#i mehrerer Sichtpunkte durch. Die Parallaxeninformationserzeugungseinheit 31 erzeugt dann eine Karte, in der zum Beispiel die Parallaxeninformationen für jedes Pixel (die Position jedes Pixels) der erfassten Bilder registriert werden und liefert die Karte an die Interpolationseinheit 32 und die Lichtsammlungseinheit 34.
• Hier können angemessene Informationen, die in eine Parallaxe umgewandelt werden können, wie etwa eine Disparität, die eine Parallaxe mit der Anzahl an Pixeln repräsentiert, oder einen Abstand in der Tiefenrichtung, der einer Parallaxe entspricht, als die Parallaxeninformationen genutzt werden. Bei dieser Ausführungsform werden zum Beispiel Disparitäten als die Parallaxeninformationen genutzt und in der Parallaxeninformationserzeugungseinheit 31 wird eine Disparitätskarte, in der die Disparität registriert ist, als eine Karte erzeugt, in der die Parallaxeninformationen registriert sind.
• Unter Verwendung der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ von der Bilderfassungsvorrichtung 11 und der Disparitätskarte von der Parallaxeninformationserzeugungseinheit 31 führt die Interpolationseinheit 32 eine Interpolation durch, um Bilder zu erzeugen, die von anderen Sichtpunkten als den sieben Sichtpunkten der Kameras 21₁ bis 21₇ zu erhalten sind.
• Hier kann durch den später beschriebenen Lichtsammlungsprozess, der durch die Lichtsammlungsverarbeitungseinheit 34 durchgeführt wird, bewirkt werden, dass die Bilderfassungsvorrichtung 11 einschließlich der mehreren Kameras 21₁ bis 21₇ als ein virtuelles Objektiv mit den Kameras 21₁ bis 21₇ als eine synthetische Apertur fungiert. Bei der in 2 gezeigten Bilderfassungsvorrichtung 11 weist die synthetische Apertur des virtuellen Objektivs eine im Wesentlichen kreisförmige Form mit einem Durchmesser von näherungsweise 2B auf, der die optischen Achsen der Peripheriekameras 21₂ bis 21₇ verbindet.
• Zum Beispiel führt die Interpolationseinheit 32, wenn zum Beispiel die Sichtpunkte mehrere gleich beabstandete Punkte in einem Quadrat mit dem Durchmesser von 2B des virtuellen Objektivs (oder einem Quadrat, das in die synthetische Apertur des virtuellen Objektivs einbeschrieben ist) sind oder die Sichtpunkte 21 Punkte in der horizontalen Richtung und 21 Punkte in der vertikalen Richtung sind, eine Interpolation zum Erzeugen einer Mehrzahl von 21 × 21 - 7 Sichtpunkten durch, die die 21 × 21 Sichtpunkte minus die sieben Sichtpunkte der Kameras 21₁ bis 21₇ sind.
• Die Interpolationseinheit 32 liefert dann die erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ und die Bilder der 21 × 21 - 7 Sichtpunkte, die durch die Interpolation unter Verwendung erfasster Bilder erzeugt werden, an die Anpassungseinheit 33.
• Hier werden bei der Interpolationseinheit 32 die Bilder, die durch die Interpolation unter Verwendung erfasster Bilder erzeugt werden, auch als Interpolationsbilder bezeichnet.
• Ferner werden die Bilder der 21 × 21 Sichtpunkte, die die Gesamtheit der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ sind, und die Interpolationsbilder der 21 × 21 - 7 Sichtpunkte, die von der Interpolationseinheit 32 an die Anpassungseinheit 33 geliefert werden, sind, auch als Sichtpunktbilder bezeichnet.
• Die Interpolation der Interpolationseinheit 32 kann als ein Prozess zum Erzeugen von Sichtpunktbildern einer größeren Anzahl an Sichtpunkten (in diesem Fall 21 × 21) aus den erfassten Bildern PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ betrachtet werden. Der Prozess zum Erzeugen der Sichtpunktbilder der großen Anzahl an Sichtpunkten kann als ein Prozess zum Reproduzieren von Lichtstrahlen betrachtet werden, die in das virtuelle Objektiv mit den Kameras 21₁ bis 21₇ als synthetische Aperturen von Realraumpunkten in dem realen Raum eintreten.
• Die Anpassungseinheit 33 wird nicht nur mit den Sichtpunktbildern der mehreren Sichtpunkte von der Interpolationseinheit 32 versorgt, sondern auch mit Anpassungsparametern von der Parameterfestlegungseinheit 35. Die Anpassungsparameter sind zum Beispiel Anpassungskoeffizienten zum Anpassen von Pixelwerten und werden für die jeweiligen Sichtpunkte festgelegt.
• Die Anpassungseinheit 33 passt die Pixelwerte der Pixel der Sichtpunktbilder der jeweiligen Sichtpunkte, die von der Interpolationseinheit 32 bereitgestellt werden, unter Verwendung der Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter, die von der Parameterfestlegungseinheit 35 bereitgestellt werden, an. Die Anpassungseinheit 33 liefert dann die Sichtpunktbilder der mehreren Sichtpunkte mit den angepassten Pixelwerten an die Lichtsammlungsverarbeitungseinheit 34.
• Die Lichtsammlungsverarbeitungseinheit 34 führt unter Verwendung der Sichtpunktbilder der mehreren Sichtpunkte, die von der Anpassungseinheit 33 bereitgestellt werden, einen Lichtsammlungsprozess durch, der eine Bildverarbeitung äquivalent zum Bilden eines Bildes des Gegenstands durch Sammeln von Lichtstrahlen, die ein optisches System, wie etwa ein Objektiv, von dem Objekt durchlaufen haben, auf einem Bildsensor oder einem Film in einer realen Kamera ist.
• In dem Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 wird eine Neufokussierung durchgeführt, um ein Bild zu erzeugen (zu rekonstruieren), das auf ein gewünschtes Objekt fokussiert ist. Das Neufokussieren wird unter Verwendung der Disparitätskarte, die von der Parallaxeninformationserzeugungseinheit 31 bereitgestellt wird, und eines Lichtsammlungsparameters, der von der Parameterfestlegungseinheit 35 bereitgestellt wird, durchgeführt.
• Das durch den Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 erhalte Licht wird als ein Verarbeitungsergebnisbild (an die Anzeigevorrichtung 13) ausgegeben.
• Die Parameterfestlegungseinheit 35 legt ein Pixel des erfassten Bildes PL#i (zum Beispiel des Referenzbildes PL1), das sich bei einer durch den Benutzer, der eine (nicht gezeigte) Bedienungseinheit bedient, durch eine vorbestimmte Anwendung oder dergleichen genannten Position befindet, als das Fokuszielpixel zum Fokussieren (oder Zeigen des Objekts) fest und liefert das Fokuszielpixel als (Teil des) den Lichtsammlungsparameter an die Lichtsammlungsverarbeitungseinheit 34.
• Die Parameterfestlegungseinheit 35 legt ferner Anpassungskoeffizienten zum Anpassen von Pixelwerten für jeden der mehreren Sichtpunkte gemäß einer Bedienung durch den Benutzer oder eine Anweisung von einer vorbestimmten Anwendung fest und liefert die Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter an die Anpassungseinheit 33.
• Die Anpassungsparameter sind Parameter zum Steuern einer Pixelwertanpassung bei der Anpassungseinheit 33 und weisen die Anpassungskoeffizienten für jeden der Sichtpunkte der Sichtpunktbilder, die in dem Lichtsammlungsprozess bei der Lichtsammlungsverarbeitungseinheit 34 zu verwenden sind, oder für jeden der Sichtpunkte der Sichtpunktbilder, die durch die Interpolationseinheit 32 erhalten werden, auf.
• Die Anpassungsparameter können zum Beispiel Objektivaperturparameter zum Erreichen optischer Bildeffekte, die tatsächlich oder theoretisch mit einem optischen System, wie etwa einem optischen Objektiv und einer Blende, erreicht werden können, Filterparameter zum Erreichen optischer Bildeffekte, die tatsächlich oder theoretisch mit einem Objektivfilter erzielt werden können, oder dergleichen sein.
• Es wird angemerkt, dass die Bildverarbeitungsvorrichtung 12 als ein Server ausgebildet sein kann oder als ein Client ausgebildet sein kann. Ferner kann die Bildverarbeitungsvorrichtung 12 als ein Server-Client-System ausgebildet sein. Falls die Bildverarbeitungsvorrichtung 12 als ein Server-Client-System ausgebildet ist, können manche der Blöcke der Bildverarbeitungsvorrichtung 12 als ein Server ausgebildet sein und können die verbleibenden Blöcke als ein Client ausgebildet sein.
• <Prozess, der durch das Bildverarbeitungssystem durchzuführen ist>
• 5 ist ein Flussdiagramm, das einen durch das in 1 gezeigte Bildverarbeitungssystem durchzuführenden Beispielprozess zeigt.
• In Schritt S11 erfasst die Bilderfassungsvorrichtung 11 Bilder PL1 bis PL7 von sieben Sichtpunkten als mehrere Sichtpunkte. Die erfassten Bilder PL#i werden an die Parallaxeninformationserzeugungseinheit 31 und die Interpolationseinheit 32 der Bildverarbeitungsvorrichtung 12 (4) geliefert.
• Der Prozess geht dann von Schritt S11 zu Schritt S12 über und die Bildverarbeitungsvorrichtung 12 erlangt das erfasste Bild PL#i von der Bilderfassungsvorrichtung 11. Ferner führt in der Bildverarbeitungsvorrichtung 12 die Parallaxeninformationserzeugungseinheit 31 einen Parallaxeninformationserzeugungsprozess durch, um die Parallaxeninformationen unter Verwendung des erfassten Bildes PL#i zu erhalten, das von der Bilderfassungsvorrichtung 11 bereitgestellt wird, und eine Disparitätskarte zu erzeugen, in der die Parallaxeninformationen registriert sind.
• Die Parallaxeninformationserzeugungseinheit 31 liefert die Disparitätskarte, die durch den Parallaxeninformationserzeugungsprozess erhalten wird, an die Interpolationseinheit 32 und die Lichtsammlungsverarbeitungseinheit 34, und der Prozess geht von Schritt S12 zu Schritt S13 über. Es wird angemerkt, dass bei diesem Beispiel die Bildverarbeitungsvorrichtung 12 die erfassten Bilder PL#i von der Bilderfassungsvorrichtung 11 erlangt, aber die Bildverarbeitungsvorrichtung 12 kann die erfassten Bilder PL#i nicht nur direkt von der Bilderfassungsvorrichtung 11 erlangen, sondern kann erfasste Bilder PL#i, die zum Beispiel durch die Bilderfassungsvorrichtung 11 oder irgendeine andere (nicht gezeigte) Bilderfassungsvorrichtung erfasst und zuvor in einer Cloud gespeichert wurden, aus der Cloud erlangen.
• In Schritt S13 führt die Interpolationseinheit 32 einen Interpolationsprozess zum Erzeugen von Interpolationsbildern mehrerer Sichtpunkte außer den sieben Sichtpunkten der Kameras 21₁ bis 21₇ unter Verwendung der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ , die von der Bilderfassungsvorrichtung 11 bereitgestellt werden, und der Disparitätskarte, die von der Parallaxeninformationserzeugungseinheit 31 bereitgestellt wird, durch.
• Die Interpolationseinheit 32 liefert ferner die erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte der Kameras 21₁ bis 21₇ , die von der Bilderfassungsvorrichtung 11 bereitgestellt werden, und die Interpolationsbilder der mehreren Sichtpunkte, die durch den Interpolationsprozess erhalten werden, als Sichtpunktbilder mehrerer Sichtpunkte an die Anpassungseinheit 33. Der Prozess geht dann von Schritt S13 zu Schritt S14 über.
• In Schritt S14 legt die Parameterfestlegungseinheit 35 den Lichtsammlungsparameter und die Anpassungsparameter fest.
• Mit anderen Worten legt die Parameterfestlegungseinheit 35 Anpassungskoeffizienten für die jeweiligen Sichtpunkte der Sichtpunktbilder gemäß einem Benutzervorgang oder dergleichen fest.
• Die Parameterfestlegungseinheit 35 legt auch ein Pixel des Referenzbildes PL1, das sich bei einer durch einen Benutzervorgang oder dergleichen genannten Position befindet, als das Fokuszielpixel zum Fokussieren fest.
• Hier bewirkt die Parameterfestlegungseinheit 35 zum Beispiel, dass die Anzeigevorrichtung 13 auch zum Beispiel eine Nachricht anzeigt, die eine Nennung des Objekts auffordert, auf das das Referenzbild PL1 zu fokussieren ist, unter den erfassten Bildern PL1 bis PL7 der sieben Sichtpunkte, die von der Bilderfassungsvorrichtung 11 bereitgestellt werden. Die Parameterfestlegungseinheit 35 wartet dann darauf, dass der Benutzer eine (in dem Objekt gezeigte) Position in dem Referenzbild PL1, das auf der Anzeigevorrichtung 13 angezeigt wird, nennt und dann das Pixel des Referenzbildes PL1, das sich bei der durch den Benutzer genannten Position befindet, als das Fokuszielpixel festlegt.
• Das Fokuszielpixel kann nicht nur gemäß einer Benutzernennung, wie oben beschrieben, festgelegt werden, sondern zum Beispiel auch gemäß einer Nennung von einer Anwendung oder gemäß einer Nennung basierend auf vorbestimmten Regeln oder dergleichen.
• Zum Beispiel kann ein Pixel, das ein sich mit einer vorbestimmten Geschwindigkeit oder schneller bewegendes Objekt zeigt, oder ein Pixel, das ein sich für eine vorbestimmte Zeit oder länger kontinuierlich bewegendes Objekt zeigt, als das Fokuszielpixel festgelegt werden.
• Die Parameterfestlegungseinheit 35 liefert die Anpassungskoeffizienten für die jeweiligen Sichtpunkte der Sichtpunktbilder als die Anpassungsparameter an die Anpassungseinheit 33 und liefert das Fokuszielpixel als den Lichtsammlungsparameter an die Lichtsammlungsverarbeitungseinheit 34. Der Prozess geht dann von Schritt S14 zu Schritt S15 über.
• In Schritt S15 führt die Anpassungseinheit 33 einen Anpassungsprozess durch, um die Pixelwerte der Pixel der Bilder der jeweiligen Sichtpunkte, die von der Interpolationseinheit 32 bereitgestellt werden, unter Verwendung der Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter, die von der Parameterfestlegungseinheit 35 bereitgestellt werden, anzupassen. Die Anpassungseinheit 33 liefert die Sichtpunktbilder der mehreren Sichtpunkte, die der Pixelwertanpassung unterzogen werden, an die Lichtsammlungsverarbeitungseinheit 34 und der Prozess geht dann von Schritt S15 zu Schritt S16 über.
• In Schritt S16 führt die Lichtsammlungsverarbeitungseinheit 34 einen Lichtsammlungsprozess, der äquivalent zum Sammeln von Lichtstrahlen ist, die das virtuelle Objektiv mit den Kameras 21₁ bis 21₇ als die synthetische Apertur von dem Objekt auf einen (nicht gezeigten) virtuellen Sensor durchlaufen haben, unter Verwendung der Sichtpunktbilder der mehreren Sichtpunkte, die der Pixelwertanpassung von der Anpassungseinheit 33 unterzogen wurden, der Disparitätskarte von der Parallaxeninformationserzeugungseinheit 31 und dem Fokuszielpixel als der Lichtsammlungsparameter von der Parameterfestlegungseinheit 35 durch.
• Der virtuelle Sensor, auf dem die Lichtstrahlen, die das virtuelle Objektiv durchlaufen haben, gesammelt werden, ist tatsächlich zum Beispiel ein (nicht gezeigter) Speicher. In dem Lichtsammlungsprozess werden die Pixelwerte der Sichtpunktbilder mehrerer Sichtpunkte (als der gespeicherte Wert) in dem Speicher als der virtuelle Sensor integriert, wobei die Pixelwerte als die Leuchtdichte der Lichtstrahlen betrachtet werden, die auf dem virtuellen Sensor gesammelt werden. Auf diese Weise werden die Pixelwerte des Bildes bestimmt, das als ein Ergebnis einer Sammlung der Lichtstrahlen erhalten wird, die das virtuelle Objektiv durchlaufen haben.
• In dem Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 wird ein (später beschriebener) Referenzverschiebungsbetrag BV festgelegt, der ein Pixelverschiebungsbetrag zum Durchführen einer Pixelverschiebung der Pixel der Sichtpunktbilder der mehreren Sichtpunkte ist. Die Pixel der Sichtpunktbilder der mehreren Sichtpunkte werden der Pixelverschiebung gemäß dem Referenzverschiebungsbetrag BV unterzogen und werden dann integriert. Dementsprechend wird das Neufokussieren, oder eine Verarbeitungsergebnisbilderzeugung, durchgeführt, um die jeweiligen Pixelwerte eines Verarbeitungsergebnisbildes zu bestimmen, das auf einen im Fokus befindlichen Punkt in einem vorbestimmten Abstand fokussiert ist.
• Wie oben beschrieben, führt die Lichtsammlungsverarbeitungseinheit 34 einen Lichtsammlungsprozess (Integration der (Pixelwerte der) Pixel) an den Sichtpunktbildern der mehreren Sichtpunkte durch, die der Pixelwertanpassung unterzogen wurden. Dementsprechend kann eine Neufokussierung, die von verschiedenen Arten von optischen Effekten begleitet wird, mit den Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter zum Anpassen der Pixelwerte durchgeführt werden.
• Hier ist ein im Fokus befindlicher Punkt ein Realraumpunkt in dem realen Raum, bei dem eine Fokussierung erreicht wird, und in dem Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 wird die sich im Fokus befindliche Ebene mit Fokuszielpixeln als Lichtsammlungsparameter, die von der Parameterfestlegungseinheit 35 bereitgestellt werden, als die Gruppe der sich im Fokus befindlichen Punkte festgelegt.
• Es wird angemerkt, dass bei dem Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 ein Referenzverschiebungsbetrag BV für jedes der Pixel des Verarbeitungsergebnisbildes festgelegt wird. Infolgedessen kann außer einem Bild, das auf einen sich im Fokus befindlichen Punkt in einem Abstand fokussiert ist, ein Bild, das auf mehreren sich im Fokus befindlichen Punkten in mehreren Abständen gebildet ist, als das Verarbeitungsergebnisbild erhalten werden.
• Die Lichtsammlungsverarbeitungseinheit 34 liefert das Verarbeitungsergebnisbild, das als ein Ergebnis des Lichtsammlungsprozesses erhalten wird, an die Anzeigevorrichtung 13 und der Prozess geht dann von Schritt S16 zu Schritt S17 über.
• In Schritt S17 zeigt die Anzeigevorrichtung 13 das Verarbeitungsergebnisbild an, das von der Lichtsammlungsverarbeitungseinheit 34 bereitgestellt wird.
• Es wird angemerkt, dass, obwohl die Anpassungsparameter und die Lichtsammlungsparameter in Schritt S14 in 5 festgelegt werden, die Anpassungsparameter in einem beliebigen angemessenen Timing bis unmittelbar vor dem Anpassungsprozess in Schritt S15 festgelegt werden können und der Lichtsammlungsparameter in einem beliebigen angemessenen Timing während der Periode von unmittelbar nach dem Erfassen der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte in Schritt S11 bis unmittelbar vor dem Lichtsammlungsprozess in Schritt S15 festgelegt werden kann.
• Ferner kann die Bildverarbeitungsvorrichtung 12 (4) nur mit der Lichtsammlungsverarbeitungseinheit 34 gebildet werden.
• Falls zum Beispiel der Lichtsammlungsprozess bei der Lichtsammlungsverarbeitungseinheit 34 mit Bildern, die durch die Bilderfassungsvorrichtung 11 erfasst werden, aber ohne irgendein Interpolationsbild durchgeführt wird, kann die Bildverarbeitungsvorrichtung 12 ohne die Interpolationseinheit 32 ausgebildet sein. Falls jedoch der Lichtsammlungsprozess nicht nur mit erfassten Bildern, sondern auch mit Interpolationsbildern durchgeführt wird, kann verhindert werden, dass Ringing-Effekte in einem nichtfokussierten Objekt in dem Verarbeitungsergebnisbild erscheinen.
• Ferner kann, falls zum Beispiel Parallaxeninformationen über erfasste Bilder mehrerer Sichtpunkte, die durch die Bilderfassungsvorrichtung 11 erfasst werden, durch eine externe Vorrichtung unter Verwendung eines Abstandsensors oder dergleichen erzeugt werden können und die Parallaxeninformationen von der externen Vorrichtung erlangt werden können, die Bildverarbeitungsvorrichtung 12 ohne die Parallaxeninformationserzeugungseinheit 31 ausgebildet sein.
• Des Weiteren kann, falls zum Beispiel die Anpassungsparameter bei der Anpassungseinheit 33 festgelegt werden können, während die Lichtsammlungsparameter bei der Lichtsammlungsverarbeitungseinheit 34 gemäß vorbestimmten Regeln oder dergleichen festgelegt werden können, die Bildverarbeitungsvorrichtung 12 ohne die Parameterfestlegungseinheit 35 ausgebildet sein.
• <Erzeugung von Interpolationsbildern>
• 6 ist ein Diagramm zum Erklären eines Beispiels für die Erzeugung eines Interpolationsbildes bei der in 4 gezeigten Interpolationseinheit 32.
• Falls ein Interpolationsbild eines gewissen Sichtpunkts zu erzeugen ist, wählt die Interpolationseinheit 32 sequenziell ein Pixel des Interpolationsbildes als ein Interpolationszielpixel zur Interpolation aus. Die Interpolationseinheit 32 wählt ferner Pixelwertberechnungsbilder aus, die bei einer Berechnung des Pixelwertes des Interpolationszielpixels zu verwenden sind. Die Pixelwertberechnungsbilder können alle der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte oder die erfassten Bilder PL#i mancher Sichtpunkte nahe dem Sichtpunkt des Interpolationsbildes sein. Unter Verwendung der Disparitätskarte von der Parallaxeninformationserzeugungseinheit 31 und des Sichtpunkts des Interpolationsbildes bestimmt die Interpolationseinheit 32 das Pixel (das Pixel, das den gleichen räumlichen Punkt wie der räumliche Punkt zeigt, der auf dem Interpolationszielpixel gezeigt ist, falls eine Bilderfassung aus dem Sichtpunkt des Interpolationsbildes durchgeführt wird), das dem Interpolationszielpixel entspricht, aus jedem der erfassten Bilder PL#i mehrerer Sichtpunkte, die als die Pixelwertberechnungsbilder ausgewählt sind.
• Die Interpolationseinheit 32 gewichtet dann den Pixelwert des entsprechenden Pixels und bestimmt den resultierenden gewichteten Wert, der der Pixelwert des Interpolationszielpixels sein soll.
• Die zum Gewichten des Pixelwertes des entsprechenden Pixels verwendete Gewichtung kann ein Wert sein, der umgekehrt proportional zu dem Abstand zwischen dem Sichtpunkt des erfassten Bildes PL#i als das Pixelwertberechnungsbild mit dem entsprechenden Pixel und dem Sichtpunkt des Interpolationsbildes mit dem Interpolationszielpixel ist.
• Es wird angemerkt, dass, falls intensives Licht mit einer Richtcharakteristik auf das erfasste Bild PL#i reflektiert wird, es bevorzugt wird, erfasste Bilder PL#i mancher Sichtpunkte, wie etwa drei oder vier Sichtpunkte, als die Pixelwertberechnungsbilder auszuwählen, anstatt alle der erfassten Bilder PL1 bis PL7 der sieben Sichtpunkte als die Pixelwertberechnungsbilder auszuwählen. Mit erfassten Bildern PL#i mancher der Sichtpunkte ist es möglich, ein Interpolationsbild ähnlich einem Bild zu erhalten, das erhalten würde, falls eine Bilderfassung tatsächlich aus dem Sichtpunkt des Interpolationsbildes durchgeführt wird.
• <Erzeugung einer Disparitätskarte>
• 7 ist ein Diagramm zum Erklären eines Beispiels für die Erzeugung einer Disparitätskarte bei der in 4 gezeigten Parallaxeninformationserzeugungseinheit 31.
• Mit anderen Worten zeigt 7 ein Beispiel für erfasste Bilder PL1 bis PL7, die durch die Kameras 21₁ bis 21₇ der Bilderfassungsvorrichtung 11 erfasst werden.
• In 7 zeigen die erfassten Bilder PL1 bis PL7 ein vorbestimmtes Objekt Obj als den Vordergrund vor einem vorbestimmten Hintergrund. Da die erfassten Bilder PL1 bis PL7 voneinander verschiedene Sichtpunkte aufweisen, unterscheiden sich die Positionen (die Positionen in den erfassten Bildern) des Objekts Obj, das in den jeweiligen erfassten Bildern PL2 bis PL7 gezeigt ist, von der Position des Objekts Obj, das in dem erfassten Bild PL1 gezeigt ist, zum Beispiel um die Beträge, die äquivalent zu den Sichtpunktunterschieden sind.
• Hier ist der Sichtpunkt (die Position) einer Kamera 21_i oder der Sichtpunkt eines erfassten Bildes PL#i, das durch eine Kamera 21_i erfasst wird, durch vp#i repräsentiert.
• Falls zum Beispiel eine Disparitätskarte des Sichtpunkts vp1 des erfassten Bildes PL1 zu erzeugen ist, legt die Parallaxeninformationserzeugungseinheit 31 das erfasste Bild PL1 als das Aufmerksamkeitsbild PL1 fest, dem Aufmerksamkeit geschenkt wird. Die Parallaxeninformationserzeugungseinheit 31 wählt ferner sequenziell jedes Pixel des Aufmerksamkeitsbildes PL1 als das Aufmerksamkeitspixel fest, dem Aufmerksamkeit geschenkt wird, und detektiert das entsprechende Pixel (entsprechenden Punkt), das dem Aufmerksamkeitspixel entspricht, aus jedem der anderen erfassten Bilder PL2 bis PL7.
• Das Verfahren zum Detektieren des Pixels, das dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 entspricht, von jedem der erfassten Bilder PL2 bis PL7 kann zum Beispiel ein Verfahren sein, das die Prinzipien der Triangulation, wie etwa Stereoabgleichen oder Mehrfachbasislinie-Stereo, nutzt.
• Hier wird der Vektor, der die Positionsverschiebung des entsprechenden Pixels eines erfassten Bildes PL#i relativ zu dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 entspricht, als ein Disparitätsvektor v#i, 1 festgelegt.
• Die Parallaxeninformationserzeugungseinheit 31 erhält die Disparitätsvektoren v2, 1 bis v7, 1 für die jeweiligen erfassten Bilder PL2 bis PL7. Die Parallaxeninformationserzeugungseinheit 31 führt dann zum Beispiel eine Mehrheitsentscheidung bezüglich den Beträgen der Disparitätsvektoren v2, 1 bis v7, 1 durch und legt den Betrag der Disparitätsvektoren v#i, 1, die die Mehrheit sind, als den Betrag der Disparität (bei der Position) des Aufmerksamkeitspixels fest.
• Hier werden, falls der Abstand zwischen der Referenzkamera 21₁ zum Erfassen des Aufmerksamkeitsbildes PL1 und jeder der Peripheriekameras 21₂ bis 21₇ zum Erfassen der erfassten Bilder PL2 bis PL7 gleich dem Abstand von B in der Bilderfassungsvorrichtung 11, wie oben unter Bezugnahme auf 2 beschrieben, ist, wenn der in dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 gezeigte Realraumpunkt auch in den erfassten Bildern PL2 bis PL7 gezeigt ist, Vektoren, die sich hinsichtlich der Orientierung unterscheiden, aber hinsichtlich des Betrages gleich sind, als die Disparitätsvektoren v2, 1 bis v7, 1 erhalten.
• Mit anderen Worten sind die Disparitätsvektoren v2, 1 bis v7, 1 in diesem Fall Vektoren, die hinsichtlich des Betrags gleich sind und in den Richtungen entgegengesetzt zu den Richtungen der Sichtpunkte vp2 bis vp7 der anderen erfassten Bilder PL2 bis PL7 relativ zu den Sichtpunkten vp1 des Aufmerksamkeitsbildes PL1 sind.
• Jedoch kann unter den erfassten Bildern PL2 bis PL7 ein Bild mit Okklusion vorhanden sein oder ein Bild, in dem der Realraumpunkt, der in dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 erscheint, ist hinter dem Vordergrund versteckt.
• Es ist schwierig, aus einem erfassten Bild PL#i, das den in dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 gezeigten Realraumpunkt nicht zeigt (dieses erfasste Bild PL#i wird nachfolgend als das Okklusionsbild bezeichnet), das Pixel korrekt zu detektieren, das dem Aufmerksamkeitspixel entspricht.
• Daher wird hinsichtlich des Okklusionsbildes PL#i ein Disparitätsvektor v#i, 1 mit einem anderen Betrag als die Disparitätsvektoren v#j, 1 der erfassten Bilder PL#j, die den in dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 gezeigten Realraumpunkt zeigen, erhalten.
• Unter den erfassten Bildern PL2 bis PL7 wird die Anzahl an Bildern mit Okklusion mit Bezug auf das Aufmerksamkeitspixel als kleiner als die Anzahl an Bildern ohne Okklusion geschätzt. In dieser Hinsicht führt die Parallaxeninformationserzeugungseinheit 31 eine Mehrheitsentscheidung bezüglich den Beträgen der Disparitätsvektoren v2, 1 bis v7, 1 durch und legt den Betrag der Disparitätsvektoren v#i, 1, die die Mehrheit sind, als den Betrag der Disparität des Aufmerksamkeitspixels fest, wie oben beschrieben ist.
• In 7 sind unter den Disparitätsvektoren v2, 1 bis v7, 1 die drei Disparitätsvektoren v2, 1, v3, 1 und v7, 1 Vektoren mit dem gleichen Betrag. Währenddessen gibt es keine Disparitätsvektoren des gleichen Betrags unter den Vektoren V4, 1, v5, 1 und v6, 1.
• Daher wird der Betrag der drei Disparitätsvektoren v2, 1, v3, 1 und v7, 1 als der Betrag der Disparität des Aufmerksamkeitspixels erhalten.
• Es wird angemerkt, dass die Richtung der Disparität zwischen dem Aufmerksamkeitspixel des Aufmerksamkeitsbildes PL1 und einem beliebigen erfassten Bild PL#i aus der Positionsbeziehung (wie etwa der Richtung von dem Sichtpunkt vp1 zu dem Sichtpunkt vp#i hin) zwischen dem Sichtpunkt vp1 des Aufmerksamkeitsbildes PL1 (die Position der Kamera 21₁ ) und dem Sichtpunkt vp#i des erfassten Bildes PL#i (die Position der Kamera 21_i ) erkannt werden kann.
• Die Parallaxeninformationserzeugungseinheit 31 wählt sequenziell jedes Pixel des Aufmerksamkeitsbildes PL1 als das Aufmerksamkeitsbild aus und bestimmt den Betrag der Disparität. Die Parallaxeninformationserzeugungseinheit 31 erzeugt dann eine Karte, in der der Betrag der Disparität jedes Pixels des Aufmerksamkeitsbildes PL1 mit Bezug auf die Position (x-y-Koordinate) des Pixels registriert wird, als eine Disparitätskarte. Entsprechend ist die Disparitätskarte eine Karte (Tabelle), in der die Positionen der Pixel mit den Disparitätsbeträgen der Pixel assoziiert sind.
• Die Disparitätskarten der Sichtpunkte vp#i der anderen erfassten Bilder PL#i können auch wie die Disparitätskarte des Sichtpunkts vp#1 erzeugt werden.
• Jedoch werden bei der Erzeugung der Disparitätskarten der Sichtpunkte vp#i außer dem Sichtpunkt vp#1 die Mehrheitsentscheidungen bezüglich den Disparitätsvektoren durchgeführt, nachdem die Beträge der Disparitätsvektoren basierend auf der Positionsbeziehung zwischen dem Sichtpunkt vp#i eines erfassten Bildes PL#i und den Sichtpunkten vp#j der erfassten Bilder PL#j außer dem erfassten Bild PL#i (der Positionsbeziehung zwischen den Kameras 21_i und 21_j ) (dem Abstand zwischen dem Sichtpunkt vp#i und dem Sichtpunkt vp#j) angepasst wurden.
• Mit anderen Worten ist, falls zum Beispiel das erfasste Bild PL5 als das Aufmerksamkeitsbild PL5 festgelegt wird und Disparitätskarten mit Bezug auf die in 2 gezeigte Bilderfassungsvorrichtung 11 erzeugt werden, der Disparitätsvektor, der zwischen dem Aufmerksamkeitsbild PL5 und dem erfassten Bild PL2 erhalten wird, zweimal größer als der Disparitätsvektor, der zwischen dem Aufmerksamkeitsbild PL5 und dem erfassten Bild PL1 erhalten wird.
• Dies liegt darin begründet, dass, während die Basislinienlänge, die der Abstand zwischen den optischen Achsen der Kamera 21₅ zum Erfassen des Aufmerksamkeitsbildes PL5 und der Kamera 21₁ zum Erfassen des erfassten Bildes PL1 ist, der Abstand von B ist, die Basislinienlänge zwischen der Kamera 21₅ zum Erfassen des Aufmerksamkeitsbildes PL5 und der Kamera 21₂ zum Erfassen des erfassten Bildes PL2 der Abstand von 2B ist.
• In Anbetracht dessen wird der Abstand von B, welcher zum Beispiel die Basislinienlänge zwischen der Referenzkamera 21₁ und den anderen Kameras 21_i ist, als die Referenzbasislinienlänge bezeichnet, was die Referenz beim Bestimmen einer Disparität ist. Eine Mehrheitsentscheidung bezüglich Disparitätsvektoren wird durchgeführt, nachdem die Beträge der Disparitätsvektoren so angepasst wurden, dass die Basislinienlängen in die Referenzbasislinienlängen von B umgewandelt werden können.
• Mit anderen Worten wird, weil die Basislinienlänge von B zwischen der Kamera 21₅ zum Erfassen des erfassten Bildes PL5 und der Referenzkamera 21₁ zum Erfassen des erfassten Bildes PL1 zum Beispiel gleich der Referenzbasislinienlänge von B ist, der Betrag des Disparitätsvektors, der zwischen dem Aufmerksamkeitsbild PL5 und dem erfassten Bild PL1 zu erhalten ist, auf einen Betrag angepasst, der einmal größer ist.
• Ferner wird, weil die Basislinienlänge von 2B zwischen der Kamera 21₅ zum Erfassen der Aufmerksamkeitsbilder PL5 und der Kamera 21₂ zum Erfassen des erfassten Bildes PL2 zum Beispiel gleich zweimal der Referenzbasislinienlängen von B ist, der Betrag des Disparitätsvektors, der zwischen dem Aufmerksamkeitsbild PL5 und dem erfassten Bild PL2 erhalten werden soll, auf eine Vergrößerung angepasst, die 1/2-mal größer ist (ein Wert multipliziert mit dem Verhältnis zwischen der Referenzbasislinienlänge von B und der Basislinienlänge von 2B zwischen der Kamera 21₅ und der Kamera 21₂ ).
• Gleichermaßen wird der Betrag des Disparitätsvektors, der zwischen dem Aufmerksamkeitsbild PL5 und einem anderen erfassten Bild PL#i erhalten werden soll, auf einen Betrag multipliziert mit dem Verhältnis der Referenzbasislinienlänge von B angepasst.
• Eine Disparitätsvektormehrheitsentscheidung wird dann mit der Verwendung der Disparitätsvektoren durchgeführt, die der Betragsanpassung unterzogen wurden.
• Es wird angemerkt, dass in der Parallaxeninformationserzeugungseinheit 31 die Disparität (jedes der Pixel) eines erfassten Bildes PL#i zum Beispiel mit der Genauigkeit der Pixel der erfassten Bilder, die durch die Bilderfassungsvorrichtung 11 erfasst werden, bestimmt werden kann. Alternativ dazu kann die Disparität eines erfassten Bildes PL#i mit einer Genauigkeit gleich oder geringer als jene der Pixel mit einer höheren Genauigkeit als die Pixel des erfassten Bildes PL#i (zum Beispiel der Genauigkeit von Subpixeln, wie etwa 1/4-Subpixeln) erzeugt werden.
• Falls eine Disparität mit der Pixelgenauigkeit oder niedriger zu bestimmen ist, kann die Disparität mit der Pixelgenauigkeit oder niedriger, so wie sie ist, in einem Prozess, der Disparitäten verwendet, verwendet werden oder die Disparität mit der Pixelgenauigkeit oder niedriger kann verwendet werden, nachdem sie abgerundet, aufgerundet oder auf die nächste ganze Zahl gerundet wurde.
• Hier wird der Betrag einer in der Disparitätskarte registrierten Disparität nachfolgend als eine registrierte Disparität bezeichnet. Falls zum Beispiel ein Vektor als eine Disparität in einem zweidimensionalen Koordinatensystem, in dem die Achse, die sich in einer Richtung nach rechts erstreckt, die x-Achse ist, während die Achse, die sich in einer Abwärtsrichtung erstreckt, die y-Achse ist, ist eine registrierte Disparität gleich der x-Komponente der Disparität zwischen jedem Pixel des Referenzbildes PL1 und dem erfassten Bild PL5 des Sichtpunkts links von dem Referenzbild PL1 (oder der x-Komponente des Vektors, der die Pixelverschiebung von einem Pixel des Referenzbildes PL1 zu dem entsprechenden Pixel des erfassten Bildes PL5 darstellt, wobei das entsprechende Pixel dem Pixel des Referenzbildes PL1 entspricht).
• <Neufokussieren durch einen Lichtsammlungsprozess>
• 8 ist ein Diagramm zum Erklären eines Überblicks des Neufokussierens durch einen Lichtsammlungsprozess, der durch die in 4 gezeigte Lichtsammlungsverarbeitungseinheit 34 durchzuführen ist.
• Es wird angemerkt, dass die drei Bilder, die das Referenzbild PL1, das erfasste Bild PL2 des Sichtpunkts rechts von dem Referenzbild PL1 und das erfasste Bild PL5 des Sichtpunkts links von dem Referenzbild PL1 sind, zur einfachen Erklärung als die Sichtpunktbilder mehrerer Sichtpunkte für den Lichtsammlungsprozess in 8 verwendet werden.
• In 8 sind zwei Objekte Obj1 und Obj2 in den erfassten Bildern PL1, PL2 und PL5 gezeigt. Zum Beispiel befindet sich das Objekt Obj1 auf der nahen Seite und befindet sich das Objekt Obj2 auf der fernen Seite.
• Zum Beispiel wird eine Neufokussierung durchgeführt, um auf das Objekt Obj1 in dieser Stufe zu fokussieren (oder den Fokus darauf zu legen), so dass ein Bild, das von dem Referenzsichtpunkt des Referenzbildes PL1 betrachtet wird, als das Verarbeitungsergebnisbild nach einer Neufokussierung erhalten wird.
• Hier repräsentiert DP1 die Disparität des Sichtpunkts des Verarbeitungsergebnisbildes mit Bezug auf das Pixel, das das Objekt Obj1 des erfassten Bildes PL1 zeigt, oder die Disparität (des entsprechenden Pixels des Referenzbildes PL1) des Referenzsichtpunkts in diesem Fall. Gleichermaßen repräsentiert DP2 die Disparität des Sichtpunkts des Verarbeitungsergebnisbildes mit Bezug auf das Pixel, das das Objekt Obj1 des erfassten Bildes PL2 zeigt, und repräsentiert DP5 die Disparität des Sichtpunkts des Verarbeitungsergebnisbildes mit Bezug auf das Pixel, das das Objekt Obj1 des erfassten Bildes PL5 zeigt.
• Es wird angemerkt, dass, weil der Sichtpunkt des Verarbeitungsergebnisbildes gleich dem Referenzsichtpunkt des erfassten Bildes PL1 in 8 ist, die Disparität DP1 des Sichtpunkts des Verarbeitungsergebnisbildes mit Bezug auf das Pixel, das das Objekt Obj1 des erfassten Bildes PL1 zeigt, (0, 0) ist.
• Wie für die erfassten Bilder PL1, PL2 und PL5 wird eine Pixelverschiebung an den erfassten Bildern PL1, PL2 und PL5 gemäß den Disparitäten DP1, DP2 bzw. DP5 durchgeführt und werden die erfassten Bilder PL1 und PL2 und PL5, die der Pixelverschiebung unterzogen werden, integriert. Auf diese Weise kann das Verarbeitungsergebnisbild, das auf das Objekt Obj1 fokussiert ist, erhalten werden.
• Mit anderen Worten wird die Pixelverschiebung an den erfassten Bildern PL1, PL2 und PL5 so durchgeführt, dass sich die Disparitäten DP1, DP2 und DP5 aufheben (wobei die Pixelverschiebung in der entgegengesetzten Richtung zu den Disparitäten DP1, DP2 und DP5 ist). Infolgedessen stimmen die Positionen der Pixel, die Obj1 zeigen, zwischen den erfassten Bildern PL1, PL2 und PL5, die der Pixelverschiebung unterzogen wurden, überein.
• Da die erfassten Bilder PL1, PL2 und PL5, die der Pixelverschiebung unterzogen wurden, auf diese Weise integriert werden, kann das Verarbeitungsergebnisbild, das auf das Objekt Obj1 fokussiert ist, erhalten werden.
• Es wird angemerkt, dass zwischen den erfassten Bildern PL1, PL2 und PL5, die der Pixelverschiebung unterzogen wurden, die Positionen der Pixel, die das Objekt Obj2 zeigen, das sich bei einer anderen Position in der Tiefenrichtung als das Objekt Obj1 befindet, nicht die gleichen sind. Daher ist das Objekt Obj2, das in dem Verarbeitungsergebnisbild gezeigt ist, verschwommen.
• Des Weiteren besteht, weil der Sichtpunkt des Verarbeitungsergebnisbildes der Referenzsichtpunkt ist und die Disparität DP1 (0, 0) ist, wie oben beschrieben ist, kein wesentlicher Bedarf daran, eine Pixelverschiebung an dem erfassten Bild PL1 durchzuführen.
• In dem Lichtsammlungsprozess durch die Lichtsammlungsverarbeitungseinheit 34 werden zum Beispiel die Pixel von Sichtpunktbildern mehrerer Sichtpunkte einer Pixelverschiebung unterzogen, so dass die Disparität des Sichtpunkts (in diesem Fall des Referenzsichtpunkts) des Verarbeitungsergebnisbildes mit Bezug auf das Fokuszielpixel, das das Fokusziel zeigt, aufgehoben wird, und werden dann integriert, wie oben beschrieben ist. Dementsprechend wird ein Bild, das einer Neufokussierung für das Fokusziel unterzogen wurde, als das Verarbeitungsergebnisbild erhalten.
• <Disparitätsumwandlung>
• 9 ist ein Diagramm zum Erklären eines Beispiels für eine Disparitätsumwandlung.
• Wie oben unter Bezugnahme auf 7 beschrieben, sind die Registrierungsdisparitäten, die in einer Disparitätskarte registriert sind, äquivalent zu den x-Komponenten der Disparitäten der Pixel des Referenzbildes PL1 mit Bezug auf die jeweiligen Pixel des erfassten Bildes PL5 des Sichtpunkts links von dem Referenzbild PL1.
• Beim Neufokussieren ist es notwendig, eine Pixelverschiebung an jedem Sichtpunktbild durchzuführen, so dass die Disparität des Fokuszielpixels aufgehoben wird.
• Die Aufmerksamkeit wird nun auf einen gewissen Sichtpunkt als den Aufmerksamkeitssichtpunkt gelenkt. In diesem Fall ist zum Beispiel die Disparität des Fokuszielpixels des Verarbeitungsergebnisbildes mit Bezug auf das Sichtpunktbild des Aufmerksamkeitssichtpunkts, oder in diesem Fall die Disparität des Fokuszielpixels des Referenzbildes PL1 des Referenzsichtpunkts, bei einer Pixelverschiebung des erfassten Bildes des Aufmerksamkeitssichtpunkts notwendig.
• Die Disparität des Fokuszielpixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild des Aufmerksamkeitssichtpunkts kann aus der registrierten Disparität des Fokuszielpixels des Referenzbildes PL1 (des entsprechenden Pixels des Referenzbildes PL, das dem Fokuszielpixel des Verarbeitungsergebnisbildes entspricht) bestimmt werden, wobei die Richtung von dem Referenzsichtpunkt (dem Sichtpunkt des Verarbeitungsergebnisbildes) zu dem Aufmerksamkeitspunkt hin berücksichtigt wird.
• Hier ist die Richtung von dem Referenzsichtpunkt zu dem Aufmerksamkeitssichtpunkt hin durch einen Winkel gegen den Uhrzeigersinn angegeben, wobei die x-Achse 0 [Radiant] ist.
• Zum Beispiel befindet sich die Kamera 21₂ in einem Abstand äquivalent zu der Referenzbasislinienlänge von B in der +x-Richtung und die Richtung von dem Referenzsichtpunkt zu dem Sichtpunkt der Kamera 21₂ hin ist 0 [Radiant]. In diesem Fall kann (der Vektor als) die Disparität DP2 des Fokuszielpixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild (das erfasste Bild PL2) bei dem Sichtpunkt der Kamera 21₂ aus der registrierten Disparität RD des Fokuszielpixels als (-RD, 0) = (-(B/B) × RD × cos0, -(B/B) × RD × sin0) bestimmt werden, da 0 [Radiant] die Richtung des Sichtpunkts der Kamera 21₂ ist.
• Indessen befindet sich die Kamera 21₃ zum Beispiel in einem Abstand äquivalent zu der Referenzbasislinienlänge von B in der π/3-Richtung und die Richtung von dem Referenzsichtpunkt zu dem Sichtpunkt der Kamera 21₂ hin ist π/3 [Radiant]. In diesem Fall kann die Disparität DP3 des Fokuszielpixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild (das erfasste Bild PL3) des Sichtpunkts der Kamera 21₃ aus der registrierten Disparität RD des Fokuszielpixels als (-RD × cos(π/3), - RD × sin(π/3)) = (-(B/B) × RD × cos(π/3), -(B/B) × RD × sin(π/3)) bestimmt werden, da die Richtung des Sichtpunkts der Kamera 21₃ π/3 [Radiant] ist.
• Hier kann ein Interpolationsbild, das durch die Interpolationseinheit 32 erhalten wird, als ein Bild betrachtet werden, das durch eine virtuelle Kamera erfasst wird, die sich bei dem Sichtpunkt vp des Interpolationsbildes befindet. Es wird angenommen, dass sich der Sichtpunkt vp dieser virtuellen Kamera in einem Abstand L von dem Referenzsichtpunkt in der Richtung des Winkels θ [Radiant] befindet. In diesem Fall kann die Disparität DP des Fokuszielpixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild des Sichtpunkts vp (das durch die virtuelle Kamera erfasste Bild) aus der registrierten Disparität RD des Fokuszielpixels als (-(L/B) × RD × cosθ, -(L/B) × RD × sinθ) bestimmt werden, da die Richtung des Sichtpunkts vp der Winkel θ ist.
• Das Bestimmen der Disparität eines Pixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild des Aufmerksamkeitssichtpunkts aus einer registrierten Disparität RD und der Richtung des Aufmerksamkeitssichtpunkts, wie oben beschrieben, oder das Umwandeln einer registrierten Disparität RD in die Disparität eines Pixels des Referenzbildes PL1 (des Verarbeitungsergebnisbildes) mit Bezug auf das Sichtpunktbild des Aufmerksamkeitssichtpunkts wird auch als Disparitätsumwandlung bezeichnet.
• Beim Neufokussieren wird die Disparität des Fokuszielpixels des Referenzbildes PL1 mit Bezug auf das Sichtpunktbild jedes Sichtpunkts aus der registrierten Disparität RD des Fokuszielpixels durch eine Disparitätsumwandlung bestimmt und eine Pixelverschiebung wird an den Sichtpunktbildern der jeweiligen Sichtpunkte durchgeführt, so dass die Disparität des Fokuszielpixels aufgehoben wird.
• Beim Neufokussieren wird eine Pixelverschiebung an einem Sichtpunktbild durchgeführt, so dass die Disparität des Fokuszielpixels mit Bezug auf das Sichtpunktbild aufgehoben wird, und der Verschiebungsbetrag dieser Pixelverschiebung wird auch als Fokusverschiebungsbetrag bezeichnet.
• Hier wird bei der folgenden Beschreibung der Sichtpunkt des i-ten Sichtpunktbildes unter den Sichtpunktbildern mehrerer Sichtpunkte, die durch die Interpolationseinheit 32 erhalten werden, auch als der Sichtpunkt vp#i geschrieben. Der Fokusverschiebungsbetrag des Sichtpunktbildes des Sichtpunkts vp#i wird auch als der Fokusverschiebungsbetrag DP#i geschrieben.
• Der Fokusverschiebungsbetrag DP#i des Sichtpunktbildes des Sichtpunkts vp#i kann aus der registrierten Disparität RD des Fokuszielpixels durch eine Disparitätsumwandlung, die die Richtung von dem Referenzsichtpunkt zu dem Sichtpunkt vp#i berücksichtigt, eindeutig bestimmt werden.
• Hier wird in der Disparitätsumwandlung (der Vektor als) eine Disparität (-(L/B) × RD × cosθ, -(L/B) × RD × sinθ) aus der registrierten Disparität RD berechnet, wie oben beschrieben ist.
• Entsprechend kann die Disparitätsumwandlung zum Beispiel als eine Operation zum Multiplizieren der registrierten Disparität RD mit -(L/B) × cosθ und -(L/B) × sinθ, als eine Operation zum Multiplizieren der registrierten Disparität RD × -1 mit (L/B) × cosθ und (L/B) × sinθ oder dergleichen betrachtet werden.
• Hier kann die Disparitätsumwandlung zum Beispiel als eine Operation zum Multiplizieren der registrierten Disparität RD × -1 mit (L/B) × cosθ und (L/B) × sinθ betrachtet werden.
• In diesem Fall ist der Wert, der der Disparitätsumwandlung zu unterziehen ist, welcher die registrierte Disparität RD × -1 ist, der Referenzwert zum Bestimmen des Fokusverschiebungsbetrags des Sichtpunktbildes jedes Sichtpunkts und wird nachfolgend auch als der Referenzverschiebungsbetrag BV bezeichnet.
• Der Fokusverschiebungsbetrag wird durch eine Disparitätsumwandlung des Referenzverschiebungsbetrags BV eindeutig bestimmt. Entsprechend wird der Pixelverschiebungsbetrag zum Durchführen einer Pixelverschiebung an den Pixeln des Sichtpunktbildes jedes Sichtpunkts beim Neufokussieren im Wesentlichen in Abhängigkeit von dem Festlegen des Referenzverschiebungsbetrags BV festgelegt.
• Es wird angemerkt, dass, falls die registrierte Disparität RD x -1 als der Referenzverschiebungsbetrag BV, wie oben beschrieben, genutzt wird, der Referenzverschiebungsbetrag BV zu einer Zeit, wenn das Fokuszielpixel fokussiert wird, oder die registrierte Disparität RD des Fokuszielpixels × -1 gleich der x-Komponente der Disparität des Fokuszielpixels mit Bezug auf das erfasste Bild PL2 ist.
• <Lichtsammlungsprozess>
• 10 ist ein Diagramm zum Erklären des Neufokussierens durch einen Lichtsammlungsprozess.
• Hier wird eine Ebene, die mit einer Gruppe aus sich im Fokus befindlichen Punkten (sich im Fokus befindliche Realraumpunkte in dem realen Raum) gebildet ist, als eine sich im Fokus befindliche Ebene festgelegt.
• In einem Lichtsammlungsprozess wird das Neufokussieren durchgeführt, indem zum Beispiel eine sich im Fokus befindliche Ebene, die eine Ebene ist, in der der Abstand in der Tiefenrichtung in dem realen Raum konstant ist (nicht variiert), festgelegt und ein Verarbeitungsergebnisbild, das auf ein Objekt fokussiert ist, das sich in der im Fokus befindlichen Ebene (oder in der Nähe der sich im Fokus befindlichen Ebene) befindet, unter Verwendung von Sichtpunktbildern mehrerer Sichtpunkte erzeugt wird.
• In 10 ist eine Person auf der nahen Seite gezeigt, während eine andere Person in der Mitte in jedem der Sichtpunktbilder der mehreren Sichtpunkte gezeigt ist. Ferner wird eine Ebene, die durch die Position der Person in der Mitte hindurchgeht und sich in einem konstanten Abstand in der Tiefenrichtung befindet, als die sich im Fokus befindliche Ebene festgelegt und wird ein Verarbeitungsergebnisbild, das zum Beispiel auf ein Objekt in der sich im Fokus befindlichen Ebene, oder die Person in der Mitte, fokussiert ist, aus den Sichtpunktbildern der mehreren Sichtpunkte erhalten.
• Es wird angemerkt, dass die sich im Fokus befindliche Ebene zum Beispiel eine ebene oder eine gekrümmte Ebene sein kann, deren Abstand in der Tiefenrichtung in dem realen Raum variiert. Alternativ dazu kann die sich im Fokus befindliche Ebene mit mehreren Ebenen oder dergleichen in unterschiedlichen Abständen in der Tiefenrichtung gebildet werden.
• 11 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Lichtsammlungsprozess, der durch die Lichtsammlungsverarbeitungseinheit 34 durchzuführen ist.
• In Schritt S31 erlangt die Lichtsammlungsverarbeitungseinheit 34 (Informationen über) das Fokuszielpixel, das als ein Lichtsammlungsparameter dient, von der Parameterfestlegungseinheit 35 und der Prozess geht dann zu Schritt S32 über.
• Insbesondere wird zum Beispiel das Referenzbild PL1 oder dergleichen unter den erfassten Bildern PL1 bis PL7, die durch die Kameras 21₁ bis 21₇ erfasst werden, auf der Anzeigevorrichtung 13 angezeigt. Wenn der Benutzer eine Position in dem Referenzbild PL1 nennt, legt die Parameterfestlegungseinheit 35 die Pixel bei der durch den Benutzer genannten Position als das Fokuszielpixel fest und liefert (Informationen, die das Fokuszielpixel angeben) das Fokuszielpixel als einen Lichtsammlungsparameter an die Lichtsammlungsverarbeitungseinheit 34.
• In Schritt S31 erlangt die Lichtsammlungsverarbeitungseinheit 34 das Fokuszielpixel, das von der Parameterfestlegungseinheit 35 bereitgestellt wird, wie oben beschrieben ist.
• In Schritt S32 erlangt die Lichtsammlungsverarbeitungseinheit 34 die registrierte Disparität RD des Fokuszielpixels, das in einer Disparitätskarte registriert ist, die von der Parallaxeninformationserzeugungseinheit 31 bereitgestellt wird. Die Lichtsammlungsverarbeitungseinheit 34 legt dann den Referenzverschiebungsbetrag BV gemäß der registrierten Disparität RD des Fokuszielpixels fest oder legt zum Beispiel die registrierte Disparität RD des Fokuszielpixels x -1 als den Referenzverschiebungsbetrag BV fest. Der Prozess geht dann von Schritt S32 zu Schritt S33 über.
• In Schritt S33 legt die Lichtsammlungsverarbeitungseinheit 34 ein Verarbeitungsergebnisbild fest, das ein Bild ist, das einem von Sichtpunktbildern mehrerer Sichtpunkte entspricht, die von der Anpassungseinheit 33 bereitgestellt wurden und der Pixelwertanpassung unterzogen wurden, wie etwa ein Bild, das dem Referenzbild entspricht, oder zum Beispiel ein Bild, das die gleiche Größe wie das Referenzbild aufweist und 0 als den anfänglichen Wert des Pixelwertes bei Betrachtung von dem Sichtpunkt des Referenzbildes aufweist. Die Lichtsammlungsverarbeitungseinheit 34 bestimmt ferner das Aufmerksamkeitspixel, das eines der Pixel ist, die von dem Verarbeitungsergebnisbild stammen und nicht als das Aufmerksamkeitspixel ausgewählt worden sind. Der Prozess geht dann von Schritt S33 zu Schritt S34 über.
• In Schritt S34 bestimmt die Lichtsammlungsverarbeitungseinheit 34 den Aufmerksamkeitssichtpunkt vp#i als einen Sichtpunkt vp#i, der noch nicht als der Aufmerksamkeitssichtpunkt (mit Bezug auf das Aufmerksamkeitspixel) bestimmt worden ist, unter den Sichtpunkten der Sichtpunktbilder, die von der Anpassungseinheit 33 bereitgestellt werden. Der Prozess geht dann zu Schritt S35 über.
• In Schritt S35 bestimmt die Lichtsammlungsverarbeitungseinheit 34 die Fokusverschiebungsbeträge DP#i der jeweiligen Pixel des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i aus dem Referenzverschiebungsbetrag BV. Die Fokusverschiebungsbeträge DP#i sind zum Fokussieren auf das Fokuszielpixel notwendig (der Fokus wird auf das in dem Fokuszielpixel gezeigte Objekt gelegt).
• Mit anderen Worten führt die Lichtsammlungsverarbeitungseinheit 34 eine Disparitätsumwandlung an dem Referenzverschiebungsbetrag BV durch, indem die Richtung von dem Referenzsichtpunkt zu dem Aufmerksamkeitssichtpunkt vp#i hin berücksichtigt wird, und erlangt die Werte (Vektoren), die durch die Disparitätsumwandlung erhalten wurden, als die Fokusverschiebungsbeträge DP#i der jeweiligen Pixel des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i.
• Danach geht der Prozess von Schritt S35 zu Schritt S36 über. Die Lichtsammlungsverarbeitungseinheit 34 führt dann eine Pixelverschiebung an den jeweiligen Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i gemäß dem Fokusverschiebungsbetrag DP#i durch und integriert den Pixelwert des Pixels bei der Position des Aufmerksamkeitspixels in dem Sichtpunktbild, das der Pixelverschiebung unterzogen wird, mit dem Pixelwert des Aufmerksamkeitspixels.
• Mit anderen Worten integriert die Lichtsammlungsverarbeitungseinheit 34 den Pixelwert des Pixels in einem Abstand äquivalent zu dem Vektor (in diesem Fall zum Beispiel dem Fokusverschiebungsbetrag DP#i × -1), der dem Fokusverschiebungsbetrag DP#i von der Position des Aufmerksamkeitspixels unter den Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i entspricht, mit dem Pixelwert des Aufmerksamkeitspixels.
• Der Prozess geht dann von Schritt S36 zu Schritt S37 über und die Lichtsammlungsverarbeitungseinheit 34 bestimmt, ob sämtliche Sichtpunkte der Sichtpunktbilder, die von der Anpassungseinheit 33 bereitgestellt werden, als der Aufmerksamkeitssichtpunkt festgelegt worden sind oder nicht.
• Falls in Schritt S37 bestimmt wird, dass nicht sämtliche Sichtpunkte der Sichtpunktbilder von der Anpassungseinheit 33 als der Aufmerksamkeitssichtpunkt festgelegt worden sind, kehrt der Prozess zu Schritt S34 zurück und danach wird ein Prozess ähnlich dem obigen wiederholt.
• Falls in Schritt S37 bestimmt wird, dass sämtliche Sichtpunkte der Sichtpunktbilder von der Anpassungseinheit 33 als der Aufmerksamkeitssichtpunkt festgelegt worden sind, geht der Prozess dagegen zu Schritt S38 über.
• In Schritt S38 bestimmt die Lichtsammlungsverarbeitungseinheit 34, ob alle Pixel des Verarbeitungsergebnisbildes als das Aufmerksamkeitspixel festgelegt worden sind oder nicht.
• Falls in Schritt S38 bestimmt wird, dass nicht alle Pixel des Verarbeitungsergebnisbildes als das Aufmerksamkeitspixel festgelegt worden sind, kehrt der Prozess zu Schritt S33 zurück, und die Lichtsammlungsverarbeitungseinheit 34 bestimmt das Aufmerksamkeitspixel neu, das eines der Pixel ist, die von dem Verarbeitungsergebnisbild stammen und nicht als das Aufmerksamkeitspixel bestimmt worden sind. Danach wird ein Prozess ähnlich dem obigen wiederholt.
• Falls in Schritt S38 bestimmt wird, dass sämtliche Pixel des Verarbeitungsergebnisbildes als das Aufmerksamkeitspixel festgelegt worden sind, gibt die Lichtsammlungsverarbeitungseinheit 34 dagegen das Verarbeitungsergebnisbild aus und beendet den Lichtsammlungsprozess.
• Es wird angemerkt, dass in dem in 11 gezeigten Lichtsammlungsprozess der Referenzverschiebungsbetrag BV gemäß der registrierten Disparität RD des Fokuszielpixels festgelegt wird und weder mit dem Aufmerksamkeitspixel noch mit dem Aufmerksamkeitssichtpunkt vp#i variiert. In Anbetracht dessen wird der Referenzverschiebungsbetrag BV unabhängig von dem Aufmerksamkeitspixel und dem Aufmerksamkeitssichtpunkt vp#i festgelegt.
• Indessen variiert der Fokusverschiebungsbetrag DP#i mit dem Aufmerksamkeitssichtpunkt vp#i und dem Referenzverschiebungsbetrag BV. In dem in 11 gezeigten Lichtsammlungsprozess variiert jedoch der Referenzverschiebungsbetrag BV weder mit dem Aufmerksamkeitspixel noch mit dem Aufmerksamkeitssichtpunkt vp#i, wie oben beschrieben ist. Entsprechend variiert der Fokusverschiebungsbetrag DP#i mit dem Aufmerksamkeitssichtpunkt vp#i, aber variiert nicht mit dem Aufmerksamkeitspixel. Mit anderen Worten weist der Fokusverschiebungsbetrag DP#i, unabhängig von dem Aufmerksamkeitspixel, den gleichen Wert für jedes Pixel des Sichtpunktbildes eines Sichtpunkts auf.
• In 11 bildet der Prozess in Schritt S35 zum Erhalten des Fokusverschiebungsbetrags DP#i eine Schleife zum wiederholten Berechnen des Fokusverschiebungsbetrags DP#i für den gleichen Sichtpunkt vp#i in Bezug auf unterschiedliche Aufmerksamkeitspixel (die Schleife von Schritt S33 zu Schritt S38). Wie oben beschrieben, weist jedoch der Fokusverschiebungsbetrag DP#i, unabhängig von dem Aufmerksamkeitspixel, den gleichen Wert für jedes Pixel des Sichtpunktbildes eines Sichtpunkts auf.
• Daher wird in 11 der Prozess in Schritt S35 zum Erhalten des Fokusverschiebungsbetrags DP#i nur einmal für einen Sichtpunkt durchgeführt.
• In dem in 11 gezeigten Lichtsammlungsprozess wird die Ebene mit einem konstanten Abstand in der Tiefenrichtung als die sich im Fokus befindliche Ebene festgelegt, wie oben unter Bezugnahme auf 10 beschrieben ist. Entsprechend weist der Referenzverschiebungsbetrag BV des Sichtpunktbildes, der zum Fokussieren auf das Fokuszielpixel notwendig ist, einen solchen Wert auf, dass die Disparität des Fokuszielpixels, das einen räumlichen Punkt auf der sich im Fokus befindlichen Ebene mit dem konstanten Abstand in der Tiefenrichtung zeigt, oder die Disparität des Fokuszielpixels, dessen Disparität der Wert ist, der dem Abstand zu der sich im Fokus befindlichen Ebene entspricht, aufgehoben wird.
• Daher hängt der Referenzverschiebungsbetrag BV weder von einem Pixel (Aufmerksamkeitspixelpixel) des Verarbeitungsergebnisbildes noch von dem Sichtpunkt (Aufmerksamkeitssichtpunkt) eines Sichtpunktbildes, in dem die Pixelwerte integriert sind, ab und muss entsprechend nicht für jedes Pixel des Verarbeitungsergebnisbildes oder jeden Sichtpunkt der Sichtpunktbilder festgelegt werden (selbst wenn der Referenzverschiebungsbetrag BV für jedes Pixel des Verarbeitungsergebnisbildes oder jeden Sichtpunkt der Sichtpunktbilder festgelegt wird, wird der Referenzverschiebungsbetrag BV auf den gleichen Wert festgelegt und wird entsprechend nicht tatsächlich für jedes Pixel des Verarbeitungsergebnisbildes oder jeden Sichtpunkt der Sichtpunktbilder festgelegt).
• Es wird angemerkt, dass in 11 eine Pixelverschiebung und Integration der Pixel der Sichtpunktbilder für jedes Pixel des Verarbeitungsergebnisbildes durchgeführt werden. In dem Lichtsammlungsprozess können jedoch die Pixelverschiebung und Integration der Pixel der Sichtpunktbilder für jedes Subpixel, das durch feines Unterteilen jedes Pixel des Verarbeitungsergebnisbildes erhalten wird, außer für jedes Pixel des Verarbeitungsergebnisbildes durchgeführt werden.
• Ferner befindet sich in dem in 11 gezeigten Lichtsammlungsprozess die Aufmerksamkeitspixelschleife (die Schleife von Schritt S33 bis Schritt S38) außen und befindet sich die Aufmerksamkeitssichtpunktschleife (die Schleife von S34 bis Schritt S37) innen. Jedoch kann die Aufmerksamkeitspunktschleife die Außenschleife sein, während die Aufmerksamkeitspixelschleife die Innenschleife ist.
• <Anpassungsprozess>
• 12 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Anpassungsprozess, der durch die in 4 gezeigte Anpassungseinheit 33 durchzuführen ist.
• In Schritt S51 erlangt die Anpassungseinheit 33 die Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter, die von der Parameterfestlegungseinheit 35 bereitgestellt werden, und der Prozess geht zu Schritt S52 über.
• In Schritt S52 bestimmt die Anpassungseinheit 33 den Aufmerksamkeitssichtpunkt vp#i als einen Sichtpunkt vp#i, der noch nicht als der Aufmerksamkeitssichtpunkt bestimmt worden ist, unter den Sichtpunkten der Sichtpunktbilder, die von der Interpolationseinheit 32 bereitgestellt werden. Der Prozess geht dann zu Schritt S53 über.
• In Schritt S53 erlangt die Anpassungseinheit 33 den Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i aus den Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter, die von der Parameterfestlegungseinheit 35 bereitgestellt werden, und der Prozess geht zu Schritt S54 über.
• In Schritt S54 bestimmt die Anpassungseinheit 33 das Aufmerksamkeitspixel als ein Pixel unter den Pixeln, die noch nicht als der Aufmerksamkeitssichtpunkt bestimmt worden sind, unter den Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunktes vp#i, der von der Interpolationseinheit 32 bereitgestellt wird. Der Prozess geht dann zu Schritt S55 über.
• In Schritt S55 passt die Anpassungseinheit 33 den Pixelwert des Aufmerksamkeitspixels gemäß dem Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i an oder multipliziert den Pixelwert des Aufmerksamkeitspixels mit dem Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i und bestimmt den resultierenden multiplizierten Wert zum Beispiel als den Pixelwert des angepassten Aufmerksamkeitspixels. Der Prozess geht dann zu Schritt S56 über.
• In Schritt S56 bestimmt die Anpassungseinheit 33, ob alle Pixel des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i als das Aufmerksamkeitspixel festgelegt worden sind oder nicht.
• Falls in Schritt S56 bestimmt wird, dass nicht alle Pixel des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i als das Aufmerksamkeitspixel festgelegt worden sind, kehrt der Prozess zu Schritt S54 zurück, und die Anpassungseinheit 33 bestimmt das Aufmerksamkeitspixel neu, das eines der Pixel ist, die von dem Sichtpunktbild des Aufmerksamkeitssichtpunkts vp#i stammen und nicht als das Aufmerksamkeitspixel bestimmt worden sind. Danach wird ein Prozess ähnlich dem obigen wiederholt.
• Falls in Schritt S56 bestimmt wird, dass sämtliche Pixel des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i als das Aufmerksamkeitspixel festgelegt worden sind, geht der Prozess dagegen zu Schritt S57 über.
• Nachdem der Prozess zu Schritt S57 übergegangen ist, bestimmt die Anpassungseinheit 33, ob sämtliche Sichtpunkte der Sichtpunktbilder von der Interpolationseinheit 32 als der Aufmerksamkeitssichtpunkt festgelegt worden sind oder nicht.
• Falls in Schritt S57 bestimmt wird, dass nicht sämtliche Sichtpunkte der Sichtpunktbilder von der Interpolationseinheit 32 als der Aufmerksamkeitssichtpunkt festgelegt worden sind, kehrt der Prozess zu Schritt S52 zurück und danach wird ein Prozess ähnlich dem obigen wiederholt.
• Falls in Schritt S57 bestimmt wird, dass sämtliche Sichtpunkte der Sichtpunktbilder von der Interpolationseinheit 32 als der Aufmerksamkeitssichtpunkt festgelegt worden sind, oder falls sämtliche Pixelwerte der mehreren Sichtpunktbilder von der Interpolationseinheit 32 angepasst worden sind, liefert die Anpassungseinheit 33 andererseits die Sichtpunktbilder sämtlicher Sichtpunkte mit den angepassten Pixelwerten an die Lichtsammlungsverarbeitungseinheit 34 und beendet den Anpassungsprozess.
• Der in 11 gezeigte Lichtsammlungsprozess (die Integration der Pixelwerte der Pixel der Sichtpunktbilder der mehreren Sichtpunkte in Schritt S36) wird an den Sichtpunktbildern der mehreren Sichtpunkte mit den angepassten Pixelwerten durchgeführt, die durch den obigen Anpassungsprozess erhalten werden.
• Entsprechend werden die Koeffizienten, die den optischen Effekten entsprechen, als der Anpassungskoeffizient für die jeweiligen Sichtpunkte als die Anpassungsparameter genutzt, so dass eine Neufokussierung, die von verschiedenen optischen Effekten begleitet wird, durchgeführt werden kann.
• In der Beschreibung unten werden die Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter durch Beispiele für Objektivaperturparameter zum Erreichen optischer Bildeffekte, die tatsächlich oder theoretisch mit einem optischen System, wie etwa einem optischen Objektiv und einer Blende, erreicht werden können, und Filterparameter zum Erreichen optischer Bildeffekte, die tatsächlich oder theoretisch mit einem Objektivfilter erzielt werden können, erklärt.
• <Objektivaperturparameter>
• 13 ist ein Diagramm, das ein erstes Beispiel für Objektivaperturparameter zeigt.
• Hier wird angenommen, dass die Gesamtanzahl an Sichtpunkten der Sichtpunktbilder, die durch die Interpolationseinheit 32 erhalten werden, M² ist, was M Sichtpunkte in der horizontalen Richtung und M Sichtpunkte in der vertikalen Richtung ist.
• Die Transmissionsgrade, die für die jeweiligen Sichtpunkte der M × M Sichtpunkte festgelegt werden, können als die Anpassungskoeffizienten für die jeweiligen Sichtpunkte der M × M Sichtpunkte als Objektivaperturparameter genutzt werden.
• Um die Transmissionsgrade für die jeweiligen Sichtpunkte festzulegen, wird die Verteilung der Transmissionsgrade, die gewünschte Objektiv- und Blendeneffekte produzieren, zum Beispiel in M × M Blöcke mit der gleichen Anzahl wie die M × M Sichtpunkte unterteilt, und der jeweilige Wert des Transmissionsgrades jedes Blocks wird bestimmt. Der repräsentative Wert (wobei ein repräsentativer Wert zum Beispiel der Mittelwert, der Median oder dergleichen der Transmissionsgrade in einem Block ist) des Blocks, der der x-te Block von links und der y-te Block von unten ist (dieser Block wird auch als der (x, y)-te Block bezeichnet), wird als der Transmissionsgrad des (x, y)-ten Sichtpunkts festgelegt.
• 13 zeigt die Verteilung der Transmissionsgrade, die die Effekte eines Smooth-Transfer-Focus(STF: glatter Transferfokus)-Objektivs produzieren. Insbesondere zeigt 13 eine Draufsicht der Transmissionsgrade, die für die jeweiligen Sichtpunkte gemäß der Verteilung der Transmissionsgrade, unter denen der Transmissionsgrad in dem Zentrum der höchste ist und die Transmissionsgrade bei den am weitesten entfernten Peripherieteilen die niedrigsten sind, festgelegt sind, und eine Querschnittsansicht der Transmissionsgrade für die jeweiligen Sichtpunkte entlang eines Liniensegments LO.
• Hier ist die planare Form (die Form, die in der Draufsicht erscheint) der Verteilung der Transmissionsgrade, die die Effekte eines STF-Objektivs produzieren, beinahe kreisförmig, aber das Liniensegment LO läuft durch das Zentrum des Kreises hindurch und erstreckt sich parallel zu der x-Richtung (horizontalen Richtung).
• Ferner geben die Unterschiede der Farbhelligkeit (Graustufe) in der in 13 gezeigten Draufsicht den Transmissionsgrad an. Je dunkler die Farbhelligkeit ist, desto geringer ist der Transmissionsgrad.
• Dies gilt auch für die in 14, 15 und 16 gezeigten Draufsichten, die später beschrieben werden.
• Mit den Anpassungskoeffizienten als die Transmissionsgrade, die für die jeweiligen Sichtpunkte gemäß der Verteilung der Transmissionsgrade festgelegt sind, die die Effekte eines STF-Objektivs produzieren, kann das Neufokussieren durchgeführt werden, um eine natürliche Unschärfe zu realisieren, die in der Richtung von dem Zentrum zu der Peripherie des unscharfen Teils leicht in ihrem Unschärfegrad variiert, wie eine Unschärfe, die mit einem STF-Objektiv realisiert werden kann.
• 14 ist ein Diagramm, das ein zweites Beispiel für Objektivaperturparameter zeigt.
• 14 zeigt die Verteilung der Transmissionsgrade, die die Effekte eines Spiegelobjektivs produzieren. Insbesondere zeigt 14 eine Draufsicht der Transmissionsgrade, die für die jeweiligen Sichtpunkte gemäß der Verteilung der Transmissionsgrade festgelegt sind, unter denen der Transmissionsgrad in einem leicht von der Peripherie zu dem zentralen Teil verschobenen Teil der höchste ist und der Transmissionsgrad in einer Richtung zu dem zentralen Teil oder zu der Peripherie hin abnimmt, und eine Querschnittsansicht der Transmissionsgrade für die jeweiligen Sichtpunkte entlang des Liniensegments LO.
• Mit den Anpassungskoeffizienten als die Transmissionsgrade, die für die jeweiligen Sichtpunkte gemäß der Verteilung der Transmissionsgrade festgelegt sind, die die Effekte eines Spiegelobjektivs produzieren, kann das Neufokussieren durchgeführt werden, um eine Ringunschärfe oder eine Doppelkonturunschärfe zu realisieren, wie eine Unschärfe, die mit einem Spiegelobjektiv realisiert werden kann.
• 15 ist ein Diagramm, das ein drittes Beispiel für Objektivaperturparameter zeigt.
• 15 zeigt eine Draufsicht von Transmissionsgraden, die für die jeweiligen Sichtpunkte gemäß einer Verteilung festgelegt sind, die durch Modifizieren der Verteilung der Transmissionsgrade erzeugt wird, die die Effekte eines STF-Objektivs produzieren, so dass die Größe des Kreises als die planare Form der in 13 gezeigten Verteilung der Transmissionsgrade reduziert wird, die die Effekte eines STF-Objektivs produzieren (diese modifizierte Verteilung wird nachfolgend als die STF-modifizierte Verteilung bezeichnet). 15 zeigt auch eine Querschnittsansicht der Transmissionsgrade für die jeweiligen Sichtpunkte entlang dem Liniensegment LO.
• Es wird angemerkt, dass, um die Effekte einer Blende in einem offenen Zustand zu produzieren, in 13 die Transmissionsgradverteilung nicht speziell gesteuert wird. Um die Effekte einer Blende in einem verengten Zustand zu produzieren, sind jedoch in 15 die Transmissionsgrade für die Sichtpunkte außerhalb eines Kreises, der geringfügig größer als der Kreis der planaren Form der STF-modifizierten Verteilung ist, oder die Transmissionsgrade für die Sichtpunkte, die durch die Blende in dem verengten Zustand vor Lichtstrahlen blockiert werden, auf 0 % festgelegt (gesteuert).
• Mit den obigen Anpassungskoeffizienten als die Transmissionsgrade für die jeweiligen Sichtpunkte kann das Neufokussieren durchgeführt werden, um eine natürliche Unschärfe zu realisieren, die in der Richtung von dem Zentrum zu der Peripherie des unscharfen Teils leicht in ihrem Unschärfegrad variiert, wie eine Unschärfe, die mit einem STF-Objektiv realisiert werden kann.
• Ferner kann ein Bild mit einer tiefen Schärfentiefe als das Verarbeitungsergebnisbild nach einer Neufokussierung erhalten werden.
• Mit anderen Worten kann ein Bild mit einer tiefen Schärfentiefe und Unschärfe, das mit einem STF-Objektiv realisiert wird, als das Verarbeitungsergebnisbild nach einer Neufokussierung erhalten werden.
• Es wird angemerkt, dass, selbst wenn eine Bilderfassung mit einem tatsächlichen STF-Objektiv mit verengter Blende durchgeführt wird, es schwierig wäre, ein Bild mit einer tiefen Schärfentiefe und einer natürlichen Schärfe, das mit einem STF-Objektiv zu realisieren ist, zu erhalten.
• Mit anderen Worten wird in einem erfassten Bild, das erhalten wird, falls eine Bilderfassung mit einem tatsächlichen STF-Objektiv mit verengter Blende durchgeführt wird, die Schärfentiefe durch die Blende in dem verengten Zustand tiefer gemacht.
• Falls jedoch eine Bilderfassung mit einem tatsächlichen STF-Objektiv mit verengter Blende durchgeführt wird, werden Lichtstrahlen, die das STF-Objektivgebiet (ein Gebiet mit geringen Transmissionsgraden) durchlaufen, das äquivalent zu einem Gebiet außer dem zentralen Teil des Kreises als die planare Form der Verteilung der Transmissionsgrade ist, die die Effekte eines in 13 gezeigten STF-Objektivs produzieren, durch die Blende in dem verengten Zustand blockiert. Daher ist es schwierig, eine Unschärfe ähnlich der natürlichen Unschärfe zu erreichen, die mit einem STF-Objektiv mit einer Blende, die nicht in einem verengten Zustand ist, zu erreichen ist.
• 16 ist ein Diagramm, das ein viertes Beispiel für den Objektivaperturparameter zeigt.
• 16 zeigt eine Draufsicht von Transmissionsgraden, die für die jeweiligen Sichtpunkte gemäß einer Verteilung festgelegt sind, die durch Modifizieren der Verteilung der Transmissionsgrade erzeugt wird, die die Effekte eines Spiegelobjektivs produzieren, so dass die Größe der planaren Form der in 14 gezeigten Verteilung der Transmissionsgrade reduziert wird, die die Effekte eines Spiegelobjektivs produzieren (diese modifizierte Verteilung wird nachfolgend als die spiegelobjektivmodifizierte Verteilung bezeichnet). 16 zeigt auch eine Querschnittsansicht der Transmissionsgrade für die jeweiligen Sichtpunkte entlang dem Liniensegment LO.
• Es wird angemerkt, dass, um die Effekte einer Blende in einem offenen Zustand zu produzieren, in 14 die Transmissionsgradverteilung nicht speziell gesteuert wird. Um die Effekte einer Blende in einem verengten Zustand zu produzieren, sind jedoch in 16, wie in 15, die Transmissionsgrade für die Sichtpunkte außerhalb eines Kreises, der geringfügig größer als der Kreis der planaren Form der STF-modifizierten Verteilung ist, oder die Transmissionsgrade für die Sichtpunkte, die durch die Blende in dem verengten Zustand vor Lichtstrahlen blockiert werden, auf 0 % festgelegt (gesteuert).
• Mit den obigen Anpassungskoeffizienten als die Transmissionsgrade für die jeweiligen Sichtpunkte kann das Neufokussieren durchgeführt werden, um eine Ringunschärfe oder eine Doppelkonturunschärfe zu realisieren, wie eine Unschärfe, die mit einem Spiegelobjektiv realisiert werden kann.
• Ferner kann ein Bild mit einer tiefen Schärfentiefe als das Verarbeitungsergebnisbild nach einer Neufokussierung erhalten werden.
• Mit anderen Worten kann ein Bild mit einer tiefen Schärfentiefe und Unschärfe, das mit einem Spiegelobjektiv realisiert wird, als das Verarbeitungsergebnisbild nach einer Neufokussierung erhalten werden.
• Es wird angemerkt, dass, selbst wenn eine Bilderfassung mit einem tatsächlichen Spiegelobjektiv mit verengter Blende durchgeführt wird, es schwierig wäre, ein Bild mit einer tiefen Schärfentiefe und einer Ringunschärfe oder Doppelkonturunschärfe zu erhalten, das mit einem Spiegelobjektiv zu realisieren ist.
• Mit anderen Worten wird in einem erfassten Bild, das erhalten wird, falls eine Bilderfassung mit einem tatsächlichen Spiegelobjektiv mit verengter Blende durchgeführt wird, die Schärfentiefe durch die Blende in dem verengten Zustand tiefer gemacht.
• Falls jedoch eine Bilderfassung mit einem tatsächlichen Spiegelobjektiv mit verengter Blende durchgeführt wird, werden Lichtstrahlen, die das Spiegelobjektivgebiet (das Gebiet mit dem höchsten Transmissionsgrad und sein Umgebungsgebiet) durchlaufen, das äquivalent zu einem Gebiet außer dem zentralen Teil des Kreises als die planare Form der Verteilung der Transmissionsgrade ist, die die Effekte eines in 14 gezeigten Spiegelobjektivs produzieren, durch die Blende in dem verengten Zustand blockiert. Daher ist es schwierig, eine Unschärfe ähnlich der Ringunschärfe oder der Doppelkonturunschärfe zu erreichen, die mit einem Spiegelobjektiv mit einer Blende, die nicht in einem verengten Zustand ist, zu erreichen ist.
• Falls die obigen Objektivaperturparameter als die Anpassungskoeffizienten für die jeweiligen Sichtpunkte genutzt werden, werden die Anpassungskoeffizienten als die Objektivaperturparameter durch α bezeichnet und werden die Pixelwerte der Pixel der Sichtpunktbilder, die durch die Interpolationseinheit 32 erhalten werden, durch I bezeichnet. In einem solchen Fall führt die Anpassungseinheit 33 einen Anpassungsprozess zum Anpassen der Pixelwerte I durch, indem zum Beispiel Pixelwerte α × I bestimmt werden, die die Pixelwerte nach der Anpassung der Pixelwerte I sein sollen.
• Die Lichtsammlungsverarbeitungseinheit 34 führt dann einen Lichtsammlungsprozess an den Sichtpunktbildern durch, die dem obigen Anpassungsprozess unterzogen wurden, um eine Neufokussierung durchzuführen, wobei eine gewünschte Objektivunschärfe und ein gewünschter verengter Aperturzustand wiedergegeben werden.
• Es wird angemerkt, dass in 13 bis 16 die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß der Verteilung von Transmissionsgraden festgelegt werden, die die Effekte eines STF-Objektivs oder eines Spiegelobjektivs produzieren. Jedoch können die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß den Verteilungstransmissionsgraden festgelegt werden, die die Effekte mancher anderer Objektive produzieren.
• Ferner wird die Verteilung von Transmissionsgraden in 15 und 16 so gesteuert, dass die Effekte einer Apertur in einem verengten Zustand produziert werden. Jedoch kann die Verteilung der Transmissionsgrade so angepasst werden, dass die Effekte einer Apertur in einem beliebigen gewünschten Zustand produziert werden.
• Noch weiter wird in 13 bis 16 eine Transmissionsgradverteilung mit einer im Wesentlichen kreisförmigen planaren Form beim Festlegen der Anpassungskoeffizienten für die jeweiligen Sichtpunkte verwendet. Jedoch kann eine Transmissionsgradverteilung, die zum Beispiel in eine gewünschte Form, wie etwa eine Herzform oder eine Sternform, als ihre planare Form modifiziert ist, beim Festlegen der Anpassungskoeffizienten für die jeweiligen Sichtpunkte verwendet werden. In diesem Fall kann ein Verarbeitungsergebnisbild erhalten werden, in dem eine gewünschte Form in der Unschärfe erscheint.
• <Filterparameter>
• 17 ist ein Diagramm, das ein Beispiel für Filterparameter zeigt.
• Falls eine Bilderfassung mit einer tatsächlichen Einzelobjektivkamera oder dergleichen durchgeführt wird, kann ein Verlaufsfilter, wie etwa ein Farbeffektfilter oder ein Peripherieeffektfilter mit Abstufungen als ein Objektivfilter verwendet werden, das vor einem Objektiv bereitgestellt ist.
• 17 zeigt ein Beispiel für ein Verlaufsfilter und ein Beispiel für Anpassungskoeffizienten für die jeweiligen Sichtpunkte als Filterparameter, die gemäß der Verteilung von Verstärkungen festgelegt sind, die die Filtereffekte des Verlaufsfilters produzieren.
• In 17 ist die Gesamtanzahl an Sichtpunktbildern, die durch die Interpolationseinheit 32 erhalten werden, 5², was M × M = 5 × 5 Sichtpunkte ist.
• Verstärkungen, die für die jeweiligen Sichtpunkte der M × M Sichtpunkte festgelegt sind und für eine Luminanz oder eine vorbestimmte Farbe sind, können als die Anpassungskoeffizienten für die jeweiligen Sichtpunkte der M × M Sichtpunkte als die Filterparameter genutzt werden.
• Die Verstärkungen für die jeweiligen Sichtpunkte können zum Beispiel durch Unterteilen der Verteilung der Verstärkungen, die gewünschte Filtereffekte produzieren, in M × M Blöcke in der gleichen Anzahl als M × M, Bestimmen des jeweiligen Wertes der Verstärkung jedes Blocks und Festlegen des repräsentativen Wertes des (x, y)-ten Blocks als die Verstärkung für den (x, y)-ten Sichtpunkt festgelegt werden.
• In 17 sind die Verstärkungen als die Anpassungskoeffizienten für die jeweiligen Sichtpunkte der M × M = 5 × 5 Sichtpunkte gemäß der Verteilung der Verstärkungen festgelegt, die die Filtereffekte eines Blauverlaufsfilters produzieren.
• Hier gibt in dem in 17 gezeigten Verlaufsfilter eine Farbhelligkeit die Verstärkung mit Bezug auf die blaue Farbe an. Je dunkler die Farbhelligkeit ist, desto höher ist die Verstärkung.
• Das in 17 gezeigte Verlaufsfilter ist ein Filter, das eine höhere Verstärkung mit Bezug auf die blaue Farbe auf der oberen Seite aufweist.
• Falls die obigen Filmparameter als die Anpassungskoeffizienten für die jeweiligen Sichtpunkte genutzt werden, werden die Anpassungskoeffizienten als die Filterparameter durch G bezeichnet und werden die roten, grünen und blauen (RGB) Komponenten als die Pixelwerte der Pixel der Sichtpunktbilder, die durch die Interpolationseinheit 32 erhalten werden, durch (Ir, Ig, Ib) bezeichnet. In einem solchen Fall führt die Anpassungseinheit 33 einen Anpassungsprozess zum Anpassen der Pixelwerte (Ir, Ig, Ib) durch, indem zum Beispiel Pixelwerte (Ir, Ig, Ib × G) bestimmt werden, die die Pixelwerte nach der Anpassung der Pixelwerte (Ir, Ig, Ib) sein sollen.
• Mit den obigen Anpassungskoeffizienten als die Verstärkungen für die jeweiligen Sichtpunkte, die gemäß der Verteilung der Verstärkungen festgelegt sind, die die Filtereffekte eines Verlaufsfilters produzieren, kann eine Neufokussierung durchgeführt werden, um ein Verarbeitungsergebnisbild zu erhalten, in dem der Grad der Bläue in einem oberen Teil höher ist.
• Es wird angemerkt, dass in 17 die Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Filterparameter gemäß der Verteilung der Verstärkungen eines Verlaufsfilters mit höheren Verstärkungen bezüglich der blauen Farbe bei oberen Teilen festgelegt sind. Jedoch können die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß der Verteilung der Verstärkungen festgelegt werden, die Filtereffekte außer jenen Filtereffekten des in 17 gezeigten Verlaufsfilters produzieren. Die Verstärkungen können mit Bezug auf Luminanz oder eine gewünschte Farbe (die nicht die blaue Farbe ist, sondern zum Beispiel die rote Farbe, die grüne Farbe oder dergleichen ist) sein.
• <Andere Beispielkonfiguration der Bildverarbeitungsvorrichtung 12>
• 18 ist ein Blockdiagramm, das eine andere Beispielkonfiguration der in 1 gezeigten Bildverarbeitungsvorrichtung 12 zeigt.
• Es wird angemerkt, dass in der Zeichnung die Komponenten, die äquivalent zu jenen in 4 sind, durch die gleichen Bezugsziffern wie jene in 4 bezeichnet sind und eine Erklärung davon hier nicht wiederholt ist.
• Die Bildverarbeitungsvorrichtung 12 in 18 weist die Parallaxeninformationserzeugungseinheit 31, die Interpolationseinheit 32, die Parameterfestlegungseinheit 35 und eine Lichtsammlungsverarbeitungseinheit 51 auf.
• Entsprechend ist die Bildverarbeitungsvorrichtung 12 in 18 insofern die gleiche wie jene in dem in 4 gezeigten Fall, als dass sie die Parallaxeninformationserzeugungseinheit 31, die Interpolationseinheit 32 und die Parameterfestlegungseinheit 35 aufweist.
• Jedoch unterscheidet sich die Bildverarbeitungsvorrichtung 12 in 18 von dem in 4 gezeigten Fall darin, dass die Anpassungseinheit 33 nicht bereitgestellt ist und die Lichtsammlungsverarbeitungseinheit 51 anstelle der Lichtsammlungsverarbeitungseinheit 34 bereitgestellt ist.
• In 4 werden die Pixelwerte der Pixel der Sichtpunktbilder durch die Anpassungseinheit 33 angepasst und wird der Lichtsammlungsprozess an den Sichtpunktbildern nach der Anpassung der Pixelwerte durchgeführt. In der Bildverarbeitungsvorrichtung 12 in 18 werden andererseits die Pixelwerte, die der Integration zu unterziehen sind, angepasst, unmittelbar bevor die Integration der Pixelwerte der Pixel der Sichtpunktbilder durchgeführt wird, und die Pixelwertintegration wird an den angepassten Pixelwerten in dem Lichtsammlungsprozess durchgeführt.
• In 18 führt die Lichtsammlungsverarbeitungseinheit 51 einen Lichtsammlungsprozess ähnlich jenem durch, der durch die in 4 gezeigte Lichtsammlungsverarbeitungseinheit 34 durchgeführt wird, aber passt die Pixelwerte der Pixel der Sichtpunktbilder in dem Lichtsammlungsprozess weiter an. Daher werden die Anpassungsparameter, die zum Anpassen der Pixelwerte zu verwenden sind, zusätzlich zu den Lichtsammlungsparametern, die in dem Lichtsammlungsprozess zu verwenden sind, von der Parameterfestlegungseinheit 35 an die Lichtsammlungsverarbeitungseinheit 51 geliefert.
• In dem Lichtsammlungsprozess passt die Lichtsammlungsverarbeitungseinheit 51 die Pixelwerte der Pixel der Sichtpunktbilder unmittelbar vor einer Integration der Pixelwerte der Pixel der Sichtpunktbilder an und führt die Pixelwertintegration an den angepassten Pixelwerten durch.
• 19 ist ein Flussdiagramm zum Erklären eines Beispiels für einen Lichtsammlungsprozess, der durch die Lichtsammlungsverarbeitungseinheit 51 durchzuführen ist.
• In Schritt S71 erlangt die Lichtsammlungsverarbeitungseinheit 51 ein Fokuszielpixel als einen Lichtsammlungsparameter von der Parameterfestlegungseinheit 35, wie in Schritt S31 in 11.
• In Schritt S71 erlangt die Lichtsammlungsverarbeitungseinheit 51 ferner die Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter von der Parameterfestlegungseinheit 35 und der Prozess geht dann zu Schritt S72 über.
• In Schritten S72 bis S75 führt die Lichtsammlungsverarbeitungseinheit 51 Prozesse ähnlich den jeweiligen Prozessen in Schritten S32 bis S35 in 11 durch, um den Fokusverschiebungsbetrag DP#i des Aufmerksamkeitssichtpunktes vp#i zu bestimmen.
• Der Prozess geht dann von Schritt S75 zu Schritt S76 über und die Lichtsammlungsverarbeitungseinheit 51 erlangt den Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i aus den Anpassungskoeffizienten für die jeweiligen Sichtpunkte als die Anpassungsparameter von der Parameterfestlegungseinheit 35. Der Prozess geht dann zu Schritt S77 über.
• In Schritt S77 legt die Lichtsammlungsverarbeitungseinheit 51 das Anpassungszielpixel fest, das das Pixel in einem Abstand äquivalent zu dem Vektor ist (in diesem Fall zum Beispiel dem Fokusverschiebungsbetrag DP#i × -1), der dem Fokusverschiebungsbetrag DP#i von der Position des Aufmerksamkeitspixels unter den Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i entspricht. Die Lichtsammlungsverarbeitungseinheit 51 passt dann den Pixelwert des Anpassungszielpixels gemäß dem Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i an oder multipliziert den Pixelwert des Anpassungszielpixels mit dem Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i und bestimmt den resultierenden multiplizierten Wert zum Beispiel als den angepassten Pixelwert des Anpassungszielpixels. Der Prozess geht dann von Schritt S77 zu Schritt S78 über.
• In Schritt S78 führt die Lichtsammlungsverarbeitungseinheit 51 dann eine Pixelverschiebung an den jeweiligen Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i gemäß dem Fokusverschiebungsbetrag DP#i durch und integriert den Pixelwert des Pixels bei der Position des Aufmerksamkeitspixels (den angepassten Pixelwert des Anpassungszielpixels) in dem Sichtpunktbild, das der Pixelverschiebung unterzogen wird, mit dem Pixelwert des Aufmerksamkeitspixels, wie in Schritt S36 in 11.
• Mit anderen Worten integriert die Lichtsammlungsverarbeitungseinheit 51 den Pixelwert (den Pixelwert, der mit dem Anpassungskoeffizienten für den Aufmerksamkeitssichtpunkt vp#i angepasst ist) des Pixels in einem Abstand äquivalent zu dem Vektor (in diesem Fall zum Beispiel dem Fokusverschiebungsbetrag DP#i × -1), der dem Fokusverschiebungsbetrag DP#i von der Position des Aufmerksamkeitspixels unter den Pixeln des Sichtpunktbildes des Aufmerksamkeitssichtpunkts vp#i entspricht, mit dem Pixelwert des Aufmerksamkeitspixels.
• Der Prozess geht dann von Schritt S78 zu Schritt S79 über. Danach werden in Schritten S79 und S80 Prozesse durchgeführt, die den jeweiligen Prozessen in Schritten S37 und S38 in 11 ähnlich sind.
• Es wird angemerkt, dass, obwohl der Referenzsichtpunkt als der Sichtpunkt des Verarbeitungsergebnisbildes genutzt wird, ein anderer Punkt als der Referenzsichtpunkt, oder zum Beispiel ein beliebiger angemessener Punkt oder dergleichen innerhalb der synthetischen Apertur des virtuellen Objektivs, als der Sichtpunkt des Verarbeitungsergebnisbildes genutzt werden kann.
• <Beschreibung eines Computers, auf den die vorliegende Technologie angewandt ist>
• Als Nächstes kann die oben beschriebene Reihe von Prozessen durch die Bildverarbeitungsvorrichtung 12 mit Hardware durchgeführt werden und kann auch mit Software durchgeführt werden. Falls die Reihen von Prozessen mit Software durchgeführt werden, wird das Programm, das die Software bildet, auf einem Mehrzweckcomputer oder dergleichen installiert.
• 20 ist ein Blockdiagramm, das eine Beispielkonfiguration einer Ausführungsform eines Computers zeigt, auf dem das Programm zum Durchführen der oben beschriebenen Reihe von Prozessen installiert ist.
• Das Programm kann zuvor auf einer Festplatte 105 oder einem ROM 103, die/der als ein Aufzeichnungsmedium in dem Computer bereitgestellt ist, aufgezeichnet werden.
• Alternativ dazu kann das Programm in einem entfernbaren Aufzeichnungsmedium 111 gespeichert (aufgezeichnet) werden. Ein solches entfernbares Aufzeichnungsmedium 111 kann als sogenannte Packaged-Software bereitgestellt werden. Hier kann das entfernbare Aufzeichnungsmedium 111 zum Beispiel eine flexible Disk, eine Compact-Disc-Read-Only-Memory (CD-ROM), eine magnetooptische (MO) Disk, eine Digital Versatile Disc (DVD), eine magnetische Disk, einen Halbleiterspeicher oder dergleichen sein.
• Es wird angemerkt, dass das Programm von dem oben beschriebenen entfernbaren Aufzeichnungsmedium 111 auf dem Computer installiert werden kann, aber auch über ein Kommunikationsnetz oder ein Broadcasting-Netz auf den Computer heruntergeladen und auf der internen Festplatte 105 installiert werden kann. Mit anderen Worten kann das Programm zum Beispiel drahtlos von einer Download-Seite über einen künstlichen Satelliten für digitales Satelliten-Broadcasting auf den Computer übertragen werden oder kann mittels Kabeln über ein Netz, wie etwa ein Local Area Network (LAN) oder das Internet, auf den Computer übertragen werden.
• Der Computer weist eine zentrale Verarbeitungseinheit (CPU) 102 auf und eine Eingabe/Ausgabe-Schnittstelle 110 ist über einen Bus 101 mit der CPU 102 verbunden.
• Wenn eine Anweisung durch einen Benutzer, der eine Eingabeeinheit 107 oder dergleichen bedient, über die Eingabe/Ausgabe-Schnittstelle 110 eingegeben wird, führt die CPU 102 das in dem Nurlesespeicher (ROM) 103 gespeicherte Programm gemäß der Anweisung aus. Alternativ dazu lädt die CPU 102 das auf der Festplatte 105 gespeicherte Programm in einen Direktzugriffsspeicher (RAM) 104 und führt das Programm aus.
• Dadurch führt die CPU 102 die Prozesse gemäß den oben beschriebenen Flussdiagrammen durch oder führt die Prozesse mit den oben beschriebenen Konfigurationen, die in den Blockdiagrammen veranschaulicht sind, durch. Die CPU 102 gibt dann die Prozessergebnisse von einer Ausgabeeinheit 106 aus oder überträgt zum Beispiel die Prozessergebnisse von einer Kommunikationseinheit 108 über die Eingabe/Ausgabe-Schnittstelle 110 und speichert ferner die Prozessergebnisse nach Bedarf auf der Festplatte 105.
• Es wird angemerkt, dass die Eingabeeinheit 107 mit einer Tastatur, einer Maus, einem Mikrofon und dergleichen gebildet ist. Indessen ist die Ausgabeeinheit 106 mit einer Flüssigkristallanzeige (LCD), einem Lautsprecher und dergleichen gebildet.
• In dieser Beschreibung werden die durch den Computer gemäß dem Programm durchzuführenden Prozesse nicht notwendigerweise in chronologischer Reihenfolge in Übereinstimmung mit den in den Flussdiagrammen gezeigten Sequenzen durchgeführt. Mit anderen Worten weisen die durch den Computer gemäß dem Programm durchzuführenden Prozesse Prozesse auf, die parallel oder unabhängig voneinander durchzuführen sind (wie etwa parallele Prozesse oder objektbasierte Prozesse).
• Außerdem kann das Programm durch einen Computer (Prozessor) ausgeführt werden oder kann auf eine verteilte Weise durch mehr als einen Computer ausgeführt werden. Ferner kann das Programm auf einen fernen Computer übertragen werden und auf diesem ausgeführt werden.
• In dieser Beschreibung bedeutet ferner ein System eine Baugruppe aus mehreren Komponenten (Vorrichtungen, Module (Teile) und dergleichen) und es müssen nicht sämtliche Komponenten in demselben Gehäuse bereitgestellt sein. In diesem Sinn bilden mehrere Vorrichtungen, die in unterschiedlichen Gehäusen untergebracht und über ein Netz miteinander verbunden sind, ein System, und eine Vorrichtung mit mehreren Modulen, die in einem Gehäuse untergebracht sind, ist ebenfalls ein System.
• Es sei angemerkt, dass Ausführungsformen der vorliegenden Technologie nicht auf die oben beschriebenen Ausführungsformen beschränkt sind und verschiedene Modifikationen ohne Abweichung von dem Schutzumfang der vorliegenden Technologie vorgenommen werden können.
• Zum Beispiel kann die vorliegende Technologie in einer Cloud-Rechenkonfiguration umgesetzt sein, in der eine Funktion zwischen mehreren Vorrichtungen über ein Netz geteilt wird, und eine Verarbeitung wird durch die Vorrichtungen durchgeführt, die miteinander zusammenarbeiten.
• Ferner können die jeweiligen Schritte, die unter Bezugnahme auf die oben beschriebenen Flussdiagramme beschrieben sind, durch eine Vorrichtung ausgeführt werden oder können zwischen mehreren Vorrichtungen geteilt werden.
• Des Weiteren können, falls mehr als ein Prozess in einem Schritt enthalten ist, die in dem Schritt enthaltenen mehreren Prozesse durch eine Vorrichtung durchgeführt werden oder können zwischen mehreren Vorrichtungen geteilt werden.
• Indessen sind in dieser Beschreibung beschriebene vorteilhafte Effekte lediglich Beispiele und sind die vorteilhaften Effekte der vorliegenden Technologie nicht auf sie beschränkt und können andere Effekte einschließen.
• Es wird angemerkt, dass die vorliegende Technologie in der unten beschriebenen Konfiguration umgesetzt werden kann.
  
• <1> Eine Bildverarbeitungsvorrichtung, die Folgendes aufweist:
  • eine Aufnahmeeinheit, die Bilder mehrerer Sichtpunkte aufnimmt; und
  • eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen,
  • wobei die Lichtsammlungsverarbeitungseinheit die Lichtsammlungsverarbeitung unter Verwendung der Bilder der mehreren Sichtpunkte durchführt, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
• <2> Die Bildverarbeitungsvorrichtung gemäß <1>, die ferner Folgendes aufweist:
  • eine Anpassungseinheit, die Pixelwerte von Pixeln der Bilder der Sichtpunkte mit den Anpassungskoeffizienten, die den Sichtpunkten entsprechen, anpasst,
  • wobei die Lichtsammlungsverarbeitungseinheit
  • den Lichtsammlungsprozess durch Festlegen eines Verschiebungsbetrags für das Verschieben der Pixel der Bilder der mehreren Sichtpunkte, Verschieben der Pixel der Bilder der mehreren Sichtpunkte gemäß dem Verschiebungsbetrag und Integrieren der Pixelwerte durchführt, und
  • den Lichtsammlungsprozess unter Verwendung der Pixelwerte der Pixel der Bilder der mehreren Sichtpunkte durchführt, wobei die Pixelwerte durch die Anpassungseinheit angepasst worden sind.
• <3> Die Bildverarbeitungsvorrichtung gemäß <1> oder <2>, wobei die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß einer Verteilung eines Transmissionsgrades festlegt, der einen Effekt eines vorbestimmten Objektivs und einer Blende produziert.
• <4> Die Bildverarbeitungsvorrichtung gemäß <1> oder <2>, wobei die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß einer Verteilung einer Verstärkung festlegt, die einen vorbestimmten Filtereffekt produziert.
• <5> Die Bildverarbeitungsvorrichtung gemäß einem von <1> bis <4>, wobei die Bilder der mehreren Sichtpunkte mehrere erfasste Bilder aufweisen, die durch mehrere Kameras erfasst werden.
• <6> Die Bildverarbeitungsvorrichtung gemäß <5>, wobei die Bilder der mehreren Sichtpunkte die mehreren erfassten Bilder und mehrere Interpolationsbilder, die durch Interpolation unter Verwendung der erfassten Bilder erzeugt werden, aufweisen.
• <7> Die Bildverarbeitungsvorrichtung gemäß <6>, die ferner Folgendes aufweist:
  • eine Parallaxeninformationserzeugungseinheit, die Parallaxeninformationen über die mehreren erfassten Bilder erzeugt; und
  • eine Interpolationseinheit, die die mehreren Interpolationsbilder unterschiedlicher Sichtpunkte unter Verwendung der erfassten Bilder und der Parallaxeninformationen erzeugt.
• <8> Ein Bildverarbeitungsverfahren, das Folgendes aufweist:
  • Aufnehmen von Bildern mehrerer Sichtpunkte; und
  • Durchführen eines Lichtsammlungsprozesses, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen,
  • wobei der Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchgeführt wird, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
• <9> Ein Programm zum Bewirken, dass ein Computer als Folgendes fungiert:
  • eine Aufnahmeeinheit, die Bilder mehrerer Sichtpunkte aufnimmt; und
  • eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen,
  • wobei die Lichtsammlungsverarbeitungseinheit den Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchführt, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
• <A1> Eine Bildverarbeitungsvorrichtung, die Folgendes aufweist:
  • eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild zu erzeugen, das in einem vorbestimmten Abstand fokussiert ist, indem sie einen Verschiebungsbetrag zum Verschieben von Pixeln von Bildern mehrerer Sichtpunkte festlegt, die Pixel der Bilder der mehreren Sichtpunkte verschiebt und die Pixel integriert,
  wobei in dem Lichtsammlungsprozess die Lichtsammlungsverarbeitungseinheit eine Integration von Pixelwerten der Bilder der mehreren Sichtpunkte durchführt, wobei die Pixelwerte nach einer Anpassung der Pixel der Bilder der Sichtpunkte mit Anpassungskoeffizienten zum Anpassen der Pixelwerte erhalten werden, wobei die Anpassungskoeffizienten gemäß den Sichtpunkten festgelegt worden sind.
• Bezugszeichenliste

11

Bilderfassungsvorrichtung

12

Bildverarbeitungsvorrichtung

13

Anzeigevorrichtung

21₁ bis 21₇ und 21₁₁ bis 21₁₉

Kameraeinheit

31

Parallaxeninformationserzeugungseinheit

32

Interpolationseinheit

33

Anpassungseinheit

34

Lichtsammlungsverarbeitungseinheit

35

Parameterfestlegungseinheit

51

Lichtsammlungsverarbeitungseinheit

101

Bus

102

CPU

103

ROM

104

RAM

105

Festplatte

106

Ausgabeeinheit

107

Eingabeeinheit

108

Kommunikationseinheit

109

Laufwerk

110

Eingabe/Ausgabe-Schnittstelle

111

Entfernbares Aufzeichnungsmedium

Claims (9)

1. Bildverarbeitungsvorrichtung, die Folgendes aufweist: eine Aufnahmeeinheit, die Bilder mehrerer Sichtpunkte aufnimmt; und eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen, wobei die Lichtsammlungsverarbeitungseinheit den Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchführt, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
2. Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes aufweist: eine Anpassungseinheit, die Pixelwerte von Pixeln der Bilder der Sichtpunkte mit den Anpassungskoeffizienten, die den Sichtpunkten entsprechen, anpasst, wobei die Lichtsammlungsverarbeitungseinheit den Lichtsammlungsprozess durch Festlegen eines Verschiebungsbetrags für das Verschieben der Pixel der Bilder der mehreren Sichtpunkte, Verschieben der Pixel der Bilder der mehreren Sichtpunkte gemäß dem Verschiebungsbetrag und Integrieren der Pixelwerte durchführt, und den Lichtsammlungsprozess unter Verwendung der Pixelwerte der Pixel der Bilder der mehreren Sichtpunkte durchführt, wobei die Pixelwerte durch die Anpassungseinheit angepasst worden sind.
3. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß einer Verteilung eines Transmissionsgrades festlegt, der einen Effekt eines vorbestimmten Objektivs und einer Blende produziert.
4. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Anpassungskoeffizienten für die jeweiligen Sichtpunkte gemäß einer Verteilung einer Verstärkung festlegt, die einen vorbestimmten Filtereffekt produziert.
5. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bilder der mehreren Sichtpunkte mehrere erfasste Bilder aufweisen, die durch mehrere Kameras erfasst werden.
6. Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Bilder der mehreren Sichtpunkte die mehreren erfassten Bilder und mehrere Interpolationsbilder, die durch Interpolation unter Verwendung der erfassten Bilder erzeugt werden, aufweisen.
7. Bildverarbeitungsvorrichtung nach Anspruch 6, die ferner Folgendes aufweist: eine Parallaxeninformationserzeugungseinheit, die Parallaxeninformationen über die mehreren erfassten Bilder erzeugt; und eine Interpolationseinheit, die die mehreren Interpolationsbilder unterschiedlicher Sichtpunkte unter Verwendung der erfassten Bilder und der Parallaxeninformationen erzeugt.
8. Bildverarbeitungsverfahren, das Folgendes aufweist: Aufnehmen von Bildern mehrerer Sichtpunkte; und Durchführen eines Lichtsammlungsprozesses, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen, wobei der Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchgeführt wird, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.
9. Programm zum Bewirken, dass ein Computer als Folgendes fungiert: eine Aufnahmeeinheit, die Bilder mehrerer Sichtpunkte aufnimmt; und eine Lichtsammlungsverarbeitungseinheit, die einen Lichtsammlungsprozess durchführt, um ein Verarbeitungsergebnisbild, das in einem vorbestimmten Abstand fokussiert ist, unter Verwendung der Bilder der mehreren Sichtpunkte zu erzeugen, wobei die Lichtsammlungsverarbeitungseinheit den Lichtsammlungsprozess unter Verwendung der Bilder der mehreren Sichtpunkte durchführt, wobei die Bilder Pixelwerte aufweisen, die mit Anpassungskoeffizienten für die jeweiligen Sichtpunkte angepasst sind.

Images