DE102018107950A1

DE102018107950A1 - Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung

Info

Publication number: DE102018107950A1
Application number: DE102018107950.8A
Authority: DE
Inventors: Takeshi Watanabe
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-04-18
Filing date: 2018-04-04
Publication date: 2018-10-18
Also published as: CN108737726B; GB2563140A; US10778896B2; GB2563140B; US20180302567A1; GB201806295D0; CN108737726A

Abstract

Es ist eine Bildverarbeitungsvorrichtung bereitgestellt, die ein natürlich wirkendes Bild selbst aus einem Bild erzeugt, in dem eine Bildverwacklung korrigiert wurde und eine Verzeichnung absichtlich hinzugefügt wurde. Ein Prozessor dieser Bildverarbeitungsvorrichtung führt eine Transformationsverarbeitung auf einem Bild durch, um ein Bild mit einer punktsymmetrischen Verzeichnung zu erzeugen, die an den Mittelkoordinaten des Bilds zentriert ist, selbst für ein Bild, in dem die Mittelposition einer Aberration eines optischen Systems und die Mittelposition des Bilds nicht übereinstimmen.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und eine Bildaufnahmevorrichtung.
Beschreibung der verwandten Technik
Es ist bekannt, eine genaue Bildverwacklungskorrektur auf einem Bild durchzuführen, dessen Verzeichnung bzw. Verzerrung durch Aberration bzw. einen Abbildungsfehler eines optischen Bildgebungssystems verursacht ist (Japanische Patentoffenlegungsschrift Nr. 2006-33759). Außerdem ist es bekannt, dass eine durch Aberration bzw. Abbildungsfehler verursachte Bildverzeichnung in Tonnenverzeichnung und Kissenverzeichnung klassifiziert werden kann, und dass Tonnenverzeichnung natürlicher erscheint. Daher wird in der japanischen Patentoffenlegungsschrift Nr. 2006-33759 eine Tonnenverzeichnung absichtlich zu einem Bild hinzugefügt, auf das eine Bildverwacklungskorrektur angewandt wurde.
Der Grad einer durch Aberration bzw. Abbildungsfehler eines optischen Bildgebungssystems verursachten Bildverzeichnung hängt von dem Abstand des Objekts von der optischen Achse (Bildhöhe) ab. Wenn ein Effekt hinzugeführt wird, der eine durch Aberration bzw. Abbildungsfehler verursachte Bildverzeichnung imitiert, wird daher der Verzeichnungsgrad bestimmt, indem angenommen wird, dass die optische Achse orthogonal zu der Mitte des Bilds ist. Im Fall der Durchführung einer Bildverwacklungskorrektur auf einem Bewegtbild ändert sich jedoch die Lagebeziehung zwischen der optischen Achse des optischen Bildgebungssystems und der Mitte von jedem Bewegtbildrahmen aufgrund der Bildverwacklungskorrektur mit der Zeit. Wenn ein Tonnenverzeichnungseffekt auf Bewegtbildrahmen angewandt wird, die einer Bildverwacklungskorrektur unterzogen wurden, indem angenommen wird, dass die optische Achse stets orthogonal zu der Mitte des Bilds ist, ändert sich daher die Beziehung zwischen der Bildhöhe und dem Verzeichnungsgrad mit der Zeit. Insbesondere erscheint eine solche zeitliche Veränderung der Verzeichnung in Bereichen unnatürlich, deren Bildhöhe groß ist. Die Japanische Patentoffenlegungsschrift Nr. 2006-33759 erwähnt ein solches Problem überhaupt nicht.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereit, die es möglich machen, das Problem einer solchen herkömmlichen Technik zu unterbinden und ein Bewegtbild zu erzeugen, das nach einer Bildverwacklungskorrektur natürlich erscheint.
Gemäß einem Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung bereitgestellt, mit: einem Prozessor, der eingerichtet ist zum Erzeugen eines zweiten Bilds durch Anwenden von ein oder mehr Prozessen auf ein über ein optisches System aufgenommenes erstes Bild, wobei, wenn das erste Bild eine durch Aberration des optischen Systems verursachte Verzeichnung aufweist und die Bildmittelkoordinaten des zweiten Bilds und die einer Mitte der Aberration entsprechenden Koordinaten nicht übereinstimmen, der Prozessor das zweite Bild so erzeugt, dass es eine an den Bildmittelkoordinaten zentrierte punktsymmetrische Verzeichnung aufweist, indem er einen Transformationsprozess auf das erste Bild anwendet.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung bereitgestellt, die ein Bewegtbild erzeugt, dessen Verzeichnung, die durch Aberration eines zum Aufnehmen des Bewegtbilds verwendeten optischen Systems verursacht ist, und dessen Bildverwacklung, die durch ein Wackeln einer Vorrichtung verursacht ist, korrigiert wurden, gekennzeichnet durch: Verarbeiten des Bewegtbilds, sodass ein Verzeichnungseffekt zu jedem Rahmen des Bewegtbilds hinzugefügt wird, wobei eine Mittelposition des Rahmens als eine Referenzposition verwendet wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung bereitgestellt, mit: einem Bildsensor, der konfiguriert ist zum Erzeugen eines ersten Bilds, das einem durch ein optisches System ausgebildeten optischen Bild entspricht; und einem Bildprozessor gemäß der vorliegenden Erfindung.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren bereitgestellt, mit: Erzeugen eines zweiten Bilds durch Anwenden von ein oder mehr Prozessen auf ein über ein optisches System aufgenommenes erstes Bild, wobei das erste Bild eine durch Aberration des optischen Systems verursachte Verzeichnung aufweist, Bildmittelkoordinaten des zweiten Bilds und einer Mitte der Aberration entsprechende Koordinaten nicht übereinstimmen, und das zweite Bild, das eine an den Bildmittelkoordinaten zentrierte punktsymmetrische Verzeichnung aufweist, durch Anwenden eines Transformationsprozesses auf das erste Bild erzeugt wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren bereitgestellt, mit: Erzeugen eines Bewegtbilds, dessen Verzeichnung, die durch Aberration eines zum Aufnehmen des Bewegtbilds verwendeten optischen Systems verursacht ist, und dessen Bildverwacklung, die durch ein Wackeln einer Vorrichtung verursacht ist, korrigiert wurden, wobei die Verarbeitung ein Verarbeiten des Bewegtbilds aufweist, sodass ein Verzeichnungseffekt zu jedem Rahmen des Bewegtbilds hinzugefügt wird, wobei eine Mittelposition des Rahmens als eine Referenzposition verwendet wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Programm bereitgestellt, das, wenn es durch eine Bildverarbeitungsvorrichtung ausgeführt wird, die Bildverarbeitungsvorrichtung veranlasst zum Durchführen eines Verfahrens gemäß der vorliegenden Erfindung.
Gemäß einem Aspekt der vorliegenden Erfindung ist ein computerlesbares Speichermedium bereitgestellt, das ein Programm gemäß der vorliegenden Erfindung speichert.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich. Jedes der Ausführungsbeispiele der vorliegenden Erfindung, die nachstehend beschrieben sind, kann einzeln oder als Kombination von einer Vielzahl der Ausführungsbeispiele implementiert werden. Auch können Merkmale von unterschiedlichen Ausführungsbeispielen kombiniert werden, wenn dies notwendig ist oder die Kombination von Elementen oder Merkmalen von individuellen Ausführungsbeispielen in einem einzigen Ausführungsbeispiel vorteilhaft ist.
Figurenliste

1 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
2 ist ein Ablaufdiagramm, das ein Beispiel einer Steuerung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
3 ist ein Graph zur Erläuterung einer Verzeichnungskorrekturverarbeitung und einer Verzeichnungshinzufügungsverarbeitung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
4 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
5 ist eine Darstellung zur Erläuterung von Effekten einer Verzeichnungskorrekturverarbeitung und einer Verzeichnungshinzufügungsverarbeitung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
6 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
7 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Optikkorrektur-Steuerschaltung 220 gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
8 ist ein Ablaufdiagramm, das ein Beispiel einer Steuerung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
9 ist eine Darstellung zur Erläuterung von Effekten einer Verzeichnungskorrekturverarbeitung und einer Verzeichnungshinzufügungsverarbeitung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
10 ist ein Graph zur Erläuterung einer Verzeichnungskorrekturverarbeitung und einer Verzeichnungshinzufügungsverarbeitung gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Beispielhafte Ausführungsbeispiele der vorliegenden Erfindung werden nun im Einklang mit den begleitenden Zeichnungen ausführlich beschrieben. In den Zeichnungen sind gleiche Bezugszeichen den gleichen Elementen zugeordnet, und eine redundante Beschreibung wird ausgelassen. Es ist zu beachten, dass in dieser Schrift eine Bewegung einer Bildaufnahmevorrichtung als „Wackeln“ bezeichnet wird und der Einfluss von „Wackeln“ auf ein aufgenommenes Bild als „Bildverwacklung“ bezeichnet wird. Nachstehend wird eine Konfiguration beschrieben, die auf eine digitale Videokamera angewandt ist, die ein Beispiel einer Bildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt, aber die vorliegende Erfindung kann auf jegliche elektronische Vorrichtung angewandt werden, die eine Bildverwacklungskorrektur durchführen kann. Solche elektronischen Vorrichtungen umfassen selbstverständlich Bildaufnahmevorrichtungen sowie Personalcomputer, Tabletgeräte, Mobiltelefone, Spielautomaten bzw. -geräte, Laufwerk- bzw. Festplattenrekorder, Roboter, Drohnen und dergleichen, und sie sind nicht darauf beschränkt.
Erstes Ausführungsbeispiel
1 ist ein Blockschaltbild, das ein Beispiel einer funktionalen Konfiguration einer Videokamera 100 als ein Beispiel einer Bildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Gemäß 1 hat eine Systemsteuerschaltung 101 einen programmierbaren Prozessor wie etwa eine CPU, sowie einen RAM und einen ROM. Dadurch, dass ein in dem ROM gespeichertes Programm in den RAM angewandt bzw. entwickelt wird, und die CPU das Programm ausführt, steuert die Systemsteuerschaltung 101 Betriebsvorgänge von Bestandteilen der Videokamera 100, und verwirklicht sie Funktionen der Videokamera 100. Daher werden Betriebsvorgänge der Videokamera 100, die nachstehend zu beschreiben sind, hauptsächlich durch die Systemsteuerschaltung 101 ausgeführt, sofern es nicht ausdrücklich anders angegeben ist. Es ist zu beachten, dass Bezugszeichen 201 bis 203, die den Blöcken der Systemsteuerschaltung 101 in 1 zugeordnet sind, schematisch gezeigte Funktionsblöcke, die durch die Systemsteuerschaltung 101 verwirklicht werden, aus den Funktionsblöcken einer Bildverwacklungskorrekturvorrichtung bezeichnen, und eine Beschreibung von diesen wird nachstehend ausführlich gegeben. Eine Fotolinse bzw. ein Fotoobjektiv 102 (ein optisches Bildgebungssystem) umfasst eine Linse mit variabler Vergrößerung, eine Fokuslinse und dergleichen, die unter der Steuerung der Systemsteuerschaltung 101 angetrieben werden, und bildet ein Objektbild auf der Bildgebungsebene eines Bildsensors 103 aus. Die Fotolinse bzw. das Fotoobjektiv 102 kann lös- bzw. abnehmbar sein oder nicht.
Der Bildsensor 103 ist zum Beispiel ein CMOS-(Complementary Metal Oxide Semiconductor)Bildsensor des XY-Adresseiertyps. Der Bildsensor 103 umfasst eine Vielzahl von darin angeordneten Pixeln, und ein durch die Fotolinse 102 ausgebildetes optisches Bild wird in den Pixeln einer fotoelektrischen Wandlung unterzogen, und dadurch werden analoge Bildsignale erhalten.
Eine Signalverarbeitungsschaltung 104 wendet eine Signalverarbeitung, wie etwa Rauschreduzierung, A/D-Wandlung, Farbinterpolation, Weißabgleichanpassung und Gammakorrektur, auf analoge Bildsignale an, die von dem Bildsensor 103 ausgegeben werden, um digitale Bildsignale (Bilddaten) zu erzeugen. Die Signalverarbeitungsschaltung 104 speichert die erzeugten Bilddaten in einen Bildspeicher 105.
Eine Verzeichnungskorrekturschaltung 106 wendet eine Verarbeitung zum Korrigieren einer durch Aberration bzw. Abbildungsfehler der Fotolinse 102 verursachter Verzeichnung (Verzeichnungskorrekturverarbeitung) auf in dem Bildspeicher 105 gespeicherte Bilddaten an und speichert die als Ergebnis hiervon erzeugten Bilddaten in den Bildspeicher 105. Das Verfahren der Verzeichnungskorrekturverarbeitung ist nicht besonders beschränkt, und es kann ein bekanntes Verfahren verwendet werden. Als Beispiel wird eine Position erhalten, die von der Position eines Pixels von Interesse in der Bildhöhenrichtung (auf einer Linie, die eine Korrekturmitte und die Koordinaten des Pixels von Interesse verbindet) in/mit einem Abstand beabstandet ist, der basierend auf der Bildhöhe des Pixels von Interesse bestimmt werden kann (der Abstand zwischen der Korrekturmitte und dem Pixel von Interesse). Es gibt ein Verfahren zum Erhalten des Signalpegels der beabstandeten Position mittels Durchführung einer Interpolation unter Verwendung der Signalpegel von Pixeln in der Umgebung der beabstandeten Position und Einstellung des aus dieser Interpolation erhaltenen Signalpegels als den Signalpegel des Pixels von Interesse. Ein Bewegungsbetrag (Korrekturbetrag) zu der Zeit der Korrektur nimmt einen Wert an, der von der Größe bzw. dem Wert der Bildhöhe abhängt, und wird durch eine Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 berechnet.
Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 hat Korrekturbeträge, die für eine Vielzahl von diskreten Bildhöhenwerten im Voraus vorbereitet sind, und berechnet einen der Bildhöhe entsprechenden Korrekturbetrag durch Interpolation von vorbereiteten Korrekturbeträgen, wenn es keinen Korrekturbetrag gibt, der der Bildhöhe eines Pixels von Interesse entspricht. Es ist zu beachten, dass ein Korrekturbetrag für eine gewünschte Bildhöhe unter Verwendung eines Polynoms n-ter Ordnung, das die Beziehung zwischen der Bildhöhe und dem Korrekturbetrag nähert, anstelle der Interpolation berechnet werden kann. Es ist zu beachten, dass nicht nur der Kreuzungs- bzw. Schnittpunkt zwischen der optischen Achse der Fotolinse 102 und einem Bild, sondern auch jegliche Koordinaten in dem Bild als eine Korrekturmitte bestimmt werden können, die die Größe bzw. den Wert einer Bildhöhe bei Berechnung eines Korrekturbetrags festlegt. Eine Korrekturmitte wird durch die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 bereitgestellt, die nachstehend zu beschreiben ist.
Eine Bildverwacklungskorrekturschaltung 107 korrigiert eine Bildverwacklung eines Bilds, in dem eine Verzeichnung durch die Verzeichnungskorrekturschaltung 106 korrigiert wurde, wobei die Bildverwacklung durch ein Wackeln der Videokamera 100 verursacht wurde. Zum Beispiel schneidet die Bildverwacklungskorrekturschaltung 107 ein Bild, in dem eine Verzeichnung durch die Verzeichnungskorrekturschaltung 106 korrigiert wurde, zu/aus und liest es aus dem Bildspeicher 105 aus, und ändert sie die Zu-/ Ausschneideposition des Bilds, um ein Wackeln der Videokamera 100 aufzuheben bzw. auszugleichen. Es ist zu beachten, dass die Korrektur nicht auf eine Korrektur von Translationskomponenten einer Verwacklung beschränkt ist, die durch Änderung der Zu-/Ausschneideposition durchgeführt wird, und eine Konfiguration angenommen werden kann, in der Rotationskomponenten rund um die optische Achse einer Verwacklung durch affine Transformationen korrigiert werden oder Neigungs- bzw. Schrägstellungskomponenten einer Verwacklung (Trapezverzeichnung eines Bilds) durch Projektionswandlung korrigiert werden. Die Bildverwacklungskorrekturschaltung 107 speichert ein Bild, in dem eine Bildverwacklung korrigiert wurde, in den Bildspeicher 105.
Eine Verzeichnungshinzufügungsschaltung 108 liest aus dem Bildspeicher 105 ein Bild aus, in dem eine Verzeichnung und eine Bildverwacklung durch die Verzeichnungskorrekturschaltung 106 beziehungsweise die Bildverwacklungskorrekturschaltung 107 korrigiert wurden, fügt den Effekt einer durch die Fotolinse 102 verursachten Verzeichnung zu diesem Bild hinzu, und speichert das Bild in den Bildspeicher 105. Die Verzeichnungshinzufügungsschaltung 108 kann einen Verzeichnungseffekt zu einem Bild hinzufügen bzw. addieren, indem sie, als den Signalpegel eines Pixels von Interesse, einen Signalpegel an einer Position erhält, die von der Position des Pixels von Interesse in der zu der Verzeichnungskorrekturverarbeitung entgegengesetzten Richtung beabstandet ist. Zusätzlich hängt der Grad bzw. das Maß eines Verzeichnungseffekts, der durch die Verzeichnungshinzufügungsschaltung 108 hinzugefügt wird, von dem Abstand zwischen einem Pixel von Interesse und einer Korrekturmitte ab, aber wird eine Konfiguration angenommen, in der jegliche Koordinatenposition in einem Bild, das von der Bildverwacklungskorrekturschaltung 107 ausgegeben wird, als eine Korrekturmitte bestimmt werden kann. Eine Korrekturmitte wird von der Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 erhalten, die nachstehend beschrieben wird.
Eine Aufzeichnungssteuerschaltung 111 schreibt Bewegtbilddaten, Stehbilddaten, Metadaten und dergleichen, die in dem Bildspeicher 105 gespeichert sind, auf ein Aufzeichnungsmedium 112 bzw. liest diese von diesem aus. Das Aufzeichnungsmedium 112 kann ein nichtflüchtiger Speicher, ein magnetisches Aufzeichnungsmedium, ein optisches Aufzeichnungsmedium oder dergleichen sein, und das Aufzeichnungsmedium 112 kann entfern- bzw. austauschbar sein.
Eine Anzeigesteuerschaltung 109 veranlasst eine Anzeigevorrichtung 110, wie etwa eine Flüssigkristallanzeige (LCD), zum Anzeigen eines anzuzeigenden Bilds, das auf Bewegtbilddaten oder Stehbilddaten basiert, die in dem Bildspeicher 105 gespeichert sind, eines GUI-Bildschirms wie etwa eines Menübildschirms und dergleichen. Bei diesem Ausführungsbeispiel schreibt die Aufzeichnungssteuerschaltung 111 ein Bild, zu dem ein Verzeichnungseffekt durch die Verzeichnungshinzufügungsschaltung 108 hinzugefügt wurde, auf das Aufzeichnungsmedium 112, und veranlasst die Anzeigesteuerschaltung 109 die Anzeigevorrichtung 110 zum Anzeigen des Bilds, zu dem der Verzeichnungseffekt durch die Verzeichnungshinzufügungsschaltung 108 hinzugefügt wurde.
Ein Winkelgeschwindigkeitssensor 114 erzeugt Wackelsignale, die ein Wackeln der Videokamera 100 darstellen. Der Winkelgeschwindigkeitssensor 114 befindet sich auf einer Ebene, die orthogonal zu der optischen Achse ist, und zwei Geraden, die orthogonal zueinander sind, dienen als Detektionsachsen. Ein A/D-Wandler 115 tastet die durch den Winkelgeschwindigkeitssensor 114 erzeugten Wackelsignale ab, wandelt die abgetasteten Wackelsignale in Digitaldaten, und liefert die Digitaldaten als Wackeldaten an die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203.
Eine Optikparameter-Berechnungsschaltung 201, die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 und die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 können durch Hardware gebildet sein, die mit dedizierten Rechenschaltungen zur Erzielung ihrer Funktionen ausgestattet ist, oder können so konfiguriert sein, dass sie dadurch verwirklicht werden, dass der programmierbare Prozessor der Systemsteuerschaltung 101 Programme ausführt. Bei diesem Ausführungsbeispiel wird eine Beschreibung unter der Annahme gegeben, dass die Optikparameter-Berechnungsschaltung 201, die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 und die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 durch Hardware gebildet sind, die mit dedizierten Rechenschaltung zur Erzielung ihrer Funktionen ausgestattet ist.
Die Optikparameter-Berechnungsschaltung 201 berechnet optische Parameter, wie etwa eine Brennweite oder einen Objektabstand der Fotolinse 102, und liefert die optischen Parameter an die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 und die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203.
Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 liefert Korrekturdaten und eine Korrekturmittelposition zur Verzeichnungskorrektur und Verzeichnungshinzufügung an die Verzeichnungskorrekturschaltung 106 und die Verzeichnungshinzufügungsschaltung 108 basierend auf optischen Parametern.
Die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 liefert einen Korrekturbetrag zur Korrektur von durch Wackeln der Videokamera 100 verursachter Bildverwacklung an die Bildverwacklungskorrekturschaltung 107 basierend auf von dem A/D-Wandler 115 gelieferten Wackeldaten.
In der Konfiguration gemäß 1 bilden die Verzeichnungskorrekturschaltung 106, die Bildverwacklungskorrekturschaltung 107, die Verzeichnungshinzufügungsschaltung 108, die Optikparameter-Berechnungsschaltung 201, die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202, die Bildverwacklungskorrekturbetrags-Berechnungsschaltung 203 und die Systemsteuerschaltung 101 die Bildverwacklungskorrekturvorrichtung.
Eine Konvertierungslinse 150 ist eine Hilfs- bzw. Zusatzlinse, die von der Fotolinse 102 lös- bzw. abnehmbar ist. Die Systemsteuereinheit 101 kann zum Beispiel gemäß dem Zustand eines Schalters 151, der an der Fotolinse 102 bereitgestellt ist, detektieren, ob eine Konvertierungslinse 150 angebracht ist oder nicht.
Als Nächstes wird ein Bildverwacklungskorrekturvorgang gemäß diesem Ausführungsbeispiel unter Bezugnahme auf das Ablaufdiagramm von 2 beschrieben. Hier wird eine Bildverwacklungskorrekturverarbeitung für ein Bild eines Bildschirms beschrieben. Daher wird zum Beispiel, wie in dem Fall, in dem die Anzeigevorrichtung 110 als ein EVF (in einem Aufnahmebereitschaftszustand oder während einer Aufnahme eines aufzuzeichnenden Bewegtbilds) arbeitet, wenn eine Bildverwacklungskorrektur auf ein Bewegtbild angewandt wird, der in dem Ablaufdiagramm von 2 gezeigte Vorgang wiederholt ausgeführt. Es ist zu beachten, dass eine Bildverwacklungskorrektur nicht notwendigerweise auf alle Bewegtbildrahmen bzw. - vollbilder angewandt werden zu braucht.
In Schritt S101 berechnet die Optikparameter-Berechnungsschaltung 201 optische Parameter, die zum Berechnen von Verzeichnungscharakteristika der Fotolinse 102 verwendet werden. Zum Beispiel berechnet die Optikparameter-Berechnungsschaltung 201 die Brennweite der Fotolinse 102 aus von der Fotolinse 102 erfassten Positionsinformationen der Linse mit variabler Vergrößerung. Auch berechnet die Optikparameter-Berechnungsschaltung 201 einen Objektabstand (Fokusabstand) aus Positionsinformationen der Fokuslinse der Fotolinse 102. Es ist zu beachten, dass diese optischen Parameter zum Beispiel durch Bezugnahme auf eine Tabelle ohne Durchführung einer Berechnung erfasst werden können.
In Schritt S102 berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Korrekturdaten, die zur Verzeichnungskorrektur verwendet werden, die durch die Verzeichnungskorrekturschaltung 106 durchgeführt wird. In 3 zeigen 31 und 32 Beispiele von Verzeichnungscharakteristika der Fotolinse 102, wobei die horizontale Achse die Bildhöhe bezeichnet und die vertikale Achse die Verzeichnungsrate bezeichnet. Eine Verzeichnungsrate stellt eine Änderungsrate bzw. -quote gegenüber einer Bildhöhenposition dar, an der ein Bild ursprünglich zu erzeugen ist, wenn keine Verzeichnung vorliegt. Das Vorzeichen der Verzeichnungsrate ist positiv, wenn die Richtung, in der sich die Bilderzeugungsposition ändert, eine Richtung ist, in der die Bildhöhe zunimmt, und ist negativ, wenn die Richtung, in der sich die Bilderzeugungsposition ändert, eine Richtung ist, in der die Bildhöhe abnimmt. Eine Verzeichnung wird als „Kissenverzeichnung“ beobachtet bzw. wahrgenommen, wenn die Verzeichnungsrate positiv ist, und eine Verzeichnung wird als „Tonnenverzeichnung“ beobachtet bzw. wahrgenommen, wenn die Verzeichnungsrate negativ ist.
Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 berechnet Korrekturdaten, gemäß denen eine Verzeichnung eines Bilds, die durch Aberration bzw. Abbildungsfehler der Fotolinse 102 verursacht ist, so gut wie möglich korrigiert wird, um die Genauigkeit einer durch die Bildverwacklungskorrekturschaltung 107 durchgeführten Verwacklungskorrektur zu erhöhen. Daher werden idealerweise Korrekturdaten erzeugt, sodass die Charakteristika der Korrekturdaten umgekehrte Charakteristika von Verzeichnungscharakteristika der Fotolinse 102 sind.
Die Verzeichnungscharakteristika der Fotolinse 102 ändern sich gemäß optischen Parametern (hier Brennweite und Objektabstand) der Fotolinse 102. Daher werden/sind bei diesem Ausführungsbeispiel die Verzeichnungscharakteristika der Fotolinse 102 für jede Kombination von diskreten optischen Parametern zum Beispiel in dem ROM der Systemsteuerschaltung 101 gespeichert. Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 liest dann aus dem ROM die Charakteristika einer Verzeichnung entsprechend Kombinationen aus, die nahe an einer Kombination von tatsächlichen optischen Parametern sind, führt eine Interpolation durch, und berechnet dadurch Charakteristika einer Verzeichnung entsprechend der Kombination der tatsächlichen optischen Parameter. Nachfolgend berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 umgekehrte Charakteristika der berechneten Charakteristika einer Verzeichnung als eine Gruppe von Korrekturdaten entsprechend unterschiedlichen Bildhöhen. Es ist zu beachten, dass eine Konfiguration angenommen werden kann, in der die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Korrekturdaten nur für diskrete Bildhöhen berechnet, wie es in 32 von 3 gezeigt ist, und Korrekturdaten für eine andere Bildhöhe durch Interpolation erfasst werden, die durch die Verzeichnungskorrekturschaltung 106 durchgeführt wird. Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 liefert die Korrekturdaten an die Verzeichnungskorrekturschaltung 106.
In Schritt S103 berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 eine Korrekturmitte, die zur Verzeichnungskorrektur in der Verzeichnungskorrekturschaltung 106 verwendet wird. Die Verzeichnungskorrekturschaltung 106 korrigiert eine Verzeichnung eines Bilds, die durch Aberration bzw. Abbildungsfehler der Fotolinse 102 verursacht ist. Daher berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202, als eine Korrekturmitte, Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103, und liefert sie die berechneten Bildkoordinaten an die Verzeichnungskorrekturschaltung 106. Die Bildkoordinaten des Kreuzungspunkts zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103 können in dem ROM der Systemsteuerschaltung 101 basierend auf einem Entwurfs- bzw. Konstruktionswert im Voraus gespeichert werden. Zusätzlich kann ein Wert gespeichert werden, der unter Verwendung des Betrags einer Abweichung von einem Entwurf- bzw. Konstruktionswert, die aufgetreten ist, während das Produkt hergestellt wurde, korrigiert ist. Es ist zu beachten, dass ein Entwurfs- bzw. Konstruktionswert, der die Bildkoordinaten des Kreuzungspunkts zwischen der optischen Achse und dem Bildsensor in die Mitte des Bilds bringt, ein allgemeiner Entwurfs- bzw. Konstruktionswert ist.
In Schritt S104 berechnet die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 einen Bildverwacklungskorrekturbetrag basierend auf Wackeldaten, die von dem Winkelgeschwindigkeitssensor 114 über eine A/D-Wandlungsschaltung geliefert werden, und liefert sie den Bildverwacklungskorrekturbetrag an die Bildverwacklungskorrekturschaltung 107. Der Winkelgeschwindigkeitssensor 114 setzt zumindest zwei Achsen als Detektionsachsen, nämlich eine horizontale Drehachse (Gieren) und eine vertikale Drehachse (Nicken), und ein Bildverwacklungskorrekturbetrag wird für jede der Detektionsachsen berechnet. Eine Verarbeitung zum Berechnen eines Bildverwacklungskorrekturbetrags hängt jedoch nicht von einer Detektionsachse ab, und daher wird, zur Erleichterung von Beschreibung und Verständnis, nachstehend eine Verarbeitung zur Berechnung eines Bildverwacklungskorrekturbetrags unter Verwendung von einer Detektionsachse besch rieben.
4 ist ein Blockschaltbild, das die interne Konfiguration der Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 zeigt. Ein Hochpassfilter (HPF) 204 wird auf Wackeldaten (Winkelgeschwindigkeitsdaten) angewandt, die von dem A/D-Wandler 115 geliefert werden, um Niederfrequenzkomponenten wie etwa Gleichstromkomponenten zu beseitigen.
Eine Rahmungssteuerschaltung 208 bestimmt, aus einer Ausgabe eines Integrierers 206, ob ein Rahmungs- bzw. Bildeinstellungsvorgang (Schwenken oder Neigen) durch den Benutzer absichtlich vorgenommen wird oder nicht. Wenn bestimmt wird, dass ein Rahmungsvorgang durchgeführt wird, verringert die Rahmungssteuerschaltung 208 den Einfluss von Winkelgeschwindigkeitskomponenten in Bezug auf den Rahmungsvorgang auf Winkelverschiebungsdaten, die durch den Integrierter 206 berechnet werden. Eine ausführliche Beschreibung wird nachstehend gegeben.
Der Integrierer 206 integriert gelieferte Winkelgeschwindigkeitsdaten und wandelt die integrierten Winkelgeschwindigkeitsdaten in Winkeldaten. Auch gibt der Integrierer 206 Winkelverschiebungsdaten, die durch Multiplikation der Winkeldaten mit einem vorbestimmten Koeffizienten erfasst werden, als einen Korrekturbetrag aus, der durch die Bildverwacklungskorrekturschaltung 107 verwendet wird.
Im Speziellen werden Korrekturbeträge Tx und Ty auf der Bildebene für einen Verwacklungswinkel θy eines Gierens und einen Verwacklungswinkel θp eines Nickens unter Verwendung der folgenden Ausdrücke berechnet. $Tx = f \times tan θ y/P$
$Ty = f \times tan θ p/P$
(Es ist zu beachten, dass f eine Brennweite [mm] ist und P eine Pixelgröße [mm] ist. Hier ist eine Pixelgröße die Größe von einer Seite eines quadratischen Pixels.)
Ein Begrenzer 207 begrenzt Winkelverschiebungsdaten auf einen vorbestimmten oberen Grenzwert.
Hier werden Vorgänge der Rahmungssteuerschaltung 208 weiter beschrieben. Wenn Winkelverschiebungsdaten, die durch den Integrierer 206 ausgegeben werden, einen vorbestimmten Schwellenwert überschreiten, bestimmt die Rahmungssteuerschaltung 208, dass ein Rahmungsvorgang durchgeführt wird. Dieser Schwellenwert ist kleiner als der obere Grenzwert, der durch den Begrenzer 207 eingestellt ist, und ist ein Wert, der mittels Durchführung von Experimenten oder dergleichen im Voraus bestimmt ist.
Wenn bestimmt wird, dass ein Rahmungsvorgang durchgeführt wird, kann die Rahmungssteuerschaltung 208 die Komponenten des Rahmungsvorgangs, die in einer Verwacklung umfasst sind, verringern durch:

Erhöhen der Grenzfrequenz von dem HPF 204 oder
Verkürzen einer Zeitkonstante einer Tiefpassfilter-(LPF-)Berechnung, die in einem durch den Integrierer 206 durchgeführten Integrationsvorgang umfasst ist,
im Vergleich zu dem Fall, dass nicht bestimmt wird, dass ein Rahmungsvorgang durchgeführt wird.

Alternativ kann eine Konfiguration angenommen werden, in der die Rahmungssteuerschaltung 208 einen Subtrahierer 205 veranlasst, einen Versatz bzw. Offset von Winkelgeschwindigkeitsdaten, die durch den HPF 204 ausgegeben werden, zu subtrahieren, und dadurch die Komponenten des Rahmungsvorgangs, die in der Verwacklung umfasst sind, verringert.
Eine derartige Steuerung der Rahmungssteuerschaltung 208 ermöglicht eine exzellente Bildverwacklungskorrektur, selbst wenn ein absichtlicher Rahmungsvorgang wie etwa ein Schwenken oder Neigen durch den Benutzer vorgenommen wird.
Zurückkehrend zu 2 bestimmt in Schritt S105 die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202, ob die Brennweite der Fotolinse 102 kleiner ist als ein Schwellenwert oder nicht, und schreitet der Ablauf zu Schritt S106 voran, wenn bestimmt wird, dass die Brennweite kleiner ist als der Schwellenwert, und schreitet der Ablauf zu Schritt S109 voran, wenn nicht bestimmt wird, dass die Brennweite kleiner ist als der Schwellenwert. Es ist zu beachten, dass diese Bestimmung in Schritt S105 nicht notwendig ist und der Ablauf ungeachtet der Brennweite der Fotolinse 102 von Schritt S104 zu Schritt S106 voranschreiten kann.
Typischerweise wird erkannt bzw. beobachtet, dass ein Bild, das unter Verwendung einer (Super-)Weitwinkellinse wie etwa einer Fischaugenlinse aufgenommen ist, eine durch Aberration verursachte Verzeichnung als Eigenschaft aufweist. Zusätzlich tritt, wenn ein großer Betrag einer durch Aberration verursachten Verzeichnung korrigiert wird, eine Volumenverzeichnung auf, in der das Bild eines Objekts, das in einem peripheren Bereich eines Bilds wiedergegeben wird, vergrößert erscheint, und hat ein Betrachter daher das Gefühl, dass etwas falsch ist. Dementsprechend ist es bevorzugt, dass eine durch Aberration verursachte Bildverzeichnung für eine Bildverwacklungskorrektur nicht vorhanden ist, aber ist es hinsichtlich eines Bilds, das mit einer Weitwinkellinse aufgenommen ist, in der Tat normal, dass ein bestimmter Grad bzw. ein bestimmtes Maß an durch Aberration verursachter Bildverzeichnung vorliegt.
Daher fügt bei diesem Ausführungsbeispiel die Verzeichnungshinzufügungsschaltung 108 einen Verzeichnungseffekt hinzu, wenn die Brennweite der Fotolinse 102 kleiner dem Schwellenwert ist, und fügt sie einen Verzeichnungseffekt nicht hinzu, wenn die Brennweite der Fotolinse 102 größer oder gleich dem Schwellenwert ist. Hier kann der Schwellenwert ein visuell erwünschter Wert sein, wenn eine Verzeichnung, die einer Aberration ähnelt, zu einem Bild hinzugefügt wird/ist.
In Schritt S106 berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 die Charakteristika eines durch die Verzeichnungshinzufügungsschaltung 108 verwendeten Verzeichnungseffekts. Bei diesem Ausführungsbeispiel wird ein Verzeichnungseffekt, der durch die Verzeichnungshinzufügungsschaltung 108 hinzugefügt wird, basierend auf den Verzeichnungscharakteristika einer Fotolinse (d.h. der Fotolinse 102) berechnet, die zum Aufnehmen eines einer Bildverwacklungskorrektur unterzogenen Bilds verwendet wird. Zum Beispiel, wenn die maximale Verzeichnungsrate der Fotolinse 102 gleich -10% ist, wie es in 31 von 3 gezeigt ist, werden Verzeichnungshinzufügungsdaten zur Hinzufügung einer Verzeichnung (Tonnenverzeichnung) berechnet, deren maximale Verzeichnungsrate ungefähr gleich -3% ist. Diese Verzeichnungshinzufügungsdaten können durch Multiplikation von Verzeichnungskorrekturdaten, die in 32 von 3 gezeigt sind, mit einer Vergrößerung bzw. Verstärkung von -3/10 berechnet werden. Es ist zu beachten, dass hier angenommen wird, dass ein Verzeichnungseffekt von ungefähr 30% des Grads bzw. Maßes der Verzeichnung der Fotolinse 102 hinzugeführt wird, aber der Grad bzw. das Maß eines Verzeichnungseffekts, der durch die Verzeichnungshinzufügungsschaltung 108 hinzugefügt wird, in einem Wertebereich, der die Intensität einer durch Aberration der Fotolinse 102 verursachten Verzeichnung nicht überschreitet, auf geeignete Weise festgelegt werden kann. Alternativ können, um die Verarbeitung zu vereinfachen, im Voraus vorbereitete Vorgabe- bzw. Standardverzeichnungshinzufügungsdaten ungeachtet der Fotolinse 102 ausgelesen werden.
In Schritt S107 berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 eine Korrekturmitte, die verwendet wird, wenn die Verzeichnungshinzufügungsschaltung 108 einen Verzeichnungseffekt hinzufügt, liefert sie die Korrekturmitte an die Verzeichnungshinzufügungsschaltung 108, und bringt sie den Ablauf zu Schritt S109 voran. Die Verzeichnungskorrekturschaltung 106 verwendet, als eine Korrekturmitte, Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse und dem Bildsensor, um eine durch Aberration der Fotolinse 102 verursachte Bildverzeichnung zu korrigieren. Andererseits ändern sich, aufgrund dessen, dass eine Zu-/Ausschneideposition durch die Bildverwacklungskorrekturschaltung 107 geändert wird, in einem einer Bildverwacklungskorrektur unterzogenen Bild, die Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse und dem Bildsensor mit der Zeit.
Wenn die Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse und dem Bildsensor als eine Korrekturmitte bei Hinzufügung eines Verzeichnungseffekts eingestellt werden/sind, bewegt sich daher die Korrekturmitte in dem Bild gemäß der Änderung des Bildverwacklungskorrekturbetrags. Wie es in 33 von 3 gezeigt ist, hat ein Verzeichnungseffekt eine Verzeichnungsrate, die von der Bildhöhe (d.h. dem Abstand zwischen der Korrekturmitte und einem Zielpixel) abhängt. Daher ändert sich, wenn sich die Korrekturmitte mit der Zeit bewegt, auch eine Verzeichnungsrate für die gleichen Bildkoordinaten in Bewegtbildrahmen bzw. - vollbildern mit der Zeit, die einer Bildverzeichnungskorrektur unterzogen wurden, und wird ein Bewegtbild erhalten, das unnatürlich erscheint. Daher berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Mittelkoordinaten eines einer Bildverwacklungskorrektur (Zu-/ Ausschneiden) unterzogenen Bilds, und liefert sie die Mittelkoordinaten als eine Korrekturmitte bei Hinzufügung eines Verzeichnungseffekts an die Verzeichnungshinzufügungsschaltung 108.
Andererseits, wenn in Schritt S105 nicht bestimmt wird, dass die Brennweite der Fotolinse 102 kleiner ist als der Schwellenwert, stellt die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 die Verzeichnungshinzufügungsschaltung 108 in Schritt S109 so ein, dass sie einen Verzeichnungseffekt nicht hinzufügt, und bringt sie den Vorgang zu Schritt S108 voran.
In Schritt S108 führt die Verzeichnungskorrekturschaltung 106 eine Verzeichnungskorrektur auf in dem Bildspeicher 105 gespeicherten Bilddaten basierend auf Verzeichnungskorrekturdaten und einer Korrekturmitte durch, die von der Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 geliefert werden. Zusätzlich führt die Bildverwacklungskorrekturschaltung 107 auf den Bilddaten, die durch die Verzeichnungskorrekturschaltung 106 ausgegeben werden, eine Bildverwacklungskorrektur basierend auf einem Bildverwacklungskorrekturbetrag durch, der von der Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 geliefert wird. Wenn eine Einstellung zum Hinzufügen eines Verzeichnungseffekts vorgenommen wurde, fügt die Verzeichnungshinzufügungsschaltung 108 einen Verzeichnungseffekt zu den Bilddaten, die durch die Bildverwacklungskorrekturschaltung 107 ausgegeben werden, basierend auf Verzeichnungshinzufügungsdaten und einer Korrekturmitte hinzu, die von der Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 geliefert werden, und speichert sie die Bilddaten in den Bildspeicher 105.
Es ist zu beachten, dass hier die Verzeichnungshinzufügungsschaltung 108 eingestellt wird/ist, einen Verzeichnungseffekt nicht hinzuzufügen, wenn bestimmt wird, dass die Brennweite der Fotolinse 102 kleiner ist als der Schwellenwert. Es können jedoch Verzeichnungshinzufügungsdaten, mit denen ein Verzeichnungseffekt nicht hinzugefügt wird, von der Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 an die Verzeichnungshinzufügungsschaltung 108 geliefert werden.
Unter Bezugnahme auf 5 wird hier weiter eine Bildverarbeitung in der Verzeichnungskorrekturschaltung 106, der Bildverwacklungskorrekturschaltung 107 und der Verzeichnungshinzufügungsschaltung 108 beschrieben.
In 5 zeigt 51 schematisch eine Verzeichnung eines Bilds, das durch den Bildsensor 103 aufgenommen und in dem Bildspeicher 105 gespeichert ist. Hier ist, verursacht durch Aberration der Fotolinse 102, eine Tonnenverzeichnung aufgetreten, die an Bildkoordinaten (x, y) entsprechend dem Kreuzungspunkt zwischen einer optischen Achse O und dem Bildsensor (für den hier angenommen wird, dass er mit den Mittelkoordinaten des Bilds übereinstimmt) zentriert ist.
Zu der Zeit einer Verzeichnungskorrektur wurde eine Bildverwacklungskorrektur nicht durchgeführt, und daher sind die Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse O und dem Bildsensor weiterhin (x, y). Daher liefert die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 die Koordinaten (x, y) als eine Korrekturmitte an die Verzeichnungskorrekturschaltung 106. Aufgrund einer Verzeichnungskorrektur, die durch die Verzeichnungskorrekturschaltung 106 durchgeführt wird, wird eine in 51 von 5 gezeigte Bildverzeichnung korrigiert (beseitigt) (52, 5).
Die Bildverwacklungskorrekturschaltung 107 führt eine Bildverwacklungskorrektur auf dem Bild in 52 von 5 durch, in dem eine Verzeichnung korrigiert wurde. Die Bildverwacklungskorrekturschaltung 107 bestimmt einen Zu-/Ausschneidebereich, um eine aus einem Wackeln der Videokamera 100 resultierende Bildverwacklung zu eliminieren, basierend auf einem durch die Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 berechneten Bildverwacklungskorrekturbetrag. Die Bildverwacklungskorrekturschaltung 107 gibt das Bild des bestimmten Zu-/Ausschneidebereichs als ein Bild aus, das einer Bildverwacklungskorrektur unterzogen wird. Sofern der Bildverwacklungskorrekturbetrag nicht gleich 0 ist, stimmen die Bildkoordinaten (x, y) und die Mittelkoordinaten des der Bildverwacklungskorrektur unterzogenen Bilds (Zu-/Ausschneidebereichs) nicht überein (53, 5).
Die Verzeichnungshinzufügungsschaltung 108 fügt einen Verzeichnungseffekt zu dem der Bildverwacklungskorrektur unterzogenen Bild hinzu (54, 5). Die Bildkoordinaten (x, y) entsprechend dem Kreuzungspunkt zwischen der optischen Achse O und dem Bildsensor stimmen nicht mit Koordinaten (x', y') einer Mitte O' des der Bildverwacklungskorrektur unterzogenen Bilds überein. Daher liefert die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 die Mittelkoordinaten (x', y') des der Bildverwacklungskorrektur unterzogenen Bilds, als eine Korrekturmitte bei Hinzufügung eines Verzeichnungseffekts, an die Verzeichnungshinzufügungsschaltung 108. Als Folge hiervon ist es möglich, einen punktsymmetrischen Verzeichnungseffekt hinzuzufügen, in dem der Grad bzw. das Maß einer Verzeichnung, die zu Pixeln hinzugefügt bzw. addiert wird, die von der Mitte des der Bildverwacklungskorrektur unterzogenen Bilds gleich beabstandet sind, gleich ist, wie es in 54 von 5 gezeigt ist. Daher ändert sich eine Verzeichnungsrate in einem peripheren Bereich eines Bewegtbilds nicht mehr mit der Zeit, und ist es möglich, ein Bewegtbild zu erzeugen, das nicht unnatürlich erscheint, wenn man es betrachtet.
Es ist zu beachten, dass bei diesem Ausführungsbeispiel, um den Kern der Erfindung deutlich zu beschreiben, eine Konfiguration beschrieben wurde, in der die Verzeichnungskorrekturschaltung 106, die Bildverwacklungskorrekturschaltung 107 und die Verzeichnungshinzufügungsschaltung 108 eine Verzeichnungskorrekturverarbeitung, eine Bildverwacklungskorrekturverarbeitung und eine Verzeichnungseffekthinzufügungsverarbeitung unabhängig anwenden. Es kann jedoch eine Konfiguration angenommen werden, in der die Verzeichnungskorrekturverarbeitung, die Bildverwacklungskorrekturverarbeitung und die Verzeichnungseffekthinzufügungsverarbeitung in eine Koordinatenwandlung basierend auf einem Korrekturbetrag und einer Korrekturmitte in der jeweiligen Verarbeitung zusammengefasst werden und auf in dem Bildspeicher 105 gespeicherte Bilddaten angewandt werden. Mit einer solchen Konfiguration ist es möglich, eine Verzeichnungskorrekturverarbeitung, eine Bildverwacklungskorrekturverarbeitung und eine Verzeichnungseffekthinzufügungsverarbeitung zu der gleichen Zeit durchzuführen, und wird eine Korrekturverarbeitung von Bilddaten zu einer Zeit durchgeführt. Alternativ kann eine Konfiguration angenommen werden, in der eine Koordinatenwandlung zum Korrigieren der Verzeichnungscharakteristika einer Fotolinse und eine Koordinatenwandlung zum Hinzufügen eines Verzeichnungseffekts zusammengefasst werden und, gemäß dem Ergebnis dieser Zusammenfassung, eine Verarbeitung zum Korrigieren einer Verzeichnung und eine Verarbeitung zum Hinzufügen eines Verzeichnungseffekts auf Bilddaten angewandt werden, und dann ein Zu-/Ausschneiden eines Bilds zur Bildverwacklungskorrektur durchgeführt wird.
Wie es vorstehend beschrieben ist, wird bei diesem Ausführungsbeispiel eine Transformationsverarbeitung auf einem Bild durchgeführt, das eine durch Aberration bzw. Abbildungsfehler einer Fotolinse verursachte Verzeichnung umfasst, um die durch Aberration bzw. Abbildungsfehler verursachte Verzeichnung und eine Bildverwacklung zu korrigieren, und ein Bild erzeugt wird, zu dem ein Verzeichnungseffekt unter Verwendung der Mittelkoordinaten des Bilds als eine Korrekturmitte hinzugefügt wurde. Daher ist es selbst in dem Fall der Hinzufügung eines Verzeichnungseffekts zu Bewegtbildrahmen bzw. -vollbildern möglich, zu unterbinden, dass sich die Verzeichnungsrate in einem peripheren Bereich mit der Zeit ändert, und ein Bewegtbild zu erzeugen, das nicht unnatürlich erscheint. Außerdem kann eine genaue Bildverwacklungskorrektur erzielt werden, indem eine Bildverwacklungskorrektur auf einem Bild durchgeführt wird, in dem eine durch Aberration bzw. Abbildungsfehler einer Fotolinse verursachte Verzeichnung korrigiert wurde. Zusätzlich ist es möglich, ein Bewegtbild zu erzeugen, das einen Effekt einer Weitwinkelaufnahme zeigt, indem ein Verzeichnungseffekt hinzugefügt wird, wenn die Brennweite einer Fotolinse kleiner ist als ein Schwellenwert.
Zweites Ausführungsbeispiel
Als Nächstes wird ein zweites Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Das erste Ausführungsbeispiel ist auf eine Bildaufnahmevorrichtung gerichtet, die einen Zu-/Ausschneidebereich eines aufgenommenen Bilds ändert und eine Bildverwacklungskorrektur durchführt, aber dieses Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel darin, dass dieses Ausführungsbeispiel auf eine Bildaufnahmevorrichtung gerichtet ist, die eine Bildverwacklungskorrektur durch Ansteuerung eines optischen Elements durchführt.
6 ist ein Blockschaltbild, das ein Beispiel einer funktionalen Konfiguration einer Videokamera 100' gemäß diesem Ausführungsbeispiel zeigt. In 6 sind die gleichen Bezugszeichen wie diejenigen in 1 den gleichen Bestandteilen wie beim ersten Ausführungsbeispiel zugeordnet, und eine Beschreibung hinsichtlich Bestandteilen, die bei dem ersten Ausführungsbeispiel beschrieben sind, wird ausgelassen.
Die Videokamera 100' umfasst Bestandteile zum optischen Korrigieren von Bildverwacklung anstelle der Bestandteile (der Bildverwacklungskorrekturschaltung 107 und der Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203) zum elektronischen Korrigieren einer Bildverwacklung unter den Bestandteilen des ersten Ausführungsbeispiels. Im Speziellen ist die Fotolinse 102 mit einem optischen Korrektursystem 116 und mit Bestandteilen (118 bis 121) zum Ansteuern des optischen Korrektursystems 116 und einer Optikkorrektur-Steuerschaltung 220 versehen, die die Bestandteile steuert. Hier kann die Optikkorrektur-Steuerschaltung 220 durch Hardware gebildet sein, die mit dedizierten Rechenschaltungen zur Erzielung von jeweiligen Funktionen ausgestattet ist, oder so konfiguriert sein, dass sie dadurch verwirklicht wird, dass eine CPU einer Systemsteuerschaltung 101 Programme ausführt. Es ist zu beachten, dass gemäß 6 das optische Korrektursystem 116 angesteuert wird, aber alternativ oder zusätzlich ein Bildsensor 103 und die Gesamtheit der Fotolinse bzw. des Fotoobjektivs 102 angesteuert werden kann.
Das optische Korrektursystem 116 ist zum Beispiel eine Verschiebungslinse und kann sich bewegen, um die Richtung der optischen Achse der Fotolinse 102 (den Kreuzungspunkt zwischen der optischen Achse und dem Bildsensor) zu ändern. Die Optikkorrektur-Steuerschaltung 220 bewegt das optische Korrektursystem 116, um ein Wackeln der Videokamera 100' zu eliminieren, und dadurch wird ein Objektbild, in dem eine Bildverwacklung korrigiert wurde, auf der Bildgebungsebene des Bildsensors 103 ausgebildet.
Ein Positionsdetektor 117 gibt eine Spannung gemäß der Position des optischen Korrektursystems 116 aus. Diese Spannung wird durch den Verstärker 118 verstärkt, dann durch den A/D-Wandler 119 digitalisiert, und als Positionsdaten an die Optikkorrektur-Steuerschaltung 220 geliefert.
Die Optikkorrektur-Steuerschaltung 220 berechnet Verwacklungskorrekturdaten basierend auf Wackeldaten, die von einem A/D-Wandler 115 geliefert werden. Verwacklungskorrekturdaten stellen eine Zielposition dar, an die das optische Korrektursystem 116 zu steuern bzw. zu führen ist. Die Optikkorrektur-Steuerschaltung 220 steuert bzw. treibt das optische Korrektursystem 116 basierend auf der Differenz zwischen der Position des optischen Korrektursystems 116, die durch den A/D-Wandler 119 geliefert wird, und der Zielposition an. Die Konfiguration und die Vorgänge der Optikkorrektur-Steuerschaltung 220 werden nachstehend beschrieben.
Eine PWM-Schaltung 120 moduliert Daten (Abweichungsdaten), die durch die Optikkorrektur-Steuerschaltung 220 ausgegeben werden und die Differenz zwischen der Zielposition und der aktuellen Position darstellen, in eine Signalverlaufsform (PWM-Signalverlaufsform) zum Ändern des Tastverhältnisses bzw. der relativen Einschaltdauer einer Pulswelle, und liefert die modulierten Daten an eine Motoransteuerschaltung 121. Die Motoransteuerschaltung 121 steuert bzw. treibt einen Motor 122, der zum Beispiel ein Motor des Schwingspulentyps ist, basierend auf der von der PWM-Schaltung 120 gelieferten PWM-Signalverlaufsform an. Das optische Korrektursystem 116 bewegt sich gemäß einer Ansteuer-/Antriebsrichtung und einem Ansteuer-/Antriebsbetrag des Motors 122.
Nachfolgend werden Abweichungsdaten berechnet und wird das optische Korrektursystem 116 basierend auf der Position und Wackeldaten des optischen Korrektursystems 116 angesteuert/-getrieben, das sich bewegt hat. Auf diese Art und Weise führt die Optikkorrektur-Steuerschaltung 220 eine Regelung bzw. Rückkopplungssteuerung bezüglich der Position des optischen Korrektursystems 116 durch, sodass die Differenz zwischen der Ansteuer-/Antriebszielposition und den Positionsdaten klein ist. Dementsprechend wird das optische Korrektursystem 116 so angesteuert/ -getrieben, dass es der Ansteuer-/Antriebszielposition folgt.
7 ist ein Blockschaltbild, das eine Verarbeitung der Optikkorrektur-Steuerschaltung 220 schematisch zeigt, wobei die gleichen Bezugszeichen wie diejenigen in 4 Blöcken zugeordnet sind, die eine Verarbeitung durchführen, die ähnlich zu derjenigen der Bildverwacklungskorrekturbetrag-Berechnungsschaltung 203 des ersten Ausführungsbeispiels ist. Eine Empfindlichkeitsberechnungsschaltung 221 wandelt Winkelgeschwindigkeitsdaten in einen Bewegungsbetrag des optischen Korrektursystems 116 unter Verwendung von Brennweiteninformationen, die von einer Optikparameter-Berechnungsschaltung 201 erfasst werden. Eine Ausgabe eines Integrierers 206, der einen Bewegungsbetrag integriert, der einer Rahmungs- bzw. Bildeinstellungssteuerung ähnlich dem ersten Ausführungsbeispiel unterzogen wurde, stellt einen Verstellungsbetrag (eine Zielposition) des optischen Korrektursystems 116 dar, der (die) von der Größe und Richtung der Verwacklung abhängt. Ein Begrenzer 207 begrenzt einen Verstellungsbetrag, sodass er innerhalb eines Bewegungsbereichs des optischen Korrektursystems liegt.
Ein Subtrahierer 222 erfasst die Differenz zwischen der Zielposition des optischen Korrektursystems 116, die durch den Begrenzer 207 ausgegeben wird, und der aktuellen Position des optischen Korrektursystems 116, die durch den A/D-Wandler 119 ausgegeben wird, und liefert die Differenz als Abweichungsdaten an ein Steuerfilter 223. Das Steuerfilter 223 wendet eine Signalverarbeitung, wie etwa eine Verstärkung und eine Phasenkompensation, auf die Abweichungsdaten an und liefert dann die verarbeiteten Abweichungsdaten an die PWM-Schaltung 120.
Eine Bildebenenwandlungsschaltung 224 wandelt Positionsinformationen des optischen Korrektursystems 116, die durch den A/D-Wandler 119 ausgegeben werden, in einen Bewegungsbetrag und eine Bewegungsrichtung, unter der Annahme, dass die Position der Position der optischen Achse auf dem Bildsensor, wenn das optische Korrektursystem 116 sich nicht bewegt, eine Referenzposition darstellt, und liefert den Bewegungsbetrag und die Bewegungsrichtung an eine Verzeichnungskorrekturbetrag-Berechnungsschaltung 202. Die Position der Position der optischen Achse auf dem Bildsensor, wenn das optische Korrektursystem 116 sich nicht bewegt, entspricht generell der Mittelposition des Bildsensors 103 oder der Mittelposition eines durch den Bildsensor aufgenommenen Bilds, wie es nachstehend beschrieben wird.
Es ist zu beachten, dass hier ebenfalls eine Verarbeitung für eine Detektionsachse eines Winkelgeschwindigkeitssensors 114 beschrieben wurde, aber eine ähnliche Verarbeitung für eine weitere/andere Detektionsachse ausgeführt wird.
Eine solche Verarbeitung macht es möglich, eine durch Wackeln der Videokamera 100' verursachte Bildverwacklung optisch zu korrigieren.
Als Nächstes wird unter Bezugnahme auf das Ablaufdiagramm von 8 ein Bildverwacklungskorrekturvorgang gemäß diesem Ausführungsbeispiel beschrieben. In 8 sind die gleichen Bezugszeichen wie diejenigen in 2 der gleichen Verarbeitung wie bei dem ersten Ausführungsbeispiel zugeordnet. Dieses Ausführungsbeispiel ist ähnlich dem ersten Ausführungsbeispiel, mit der Ausnahme, dass es keine Verarbeitung zum Berechnen eines Bildverwacklungskorrekturbetrags (Schritt S104) gibt, da eine Bildverwacklungskorrektur bei diesem Ausführungsbeispiel optisch durchgeführt wird, und Inhalte einer Verarbeitung zum Berechnen einer Korrekturmitte (Schritte S201 und S202) verschieden sind.
Es wird eine Verarbeitung zum Berechnen einer Korrekturmitte beschrieben, die durch eine Verzeichnungskorrekturschaltung 106 in Schritt S201 durchgeführt wird. Auch bei diesem Ausführungsbeispiel ist eine durch die Verzeichnungskorrekturschaltung 106 durchgeführte Verzeichnungskorrektur eine Verarbeitung zum Korrigieren einer Verzeichnung in einem aufgenommenen Bild, die durch Aberration bzw. Abbildungsfehler der Fotolinse 102 verursacht ist. Daher ist es notwendig, eine Verzeichnungskorrektur durchzuführen, in der Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103 als eine Korrekturmitte dienen.
Bei dem ersten Ausführungsbeispiel sind, in einem aufgenommenen Bild (einem Bewegtbildrahmen bzw. -vollbild), das einer Verzeichnungskorrektur zu unterziehen ist, die Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103 fest. Daher ändert sich selbst in dem Fall, dass eine Abweichung gegenüber einem Entwurfs- bzw. Konstruktionswert aufgrund eines Montagefehlers berücksichtigt wird, eine Korrekturmitte bei einer Verzeichnungskorrektur nicht.
Bei diesem Ausführungsbeispiel wird jedoch ein Bild aufgenommen, das einer optischen Bildverwacklungskorrektur unterzogen wird, und ändert sich daher der Kreuzungspunkt zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103 gemäß der Position des optischen Korrektursystems 116. Daher ist es notwendig, eine Korrekturmitte der Verzeichnungskorrektur, die durch die Verzeichnungskorrekturschaltung 106 durchgeführt wird, basierend auf der Position des optischen Korrektursystems 116 zu erhalten und die Korrekturmitte an die Verzeichnungskorrekturschaltung 106 zu liefern.
Wie es unter Bezugnahme auf 7 beschrieben ist, wird von der Optikkorrektur-Steuerschaltung 220 an die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 ein Wert geliefert, der erfasst wird durch Wandlung der aktuellen Position des optischen Korrektursystems 116 in einen Bewegungsbetrag unter Verwendung der Position der optischen Achse auf dem Bildsensor 103, wenn sich das optische Korrektursystem 116 nicht bewegt, als Referenzposition. Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 kann Bildkoordinaten entsprechend dem Kreuzungspunkt zwischen der aktuellen optischen Achse der Fotolinse 102 und dem Bildsensor 103 berechnen, indem sie den Bewegungsbetrag der optischen Achse, der aus der aktuellen Position des optischen Korrektursystems 116 erfasst wird, auf die Anfangsposition der optischen Achse anwendet. Hier stellt die Anfangsposition der optischen Achse Bildkoordinaten dar, die dem Kreuzungspunkt zwischen der optischen Achse der Fotolinse 102 und dem Bildsensor 103 entsprechen, wenn sich das optische Korrektursystem 116 nicht bewegt. Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 liefert die Bildkoordinaten der Korrekturmitte, die auf diese Art und Weise berechnet werden, an die Verzeichnungskorrekturschaltung 106.
Auch bei diesem Ausführungsbeispiel, ähnlich zu dem ersten Ausführungsbeispiel, werden die Mittelkoordinaten eines Bilds, die zuletzt ausgegeben werden, wenn eine Verzeichnungshinzufügungsschaltung 108 einen Verzeichnungseffekt hinzufügt, als eine Korrekturmitte verwendet. Es ist zu beachten, dass in dem Fall der Hinzufügung eines Verzeichnungseffekts zu der Gesamtheit eines einer Verzeichnungskorrektur unterzogenen Bilds eine Korrekturmitte an festen Koordinaten liegt. Auch in dem Fall der Durchführung eines Zu-/Ausschneidens liegt die Korrekturmitte an festen Koordinaten, wenn die Mitte eines Zu-/Ausschneidebereichs gleich der Mitte des einer Verzeichnungskorrektur unterzogenen Bilds ist.
Eine weitere/andere Verarbeitung kann die gleiche wie beim ersten Ausführungsbeispiel sein, mit der Ausnahme, dass eine Bildverwacklungskorrektur in Schritt S108 nicht durchgeführt wird, und daher wird eine Beschreibung davon ausgelassen.
9 zeigt schematisch eine Bildverarbeitung in der Verzeichnungskorrekturschaltung 106 und der Verzeichnungshinzufügungsschaltung 108, ähnlich zu 5.
In 9 zeigt 91 schematisch eine Verzeichnung eines Bilds, das durch den Bildsensor 103 aufgenommen und in einem Bildspeicher 105 gespeichert ist. Hier ist in dem Bild, verursacht durch Aberration der Fotolinse 102, eine Tonnenverzerrung aufgetreten, die an Bildkoordinaten (x, y) entsprechend dem Kreuzungspunkt zwischen einer optischen Achse O und dem Bildsensor zentriert ist. Da sich das optische Korrektursystem 116 bewegt hat, stimmen die Bildkoordinaten (x, y) und die Mittelkoordinaten des Bilds nicht überein.
Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 liefert die Koordinaten (x, y) als eine Korrekturmitte an die Verzeichnungskorrekturschaltung 106. Aufgrund einer durch die Verzeichnungskorrekturschaltung 106 durchgeführten Verzeichnungskorrektur wird eine in 91 von 9 gezeigte Bildverzeichnung korrigiert (beseitigt) (92, 9). Zu dieser Zeit wird ein Bild erfasst, in dem eine Bildverwacklung und eine durch Aberration verursachte Verzeichnung korrigiert wurden.
Nachfolgend liefert die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Mittelkoordinaten (x', y') des Bilds als eine Korrekturmitte bei Hinzufügung eines Verzeichnungseffekts an die Verzeichnungshinzufügungsschaltung 108. Dementsprechend kann die Verzeichnungshinzufügungsschaltung 108 einen punktsymmetrischen Verzeichnungseffekt hinzufügen, in dem die Größe bzw. das Maß einer Verzeichnung, die zu Pixeln hinzugefügt wird, die von der Mitte des Bilds gleich beabstandet sind, gleich ist, wie es in 93 von 9 gezeigt ist. Daher ändert sich eine Verzeichnungsrate in einem peripheren Bereich eines Bewegtbilds nicht mehr mit der Zeit, und ist es möglich, ein Bewegtbild zu erzeugen, das nicht unnatürlich erscheint, wenn man es betrachtet.
Wie es vorstehend beschrieben ist, wird gemäß diesem Ausführungsbeispiel auch im Fall des optischen Korrigierens einer Bildverwacklung eine durch Aberration eines optischen Systems verursachte Verzeichnung mittels Durchführung einer Transformationsverarbeitung auf einem Bild korrigiert, das die durch Aberration verursachte Verzeichnung umfasst, und wird ein Bild erzeugt, zu dem ein Verzeichnungseffekt unter Verwendung der Mittelkoordinaten des Bilds als eine Korrekturmitte hinzugefügt wurde. Dementsprechend wird ein ähnlicher Effekt zu demjenigen des ersten Ausführungsbeispiels erzielt.
Drittes Ausführungsbeispiel
Als Nächstes wird ein drittes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Dieses Ausführungsbeispiel kann in Kombination mit dem ersten Ausführungsbeispiel und dem zweiten Ausführungsbeispiel erreicht bzw. verwirklicht werden.
Bei dem ersten und dem zweiten Ausführungsbeispiel ist eine Konfiguration angenommen, in der, wenn die Brennweite der Fotolinse 102 kleiner einem Schwellenwert ist, ein Verzeichnungseffekt hinzugefügt wird, und, wenn die Brennweite der Fotolinse 102 größer oder gleich dem Schwellenwert ist, ein Verzeichnungseffekt nicht hinzugefügt wird.
Andererseits gibt es Fälle, in denen, bei einer Videokamera, deren Linse bzw. Objektiv nicht entfern- bzw. austauschbar ist, und dergleichen, eine Konvertierungslinse 150 (1) verwendet wird, die an einer Fotolinse bzw. einem Fotoobjektiv 102 angebracht wird, um die Brennweite der Fotolinse 102 zu ändern. Bei diesem Ausführungsbeispiel wird eine Steuerung beschrieben, die in dem Fall durchgeführt wird, dass eine lös- bzw. abnehmbare Konvertierungslinse (oder eine Zusatz- bzw. Zubehörlinse) an der Fotolinse 102 einer Videokamera 100 oder 100' angebracht ist.
In 10 zeigt 1001 eine Verzeichnungscharakteristik 301 der Fotolinse 102 alleine und eine Verzeichnungscharakteristik 302 des gesamten optischen Systems, wenn eine Weitwinkelkonvertierungslinse an der Fotolinse 102 angebracht ist (Kombination von Fotolinse und Weitwinkelkonvertierungslinse). Eine Weitwinkelkonvertierungslinse ermöglicht eine Aufnahme mit weiterem Winkel als mit der Fotolinse 102, aber verursacht eine stärkere Tonnenverzeichnung. In dem Beispiel von 1001 von 10 ist die maximale Verzeichnungsrate der Fotolinse 102 alleine gleich -10%, während die maximale Verzeichnungsrate in dem Fall, in dem eine Weitwinkelkonvertierungslinse angebracht ist, gleich -15% ist, und ist eine Tonnenverzeichnung stärker.
Eine Systemsteuerschaltung 101 kann elektrisch oder mechanisch detektieren, ob eine Weitwinkelkonvertierungslinse angebracht ist, zum Beispiel durch Verwendung eines Schalters 151 (1). Alternativ kann eine Konfiguration angenommen werden, in der eine Einstellung dahingehend, ob eine Weitwinkelkonvertierungslinse angebracht ist oder nicht, durch den Benutzer über einen Menübildschirm geändert werden kann, und die Systemsteuerschaltung 101 gemäß dem Einstellungsinhalt bestimmt, ob eine Weitwinkelkonvertierungslinse angebracht ist oder nicht.
Wenn die Systemsteuerschaltung 101 bestimmt, dass eine Konvertierungslinse angebracht ist, berechnet eine Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Korrekturdaten zum Korrigieren der Verzeichnungscharakteristik 302 des gesamten optischen Systems einschließlich der Konvertierungslinse. Zum Beispiel berechnet die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Korrekturbeträge entsprechend einer Vielzahl von diskreten Bildhöhen gemäß einer umgekehrten Charakteristik der Verzeichnungscharakteristik 302 in 1001 von 10, die durch Bezugszeichen 304 in 1002 von 10 bezeichnet ist.
Als Nächstes wird eine Berechnung von Verzeichnungshinzufügungsdaten beschrieben, wenn eine Weitwinkelkonvertierungslinse angebracht ist. Durch Anbringen einer Weitwinkelkonvertierungslinse erhöht sich die maximale Verzeichnungsrate einer Verzeichnung des gesamten optischen Systems von 10% auf 15%. Daher ist gleichermaßen, wenn bestimmt wird, dass eine Weitwinkelkonvertierungslinse angebracht ist, ein Verzeichnungseffekt, der durch eine Verzeichnungshinzufügungsschaltung 108 hinzugefügt wird, stärker als ein Verzeichnungseffekt, der hinzugefügt wird, wenn nicht bestimmt wird, dass eine Weitwinkelkonvertierungslinse angebracht ist.
Zum Beispiel ist die Charakteristik von Verzeichnungshinzufügungsdaten, wenn bestimmt wird, dass eine Weitwinkelkonvertierungslinse nicht angebracht ist, durch Bezugszeichen 305 in 1003 von 10 bezeichnet. In diesem Fall, wenn bestimmt wird, dass eine Weitwinkelkonvertierungslinse angebracht ist, erzeugt die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Verzeichnungshinzufügungsdaten mit einer erhöhten Verzeichnungsmaximalverzeichnungsrate. Die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 kann zum Beispiel Verzeichnungshinzufügungsdaten mit einer Charakteristik erzeugen, die durch Bezugszeichen 306 in dem in 1003 von 10 gezeigten Beispiel bezeichnet sind. Hier wird angenommen, dass die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Verzeichnungshinzufügungsdaten zum Hinzufügen des Verzeichnungseffekts 306 mit einer Charakteristik zum Aufheben bzw. Ausgleichen der Differenz zwischen Korrekturbetragcharakteristika 303 und 304 erzeugt. Mit anderen Worten erzeugt die Verzeichnungskorrekturbetrag-Berechnungsschaltung 202 Verzeichnungshinzufügungsdaten zum Hinzufügen eines Verzeichnungseffekts, der äquivalent zu einer Verzeichnung ist, die durch eine Konvertierungslinse oder eine Zusatz- bzw. Zubehörlinse verursacht wird. Dies macht es möglich zu verhindern, dass der Blick- bzw. Bildwinkel, der durch eine Weitwinkelkonvertierungslinse verbreitert wurde, als Ergebnis der Durchführung einer Verzeichnungskorrektur verschmälert wird. Es ist auch möglich, den Einfluss einer Volumenverzeichnung zu verringern, die als Folge dessen zunimmt, dass eine Weitwinkelkonvertierungslinse angebracht wird/ist, und ein natürliches Bewegtbild zu erzeugen.
Wie es vorstehend beschrieben ist, ist es gemäß diesem Ausführungsbeispiel selbst in dem Fall, in dem eine Konvertierungslinse oder eine Zusatz- bzw. Zubehörlinse angebracht wird/ist und sich die Charakteristika einer Verzeichnung des gesamten optischen Systems ändern, möglich, einen Effekt zu erzielen, der ähnlich zu denjenigen des ersten und des zweiten Ausführungsbeispiels ist.
Weitere Ausführungsbeispiele
Die vorliegende Erfindung wurde vorstehend basierend auf beispielhaften Ausführungsbeispielen beschrieben, aber die vorliegende Erfindung ist nicht auf diese speziellen Ausführungsbeispiele beschränkt, und es können verschiedene Modifikationen innerhalb des Umfangs der Erfindung vorgenommen werden. Außerdem wurde bei den vorgenannten Ausführungsbeispielen eine Konfiguration beschrieben, in der ein Wackeln der Vorrichtung durch einen Winkelgeschwindigkeitssensor detektiert wird, aber kann eine andere Konfiguration zur Detektion verwendet werden. Zum Beispiel kann ein Wackel- bzw. Verwacklungsbetrag aus einer durch einen Beschleunigungssensor detektierten Beschleunigung berechnet werden oder kann ein Wackel- bzw. Verwacklungsbetrag der Vorrichtung durch Detektion von Bewegungsinformationen aus einem aufgenommenen Bild berechnet werden.
Ein oder mehrere Ausführungsbeispiele der vorliegenden Erfindung können auch verwirklicht werden durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (z.B. ein oder mehr Programme), die auf einem Speichermedium (das vollständiger auch als ein „nicht-vorübergehendes computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnet sind, ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder ein oder mehr Schaltungen (z.B. eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele umfasst, sowie durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durchgeführt wird, indem dieser zum Beispiel die computerausführbaren Anweisungen von dem Speichermedium ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder die ein oder mehr Schaltungen steuert, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen. Der Computer kann ein oder mehr Prozessoren (z.B. Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) aufweisen und kann ein Netzwerk separater Computer oder separater Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können an den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel ein oder mehr von einer Festplatte, einem Direktzugriffsspeicher (RAM), einem Festwertspeicher (ROM), einem Speicher verteilter Rechensysteme, einer optischen Platte (wie etwa einer Compact Disc (CD), einer Digital Versatile Disc (DVD) oder einer Blu-ray Disc (BD)TM), einer Flashspeichervorrichtung, einer Speicherkarte und dergleichen umfassen.
Während die vorliegende Erfindung unter Bezugnahme auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist.
Es ist eine Bildverarbeitungsvorrichtung bereitgestellt, die ein natürlich wirkendes Bild selbst aus einem Bild erzeugt, in dem eine Bildverwacklung korrigiert wurde und eine Verzeichnung absichtlich hinzugefügt wurde. Ein Prozessor dieser Bildverarbeitungsvorrichtung führt eine Transformationsverarbeitung auf einem Bild durch, um ein Bild mit einer punktsymmetrischen Verzeichnung zu erzeugen, die an den Mittelkoordinaten des Bilds zentriert ist, selbst für ein Bild, in dem die Mittelposition einer Aberration eines optischen Systems und die Mittelposition des Bilds nicht übereinstimmen.

Claims

Bildverarbeitungsvorrichtung mit: einem Prozessor, der eingerichtet ist zum Erzeugen eines zweiten Bilds durch Anwenden von ein oder mehr Prozessen auf ein über ein optisches System aufgenommenes erstes Bild, wobei, wenn das erste Bild eine durch Aberration des optischen Systems verursachte Verzeichnung aufweist, und die Bildmittelkoordinaten des zweiten Bilds und die einer Mitte der Aberration entsprechenden Koordinaten nicht übereinstimmen, der Prozessor das zweite Bild so erzeugt, dass es eine an den Bildmittelkoordinaten zentrierte punktsymmetrische Verzeichnung aufweist, indem er einen Transformationsprozess auf das erste Bild anwendet.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Prozessor konfiguriert ist zum Anwenden, als den Transformationsprozess, eines Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung und eines Prozesses zum Hinzufügen eines Verzeichnungseffekts mit einer Verzeichnungsrate, die von einem Abstand von den Mittelkoordinaten des zweiten Bilds abhängt.
Bildverarbeitungsvorrichtung gemäß Anspruch 2, wobei der Prozessor konfiguriert ist zum Anwenden des Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung und nachfolgenden Anwenden des Prozesses zum Hinzufügen eines Verzeichnungseffekts.
Bildverarbeitungsvorrichtung gemäß Anspruch 2, wobei der Prozessor konfiguriert ist zum Anwenden einer Kombination des Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung und des Prozesses zum Hinzufügen eines Verzeichnungseffekts.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 2 bis 4, wobei das erste Bild ein Bild ist, in dem eine Bildverwacklung durch eine Bildverwacklungskorrekturvorrichtung, die zum optischen Korrigieren einer Bildverwacklung konfiguriert ist, korrigiert wurde.
Bildverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Bildverwacklungskorrekturvorrichtung konfiguriert ist zum optischen Korrigieren einer Bildverwacklung durch Ansteuern des gesamten optischen Systems oder eines optischen Korrektursystems und/oder eines Bildsensors gemäß einem Wackeln einer Vorrichtung.
Bildverarbeitungsvorrichtung gemäß Anspruch 2, wobei die ein oder mehr Prozesse einen Prozess zum Ausschneiden eines Bereichs gemäß einem Wackeln der Vorrichtung umfassen.
Bildverarbeitungsvorrichtung gemäß Anspruch 7, wobei der Prozessor konfiguriert ist zum Anwenden, auf das erste Bild, des Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung, des Prozesses zum Ausschneiden eines Bereichs gemäß einem Wackeln der Vorrichtung und des Prozesses zum Hinzufügen eines Verzeichnungseffekts in dieser genannten Reihenfolge.
Bildverarbeitungsvorrichtung gemäß Anspruch 7, wobei der Prozessor konfiguriert ist zum Anwenden, auf das erste Bild, des Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung und des Prozesses zum Hinzufügen eines Verzeichnungseffekts und nachfolgenden Anwenden des Prozesses zum Ausschneiden eines Bereichs gemäß einem Wackeln der Vorrichtung.
Bildverarbeitungsvorrichtung gemäß Anspruch 7, wobei der Prozessor konfiguriert ist zum Anwenden, auf das erste Bild, des Prozesses zum Korrigieren einer durch Aberration des optischen Systems verursachten Bildverzeichnung, des Prozesses zum Ausschneiden eines Bereichs gemäß einem Wackeln der Vorrichtung und des Prozesses zum Hinzufügen eines Verzeichnungseffekts zu der gleichen Zeit.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 2 bis 10, wobei der Prozessor konfiguriert ist zum Einstellen von Bildkoordinaten entsprechend einem Kreuzungspunkt zwischen einer optischen Achse des optischen Systems und einem Bildsensor als Koordinaten, die einer Mitte der Aberration entsprechen.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 2 bis 11, zusätzlich mit: einem Detektor, der konfiguriert ist zum Detektieren, dass eine Hilfslinse, die konfiguriert ist zum Ändern der Brennweite des optischen Systems, angebracht ist, wobei, wenn detektiert wird, dass die Hilfslinse angebracht ist, der Prozessor konfiguriert ist zum Durchführen des Prozesses zum Korrigieren einer Bildverzeichnung, die durch Aberration des optischen Systems und der Hilfslinse verursacht ist.
Bildverarbeitungsvorrichtung gemäß Anspruch 12, wobei, wenn detektiert wird, dass die Hilfslinse angebracht ist, der Prozessor konfiguriert ist zum Hinzufügen eines Verzeichnungseffekts, der auf einer durch die Hilfslinse verursachten Aberration basiert.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 2 bis 13, wobei, wenn eine Brennweite des optischen Systems kleiner einem Schwellenwert ist, der Prozessor konfiguriert ist zum Hinzufügen des Verzeichnungseffekts, und, wenn die Brennweite des optischen Systems größer oder gleich dem Schwellenwert ist, der Prozessor konfiguriert ist zum Nichthinzufügen des Verzeichnungseffekts.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 14, wobei eine Verzeichnungsrate des zweiten Bilds kleiner ist als eine Verzeichnungsrate einer durch Aberration des optischen Systems verursachten Verzeichnung.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 15, wobei das erste Bild ein Bewegtbildrahmen ist.
Bildverarbeitungsvorrichtung, die ein Bewegtbild erzeugt, dessen Verzeichnung, die durch Aberration eines zum Aufnehmen des Bewegtbilds verwendeten optischen Systems verursacht ist, und dessen Bildverwacklung, die durch ein Wackeln einer Vorrichtung verursacht ist, korrigiert wurden, gekennzeichnet durch: Verarbeiten des Bewegtbilds, sodass ein Verzeichnungseffekt zu jedem Rahmen des Bewegtbilds hinzugefügt wird, wobei eine Mittelposition des Rahmens als eine Referenzposition verwendet wird.
Bildaufnahmevorrichtung mit: einem Bildsensor, der konfiguriert ist zum Erzeugen eines ersten Bilds, das einem durch ein optisches System ausgebildeten optischen Bild entspricht; und einem Bildprozessor gemäß einem der Ansprüche 1 bis 17.
Bildverarbeitungsverfahren mit: Erzeugen eines zweiten Bilds durch Anwenden von ein oder mehr Prozessen auf ein über ein optisches System aufgenommenes erstes Bild, wobei das erste Bild eine durch Aberration des optischen Systems verursachte Verzeichnung aufweist, Bildmittelkoordinaten des zweiten Bilds und einer Mitte der Aberration entsprechende Koordinaten nicht übereinstimmen, und das zweite Bild, das eine an den Bildmittelkoordinaten zentrierte punktsymmetrische Verzeichnung aufweist, durch Anwenden eines Transformationsprozesses auf das erste Bild erzeugt wird.
Bildverarbeitungsverfahren mit: Erzeugen eines Bewegtbilds, dessen Verzeichnung, die durch Aberration eines zum Aufnehmen des Bewegtbild verwendeten optischen Systems verursacht ist, und dessen Bildverwacklung, die durch ein Wackeln einer Vorrichtung verursacht ist, korrigiert wurden, wobei die Verarbeitung ein Verarbeiten des Bewegtbilds aufweist, sodass ein Verzeichnungseffekt zu jedem Rahmen des Bewegtbilds hinzugefügt wird, wobei eine Mittelposition des Rahmens als eine Referenzposition verwendet wird.
Programm, das, wenn es durch eine Bildverarbeitungsvorrichtung ausgeführt wird, die Bildverarbeitungsvorrichtung veranlasst zum Durchführen eines Verfahrens gemäß Anspruch 19 oder 20.
Computerlesbares Speichermedium, das ein Programm gemäß Anspruch 21 speichert.