DE102018101035A1

DE102018101035A1 - Bildstabilisierungsvorrichtung und steuerverfahren dafür, bildaufnahmevorrichtung und speichermedium

Info

Publication number: DE102018101035A1
Application number: DE102018101035.4A
Authority: DE
Inventors: Wataru TAKAYANAGI
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-01-20
Filing date: 2018-01-18
Publication date: 2018-07-26
Also published as: CN108337428A; US20180213155A1; CN108337428B; JP6823469B2; JP2018116239A; US10554893B2

Abstract

Eine Bildstabilisierungsvorrichtung enthält eine Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, eine Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und eine Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird. Die Berechnungseinrichtung ändert Gewichte, mit denen der Bewegungsvektor beaufschlagt wird, und das Wackeln der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von Informationen hinsichtlich einer Perspektive des Objektivs, die durch die Beschaffungseinrichtung beschafft werden.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf Methoden zur Korrektur einer Unschärfe in einem durch eine Bildaufnahmevorrichtung aufgenommenen Bild.
Beschreibung der verwandten Technik
Es gibt bekannte Verfahren zur Erfassung beispielweise von Kamerawackeln einer Bildaufnahmevorrichtung und Korrektur einer durch das Wackeln verursachten Bildunschärfe. Unter diesen Verfahren zur Korrektur einer Bildunschärfe befindet sich eine optische Bildstabilisierung, die ein Verfahren zur Ansteuerung einer optischen Linse im Ansprechen auf ein erfasstes Wackeln derart darstellt, dass das Wackeln aufgehoben wird, wodurch eine Bildunschärfe korrigiert wird. Ein anderes ist eine elektronische Bildstabilisierung, die ein Verfahren einer Extraktion eines Abschnitts von durch eine Bildaufnahmeeinrichtung aufgenommenen aufeinander folgenden Bildern und Korrektur einer Bildunschärfe durch eine Projektionstransformation im Ansprechen auf ein erfasstes Wackeln darstellt. Es gibt auch eine Bildaufnahmeeinrichtungsbildstabilisierung, die ein jüngeres Verfahren einer mechanischen Bewegung einer Bildaufnahmeeinrichtung im Ansprechen auf ein erfasstes Wackeln derart darstellt, dass das Wackeln aufgehoben wird, wodurch eine Bildunschärfe korrigiert wird.
Unter Verfahren zur Erfassung eines Wackelns gibt es ein Verfahren der Erfassung eines Wackelns einer Bildaufnahmevorrichtung selbst unter Verwendung eines Winkelgeschwindigkeitssensors oder eines Beschleunigungssensors und ein Bewegungsvektorverfahren der Berechnung und Vorhersage eines Wackelns einer Bildaufnahmevorrichtung unter Verwendung eines Bewegungsvektors, der aus durch eine Bildaufnahmeeinrichtung aufgenommenen aufeinanderfolgenden Bildern berechnet wird.
Mittlerweile ist bekannt, dass eine durch eine Linse verursachte Verzerrungsaberration eine Peripherie eines Bildes verzerrt, und auch einen aus dem Bild erfassten Bewegungsvektor beeinflusst, wodurch sich die Genauigkeit des Bewegungsvektors verschlechtert. Die japanische Patentoffenlegung Nr. 2012-103741 offenbart beispielsweise ein Verfahren zur effizienten Durchführung einer Vielzahl verschiedener Bildkorrekturverfahren zur Vermeidung des Einflusses der Verzerrung.
Seit kurzer Zeit werden Ultraweitwinkelobjektive beispielsweise vor allem als Wechselobjektiv verwendet, die eine große Perspektive verursachen, die durch das vorstehende Verzerrungskorrekturverfahren nicht korrigiert werden kann. Eine derartige große Perspektive hat einen erheblichen Einfluss auf die Bewegungsvektorerfassung, und beeinflusst bekanntermaßen auch die Stabilität und Leistung der Bildstabilisierung.
Einige Ultraweitwinkelobjektive, die an Wechselobjektivkamerasystemen angebracht werden können, beginnen mit der Abdeckung eines weiteren Bildwinkels als jemals zuvor. Auch bei Kameras mit festem Objektiv können Ultraweitwinkelobjektive verwendet werden. Wird ein derartiges Objektiv verwendet, tritt in Abhängigkeit von der Position, wo einfallendes Licht ein Bild erzeugt, eine Perspektive auf. Das in der japanischen Patentoffenlegung Nr. 2012-103741 offenbarte herkömmliche Verfahren kann aber eine durch Perspektive erzeugte Verzerrung nicht korrigieren, woraus sich eine Verschlechterung der Genauigkeit eines Bewegungsvektors ergibt. Dies führt zu einem Problem, dass eine Bildstabilisierung instabil ist.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Vorliegende Erfindung berücksichtigt das vorstehende Problem. Eine Bildstabilisierungsvorrichtung ist bereitgestellt, die eine Verschlechterung der Genauigkeit einer Bildstabilisierung selbst dann verringern kann, wenn ein Objektiv verwendet wird, das eine große Perspektive verursacht.
Gemäß einer ersten Ausgestaltung der Erfindung ist eine Bildstabilisierungsvorrichtung bereitgestellt, mit einer Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und einer Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei die Berechnungseinrichtung Gewichte, mit denen der Bewegungsvektor beaufschlagt wird, und das Wackeln der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von Informationen ändert, die sich auf eine Perspektive des Objektivs beziehen und durch die Beschaffungseinrichtung beschafft werden.
Gemäß einer zweiten Ausgestaltung der Erfindung ist eine Bildaufnahmevorrichtung bereitgestellt, mit einer Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes und einer Bildstabilisierungsvorrichtung mit einer Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch die Bildaufnahmeeinrichtung aufgenommenen Bildern und einer Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei die Berechnungseinrichtung Gewichte, mit denen der Bewegungsvektor beaufschlagt wird, und das Wackeln der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von durch die Beschaffungseinrichtung beschafften Informationen bezüglich einer Perspektive des Objektivs ändert.
Gemäß einer dritten Ausgestaltung der Erfindung ist ein Verfahren zur Steuerung einer Bildstabilisierungsvorrichtung bereitgestellt, mit Beschaffen von Informationen über ein Objektiv, Erfassen eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und Berechnen eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des bei der Bewegungsvektorerfassung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei das Berechnen ein Ändern von Gewichten, mit denen der Bewegungsvektor beaufschlagt wird, und des Wackelns der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von bei dem Beschaffen beschafften Informationen bezüglich einer Perspektive des Objektivs enthält.
Gemäß einer vierten Ausgestaltung der Erfindung ist ein computerlesbares Speichermedium bereitgestellt, das ein Programm speichert, das einen Computer zur Ausführung von Schritten eines Verfahrens zur Steuerung einer Bildstabilisierungsvorrichtung veranlasst, wobei das Verfahren umfasst: Beschaffen von Informationen über ein Objektiv, Erfassen eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und Berechnen eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des bei der Bewegungsvektorerfassung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei das Berechnen ein Ändern von Gewichten, mit denen der Bewegungsvektor beaufschlagt wird, und des Wackelns der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von bei dem Beschaffen beschafften Informationen bezüglich einer Perspektive des Objektivs enthält.
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
Figurenliste

1 zeigt ein Blockschaltbild einer Konfiguration eines Bildaufnahmesystems, die Ausführungsbeispielen der Erfindung gemeinsam ist.
2 zeigt eine Darstellung einer Konfiguration eines ersten Ausführungsbeispiels eines Abschnitts zur Durchführung einer Bildstabilisierung.
3 zeigt eine Darstellung zur Beschreibung eines Verfahrens zur Berechnung einer Perspektivengröße.
4 zeigt ein Blockschaltbild einer Konfiguration eines Signalverarbeitungsabschnitts gemäß dem ersten Ausführungsbeispiel.
5 zeigt ein Ablaufdiagramm eines Vorgangs in einem Bildstabilisierungsprozess gemäß dem ersten Ausführungsbeispiel.
6 zeigt ein Ablaufdiagramm eines Vorgangs eines Perspektivenbestimmungsprozesses.
Die 7A bis 7F zeigen Darstellungen einer Varianz von Bewegungsvektoren und eines Perspektivenbestimmungswerts.
8 zeigt eine Darstellung eines Vorgangs einer Erzeugung eines Gewichtungshistogramms gemäß einem zweiten Ausführungsbeispiel.
9 zeigt eine Darstellung einer Beziehung zwischen einer Bildaufnahmeeinrichtungsebene, einem Bewegungsvektorbereich und einer Perspektivengröße.
Die 10A und 10B zeigen Darstellungen zur Beschreibung eines Verfahrens zur Beseitigung eines Einflusses einer Perspektive durch Gewichtung.
11 zeigt ein Blockschaltbild einer Konfiguration eines Signalverarbeitungsabschnitts gemäß dem zweiten Ausführungsbeispiel.
12 zeigt ein Blockschaltbild einer Konfiguration eines Signalverarbeitungsabschnitts gemäß dem zweiten Ausführungsbeispiel.
13 zeigt ein Ablaufdiagramm eines Vorgangs einer Erzeugung eines Gewichtungshistogramms.
14 zeigt eine Darstellung einer Beziehung zwischen einer Bildaufnahmeeinrichtungsebene und einer Perspektivengröße.

Die 15A bis 15C zeigen Darstellungen einer Beziehung zwischen einer Bewegungsvektorerfassungsrichtung und einer Perspektivengröße.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben. Zuerst werden den Ausführungsbeispielen gemeinsame Merkmale beschrieben.
1 zeigt ein Blockschaltbild einer Konfiguration eines Bildaufnahmesystems 100, die den Ausführungsbeispielen der Erfindung gemeinsam ist. Das Bildaufnahmesystem 100 stellt eine Digitalkamera mit Wechselobjektiv dar, um hauptsächlich ein Stehbild und ein Bewegtbild aufzunehmen. Die Erfindung ist nicht auf Digitalkameras beschränkt, und kann bei verschiedenen Bildaufnahmesystemen angewendet werden. Die Erfindung ist nicht auf Digitalkameras mit Wechselobjektiv beschränkt, und findet beispielsweise Anwendung bei Digitalkameras mit festem Objektiv.
Das Bildaufnahmesystem 100 von 1 enthält eine Objektivvorrichtung 150 und einen Kamerahauptkörper 160. Die Objektivvorrichtung 150 ist im Gebrauch an dem Kamerahauptkörper 160 angebracht. Die Objektivvorrichtung 150 enthält eine Zoomeinheit 101 mit einer Zoomlinse, die die Vergrößerung verändern kann. Eine Zoomansteuerungseinheit 102 steuert die Zoomeinheit 101 (an). Eine Blendeneinheit 103 arbeitet als Blende. Eine Blendenansteuerungseinheit 104 steuert die Blendeneinheit 103 (an). Eine Bildstabilisierungseinheit 105 enthält eine Bildstabilisierungslinse, wie eine Verschiebungslinse, die sich beispielsweise in einer von der optischen Achse verschiedenen Richtung bewegt. Die Bildstabilisierungseinheit 105, die eine erste Bildstabilisierungseinrichtung darstellt, wird durch eine optische Bildstabilisierungssteuereinheit 106 angesteuert und gesteuert. Eine Fokussiereinheit 107 enthält eine Fokussierlinse, die zur Erzeugung eines Objektbildes fokussiert wird. Eine Fokusansteuerungseinheit 108 steuert die Fokussiereinheit 107 (an).
Eine Objektivbedieneinheit 109 wird durch einen Benutzer zur Bedienung der Objektivvorrichtung 150 verwendet. Eine Objektivwackelerfassungseinheit 110 erfasst den Umfang eines Wackelns der Objektivvorrichtung 150 und gibt ein Erfassungssignal zu einer Linsensystemsteuereinheit 111 aus. Die Linsensystemsteuereinheit 111, die eine Zentralverarbeitungseinheit („Central Processing Unit“, CPU) enthält, steuert die gesamte Objektivvorrichtung 150, das heißt, führt eine zentrale Steuerung der Ansteuerungseinheiten und Korrektursteuereinheiten der Objektivvorrichtung 150 durch. Die Linsensystemsteuereinheit 111 kommuniziert über eine Objektivkommunikationssteuereinheit 112 mit einer Kamerasystemsteuereinheit 124 des Kamerahauptkörpers 160.
Als nächstes wird der Kamerahauptkörper 160 beschrieben. Der Kamerahauptkörper 160 enthält eine Verschlusseinheit 113. Eine Verschlussansteuerungseinheit 114 steuert die Verschlusseinheit 113 (an). Eine Bildaufnahmeeinheit 115, die eine Bildaufnahmeeinrichtung enthält, führt eine photoelektrische Umwandlung eines über Linsen erzeugten Objektbildes durch und gibt ein elektrisches Signal aus. Eine Bildaufnahmesignalverarbeitungseinheit 116 führt einen Prozess einer Umwandlung des aus der Bildaufnahmeeinrichtung 115 ausgegebenen elektrischen Signals in ein Videosignal durch. Eine Videosignalverarbeitungseinheit 117 verarbeitet das aus der Bildaufnahmesignalverarbeitungseinheit 116 ausgegebene Videosignal. Der Prozess ändert sich in Abhängigkeit davon, wofür das Videosignal verwendet wird. Die Videosignalverarbeitungseinheit 117 ändert beispielsweise die Extraktionsposition des Videosignals in Abhängigkeit von dem Korrekturausmaß einer elektronischen Bildstabilisierungssteuereinheit 123. Die elektronische Bildstabilisierungssteuereinheit 123, die eine zweite Bildstabilisierungseinrichtung darstellt, steuert eine Bildstabilisierung durch eine Bildextraktion. Die zweite Bildstabilisierung ist nicht auf die elektronische Bildstabilisierung beschränkt, und kann beispielsweise eine durch Steuerung einer mechanischen Bewegung der Bildaufnahmeeinrichtung durchgeführte Bildstabilisierung oder eine durch Ansteuern und Steuern eines beweglichen optischen Elements in dem Kamerahauptkörper durchgeführte Bildstabilisierung sein.
Eine Anzeigeeinheit 118 zeigt bei Bedarf ein Bild auf Grundlage eines aus der Videosignalverarbeitungseinheit 117 ausgegebenen Signals an. Eine Speichereinheit 119 speichert verschiedene Daten, wie beispielsweise Videoinformationen. Eine Leistungsversorgungseinheit 120 führt dem gesamten Kamerasystem bei Bedarf Leistung zu. Eine Kamerabedieneinheit 121, die durch den Benutzer zur Bedienung des Kamerasystems verwendet wird, gibt ein Bediensignal zu der Kamerasystemsteuereinheit 124 aus. Eine Kamerawackelerfassungseinheit 122 erfasst den Umfang eines Wackelns der Kamera und gibt ein Erfassungssignal zu der Kamerasystemsteuereinheit 124 aus. Die Kamerasystemsteuereinheit 124, die eine CPU enthält, führt eine zentrale Steuerung des gesamten Kamerasystems durch. Die Kamerasystemsteuereinheit 124 kommuniziert über eine Kamerakommunikationssteuereinheit 125 mit der Objektivkommunikationssteuereinheit 112 der Objektivvorrichtung 150. Die Objektivkommunikationssteuereinheit 122 und die Kamerakommunikationssteuereinheit 125 kommunizieren insbesondere dann miteinander, wenn die Objektivvorrichtung 150 an dem Kamerahauptkörper 160 angebracht und mit diesem elektrisch verbunden ist.
Als nächstes wird der Betrieb des derart konfigurierten Bildaufnahmesystems umrissen. Die Objektivbedieneinheit 109 und die Kamerabedieneinheit 121 enthalten jeweils einen Bildstabilisierungsschalter, der zum Ein- und Ausschalten einer Bildstabilisierung verwendet werden kann. Wenn der Benutzer den Bildstabilisierungsschalter zum Einschalten der Bildstabilisierung bedient, weist die Objektivsystemsteuereinheit 111 oder die Kamerasystemsteuereinheit 124 die optische Bildstabilisierungssteuereinheit 106 oder die elektronische Bildstabilisierungssteuereinheit 123 zur Durchführung eines Bildstabilisierungsvorgangs an. Bis zur Ausgabe einer Anweisung zum Ausschalten der Bildstabilisierung steuert die so aktivierte Bildstabilisierungssteuereinheit die Bildstabilisierung.
Die Kamerabedieneinheit 121 enthält einen Bildstabilisierungsmodusschalter, der zum Auswählen eines ersten Modus oder eines zweiten Modus zur Bildstabilisierung verwendet wird. Im ersten Modus wird lediglich eine optische Bildstabilisierung (erste Bildstabilisierung) durchgeführt. Im zweiten Modus werden eine optische Bildstabilisierung und eine elektronische Bildstabilisierung (zweite Bildstabilisierung) in Verbindung miteinander für die Bildstabilisierung durchgeführt. Ist der erste Modus ausgewählt, ist die Ausleseposition der Bildaufnahmeeinheit 115 fest und der Auslesebereich ist vergrößert, und daher kann die Winkelgröße eines aufgenommenen Bildes vorgrößert werden. Ist der zweite Modus ausgewählt, kann eine signifikantere Bildunschärfe behandelt werden, indem die Extraktionsposition in Abhängigkeit von dem Bildunschärfekorrekturausmaß verändert wird, obwohl der Videosignalextraktionsbereich der Videosignalverarbeitungseinheit 117 verkleinert ist.
Die Kamerabedieneinheit 121 enthält eine Verschlussauslösetaste, die zum Einschalten eines ersten Schalters SW1 und eines zweiten Schalters SW2 in dieser Reihenfolge in Abhängigkeit davon eingerichtet ist, wie stark die Taste gedrückt wird. Wenn der Benutzer die Verschlussauslösetaste halb herunterdrückt, wird der erste Schalter SW1 eingeschaltet. Wenn der Benutzer die Verschlussauslösetaste ganz herunterdrückt, wird der zweite Schalter SW2 eingeschaltet. Ist der erste Schalter SW1 eingeschaltet, steuert die Fokusansteuerungseinheit 108 die Fokussiereinheit 107 zur Anpassung der Fokussierung an, und die Blendenansteuerungseinheit 104 steuert die Blendeneinheit 103 zur Anpassung des Belichtungsausmaßes auf einen geeigneten Wert an. Ist der zweite Schalter SW2 eingeschaltet, werden Bilddaten in der Speichereinheit 119 gespeichert, die erhalten werden, indem die Bildaufnahmeeinheit 115 eine photoelektrische Umwandlung eines Objektbildes durchführt.
Die Kamerabedieneinheit 121 enthält auch einen Bewegtbildaufzeichnungsschalter. Der Kamerahauptkörper 160 startet die Aufnahme eines Bewegtbildes, nachdem der Bewegtbildaufzeichnungsschalter gedrückt wurde, und beendet die Aufzeichnung, wenn der Bewegtbildaufzeichnungsschalter während der Aufzeichnung durch den Benutzer erneut gedrückt wird. Wenn der Benutzer während der Aufnahme eines Bewegtbildes die Verschlussauslösetaste zum Einschalten des ersten Schalters SW1 und des zweiten Schalters SW2 bedient, wird ein Prozess eines Beschaffens und Aufzeichnens eines Stehbildes während der Aufzeichnung des Bewegtbildes ausgeführt. Die Kamerabedieneinheit 121 enthält auch einen Wiedergabemodusauswahlschalter, der zum Auswählen eines Wiedergabemodus verwendet wird. Wenn der Wiedergabemodus durch Bedienen des Wiedergabemodusauswahlschalters ausgewählt wird, stoppt die Kamera einen Bildstabilisierungsvorgang.
<Erstes Ausführungsbeispiel>
Nun wird ein erstes Ausführungsbeispiel der Erfindung unter Bezugnahme auf 2 beschrieben, das auf einen Prozess einer Änderung einer Verstärkung für eine Bildstabilisierung unter Verwendung eines Bewegungsvektors auf der Grundlage von Informationen für eine Perspektivenbestimmung gerichtet ist. Hier bedeutet der Ausdruck „Perspektive“ ein Phänomen, dass ein Objekt mit einer kürzeren physikalischen Entfernung größer aussieht, und ein Objekt mit einer längeren physikalischen Entfernung kleiner aussieht, was von der Brennweite eines Objektivs abhängt. In 2 sind im Übrigen Abschnitte von 1, die bei der Bildstabilisierung nicht involviert sind, nicht gezeigt. Ferner sind die Zoomeinheit 101, die Blendeneinheit 103, die Bildstabilisierungseinheit 105 und die Fokussiereinheit 101 von 1 insgesamt als optische Linse 201 gezeigt.
Die Brennweite der optischen Linse 201 wird durch die Zoomansteuerungseinheit 102 verändert. Ein auf den geänderten Brennweiteninformationen beruhender Perspektivenbestimmungswert oder die Brennweiteninformationen werden von der Objektivkommunikationssteuereinheit 112 zu der Kamerakommunikationssteuereinheit 125 gesendet. Der Perspektivenbestimmungswert oder die Brennweiteninformationen, der/die durch die Kamerakommunikationssteuereinheit 125 empfangen wird/werden, wird/werden zu einer Perspektivenbestimmungsverarbeitungseinheit 211 übertragen. Unterdessen wird durch die optische Linse 201 fallendes Licht auf der Bildaufnahmeeinrichtung 205 abgebildet, und durch photoelektrische Umwandlung erhaltene digitale Bilddaten werden zu einer Bildverarbeitungseinrichtung 206 gesendet. Die zu der Bildverarbeitungseinrichtung 206 gesendeten digitalen Bilddaten werden in ein aufzuzeichnendes Hauptbild und ein zu einer Bewegungsvektorerfassungseinheit 208 zu sendendes Signal getrennt. Ein Bewegungsvektor wird auf der Grundlage von zwei zeitlich aufeinanderfolgenden Rahmen digitaler Bilddaten (aus einer Vielzahl von Rahmen von Bilddaten) erfasst, die zu der Bewegungsvektorerfassungseinheit 208 gesendet werden. Eine Globalvektorberechnungseinheit 209 berechnet aus einer Vielzahl erfasster Bewegungsvektoren einen globalen Vektor. Der berechnete globale Vektor wird durch eine Rückkopplungsberechnungseinheit 210 in ein Korrekturausmaß umgewandelt, das eine Bildstabilisierung ermöglicht, und das Korrekturausmaß wird zu der Perspektivenbestimmungsverarbeitungseinheit 211 übertragen. Hat die Perspektivenbestimmungsverarbeitungseinheit 211 bestimmt, dass eine starke Perspektive vorliegt, ändert und verringert die Perspektivenbestimmungsverarbeitungseinheit 211 ein Bildunschärfekorrekturausmaß beruhend auf dem Bewegungsvektor.
Unterdessen wird ein durch die Kamerawackelerfassungseinheit 122 erfasstes Kamerawackeln durch ein Hochpassfilter (HPF) 213 und ein Tiefpassfilter (LPF) 214 in ein Wackelkorrekturausmaß umgewandelt. Das durch die Umwandlung erhaltene Wackelkorrekturausmaß wird danach zu dem Bildunschärfekorrekturausmaß addiert, das auf dem über die Perspektivenbestimmungsverarbeitungseinheit 211 erhaltenen Bewegungsvektor beruht. Dann wird das durch die Addition erhaltene resultierende Korrekturausmaß zu einer Projektionstransformationsparametererzeugungseinheit 215 übertragen, die das Korrekturausmaß dann in einen Projektionstransformationsparameter umwandelt. Das durch die Bildverarbeitungseinrichtung 206 separierte Hauptbild (Bewegtbild) wird schließlich einer Projektionstransformation unterzogen, die durch eine Projektionstransformationseinheit unter Verwendung des Projektionstransformationsparameters durchgeführt wird, so dass eine Bildunschärfe korrigiert wird.
Nun wird ein Verfahren zur Berechnung einer Perspektivengröße unter Bezugnahme auf 3 beschrieben. 3 zeigt eine Darstellung einer Beziehung zwischen einem Bildwinkel (Θ1 + Θ2 + Θ3), innerhalb dessen ein Bild durch eine Bildaufnahmevorrichtung aufgenommen werden kann, einer Objektposition Q und einer Position q, an der ein Objekt auf einer Bildaufnahmeebene abgebildet wird. 3 zeigt auch Winkel (Θ1-Θ3), die durch gleichmäßige Unterteilung des Bildwinkels für eine Perspektivenberechnung erhalten werden, und die Anzahl von Bildelementen (y1-y3) auf der Bildaufnahmeebene, die den jeweiligen Winkeln entsprechen. Nun wird ein Berechnungsverfahren zur Schätzung einer Perspektive unter Verwendung dieser Werte beschrieben. Beziehungen zwischen Θ1, Θ2 und Θ3, die durch gleichmäßiges Unterteilen eines Bildwinkels erhalten werden, innerhalb dessen ein Bild aufgenommen werden kann, und der jeweils entsprechenden Anzahl von Bildelementen y1, y2 und y3 auf einer Bildaufnahmeeinrichtung sind wie folgt dargestellt: $y 1 = f \times tan (θ 1)$
$y2 = f \times tan (θ2)$
$y3 = f \times tan (θ3)$
Als nächstes sind Ausdrücke zur Verwendung dieser Werte zur Berechnung von Verhältnissen P(1-2), P(1-3) und P(2-3) von Bildhöhen von Perspektivengrößen und Beziehungen PD(1-2), PD(1-3) und PD(2-3) gezeigt, die genaue Bildelementdifferenzgrößen zwischen Bildhöhen aufgrund der Perspektive darstellen: $P (1 - 2) = y 1 / y 2$
$P (1 - 3) = y 1 / y3$
$P (2 - 3) = y2 / y3$
$PD (1 - 2) = | y 1 - y 2 |$
$PD (1 - 3) = | y 1 - y3 |$
$PD (2 - 3) = | y2 - y3 |$
Da der Wert von P(1-2), P(1-3) oder P(2-3) von eins weiter weg ist, wird bestimmt, dass die Perspektivengröße zwischen Bildhöhen größer ist. Die genauen Bildelementdifferenzgrößen zwischen Bildhöhen können als PD(1-2), PD(1-3) und PD(2-3) berechnet werden, und ihre Einflüsse können bestimmt werden. Der Einfluss einer Perspektivengröße wird insbesondere vorab berechnet, und wird dann berücksichtigt, wenn eine Bildstabilisierungssteuerung oder Vektorgewichtung durchgeführt wird.
Eine Signalverarbeitung gemäß diesem Ausführungsbeispiel wird unter Bezugnahme auf 4 beschrieben. Der Ablauf der Signalverarbeitung enthält eine Signalverarbeitung einer Erfassung eines Kamerawackelsignals aus einem Signal der Kamerawackelerfassungseinheit 122 des Kamerahauptkörpers 160 und einen Prozess einer Erfassung eines Bewegungsvektors aus einem durch die Bildaufnahmeeinrichtung 205 aufgenommenen Bild, wobei die Bewegungsvektorerfassungseinheit 208 verwendet wird. Die Kamerakommunikationssteuereinheit 125 ist ferner vorgesehen, die Perspektiveninformationen von der Objektivvorrichtung 150 empfängt. Kamerawackelinformationen, die von der Kamerawackelerfassungseinheit 122 beschafft werden, die einen Kreiselsensor, einen Beschleunigungssensor, usw. enthält, werden integriert, nachdem niederfrequente und hochfrequente Komponenten jeweils durch das HPF 213 und das LPF 214 entfernt wurden. Danach wird lediglich ein zu korrigierendes Kamerawackelfrequenzband in ein Bildunschärfekorrekturausmaß umgewandelt.
Aus aufeinanderfolgenden Rahmen von durch die Bildaufnahmeeinrichtung 205 erfassten digitalen Bilddaten erfasst die Bewegungsvektorerfassungseinheit 208 einen Bewegungsvektor (lokalen Bewegungsvektor) in jedem einer Vielzahl unterteilter Bereiche eines Bildes. Eine Vielzahl erfasster Bewegungsvektoren (lokaler Bewegungsvektoren) und die von der Objektivvorrichtung 150 beschafften Perspektiveninformationen werden durch eine in der Globalvektorberechnungseinheit 209 enthaltene Perspektivengewichtungseinheit 408 verwendet, um die Bewegungsvektoren in Abhängigkeit von einer Perspektivengröße mit Gewichten zu beaufschlagen. Unter Verwendung der gewichteten Bewegungsvektoren wird ein Histogramm erzeugt. Aus dem erzeugten Bewegungsvektorhistogramm erfasst die Globalvektorberechnungseinheit 209 einen Spitzenwert und berechnet einen globalen Vektor in einem Bild. Dann wird der globale Vektor einer Filterverarbeitung durch die Rückkopplungsberechnungseinheit 210 unterzogen und zu dem vorstehenden Bildunschärfekorrekturausmaß addiert, das auf der Grundlage des Signals der Kamerawackelerfassungseinheit 122 berechnet wird. Das resultierende Bildunschärfekorrekturausmaß wird durch eine Bildelementumwandlungseinheit 411 in einen Bildelementwert umgewandelt, und ein Kontaktendeprozess wird durch eine Endverarbeitungseinheit 412 ausgeführt. Schließlich wird das Bildunschärfekorrekturausmaß in einer elektronischen Bildunschärfekorrekturausmaßeinstelleinheit 413 eingestellt, und eine Bildstabilisierung wird ausgeführt.
5 zeigt ein Ablaufdiagramm eines Vorgangs eines Bildstabilisierungsprozesses gemäß diesem Ausführungsbeispiel. Während des Starts des Bildstabilisierungsprozesses wird eine durch die Kamerawackelerfassungseinheit 122 erfasste Wackelgröße einer Filterung zur Berechnung eines Kamerawackelausmaßes in Schritt S501 unterzogen. In Schritt S502 werden dann Informationen hinsichtlich einer Perspektive für die Objektivvorrichtung 150 beschafft. In Schritt S503 erfasst die Bewegungsvektorerfassungseinheit 208 dann eine Vielzahl von Bewegungsvektoren aus durch die Bildaufnahmeeinrichtung 205 aufgenommenen aufeinanderfolgenden Bildern. In Schritt S504 beaufschlagt die Perspektivengewichtungseinheit 408 die Bewegungsvektoren mit Gewichten gemäß den Perspektiveninformationen und erzeugt ein Bewegungsvektorhistogramm, in dem die Achsen die Größe eines Bewegungsvektors und die Anzahl erfasster Bewegungsvektoren darstellen.
In Schritt S505 sucht die Gobalvektorberechnungseinheit 209 nach einem Spitzenwert in dem in Schritt S504 erzeugten Bewegungsvektorhistogramm und stellt einen gefundenen Spitzenwert als globalen Vektor in einem Bild ein. In Schritt S506 führt die Rückkopplungsberechnungseinheit 210 eine Filterung bei dem berechneten globalen Vektor durch und berechnet ein bewegungsvektorbasiertes Bildunschärfekorrekturausmaß. In Schritt S507 multipliziert die Perspektivenbestimmungsverarbeitungseinheit 211 das bewegungsvektorbasierte Bildunschärfekorrekturausmaß mit einer von einer Perspektivengröße abhängigen Verstärkung. In Schritt S508 wird das aus dem Signal der Kamerawackelerfassungseinheit 122 berechnete Kamerawackelausmaß mit dem aus dem Bewegungsvektoren berechneten Bildunschärfekorrekturausmaß kombiniert. In Schritt S509 wandelt die Bildelementumwandlungseinheit 411 das kombinierte Bildunschärfekorrekturausmaß in einen Bildelementwert für die Bildaufnahmeeinrichtung 205 um. In Schritt S510 schneidet die Endverarbeitungseinheit das Bildunschärfekorrekturausmaß nach der Bildelementumwandlung auf einen oberen Grenzwert zu, unter dem die Korrektur erlaubt ist. In Schritt S511 stellt die elektronische Bildunschärfekorrekturausmaßeinstelleinheit 413 das zugeschnittene Bildunschärfekorrekturausmaß schließlich für einen elektronischen Stabilisierungsprozess ein, und eine elektronische Bildstabilisierung wird ausgeführt. Wurde in Schritt S512 bestimmt, dass die Bildstabilisierung eingeschaltet ist, wird der Vorgang dieses Ablaufs wiederholt, und die Bildstabilisierung wird für ein Bewegtbild kontinuierlich ausgeführt.
6 zeigt ein Ablaufdiagramm eines Vorgangs eines Perspektivenbestimmungsprozesses in Schritt S507 in 5. Bei dem Perspektivenbestimmungsprozess wird zu Beginn in Schritt S601 ein Varianzwert Θ (vec) der erfassten Bewegungsvektoren unter Verwendung der Ausdrücke (10) und (11) berechnet. $Vec (Durchschnitt) = \frac{1}{n} \sum_{i = 1}^{n} V e c (i)$
$θ (vec) = \frac{1}{n} \sum_{i = 1}^{n} {(V e c (i) - V e c (D u r c h s c h n i t t))}^{2}$
Als nächstes wird eine Verstärkung für eine bewegungsvektorbasierte Bildstabilisierung auf der Grundlage des Varianzwerts Θ (vec) der Bewegungsvektoren berechnet. In Schritt S602 berechnet die Rückkopplungsberechnungseinheit 210 eine Verstärkung für ein bewegungsvektorbasiertes Bildunschärfekorrekturausmaß auf der Grundlage des Werts einer Perspektivengröße, der aus Informationen geschätzt wird, die von der Objektivvorrichtung 150 beschafft werden. In Schritt S603 wird die aus dem Varianzwert Θ (vec) der Bewegungsvektoren berechnete Verstärkung mit einer Verstärkung multipliziert, die dem Perspektivenbestimmungswert entspricht, um eine endgültige Verstärkung für das bewegungsvektorbasierte Bildunschärfekorrekturausmaß zu bestimmen.
Die 7A bis 7F zeigen Darstellungen zur Beschreibung des Verfahrens zur Berechnung einer Verstärkung für ein perspektivenbasiertes Bildunschärfekorrekturausmaß auf der Grundlage der Perspektive und des Verfahrens zur Berechnung einer Verstärkung für ein Bildunschärfekorrekturausmaß auf der Grundlage des Varianzwerts von Bewegungsvektoren, die vorstehend unter Bezugnahme auf 6 beschrieben wurden. Wenn das Objektiv einen kleinen Änderungsbereich der Perspektivengröße aufweist, hat das Bewegungsvektorhistogramm, in dem die Achsen die Größe eines Bewegungsvektors und die Anzahl erfasster Bewegungsvektoren darstellen, eine geringe Varianz, und weist eine signifikante Spitzenwertklasse 701 auf, wie es in 7A gezeigt ist. Wenn das Objektiv dagegen einen großen Änderungsbereich der Perspektivengröße aufweist, ist die Varianzbreite von Bewegungsvektoren größer, und eine Spitzenwertklasse 702 liegt näher an anderen Vektorklassen, wie es in 7B gezeigt ist.
Wenn die Kamera wackelt, tritt in dieser Situation ein Phänomen auf, bei dem ein Bereich, der eine Perspektivengröße aufweist, die von der eines Bereichs verschieden ist, in dem ein Objekt vorhanden ist, verschoben wird, und daher eine korrekte Spitzenwertklasse 703, die durch eine gepunktete Linie angegeben ist, zu einer schraffierten Klasse 704 verschoben wird, wie es in 7C gezeigt ist. Dieses Phänomen ist besonders auf einer Ultraweitseite erheblich, die eine große Perspektivengröße aufweist, was die Stabilität der Bildstabilisierung beeinflusst. Dieses Phänomen hat insbesondere auf die Leistung der bewegungsvektorbasierten Bildstabilisierung erheblich negativen Einfluss, wie der Rückkopplung von Bewegungsvektoren zu einer optischen Bildstabilisierung, Identifizierung eines Offset-Ausmaßes der Kamerawackelerfassungseinheit 122, usw.
Bei diesem Ausführungsbeispiel werden unter Berücksichtigung des vorstehenden ein Durchschnittswert 705 von Bewegungsvektoren und ein Varianzwert Θ706 aus deren Durchschnittswert berechnet, wie es in 7D gezeigt ist. Eine Verstärkung für ein bewegungsvektorbasiertes Korrekturausmaß wird auf der Grundlage des Varianzwerts Θ berechnet, wie es in 7E gezeigt ist, wodurch der Einfluss der Perspektive gesteuert wird. Außerdem wird eine Verstärkung für das bewegungsvektorbasierte Korrekturausmaß auf der Grundlage eines Perspektivenbestimmungswerts berechnet, der aus einem von der Objektivvorrichtung 150 beschafften Wert berechnet wird, wie es in 7F gezeigt ist, wodurch der Einfluss der Perspektive gesteuert wird. Durch Multiplizieren dieser zwei Verstärkungen wird der nachteilige Einfluss der Perspektive mit hoher Genauigkeit abgesondert, und die Stabilität der Bildstabilisierungsleistung wird daher verbessert. Außerdem wird der nachteilige Einfluss auf die Offset-Identifizierung der Kamerawackelerfassungseinheit 122 beseitigt.
Selbst wenn ein Objektiv angebracht ist, das eine große Perspektivengröße verursacht, wird gemäß diesem Ausführungsbeispiel eine Verstärkung für eine bewegungsvektorbasierte Bildstabilisierung in Abhängigkeit von einer Perspektivengröße verändert. Wenn die Perspektivengröße groß ist, wird eine Verstärkung für eine bewegungsvektorbasierte Bildstabilisierung reduziert. Infolgedessen kann selbst dann, wenn ein Objektiv angebracht ist, das eine große Perspektivengröße verursacht, eine stabile Bildstabilisierung durchgeführt werden.
<Zweites Ausführungsbeispiel>
Nun wird ein Perspektivengewichtungsprozess gemäß einem zweiten Ausführungsbeispiel der Erfindung beschrieben. Das zweite Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel im Vorgang der Erzeugung eines Perspektivengewichtungshistogramms in Schritt S504 in 5. 8 zeigt eine Darstellung eines Vorgangs der Erzeugung eines Perspektivengewichtungshistogramms gemäß dem zweiten Ausführungsbeispiel.
Zu Beginn wird in Schritt S801 in jedem Bewegungsvektorerfassungsbereich eine Gewichtung durchgeführt. Ein Gewicht verändert sich in Abhängigkeit von einer Differenz der Größe einer Perspektivengröße, die aus einem von der Objektivvorrichtung 150 beschafften Wert berechnet wird. Danach wird in Schritt S802 ein Bewegungsvektorhistogramm, in dem die Achsen die Größe eines Bewegungsvektors und die Anzahl erfasster Bewegungsvektoren darstellen, unter Verwendung gewichteter Bewegungsvektoren erzeugt. Der Einfluss eines Bewegungsvektors in einem Bereich mit einer großen Perspektivengrößenänderung kann verringert werden.
9 zeigt eine Darstellung zur Beschreibung der relativen Ordnung der Größen von Perspektivengrößen, der Anordnung von Bewegungsvektoren und von Gewichten, mit denen die Bewegungsvektoren beaufschlagt werden. In einem Bereich, in dem durch das optische System der Objektvorrichtung 150 fallendes Licht auf der Bildaufnahmeeinrichtung 205 abgebildet wird, erhöht sich eine Variation in der Perspektivengröße besonders, wenn man sich vom optischen Zentrum an die Peripherie bewegt. Ein Bereich 901, in dem es größere Veränderungen der Perspektivengröße gibt, ist mit einer durchgezogenen Linie umgeben, und ein Bereich 902, in dem es kleinere Veränderungen der Perspektivengröße gibt, ist durch eine schraffierte Ellipse dargestellt. Bewegungsvektoren, die in Bewegungsvektorerfassungsrahmen 903 erfasst werden, die in dem Bereich mit größeren Veränderungen der Perspektivengröße vorgesehen sind, sind aufgrund der großen Veränderung der Perspektivengröße für eine Bewegung instabil. Dagegen sind Bewegungsvektoren, die in Bewegungsvektorerfassungsrahmen 904 erfasst werden, die in dem Bereich mit kleinen Veränderungen der Perspektivengröße vorgesehen sind, für eine Bewegung stabil.
Die 10A und 10B zeigen Darstellungen zur Beschreibung einer Gewichtung in Abhängigkeit von einer Veränderung der Perspektivengröße und ihres Ergebnisses. In 10A werden Bewegungsvektoren mit Gewichten in Abhängigkeit von einer Veränderung der Perspektivengröße beaufschlagt. 10A zeigt eine Eingangs-/ Ausgangsfunktionsform, in der die horizontale Achse eine Veränderung der Perspektivengröße darstellt und die vertikale Achse ein Gewicht α darstellt. Das Gewicht α nimmt einen kontinuierlichen Wert von eins (Maximum) bis null an und verändert sich zwischen null und eins in Abhängigkeit von einer Veränderung der Perspektivengröße. Durch Widerspiegeln dieser Gewichtung in der Anzahl erfasster Bewegungsvektoren in einem Bewegungsvektorhistogramm, wie in 10B gezeigt, werden unter unveränderter Beibehaltung einer Spitzenwertklasse 1002 andere Klassen reduziert, das heißt, durch eine gepunktete Linie angegebene Klassenabschnitte 1003 werden aus Klassen in einem Bereich mit größeren Veränderungen der Perspektivengröße entfernt. Infolgedessen kann der Einfluss instabiler Bewegungsvektoren in einem Bereich mit größeren Veränderungen der Perspektivengröße verringert werden.
Das vorstehende Merkmal dieses Ausführungsbeispiels ist nicht nur bei der Verbesserung der Stabilität einer bewegungsvektorbasierten Bildstabilisierung effektiv, sondern auch beim Rückkoppeln eines Bewegungsvektors in Figur 11 und Identifizierung eines Offset einer Wackelerfassungseinrichtung in 12, was nun beschrieben wird.
Ein in 11 gezeigter Signalverarbeitungsfluss beinhaltet eine Signalverarbeitung einer Erfassung eines Kamerawackelsignals aus einem Signal der Kamerawackelerfassungseinheit 122 des Kamerahauptkörpers 160 und einen Prozess eines Erfassens eines Bewegungsvektors aus einem durch die Bildaufnahmeeinrichtung 205 aufgenommenen Bild unter Verwendung der Bewegungsvektorerfassungseinheit 208. Ferner ist die Kamerakommunikationssteuereinheit 125 vorgesehen, die Perspektiveninformationen von der Objektivvorrichtung 250 empfängt. Außerdem ist die optische Bildstabilisierungssteuereinheit 106 vorgesehen, die eine Bildunschärfe durch optische Betätigung einer Verschiebungslinse korrigiert. Eine Bewegungsvektorrückkopplung zur Korrektur eines niederfrequenten Wackelns ist vorgesehen, das ein Kreiselsensor, usw. schwer erfassen kann, indem ein durch eine Kamera erfasster Bewegungsvektor über die Objektivkommunikationssteuereinheit 112 rückgekoppelt wird. Kamerawackelinformationen, die von der Kamerawackelerfassungseinheit 112 beschafft werden, die einen Kreiselsensor, einen Beschleunigungssensor, usw. enthält, werden integriert, nachdem niederfrequente und hochfrequente Komponenten jeweils durch das HPF 213 und das LPF 214 daraus entfernt wurden. Danach wird nur das zu korrigierende Kamerawackelfrequenzband in ein Bildunschärfekorrekturausmaß umgewandelt.
Die Bewegungsvektorerfassungseinheit 208 erfasst aus aufeinanderfolgenden Rahmen digitaler Bilddaten, die durch die Bildaufnahmeeinrichtung 205 aufgenommen werden, eine Vielzahl von Bewegungsvektoren. Die erfassten Bewegungsvektoren und die von der Objektivvorrichtung 150 beschafften Perspektiveninformationen werden durch die in der Globalvektorberechnungseinheit 209 enthaltene Perspektivengewichtungseinheit 408 verwendet, um die Bewegungsvektoren in Abhängigkeit von einer Perspektivengröße mit Gewichten zu beaufschlagen. Unter Verwendung der gewichteten Bewegungsvektoren wird ein Histogramm erzeugt. Aus dem erzeugten Bewegungsvektorhistogramm erfasst die Globalvektorberechnungseinheit 209 einen Spitzenwert und berechnet einen globalen Vektor in einem Bild. Der globale Vektor wird von dem Kamerahauptkörper 160 zu der optischen Bildstabilisierungssteuereinheit 106 in der Objektivvorrichtung 150 übertragen, wodurch der Bildstabilisierungseffekt eines Bewegungsvektors, der insbesondere in einem niederfrequenten Bereich effektiv ist, bei der optischen Bildstabilisierung angewendet werden kann. Dann wird der globale Vektor durch die Rückkopplungsberechnungseinheit 210 einer Filterungsverarbeitung unterzogen und zu dem vorstehenden Bildunschärfekorrekturausmaß addiert, das beruhend auf einem Signal der Kamerawackelerfassungseinheit 122 berechnet wird. Das resultierende Bildunschärfekorrekturausmaß wird durch die Bildelementumwandlungseinheit 411 in einen Bildelementwert umgewandelt, und durch die Endverarbeitungseinheit 412 wird ein Kontaktendprozess ausgeführt. Schließlich wird das Bildunschärfekorrekturausmaß in der elektronischen Bildunschärfekorrekturausmaßeinstelleinheit 413 eingestellt, und eine Bildstabilisierung wird ausgeführt. Bei diesem Verfahren ist auch der Perspektivengewichtungsprozess effektiv und trägt zu einer Verbesserung der Stabilität einer optischen Bildstabilisierung bei.
Ein in 12 gezeigter Signalverarbeitungsfluss enthält eine Signalverarbeitung einer Erfassung eines Kamerawackelsignals aus einem Signal der Kamerawackelerfassungseinheit 122 des Kamerahauptkörpers 160 und einen Prozess eines Erfassens eines Bewegungsvektors aus einem durch die Bildaufnahmeeinrichtung 205 aufgenommenen Bild unter Verwendung der Bewegungsvektorerfassungseinheit 208. Die Kamerakommunikationssteuereinheit 125 ist vorgesehen, die Perspektiveninformationen von der Objektivvorrichtung 150 empfängt. Außerdem ist eine Offset-Identifizierungsverarbeitungseinheit 1514 vorgesehen, die globale Bewegungsvektoren zeitlich aufeinanderfolgend zur Schätzung eines in der Ausgabe der Kamerawackelerfassungseinheit 122 enthaltenen Offset zu schätzen und den Offset der Kamerawackelerfassungseinheit 122 zu beseitigen.
Die Bewegungsvektorerfassungseinheit 208 erfasst aus aufeinanderfolgenden Rahmen digitaler Bilddaten, die durch die Bildaufnahmeeinrichtung 205 aufgenommen werden, eine Vielzahl von Bewegungsvektoren. Die erfassten Bewegungsvektoren und die von der Objektivvorrichtung 150 beschafften Perspektiveninformationen werden durch die Perspektivengewichtungseinheit 408 verwendet, um die Bewegungsvektoren mit Gewichten in Abhängigkeit von einer Perspektivengröße zu beaufschlagen. Unter Verwendung der gewichteten Bewegungsvektoren wird ein Histogramm erzeugt. Aus dem erzeugten Bewegungsvektorhistogramm erfasst die Globalvektorberechnungseinheit 209 einen Spitzenwert und berechnet einen globalen Vektor in einem Bild. Von der Kamerawackelerfassungseinheit 122, wie einem Kreiselsensor, usw. beschaffte Kamerawackelinformationen werden mit globalen Vektoren in Bildern in zeitlicher Aufeinanderfolge verglichen, wodurch ein Offset für den Kreiselsensor beseitigt wird. Die Kamerawackelinformationen, aus denen der Offset beseitigt wurde, werden integriert, nachdem niederfrequente und hochfrequente Komponenten daraus jeweils durch das HPF 213 und das LPF 214 beseitigt wurden. Danach wird lediglich ein zu korrigierendes Kamerawackelfrequenzband in ein Bildunschärfekorrekturausmaß umgewandelt. Der globale Vektor wird durch die Rückkopplungsberechnungseinheit 210 einer Filterungsverarbeitung unterzogen und zu dem vorstehend berechneten Bildunschärfekorrekturausmaß addiert. Das resultierende Bildunschärfekorrekturausmaß wird durch die Bildelementumwandlungseinheit 411 in einen Bildelementwert umgewandelt, und durch die Endverarbeitungseinheit 412 wird ein Kontaktendprozess ausgeführt. Schließlich wird das Bildunschärfekorrekturausmaß in der elektronischen Bildunschärfekorrekturausmaßeinstelleinheit 413 eingestellt, und eine Bildstabilisierung wird ausgeführt.
Bei diesem Verfahren ist der Perspektivengewichtungsprozess auch effektiv und trägt zu einer Verbesserung der Stabilität der optischen Bildstabilisierung bei.
Selbst wenn ein Objektiv angebracht wird, das eine große Perspektivengröße verursacht, werden gemäß diesem Ausführungsbeispiel Bewegungsvektoren mit von einer Perspektivengröße abhängigen Gewichten beaufschlagt. Insbesondere dann, wenn eine Perspektivengröße groß ist, wird ein Gewicht verringert, mit dem ein Bewegungsvektor beaufschlagt wird. Infolgedessen kann der Einfluss eines in einem Bereich mit einer großen Perspektivengröße erfassten Bewegungsvektors reduziert werden, und dadurch kann eine stabile Bildstabilisierungsleistung erreicht werden.
<Drittes Ausführungsbeispiel>
Nun wird ein Perspektivengewichtungsprozess gemäß einem dritten Ausführungsbeispiel der Erfindung beschrieben. Das dritte Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel in dem Vorgang der Erzeugung eines Perspektivengewichtungshistogramms in Schritt S504 von 5. 13 zeigt eine Darstellung eines Vorgangs einer Erzeugung eines Perspektivengewichtungshistogramms gemäß dem dritten Ausführungsbeispiel.
Zu Beginn wird ein in jedem Bewegungsvektorerfassungsrahmen erfasster Bewegungsvektor mit einem Gewicht beaufschlagt, wenn es einen großen Unterschied in einer Veränderung der Perspektivengröße gibt, die von einem Objektiv vor und nach einer Bewegung beschafft wird. Das Gewicht variiert in Abhängigkeit von Richtung und Position des erfassten Bewegungsvektors. Die gewichteten Bewegungsvektoren werden zur Erzeugung eines Bewegungsvektorhistogramms verwendet, in dem die Achsen die Größe eines Bewegungsvektors und die Anzahl erfasster Bewegungsvektoren darstellen. Dieser Prozess ermöglicht die Verringerung des Einflusses instabiler Bewegungsvektoren, die aus Bereichen ausgegeben werden, in denen eine Veränderung der Perspektivengröße in einem Bewegungsvektorerfassungsrahmen erheblich ist.
Nun werden die relative Ordnung der Veränderungsgrößen der Perspektivengröße in einem Bewegungsvektorerfassungsrahmen, die Anordnung von Bewegungsvektoren und Gewichte, mit denen die Bewegungsvektoren beaufschlagt werden, unter Bezugnahme auf 14 beschrieben. In einem Bereich, in dem durch das optische System der Objektivvorrichtung 150 fallendes Licht auf der Bildaufnahmeeinrichtung 205 abgebildet wird, erhöht sich die Veränderung der Perspektivengröße insbesondere vom optischen Zentrum zur Peripherie. Ein Bereich 1201, in dem es größere Veränderungen in der Perspektivengröße gibt, ist mit einer durchgezogenen Linie umgeben, und ein Bereich 1202, in dem es kleinere Veränderungen der Perspektivengröße gibt, ist durch eine schraffierte Ellipse dargestellt. Von Bewegungsvektoren, die in Bewegungsvektorerfassungsrahmen 1203 erfasst werden, die in dem Bereich mit größeren Veränderungen der Perspektivengröße vorgesehen sind, ist ein Bewegungsvektor mit einer Richtung, in der die Differenz der Perspektivengröße vor und nach der Bewegung groß ist, instabil.
Beruhend darauf werden eine Gewichtung in Abhängigkeit von einer Veränderung der Perspektivengröße in einem Erfassungsrahmen und ihr Ergebnis unter Bezugnahme auf die 15A bis 15C beschrieben.
Unter Bezugnahme auf 15A wird eine Perspektivengewichtungsrichtung beschrieben. Eine Perspektivengröße erhöht sich von einem Kreis 1302 zu einem Kreis 1303. Die Kreise 1301 und 1302 sind konzentrische Kreise, deren Mittelpunkt eine optische Achse 1301 ist. Daher gibt es eine größere Perspektivenänderung für einen Bewegungsvektor 1307, der in der Richtung einer Geraden 1304 erfasst wird, die sich radial von der optischen Achse erstreckt. Dagegen gibt es eine kleinere Perspektivenveränderung für einen Bewegungsvektor 1308, der in tangentialer Richtung 1306 des konzentrischen Kreises erfasst wird. Die Perspektivenveränderung kann als Länge und Position (Bildaufnahmeentfernung) einer Projektion eines erfassten Bewegungsvektors auf eine Gerade berechnet werden, die sich radial vom Mittelpunkt, das heißt, der optischen Achse erstreckt. Die so berechnete Perspektivenveränderung kann in 15B als Eingabe verwendet werden. In 15B wird jeder Bewegungsvektor mit einem Gewicht beaufschlagt. Das Gewicht verändert sich in Abhängigkeit von einer Veränderung der Perspektivengröße in Bereichen vor und nach einer Bewegung in einem Erfassungsrahmen. 15B zeigt eine Eingangs-/ Ausgangsfunktionsform, in der die horizontale Achse eine Veränderung der Perspektivengröße vor und nach einer Bewegung in einem Erfassungsrahmen darstellt, und die vertikale Achse ein Gewicht α darstellt. Das Gewicht α nimmt einen kontinuierlichen Wert von eins (Maximum) bis null an und verändert sich zwischen null und eins in Abhängigkeit von einer Veränderung der Perspektivengröße. Das Gewicht α ist für einen Bewegungsvektor auf null gesetzt, für den es eine große Veränderung der Perspektivengröße vor und nach einer Bewegung in einem Erfassungsrahmen gibt. Infolgedessen wird ein Klassenabschnitt 1310, der in einem Bereich erfasst wird, in dem eine große Veränderung der Perspektivengröße vor und nach einer Bewegung in einem Erfassungsrahmen vorhanden ist, der durch eine gepunktete Linie angegeben ist, aus einer Spitzenwertklasse beseitigt. Infolgedessen kann verhindert werden, dass sich der Spitzenwertklassenabschnitt zu einem Klassenabschnitt 1311 (der schraffiert angegeben ist) in einer angrenzenden Klasse verschiebt. Daher kann der Einfluss eines instabilen Bewegungsvektors verringert werden.
Selbst wenn ein Objektiv angebracht ist, das eine große Perspektivengröße verursacht, werden gemäß diesem Ausführungsbeispiel Bewegungsvektoren in Abhängigkeit von einer Veränderung der Perspektivengröße mit Gewichten beaufschlagt. Infolgedessen kann der Einfluss eines Bewegungsvektors, der aus einem repräsentativen Punkt (Merkmalspunkt) berechnet wird, der in einem Bereich mit einer unterschiedlichen Perspektivengröße erfasst wird, beseitigt werden. Daher kann eine stabile Bildstabilisierungsleistung bzw. Bildstabilisierungsdurchführung erreicht werden.
Weitere Ausführungsbeispiele
Ausführungsbeispiele der Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (das vollständiger als auch ‚nicht flüchtiges computerlesbares Speichermedium‘ bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (beispielsweise ein Programm oder mehrere Programme) zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele ausliest und ausführt, und/ oder der eine oder mehrere Schaltungen (beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren beispielsweise durch Auslesen und Ausführen der computerausführbaren Anweisungen aus dem Speichermedium zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele und/ oder Steuern der Schaltung oder mehreren Schaltungen zur Durchführung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit („central processing unit“, CPU), Mikroverarbeitungseinheit („micro processing unit“, MPU)) umfassen und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann beispielsweise eine Festplatte und/ oder einen Speicher mit wahlfreiem Zugriff („random-access memory“, RAM) und/ oder einen Nurlesespeicher („read only memory“, ROM), und/ oder einen Speicher verteilter Rechensysteme und/ oder eine optische Scheibe (wie eine Compaktdisc (CD), Digital Versatile Disc (DVD) oder Blu-ray Disc (BD)™) und/ oder eine Flashspeichereinrichtung und/ oder eine Speicherkarte und dergleichen enthalten.
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen entsprechender Modifikationen und äquivalenten Strukturen und Funktionen zukommen.
Eine Bildstabilisierungsvorrichtung enthält eine Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, eine Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und eine Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird. Die Berechnungseinrichtung ändert Gewichte, mit denen der Bewegungsvektor beaufschlagt wird, und das Wackeln der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von Informationen hinsichtlich einer Perspektive des Objektivs, die durch die Beschaffungseinrichtung beschafft werden.

Claims

Bildstabilisierungsvorrichtung mit einer Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und einer Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei die Berechnungseinrichtung zur Änderung von Gewichten, mit denen der Bewegungsvektor beaufschlagt wird, und des Wackelns der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von durch die Beschaffungseinrichtung beschafften Informationen hinsichtlich einer Perspektive des Objektivs eingerichtet ist.
Bildstabilisierungsvorrichtung nach Anspruch 1, wobei wenn eine Änderung der Perspektive des Objektivs größer als ein vorbestimmter Wert ist, die Berechnungseinrichtung zur Verringerung des Gewichts eingerichtet ist, mit dem der Bewegungsvektor beaufschlagt wird, um das Bildunschärfekorrekturausmaß zu berechnen.
Bildstabilisierungsvorrichtung nach Anspruch 1, wobei die Bewegungsvektorerfassungseinrichtung zur Unterteilung eines durch die Bildaufnahmeeinrichtung aufgenommenen Bildes in eine Vielzahl von Bereichen und Berechnung eines einzelnen globalen Vektors als den Bewegungsvektor unter Verwendung lokaler Bewegungsvektoren eingerichtet ist, die in den jeweiligen unterteilten Bereichen erhalten werden.
Bildstabilisierungsvorrichtung nach Anspruch 3, wobei die Bewegungsvektorerfassungseinrichtung eingerichtet ist, jeden der lokalen Bewegungsvektoren, die in den jeweiligen unterteilten Bereichen erhalten werden, mit einem Gewicht in Abhängigkeit von der Perspektive des Objektivs zu beaufschlagen, um den globalen Vektor zu berechnen.
Bildstabilisierungsvorrichtung nach Anspruch 4, wobei die Bewegungsvektorerfassungseinrichtung eingerichtet ist, jeden der lokalen Bewegungsvektoren, die in den jeweiligen unterteilten Bereichen erhalten werden, mit einem Gewicht in Abhängigkeit von der Perspektive des Objektivs zu beaufschlagen, und danach ein Histogramm der lokalen Bewegungsvektoren zu erzeugen, die in den jeweiligen unterteilten Bereichen erhalten werden, und den globalen Vektor auf der Grundlage des Histogramms zu berechnen.
Bildstabilisierungsvorrichtung nach Anspruch 5, wobei die Berechnungseinrichtung zur Änderung der Gewichte, mit denen die Bewegungsvektoren beaufschlagt werden, in Abhängigkeit von Varianzwerten der Bewegungsvektoren in dem Histogramm eingerichtet ist.
Bildstabilisierungsvorrichtung nach Anspruch 3, wobei bei der Berechnung des globalen Vektors durch die Bewegungsvektorerfassungseinrichtung die Gewichte, mit denen die lokalen Bewegungsvektoren, die in den unterteilten Bereichen in einer Peripherie des Bildes erhalten werden, kleiner sind als die Gewichte, mit denen die lokalen Bewegungsvektoren beaufschlagt werden, die in den unterteilten Bereichen nahe eines Zentrums des Bildes erhalten werden.
Bildstabilisierungsvorrichtung nach Anspruch 1, wobei die Informationen hinsichtlich der Perspektive des Objektivs einen Perspektivenbestimmungswert enthalten, der aus einem Verhältnis einer ersten Bildaufnahmeentfernung und einer zweiten Bildaufnahmeentfernung oder einer Differenz der Anzahl an Bildelementen zwischen der ersten und der zweiten Bildaufnahmeentfernung berechnet wird, wobei die erste und zweite Bildaufnahmeentfernung jeweils durch Projizieren eines ersten Winkels und eines zweiten Winkels auf eine Bildaufnahmeebene erhalten werden, wobei der erste und der zweite Winkel jeweils durch gleichmäßiges Einteilen eines Bildwinkels erhalten werden, der aus einer Brennweite des Objektivs und einer Größe der Bildaufnahmeebene berechnet wird, wobei der erste Winkel näher an einer optischen Achse des Objektivs als der zweite Winkel ist.
Bildstabilisierungsvorrichtung nach Anspruch 3, wobei die Berechnungseinrichtung eingerichtet ist, den lokalen Bewegungsvektor mit einem Gewicht in Abhängigkeit von einer Größe einer Projektion eines lokalen Bewegungsvektors auf eine Gerade zu beaufschlagen, die sich radial von einer optischen Achse als Mittelpunkt erstreckt.
Bildstabilisierungsvorrichtung nach Anspruch 1, ferner mit einer Bildstabilisierungseinrichtung zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Berechnungseinrichtung berechneten Bildunschärfekorrekturausmaßes.
Bildaufnahmevorrichtung mit einer Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes und einer Bildstabilisierungsvorrichtung mit einer Beschaffungseinrichtung zur Beschaffung von Informationen über ein Objektiv, einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors aus einer Vielzahl von durch die Bildaufnahmeeinrichtung aufgenommenen Bildern und einer Berechnungseinrichtung zur Berechnung eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des durch die Bewegungsvektorerfassungseinrichtung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, die durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei die Berechnungseinrichtung Gewichte, mit denen der Bewegungsvektor beaufschlagt wird, und das Wackeln der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von durch die Beschaffungseinrichtung beschafften Informationen bezüglich einer Perspektive des Objektivs ändert.
Verfahren zur Steuerung einer Bildstabilisierungsvorrichtung, mit Beschaffen von Informationen über ein Objektiv, Erfassen eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und Berechnen eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des bei der Bewegungsvektorerfassung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei die Berechnung eine Änderung von Gewichten, mit denen der Bewegungsvektor beaufschlagt wird, und des Wackelns der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von bei dem Beschaffen beschafften Informationen hinsichtlich einer Perspektive des Objektivs enthält.
Computerlesbares Speichermedium, das ein Programm speichert, das einen Computer zur Ausführung von Schritten eines Verfahrens zur Steuerung einer Bildstabilisierungsvorrichtung veranlasst, wobei das Verfahren umfasst Beschaffen von Informationen über ein Objektiv, Erfassen eines Bewegungsvektors aus einer Vielzahl von durch eine Bildaufnahmeeinrichtung zur Aufnahme eines Objektbildes aufgenommenen Bildern und Berechnen eines Bildunschärfekorrekturausmaßes zur Korrektur einer Bildunschärfe auf der Grundlage des bei der Bewegungsvektorerfassung erfassten Bewegungsvektors und eines Wackelns einer Bildaufnahmevorrichtung, das durch eine Wackelerfassungseinrichtung zur Erfassung des Wackelns der Bildaufnahmevorrichtung erfasst wird, wobei das Berechnen eine Änderung von Gewichten, mit denen der Bewegungsvektor beaufschlagt wird, und des Wackelns der Bildaufnahmevorrichtung zur Berechnung des Bildunschärfekorrekturausmaßes auf der Grundlage von Informationen hinsichtlich einer Perspektive des Objektivs enthält, die bei der Beschaffung beschafft werden.