DE102015119400B4

DE102015119400B4 - Mehrfachkameravorrichtung und Verfahren zum synchronisierten Autofokussieren

Info

Publication number: DE102015119400B4
Application number: DE102015119400.7A
Authority: DE
Inventors: By-Her W. Richards; Sean C. Kelly; Kevin W. Johnson
Original assignee: Motorola Mobility LLC
Current assignee: Motorola Mobility LLC
Priority date: 2014-11-21
Filing date: 2015-11-11
Publication date: 2022-08-04
Anticipated expiration: 2035-11-12
Also published as: US11022858B2; US20160147131A1; CN105635564A; DE102015119400A1; GB2532606A; GB201519777D0; GB2532606B

Abstract

Vorrichtung, umfassend:eine Mehrzahl von Kameraeinheiten, deren jede ein Objektiv, einen Sensor und einen Aktuator zum Einstellen der Objektivposition umfasst; und eine Steuerlogik, die mit jeder Kameraeinheit wirkverbunden ist und die wirksam ist für:die Durchführung einer Parallaxenoperation unter Verwendung von wenigstens zwei Einzelbildern von wenigstens zwei Kameraeinheiten zum Bestimmen einer gemeinsamen Brennweite im Anschluss an die Beendigung von unabhängigen Autofokussierungen und Einstellungen der jeweiligen Objektivposition für die wenigstens zwei Kameraeinheiten,wobei jedes der wenigstens zwei Einzelbilder mit der jeweiligen ersten Kameraeinheit oder der jeweiligen zweiten Kameraeinheit unter Verwendung der unabhängigen Autofokussierungen und jeweiligen Einstellungen der Objektivpositionen aufgenommen wird; unddie Bereitstellung eines Steuersignals an wenigstens einen Kameraeinheit-Aktuator, um in Reaktion auf die Bestimmung der gemeinsamen Brennweite den Aktuator der wenigstens einen Kameraeinheit einzustellen, um das Objektiv der wenigstens einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition festzulegen,wobei eine der wenigstens zwei Kameraeinheiten eine kleinere Blende hat als die andere der wenigstens zwei Kameraeinheiten,wobei die Steuerlogik wirksam ist für:das Bestimmen, ob die Parallaxenoperation in einem interessierenden Überlappungsbereich fehlschlägt, unddas Verwenden einer durch die Kameraeinheit mit der kleineren Blende bestimmten Brennweite als gemeinsame Brennweite, wenn die Parallaxenoperation in dem interessierenden Überlappungsbereich fehlschlägt.

Description

GEBIET DER ERFINDUNG
Vorliegende Erfindung betrifft allgemein Abbildungsvorrichtungen wie Digitalkameras und insbesondere Verfahren und Vorrichtungen zum Kalibrieren und Synchronisieren der Autofokussierung für Abbildungsvorrichtungen.
HINTERGRUND
Viele Abbildungsvorrichtungen wie Digitalkameras verfügen über eine Autofokusfunktion, durch welche ein Objektiv mittels eines Aktuators mechanisch bewegt wird, um ein scharfes Bild aufzunehmen. Eine Autofokus-Routine bestimmt die Bildschärfe für die spezifische Objektivposition und kann die Objektivposition iterieren, bis der Algorithmus an einer endgültigen Objektivposition konvergiert.
Die Situation ist komplizierter, wenn bei der Bildaufnahme zwei oder mehr Kameraeinheiten mit entsprechenden zwei oder mehr Objektiven verwendet werden und jede Kameraeinheit dabei ihre eigene Autofokusfunktion verwendet. Die Probleme im Zusammenhang mit der Autofokus-Synchronisation in einer Mehrfachkamera sind bei bestehenden Abbildungssystemen scheinbar ungelöst.
Zum Beispiel müssen die Autofokus-Routinen in einem System mit zwei Kameras vor der Bildaufnahme für jede Kamera konvergieren, und die beiden Kameras müssen die Bildaufnahme gleichzeitig starten. Andernfalls können zwei Szenarien auftreten. In einem Szenario ist das von einer Kamera ohne Autofokus-Konvergenz (d.h. defokussiert) aufgenommene Bild verschwommen und das von einer Kamera mit Autofokus-Konvergenz (d.h. fokussiert) aufgenommene andere Bild scharf. Wenn die beiden Bilder kombiniert werden, ist es schwierig, die übereinstimmenden Pixel zwischen einem verschwommenen Bild und einem scharfen Bild zu finden. In einem weiteren Szenario kann es zu Überblendungen (Ghosting) in den kombinierten Bildern kommen, wenn sich bewegende Objekte in einer Szene von beiden Kameras nicht zur gleichen Zeit aufgenommen werden, und auch der Stereoabgleichalgorithmus oder der Bildregistrierungsmechanismus können fehlschlagen.
Aus der US 2013 / 0 209 082 A1 geht ein Kamerasystem zum Erstellen von 3D-Bildern hervor, umfassend eine erste Kamera, die zur Aufnahme eines 3D-Bildes und eines 2D-Bildes dient, und eine zweite Kamera, die zur Aufnahme eines 3D-Bildes dient.
Die US 2011 / 0 019 989 A1 offenbart eine stereoskopische Kameravorrichtung mit zwei Kameras, die ein linkes und ein rechtes Bild nach Autofokussierung aufnehmen. Das stereoskopische Bild wird auf Grundlage von Informationen aus einer Parallaxenoperation angezeigt.
Figurenliste

1 ist ein Blockdiagramm einer Beispielvorrichtung mit mehreren Kameraeinheiten und einer Autofokuslogik gemäß einer Ausführungsform.
2 ist ein Blockdiagramm einer Beispiel-Kameraeinheit gemäß einer Ausführungsform.
3 ist ein Blockdiagramm eines Beispiels einer Versuchsanordnung für die Generierung einer Lookup-Tabelle für eine Versuchskamera gemäß einer Ausführungsform.
4 ist ein Flussdiagramm zur Darstellung eines Verfahrens zur Generierung der Lookup-Tabelle für eine Versuchskamera unter Verwendung einer Versuchsanordnung ähnlich wie in dem in 3 gezeigten Beispiel.
5 ist ein Beispieldiagramm, in dem die Objektivposition im Vergleich zu den Fokuszahlen dargestellt ist und das sich bei Anwendung des in 4 dargestellten Verfahrens und bei Verwendung des in 3 gezeigten Beispiels der Versuchsanordnung erreichen lässt.
6 ist ein Beispieldiagramm zur Darstellung der Brennweite im Vergleich zur Objektivposition, das sich bei Anwendung des in 4 dargestellten Verfahrens und bei Verwendung des in 3 gezeigten Beispiels der Versuchsanordnung erreichen lässt.
7 ist ein Beispieldiagramm zur Darstellung der Brennweite im Vergleich zu den Einstellungen der Objektivposition entsprechend der Lookup-Tabelle, das sich bei Anwendung des in 4 dargestellten Verfahrens und bei Verwendung des in 3 gezeigten Beispiels der Versuchsanordnung gemäß verschiedenen Ausführungsformen erreichen lässt.
8 ist ein Flussdiagramm zur Darstellung eines Verfahrens zum Synchronisieren von Autofokussiervorgängen in einer Mehrfachkameravorrichtung gemäß einer Ausführungsform.
9 ist ein Flussdiagramm zur Darstellung weiterer Details eines Verfahrens zum Synchronisieren von Autofokussiervorgängen in einer Mehrfachkameravorrichtung gemäß einer Ausführungsform.
10 zeigt in einem Flussdiagramm eine Ausnahmebehandlung in Fällen, in denen eine Parallaxenoperation in 9 fehlschlägt, gemäß einer Ausführungsform.

DETAILBESCHREIBUNG
Kurz zusammengefasst reduzieren die beschriebenen Ausführungsformen die Bildunschärfe in einer Vorrichtung mit einer Mehrfachkameraeinheit durch ein Synchronisieren der Objektiv-Autofokussierung von zwei oder mehr Kameraeinheiten. Insbesondere werden durch die vorliegende Offenbarung Vorrichtungen und Verfahren zur Autofokussierung in einer Vorrichtung mit einer Mehrfachkameraeinheit bereitgestellt.
Eine der beschriebenen Ausführungsformen gibt eine Vorrichtung an, die eine Mehrzahl von Kameraeinheiten enthält. Jede Kameraeinheit hat ein Objektiv, einen Sensor und einen Aktuator zum Einstellen der Objektivposition. Eine Steuerlogik ist mit jeder Kameraeinheit wirkverbunden. Die Steuerlogik ist wirksam für die Durchführung einer Parallaxenoperation mit wenigstens zwei Einzelbildern von wenigstens zwei Kameraeinheiten, um eine gemeinsame Brennweite zu bestimmen, wobei jedes der wenigstens zwei Einzelbilder mit der jeweiligen ersten Kameraeinheit oder der jeweiligen zweiten Kameraeinheit unter Verwendung von unabhängigen Autofokussierungen und jeweiligen Einstellungen von Objektivpositionen aufgenommen wird. Die Parallaxenoperation wird durchgeführt, nachdem die unabhängigen Autofokussierungen und die jeweiligen Einstellungen der Objektivposition für die wenigstens zwei Kameraeinheiten vorgenommen wurden. Die Steuerlogik liefert ein Steuersignal an wenigstens eine der Kameraeinheiten, um den Aktuator der wenigstens einen Kameraeinheit einzustellen, damit das Objektiv der wenigstens einen Kameraeinheit auf eine Objektivposition festgelegt wird, die der gemeinsamen Brennweite entspricht. Eine der wenigstens zwei Kameraeinheiten hat eine kleinere Blende als die andere der wenigstens zwei Kameraeinheiten, wobei die Steuerlogik bestimmt, ob die Parallaxenoperation in einem interessierenden Überlappungsbereich fehlschlägt, und eine durch die Kameraeinheit mit der kleineren Blende bestimmte Brennweite als gemeinsame Brennweite verwendet, wenn die Parallaxenoperation in dem interessierenden Überlappungsbereich fehlschlägt.
Ein nichtflüchtiger, nichttransitorischer Speicher ist mit der Steuerlogik wirkverbunden und speichert Kamera-Kalibrierdaten für jede Kameraeinheit. Die Kamera-Kalibrierdaten beziehen sich auf die Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit. Der Speicher kann so verteilt sein, dass jede Kameraeinheit eine Speicherkomponente enthält, die ihre einmaligen Kamerakalibrierdaten speichert. Die Steuerlogik ist wirksam für den Zugriff auf den Speicher, um die Kamera-Kalibrierdaten für jede Kameraeinheit abzurufen. In einigen Ausführungsformen kann die Steuerlogik auch wirksam sein für den Abruf einer Anfangseinstellung der Objektivposition für jede Kameraeinheit von dem entsprechenden Aktuator jeder Kameraeinheit.
Die Steuerlogik kann die Parallaxenoperation iterativ durchführen, indem sie nach der Einstellung eines oder mehrerer der Objektive der Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition zwei Einzelbilder erhält. Mit anderen Worten: die Steuerlogik kann die Bestimmung der gemeinsamen Brennweite weiter iterieren und anschließend Steuersignale an eine oder mehrere der Kameraeinheiten liefern, um nach Beendigung der Iterationen die jeweiligen Objektivpositionen auf eine endgültige Objektivposition festzulegen.
In einigen Ausführungsformen ist die Steuerlogik wirksam für die Bereitstellung der Steuersignale als für jede Kameraeinheit einmalige Einstellungen der Objektivposition auf der Basis der Kamera-Kalibrierdaten für jede Kameraeinheit. Die Steuerlogik greift auf die Kamera-Kalibrierdaten zu, die sich auf die Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit beziehen, und verwendet diese, um diese Einstellungen der Objektivposition zu bestimmen. Die Kamera-Kalibrierdaten können in dem Format einer Lookup-Tabelle vorgesehen sein. Der nichtflüchtige, nichttransitorische Speicher kann sich in Form von separaten Speicherkomponenten in der jeweiligen Kameraeinheit befinden. Die Speicherkomponente jeder Kameraeinheit ist für die Steuerlogik zugänglich und enthält die für die jeweilige Kameraeinheit spezifischen Kamera-Kalibrierdaten.
Durch vorliegende Offenbarung wird auch ein Verfahren bereitgestellt, das die Durchführung einer Parallaxenoperation einschließt, wobei wenigstens zwei Einzelbilder von wenigstens zwei Kameraeinheiten verwendet werden, um im Anschluss an die Beendigung unabhängiger Autofokussierungen und jeweiliger Einstellungen der Objektivposition für die mindestens zwei Kameraeinheiten eine gemeinsame Brennweite zu bestimmen, wobei jedes der wenigstens zwei Einzelbilder mit der jeweiligen ersten Kameraeinheit oder der jeweiligen zweiten Kameraeinheit unter Verwendung der unabhängigen Autofokussierungen und jeweiligen Einstellungen der Objektivposition aufgenommen wird. In Fortsetzung des Verfahrens erfolgt eine Einstellung eines Aktuators wenigstens einer Kameraeinheit in Reaktion auf die Bestimmung der gemeinsamen Brennweite, um das Objektiv der wenigstens einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition festzulegen. In einigen Ausführungsformen kann das Verfahren den Abruf von Kamera-Kalibrierdaten für jede Kameraeinheit enthalten. Die Kamera-Kalibrierdaten sind in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert und beziehen sich auf die Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit. Aus diesem Grund kann das Verfahren den Zugriff auf den Speicher enthalten, um die Kamera-Kalibrierdaten für jede Kameraeinheit abzurufen, und die Einstellung des Aktuators der wenigstens einen Kameraeinheit unter Verwendung der betreffenden Kamera-Kalibrierdaten. Eine der wenigstens zwei Kameraeinheiten hat eine kleinere Blende hat als die andere der wenigstens zwei Kameraeinheiten, wobei das Verfahren das Bestimmen, ob die Parallaxenoperation in einem interessierenden Überlappungsbereich fehlschlägt, und
das Verwenden einer durch die Kameraeinheit mit der kleineren Blende bestimmten Brennweite als gemeinsame Brennweite, wenn die Parallaxenoperation in dem interessierenden Überlappungsbereich fehlschlägt, umfasst.
In einigen Ausführungsformen kann das Verfahren den Abruf einer Anfangseinstellung der Objektivposition für jede Kameraeinheit von dem entsprechenden Aktuator jeder Kameraeinheit enthalten. In einigen Ausführungsformen kann das Verfahren auch die Iteration der Parallaxenoperation durch das Gewinnen von wenigstens zwei weiteren Einzelbildern im Anschluss an die Einstellung des Objektivs der wenigstens einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition und das Bestimmen einer iterierten gemeinsamen Brennweite umfassen. In Fortsetzung des Verfahrens wird ein Aktuator zumindest einer oder einer weiteren der wenigstens zwei Kameraeinheiten eingestellt, um die jeweilige Objektivposition auf eine der iterierten gemeinsamen Brennweite entsprechende endgültige Objektivposition festzulegen.
In einigen Ausführungsformen besteht das Verfahren auch aus der Einstellung des Aktuators unter Verwendung der für jede Kamera einmaligen Einstellung der Objektivposition auf der Basis von Kamera-Kalibrierdaten für jede Kameraeinheit, die in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind und sich auf die Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit betreffen. Der Speicher, auf den zugegriffen wird, kann als separater Speicher verteilt sein, der sich in der jeweiligen Kameraeinheit befindet.
Durch vorliegende Offenbarung wird auch ein Verfahren zum Kalibrieren einer Kameraeinheit angegeben. Das Verfahren umfasst das Berechnen einer Makroentfernung und einer maximalen Brennweite für eine Versuchskameraeinheit entsprechend den Objektiv-Spezifikationen der Versuchskameraeinheit, das Einstellen der Versuchskameraeinheit auf den manuellen Fokussiermodus, das Erfassen wenigstens eines Einzelbildes einer Kontrasttafel für jede Objektivposition in einem interessierenden Bereich für eine Mehrzahl von Teststopps zwischen der Makroentfernung und der maximalen Brennweite und das Bestimmen einer optimalen Objektivposition für jeden Teststopp unter Verwendung der erfassten Einzelbilder zum Generieren einer Mehrzahl von Datenpunkten der Brennweite im Vergleich zu der optimalen Objektivposition. In einigen Ausführungsformen kann das Verfahren auch das Generieren einer Lookup-Tabelle für die Versuchskameraeinheit unter Verwendung der Mehrzahl von Datenpunkten umfassen, wobei die Lookup-Tabelle die Brennweite den Einstellungen der Objektivposition zuordnet. In anderen Ausführungsformen kann die Lookup-Tabelle durch die Steuerlogik einer Mehrfachkameravorrichtung spontan generiert werden, indem auf die gespeicherten Kamera-Kalibrierdaten zugegriffen wird und diese verwendet werden.
Es versteht sich, dass der Begriff „maximale Brennweite“, der durch die gesamte Offenbarung hindurch verwendet wird, in einigen Ausführungsformen durch den Begriff „Nah-Fernpunkt“ ersetzt werden kann. Der Nah-Fernpunkt kann je nach Ausführung oder je nach Notwendigkeit von Kamera-Kalibrierdaten durch die Objektivspezifikationen berechnet werden. Wenngleich die maximale Brennweite gegebenenfalls länger ist als der Nah-Fernpunkt, lassen manche Hersteller von Kameraeinheiten lediglich eine Bewegung der Objektivposition in einem kürzeren Bereich zu, um von der Makroentfernung zu dem Nah-Fernpunkt zu fokussieren. In diesem Fall ist die maximale Brennweite äquivalent zu dem Nah-Fernpunkt.
Es wird nunmehr auf die Zeichnungen Bezug genommen, in denen gleiche Komponenten mit gleichen Bezugszeichen gekennzeichnet sind. 1 ist ein Blockdiagramm einer Beispielvorrichtung 100 mit mehreren Kameraeinheiten 110 und einer Steuerlogik 120 gemäß einer Ausführungsform. Die Steuerlogik 120 ist mit einer Befehls- und Steuerschnittstelle jeder Kameraeinheit der Kameraeinheiten 110, einem nichtflüchtigen, nichttransitorischen Speicher 150 und einer Benutzerschnittstelle 160 wirkverbunden. Jede Kameraeinheit 110 ist wirksam für die Bereitstellung von Ausgangsbildern 112 über die betriebsmäßige Verbindung 111 an die Steuerlogik 120. Die Steuerlogik 120 enthält die Parallaxen-Logik 130 und die Autofokus-Logik 140. Die Parallaxen-Logik 130 ist wirksam für den Empfang von wenigstens zwei Ausgangsbildern 112 von wenigstens zwei der Kameraeinheiten und für die Durchführung der Parallaxenoperation zum Bestimmen einer gemeinsamen Brennweite 131, die verwendet wird, um die Einstellung der Objektivposition einer oder mehrerer der Kameraeinheiten 110 vorzunehmen. Die gemeinsame Brennweite 131 wird für die Autofokus-Logik 140 bereitgestellt, die wiederum ein oder mehrere Steuersignale 141 an eine oder mehrere Kameraeinheiten sendet, um einen Aktuator einzustellen und dadurch die Objektivposition der entsprechenden Kameraeinheit zu ändern. Der Speicher 150 enthält Kamera-Kalibrierdaten 151, auf welche die Autofokus-Logik 140 zugreift und die für die Bestimmung der Einstellungen der Objektivposition für eine bestimmte Kameraeinheit der Kameraeinheiten 110 entsprechend der gemeinsamen Brennweite 131 verwendet werden. Die Kamera-Kalibrierdaten 151 können in Form von Lookup-Tabellen vorliegen, in denen die Brennweiten den für die Kameraeinheit spezifischen Einstellungen der Objektivposition zugeordnet sind. Zum Beispiel hat die Kameraeinheit 1 eine Lookup-Tabelle 1, die in dem Speicher gespeichert ist, Kamera 2 hat eine Lookup-Tabelle 2, die in dem Speicher gespeichert ist, etc. Mit anderen Worten: jede Kameraeinheit der Kameraeinheiten 110 hat eine entsprechende einmalige Lookup-Tabelle, die in dem Speicher 150 gespeichert ist. In einigen Ausführungsformen hat jede Kameraeinheit ihre eigene Onboard-Speicherkomponente und speichert ihre entsprechenden eigenen einmaligen Kamera-Kalibrierdaten, die in Form einer Lookup-Tabelle vorliegen können. Die Kamera-Kalibrierdaten betreffen Objektivpositionseinstellungen, die für die Brennweiten der Kameraeinheit spezifisch sind. Diese Kamera-Kalibrierdaten werden bestimmt durch die Anwendung eines Verfahrens für den Kalibrierbetrieb der Kamera gemäß den nachstehend beschriebenen Ausführungsformen.
Die Autofokus-Logik 140 ist wirksam für die Bereitstellung eines oder mehrerer Steuersignale 141, um die Objektivposition einer beliebigen oder sämtlicher Kameraeinheiten der Mehrfachkameraeinheiten 110 einzustellen. Mit anderen Worten: die Autofokus-Logik 140 kann eine Einstellung der Objektivposition bestimmen, die sich auf die bestimmte gemeinsame Brennweite 131 bezieht. Die Autofokus-Logik 140 kann über eine Speicherschnittstelle eine oder mehrere Lookup-Tabellen aus dem Speicher 150 auslesen und kann dadurch eine entsprechende Einstellung der Objektivposition für eine bestimmte der Kameraeinheiten 110 erhalten. Die Autofokus-Logik 140 ist wirksam für das Senden eines oder mehrerer Steuersignale 141, die Einstellungen der Objektivposition enthalten können, an jede individuelle Kameraeinheit.
Die Steuerlogik 120 kann die gemeinsame Brennweite 131 und die entsprechenden Einstellungen der Objektivposition iterieren, indem sie anschließende Ausgangbilder 112 der Reihe nach von den eingestellten Kameraeinheiten 110 bezieht und unter Verwendung der Parallaxen-Logik 130 eine Folge von Parallaxenoperationen 130 durchführt. Deshalb kann die Parallaxen-Logik 130 nach jeder Einstellung der Objektivposition durch die Autofokus-Logik 140 die sequenziellen Parallaxenoperationen weiter durchführen, und die Autofokus-Logik 140 kann entsprechende Einstellungen vornehmen, bis die Steuerlogik 120 bei einer endgültigen gemeinsamen Brennweite konvergiert. Die Kamera-Kalibrierdaten, die wie vorstehend erwähnt in Form einer Lookup-Tabelle vorliegen können, werden für jede individuelle Kameraeinheit während der fabrikseitigen Kalibriervorgänge generiert.
In einigen Ausführungsformen enthält die Vorrichtung 100 auch einen oder mehrere Sensoren 170. Der eine oder die mehreren Sensoren 170 sind mit der Steuerlogik 120 wirkverbunden, um Sensordaten wie Positionsinformationen, Beschleunigungsinformationen oder einige andere Informationen etc. zu liefern, ohne auf diese beschränkt zu sein. Zum Beispiel können der eine oder die mehreren Sensoren 170 gyroskopische Positionssensoren, Beschleunigungsmesser, Audiosensoren, Bewegungsdetektoren oder weitere umfassen, ohne hierauf beschränkt zu sein.
Es versteht sich, dass die Steuerlogik 120 oder die Parallaxen-Logik 130 und/oder die Autofokus-Logik 140 als Software oder Firmware (oder als eine Kombination von Software und Firmware) implementiert sein können und auf einem oder mehreren Prozessoren ausgeführt werden oder dass ASICs (anwendungsspezifische integrierte Schaltungen), DSPs (digitale Signalprozessoren), hartverdrahtete Schaltungen (logische Schaltungen), Zustandsautomaten, FPGAs (feldprogrammierbare Gate-Arrays) oder Kombinationen derselben verwendet werden. Aus diesem Grund stellt die in den Zeichnungsfiguren dargestellte und vorliegend beschriebene Beispielvorrichtung eine beispielhafte Ausführungsform dar, die nicht als Einschränkung der verschiedenen anderen möglichen Implementierungen gedacht ist, die gemäß den verschiedenen Ausführungsformen verwendet werden können.
Insbesondere können die Parallaxen-Logik 130 und/oder die Autofokus-Logik 140 eine Einzelkomponente sein (wie beispielsweise die Steuerlogik 120) oder können implementiert sein als eine beliebige Kombination von DSPs, ASICs, FPGAs, CPUs, die ausführbare Anweisungen abarbeiten, hartverdrahteten Schaltungen, Zustandsautomaten etc., ohne hierauf beschränkt zu sein. Deshalb kann die Autofokus-Logik 140 unter Verwendung einer ASIC oder eines FPGA als ein Beispiel implementiert sein. In einem weiteren Beispiel kann die Autofokus-Logik 140 eine Kombination von Hardware und Software oder Firmware sein, die durch einen Prozessor etc. ausgeführt wird. Diese beispielhaften Ausführungsformen und weitere Ausführungsformen werden in der vorliegenden Offenbarung in Betracht gezogen.
Eine Beispiel-Kameraeinheit der mehreren Kameraeinheiten 110 ist in 2 dargestellt. Die Beispiel-Kameraeinheit 200 enthält ein Objektiv 201, durch welches Licht hindurchtreten und einen Bildsensor 205 erreichen kann. Der Bildsensor 205 ist wirksam für die Bereitstellung von Bildsensordaten wie Ausgangseinzelbilder 212. Das Objektiv 201 ist mit einem Aktuator 203 wirkverbunden, der wirksam ist für die Änderung der Objektivposition zum Fokussieren. Der Objektiv-Aktuator 203 in den verschiedenen Ausführungsformen kann ein Schwingspulenmotor (VCM) oder ein MEMS-Linearaktuator (MEMS = mikroelektromechanisches System) sein. Der Aktuator 203 ist wirksam für den Empfang von Steuersignalen 241 für die Einstellung der Position des Objektivs 201. Zum Beispiel kann die Steuerlogik das Objektiv 201 fokussieren, indem sie Steuersignale 241 an den Aktuator 203 sendet, um die Position des Objektivs 201 in Reaktion auf die Schärfenbestimmungen einzustellen, die durch eine von der Steuerlogik ausgeführte Autofokus-Routine erfolgen. Die Kameraeinheit 200 enthält auch einen Speicher 207, der unter anderem eine Lookup-Tabelle 211 sowie Kamera-Kalibrierdaten 209 speichert. Der Zugriff auf den Speicher 207 ist über eine Speicherschnittstelle 242 möglich.
Die Lookup-Tabelle 211 gemäß den Ausführungsformen setzt Brennweiten mit den für die Kameraeinheit 200 spezifischen Einstellungen der Objektivposition in Beziehung. Die Lookup-Tabelle 211 ist ein mögliches Format von Kamera-Kalibrierdaten, die im Zuge eines fabrikseitigen Kalibriervorgangs bestimmt werden. Der Zugriff auf die Lookup-Tabelle 211 kann über die Speicherschnittstelle 242 durch externe Verarbeitungskomponenten erfolgen. Eine Beispiel-Versuchsanordnung 300 zum Generieren einer Lookup-Tabelle 211 für eine Versuchskamera gemäß einer Ausführungsform ist in 3 gezeigt.
In 3 ist eine Versuchskamera 301 an einer Halterung einer abgestuften Gleitführung 307 derart positioniert, dass sich das Objektiv 303 in einem durch die verschiedenen Stopp-Positionen 315 bestimmten Messabstand 309 von einer Kontrasttafel 305 befindet. In der Versuchsanordnung 300 kann die Versuchs-Kameraeinheit 301 in einer festen Position angeordnet sein und die Kontrasttafel 305 relativ zu dem Objektiv 303 in verschiedene Positionen bewegt werden. In weiteren Ausführungsformen der Versuchsanordnung 300 kann jedoch die Kontrasttafel 305 festgelegt sein und die Versuchs-Kameraeinheit 301 bewegt werden. Die Versuchs-Kameraeinheit 301 ist mit einem Versuchssystem 320 wirkverbunden, das eine Versuchs-Steuereinheit 321 und eine Datenerfassungs- und Verarbeitungseinheit 323 umfasst. Die Einstellung der Kontrasttafel 305 erfolgt durch deren sequenzielle Bewegung zu einer der Stopp-Positionen 315, beginnend mit der Startposition 312 bis zur Endposition 314.
Die Startposition 312 ist auf die Makroentfernung 311 des Objektivs 303 eingestellt, und die Endposition 314 ist auf die maximale Brennweite 313 des Objektivs 303 eingestellt. Die Makroentfernung 311 und die maximale Brennweite 313 werden unter Verwendung der Spezifikationen des Objektivs 303 für die Versuchskamera 301 bestimmt. Das Intervall von jeweils zwei Stopp-Positionen 315 ist gemäß der Probenmessung zwischen Objektivposition und Brennweite ausgelegt, die von dem Objektivhersteller vorgenommen wird, oder gemäß der erforderlichen Genauigkeit der Brennweite.
Die Versuchs-Steuereinheit 321 betätigt die Versuchskamera 301, um für jede Position der Kontrasttafel 305 an jeder Stopp-Position 315 ein oder mehrere Einzelbilder aufzunehmen und die Einzelbilddaten an die Datenerfassungs- und Verarbeitungseinheit 323 zu senden. 4 ist ein Flussdiagramm, das ein Verfahren zum Generieren einer Lookup-Tabelle der Einstellungen der Objektivposition gegenüber der Brennweite für die Versuchs-Kameraeinheit 301 unter Verwendung der Versuchsanordnung 300 darstellt.
In dem Funktionsblock 401 werden die Makroentfernung 311 und die maximale Brennweite 313 für die Versuchs-Kameraeinheit 301 gemäß den Spezifikationen des Objektivs 303 berechnet. In dem Funktionsblock 403 stellt die Versuchs-Steuereinheit 321 die Versuchskamera 301 auf den manuellen Fokussiermodus ein. In dem Funktionsblock 405 werden pro Stopp-Position 315 von der Startposition 312 bis zur Endposition 314 wenigstens ein Einzelbild oder mehrere Einzelbilder der Kontrasttabelle 305 für jede Position des Objektivs 303 in dem interessierenden Bereich aufgenommen. Die Stopp-Positionen 315 entsprechen deshalb den verschiedenen Brennweiten, die zu messen sind. Für jedes aufgenommene Bild wird durch die Datenerfassungs- und Verarbeitungseinheit 323 ein Fokuswert bestimmt. Der „Fokuswert“ wird bestimmt durch eine Berechnung, die ein auf die Schärfe oder den Kontrast des aufgenommenen Einzelbildes bezogenes Maß ergibt. Eine globale Spitze in dem Fokuswert wird verwendet, um die beste Einstellung der Objektivposition bei der entsprechenden gemessenen Brennweite zu bestimmen.
Für die erste Evaluierungs-Versuchskameraeinheit kann ein größerer Bereich von Objektivpositionen verwendet werden, um die globale Spitze je Brennweite zu detektieren. Für nachfolgende Versuchskameraeinheiten kann für die Objektivpositionen ein kleinerer interessierender Bereich verwendet werden, um die globale Spitze je Brennweite zu detektieren, da die Datenpunkte der ersten Evaluierungs-Kameraeinheit helfen, einen kleineren interessierenden Bereich der Objektivposition einzugrenzen. Es wird kurz auf 5 Bezug genommen, in der ein Beispieldiagramm 500 einer Fokusskala bei einer Brennweite von 10 cm einen Spitzenwert zeigt, der einer optimalen Objektivposition für die Bildschärfe entspricht. Zurückkommend auf 4, kann in dem Funktionsblock 407 eine optimale Objektivposition bestimmt werden durch die Datenerfassung und Verarbeitung 323 unter Verwendung von Datenpunkten, wie sie in dem Beispieldiagramm 500 gezeigt sind. In dem Funktionsblock 409 können die erfassten Datenpunkte verwendet werden, um eine Lookup-Tabelle für die Versuchskameraeinheit 301 zu erstellen. Diese Lookup-Tabelle kann in einem nichtflüchtigen, nichttransitorischen Speicher der Versuchskameraeinheit 301 wie beispielsweise dem in der Beispielkameraeinheit 200 dargestellten Speicher 207 gespeichert werden.
Wie vorstehend mit Bezug auf 2 beschrieben wurde, kann der Objektiv-Aktuator 203 einer Kameraeinheit in den verschiedenen Ausführungsformen ein VCM- oder ein MEMS-Linearaktuator sein. Bei einem Autofokus-Aktuator mit einem Regelmechanismus wird die Objektivposition nicht durch Schwerkraft beeinflusst. Aus diesem Grund haben die unterschiedlichen Objektivpositionen keinen Einfluss auf einen solchen geregelten Aktuator. In diesem Fall ist es ausreichend, wenn im Zuge der Kalibrierung unter Anwendung des vorstehend beschriebenen Kalibrierverfahrens eine Lookup-Tabelle generiert wird. Jedoch muss die Objektivposition bei einem Autofokus-Aktuator mit offenem Regelkreis, d.h. bei einem Autofokus-Aktuator ohne einen Regelmechanismus wie einen VCM, auch entsprechend den verschiedenen Objektivstellungen kalibriert werden, da die Schwerkraft die Größe der Vorspannung einer oder mehrerer Rückstellfedern der VCM-Komponente beeinflusst. Mit anderen Worten: die Lookup-Tabelle der Objektivposition im Vergleich zur Brennweite kann hinsichtlich der Stellung der Versuchskameraeinheit aufgrund von Schwerkraft differieren. Deshalb werden in diesem Fall mindestens drei Objektivpositionen gemessen, indem die Kameraeinheit nach oben gerichtet wird, indem die Kameraeinheit horizontal gerichtet wird (wie in 3 beschrieben), und indem die Kameraeinheit nach unten gerichtet wird. Die Versuchskameraeinheit kann in diesem Fall auch den einen Sensor oder mehrere Sensoren aufweisen, mit mindestens einem gyroskopischen Sensor oder einem gleichwertigen Sensor, der wirksam ist für die Detektion der Stellung der Kameraeinheit während der Einzelbildaufnahme. Gemäß den Ausführungsformen werden im Anschluss an die fabrikseitige Kalibrierung während des Betriebs der Kameraeinheit die für die Stellung der Kameraeinheit passenden Kamera-Kalibrierdaten (die im Format einer Lookup-Tabelle vorliegen können) für Autofokussierungen gewählt.
Es versteht sich, dass die Kamera-Kalibrierdaten in verschiedenen Formaten gespeichert sein können, unter anderem in einem für eine oder mehrere Stellungen spezifischen Lookup-Tabellensatz, oder als einzelne Lookup-Tabelle mit einem Satz von Verschiebungen von einer Referenzposition, oder als Kamera-Rohkalibrierdaten. Mit anderen Worten: in einigen Ausführungsformen kann die Autofokuslogik 140 auf die Kamera-Rohkalibierdaten für jede Kameraeinheit zugreifen und kann unter Verwendung der Datenpunkte eine oder mehrere Lookup-Tabellen generieren.
5 zeigt ein Beispieldiagramm 500 der Objektivposition im Vergleich zur Fokusskala, wobei das Diagramm erzielt werden kann, wenn das in 4 dargestellte Verfahren angewendet und die in 3 gezeigte Beispiel-Versuchsanordnung verwendet wird. Diese Information kann verwendet werden, um die für eine gegebene Brennweite zu verwendenden Einstellungen der Objektivposition zu bestimmen und eine Lookup-Tabelle zu generieren, die direkt in dem Speicher der Kameraeinheit gespeichert werden kann. 6 zeigt ein weiteres Beispieldiagramm von gemessenen Datenpunkten für die Brennweite im Vergleich zur Objektivposition für einen Autofokus-Aktuator der Kameraeinheit, wobei das Diagramm erzielen werden kann, wenn das in 4 dargestellte Verfahren angewendet und die in 3 gezeigte Beispiel-Versuchsanordnung verwendet wird.
7 ist ein Beispieldiagramm von Einstellungen der Brennweite im Vergleich zur Objektivposition entsprechend einer generierten Lookup-Tabelle, wobei das Diagramm erzielt werden kann, wenn das in 4 dargestellte Verfahren und die in 3 gezeigte Beispiel-Versuchsanordnung gemäß verschiedenen Ausführungsformen angewendet bzw. verwendet wird. Die Informationen von 7 sind daher einmalig für jede Kameraeinheit und werden als Ergebnis der fabrikseitigen Kalibriervorgänge gemäß 3 und 4 in einen nichtflüchtigen, nichttransitorischen Speicher gespeichert.
Die Begriffe „Brennweite“ und „Objektivposition“ werden durch die gesamte Beschreibung der vorliegenden Erfindung hindurch verwendet. Es versteht sich, dass der Begriff „Brennweite“ auch als „Objektabstand“ oder „Motivabstand“ bezeichnet werden kann oder als Synonym hierfür gilt. Die „Brennweite“ (oder der „Objektabstand“ oder „Motivabstand“) können in Millimeter oder Zentimeter angegeben werden. Es versteht sich, dass der Begriff „Objektivposition“ oder „Objektivpositionsschritte“ auch als „Zählungen des Digital/Analogwandlers (DAC)“, „Objektivverschiebung“, „Verschiebung“, „Objektivhub“ oder „Hub“ bezeichnet werden kann oder als Synonym hierfür gilt. DAC-Zählungen können durch die Anwendung einer Formel in Schritte umgerechnet werden, wobei zum Beispiel fünf DAC-Zählungen gleich einem Schritt sein können. Die „Objektivverschiebung“ oder der „Objektivhub“ können in Schritte umgerechnet werden, wobei zwischen zwei Schritten ein bekanntes Intervall (z.B. in Millimeter) gegeben ist. Ebenso kann ein Spannungswert der Objektivposition entsprechen, wobei der Spannungswert durch eine Formel oder durch die Verwendung einer Lookup-Tabelle in eine Objektivposition in Schritten umgerechnet werden kann.
8 ist ein Flussdiagramm, das ein Verfahren für die Synchronisierung von Autofokussiervorgängen in einer Mehrfachkameravorrichtung unter Verwendung der Kameraeinheit-Kalibrierdaten wie jene in 7 gemäß einer Ausführungsform darstellt. Das in 8 beschriebene Verfahren bezieht sich auf die Verwendung von zwei Kameraeinheiten, kann jedoch selbstverständlich auf eine beliebige Anzahl von Kameraeinheiten ausgedehnt werden. Bei einer Vorrichtung mit vier Kameraeinheiten kann das Verfahren unabhängig auf jeweils zwei Kameraeinheiten angewendet werden. Zum Beispiel lässt sich das Verfahren bei den folgenden sechs Paaren anwenden: (1) Kameraeinheit 1 und Kameraeinheit 2; (2) Kameraeinheit 1 und Kameraeinheit 3; (3) Kameraeinheit 1 und Kameraeinheit 4; (4) Kameraeinheit 2 und Kameraeinheit (3); (5) Kameraeinheit 2 und Kameraeinheit 4; (6) Kameraeinheit 3 und Kameraeinheit 4. Die Ergebnisse dieser sechs Paare können dann verarbeitet werden etc.
Wenn für eine erste Kameraeinheit und eine zweite Kameraeinheit angenommen Lookup-Tabellen von Objektivpositionseinstellungen im Vergleich zu Brennweiten verfügbar sind oder generiert werden können, wird eine gemeinsame Brennweite gemäß dem Verfahren von 8 bestimmt. In dem Funktionsblock 801 wartet die Steuerlogik 120 darauf, dass die Autofokus-Routine der ersten Kameraeinheit an einer Anfangs-Objektivposition konvergiert. Ähnlich konvergiert die Autofokus-Routine der zweiten Kameraeinheit in Funktionsblock 801 an einer ersten Objektivposition. In dem Funktionsblock 803 erfolgt die Aufnahme eines ersten Bildes im VorschauModus durch die erste Kameraeinheit in deren Anfangs-Objektivposition, und durch die zweite Kameraeinheit in deren Anfangs-Objektivposition wird ein zweites Bild aufgenommen. Das erste Bild und das zweite Bild werden über die betriebsmäßige Verbindung 111 als Ausgangsbilder 112 zur Steuerlogik 120 gesandt. Diese Bilder werden durch die Parallaxen-Logik 130 gewonnen.
In dem Funktionsblock 805 wendet die Parallaxenlogik 130 einen Parallaxen-Detektionsalgorithmus auf einen interessierenden Überlappungsbereich von zwei Bildern an, um eine gemeinsame Brennweite 131 zu bestimmen. Die gemeinsame Brennweite 131 wird an die Autofokus-Logik 140 gesandt. In dem Funktionsblock 807 kann die Autofokus-Logik 140 die jeweiligen Objektivpositionseinstellungen der ersten Kameraeinheit und der zweiten Kameraeinheit durch eine Kommunikation mit einem Prozessor oder durch den Zugriff auf einen Speicher der jeweiligen Kameraeinheiten einholen. In dem Funktionsblock 809 sendet die Autofokus-Logik 140 eines oder mehrere Steuersignale 141, um die Objektivpositionen wenigstens einer der ersten und der zweiten Kameraeinheit so einzustellen, dass diese mit der bestimmten gemeinsamen Brennweite übereinstimmen. In dem Funktionsblock 811 iteriert die Steuerlogik 120 die Parallaxen- und Autofokussiervorgänge, bis eine Toleranz für eine Differenz zwischen nachfolgend bestimmten gemeinsamen Brennweiten erzielt wird. Die Objektivpositionseinstellungen für die erste und die zweite Kameraeinheit können durch die Autofokus-Logik 140 bestimmt werden, indem auf den Speicher zugegriffen wird und die der jeweiligen Kameraeinheit entsprechende erste und die zweite Lookup-Tabelle gelesen wird. 9 ist ein Flussdiagramm, das weitere Details eines Verfahrens zum Synchronisieren der Autofokussierung in einer Mehrfachkameravorrichtung gemäß einer Ausführungsform darstellt.
Der Ablauf des Verfahrens beginnt, und in dem Funktionsblock 901 wartet die Steuerlogik 120, bis die Autofokus-Routinen der ersten Kameraeinheit und der zweiten Kameraeinheit jeweils an einer Anfangs-Objektivposition konvergieren, so dass die Autofokus-Routine jeder der Kameraeinheiten beendet ist. In dem Funktionsblock 907 wird im Vorschaumodus ein erstes Bild durch die erste Kameraeinheit in deren Anfangs-Objektivposition erfasst, und ein zweites Bild wird im Vorschaumodus durch die zweite Kameraeinheit in deren Anfangs-Objektivposition erfasst. Das erste Bild und das zweite Bild werden über die betriebsmäßige Verbindung 111 als Ausgangsbilder 112 an die Steuerlogik 120 gesandt. Diese Bilder werden für eine Bearbeitung durch die Parallaxen-Logik 130 gewonnen.
In dem Funktionsblock 909 wendet die Parallaxen-Logik 130 einen Parallaxen-Detektionsalgorithmus auf einen interessierenden Überlappungsbereich auf zwei Einzelbildern an, um eine gemeinsame Brennweite 131 zu bestimmen. Wenn die Parallaxenoperation fehlschlägt, wird ein Ausnahmeverfahren wie in 10 gezeigt implementiert. Ist die Parallaxenoperation erfolgreich, wird die gemeinsame Brennweite 131 an die Autofokus-Logik 140 gesandt. In dem Funktionsblock 911 kann die Autofokus-Logik 140 die jeweiligen ersten Objektivpositionseinstellungen der ersten Kameraeinheit und der zweiten Kameraeinheit abrufen, indem sie auf den Speicher zugreift und die jeweilige Lookup-Tabelle der ersten und der zweiten Kameraeinheit an einem Punkt abliest, der der bestimmten gemeinsamen Brennweite entspricht. In einigen Ausführungsformen kann der Speicher eine Onboard-Speicherkomponente der jeweiligen Kameraeinheit sein, wie in 2 gezeigt, oder in anderen Ausführungsformen eine separate Speicherkomponente der Vorrichtung 100.
In dem Funktionsblock 913 sendet die Autofokus-Logik 140 ein oder mehrere Steuersignale 141 zum Einstellen der Objektivposition wenigstens einer der ersten und der zweiten Kameraeinheit auf jeweilige erste Objektivpositionseinstellungen, die aus den entsprechenden Lookup-Tabellen gelesen werden. In dem Verfahrensablauf folgt dann die Iteration ab dem Funktionsblock 915 bis zum Erreichen einer Toleranz für eine Differenz zwischen nachfolgenden bestimmten gemeinsamen Brennweiten.
In dem Funktionsblock 915 wird durch die erste Kameraeinheit und die zweite Kameraeinheit jeweils ein zweites Einzelbild im Vorschaumodus erfasst. In dem Funktionsblock 917 wendet die Parallaxen-Logik 130 den Parallaxen-Detektionsalgorithmus erneut auf den interessierenden Überlappungsbereich auf den beiden Einzelbildern an, um eine zweite gemeinsame Brennweite 131 zu bestimmen.
Wenn in dem Entscheidungsblock 919 die Differenz zwischen der ersten gemeinsamen Brennweite (CFD) und der zweiten gemeinsamen Brennweite CFD größer oder gleich einem Toleranzwert ist, fährt die Autofokus-Logik 140 fort mit dem Funktionsblock 921, greift auf die jeweiligen Lookup-Tabellen zu und sendet ein oder mehrere Steuersignale 141 zum Einstellen der Objektivpositionen wie in dem Funktionsblock 923 dargestellt. In dem Funktionsblock 925 werden die zweite Brennweite und die zweiten Objektivpositionen schließlich als Punkt für den Beginn einer weiteren Iteration betrachtet, und das Verfahren kehrt zurück zu dem Funktionsblock 915. Diese Iterationen dauern an, bis die Differenz zwischen den CFDs kleiner ist als der Toleranzwert in dem Entscheidungsblock 919, an welchem Punkt das Verfahren endet und solchermaßen die gemeinsame Brennweite konvergiert wurde.
Das Flussdiagramm von 10 zeigt die Ausnahmebehandlung für Fälle, in denen der in dem Funktionsblock 909 für 9 durchgeführte Parallaxen-Detektionsalgorithmus nicht konvergiert, und für weitere Fälle, die nunmehr beschrieben werden. Wenn in dem Entscheidungsblock 1001 der Parallaxen-Detektionsalgorithmus in dem interessierenden Überlappungsbereich nicht konvergieren kann und die detektierten Brennweiten zwischen den jeweiligen Autofokus-Routinen von zwei Kameraeinheiten nicht übereinstimmen, wird die Brennweite durch die Kamera mit der kleineren Blende bestimmt. Mit anderen Worten: eine Kameraeinheit mit einer kleineren Blende, die eine höhere F-Zahl hat, zeigt einen breiteren Spitzenwert in dem Diagramm, das die Fokusskala im Vergleich zur Objektivposition darstellt (wie zum Beispiel in dem Beispieldiagramm 500, das in 5 gezeigt ist). Aus diesem Grund führt das Verfahren weiter zu dem Funktionsblock 1007 und verwendet die durch Autofokus-Routine dieser Kameraeinheit bestimmte Brennweite als gemeinsame Brennweite, wenn eine der Kameraeinheiten eine kleinere Blende hat und wenn ihre Autofokus-Routine für die Szene in dem Entscheidungsblock 1003 konvergiert. Es ist keine Iteration erforderlich, und das Verfahren verlässt den in 9 dargestellten Prozess und endet.
Wenn jedoch der Autofokus der Kameraeinheit mit der kleineren Blende in dem Entscheidungsblock 1003 nicht konvergiert wurde oder wenn keine der Kameras eine kleinere Blende als die andere hat, führt das Verfahren zu dem Funktionsblock 1005 und verwendet die Brennweite, die durch die Kameraeinheit bestimmt wurde, für welche die Autofokus-Routine konvergiert wurde, als gemeinsame Brennweite. Auch in diesem Fall ist keine Iteration erforderlich, und das Verfahren verlässt den Prozess in 9 und endet. Somit wird die Vorgehensweise gewählt, bei der eine kleinere Blende verwendet wird, um die gemeinsame Brennweite zu bestimmen und Rechenzeit zu vermeiden, die für die Iterationen benötigt wird.
Wenn in dem Entscheidungsblock 1001 der Parallaxen-Detektionsalgorithmus in dem interessierenden Überlappungsbereich erfolgreich konvergiert, erfolgt in dem Entscheidungsblock 1009 eine Überprüfung, ob die Brennweite außerhalb des Brennweitenbereichs einer der Kameraeinheiten liegt. Wenn die gemeinsame Brennweite außerhalb des Bereichs liegt, führt das Verfahren weiter zu dem Funktionsblock 1011 und verwendet die Brennweite, die für die Kameraeinheit bestimmt wurde, die den Brennweitenbereich unterstützt, als gemeinsame Brennweite. Mit anderen Worten: wenn eine Kamera in diesem Bereich nicht fokussieren kann, ist die Parallaxenoperation nicht zuverlässig, weil das Bild von dieser Kameraeinheit verschwommen sein kann. Aus diesem Grund verlässt das Verfahren den in 9 gezeigten Prozess und endet.
Wenn in dem Entscheidungsblock 1001 der Parallaxen-Detektionsalgorithmus in dem interessierenden Überlappungsbereich erfolgreich konvergiert und keine der Kameraeinheiten in dem Entscheidungsblock 1009 außerhalb des Brennweitenbereichs ist, führt das Verfahren zu dem Entscheidungsblock 1013. In dem Entscheidungsblock 1013 wird überprüft, ob eine manuelle Fokussierung angewendet wurde, um einen interessierenden Brennweitenbereich zu wählen, und ob dieser gewählte interessierende Brennweitenbereich innerhalb des Überlappungsbereichs von zwei Einzelbildern liegt, die durch die beiden Kameraeinheiten erfasst wurden. Wenn der manuell gewählte Fokusbereich innerhalb des Überlappungsbereichs liegt, führt das Verfahren weiter zu dem Funktionsblock 911 in 9, und die Operationen werden fortgesetzt wie vorstehend mit Bezug auf 9 beschrieben. Wenn der manuell gewählte Fokusbereich jedoch außerhalb des Überlappungsbereichs liegt, führt das Verfahren weiter zu dem Funktionsblock 1015 und verwendet die Brennweite, die für die Kameraeinheit bestimmt wurde, die den interessierenden manuell gewählten Bereich abdeckt. Das Verfahren verlässt den in 9 gezeigten Prozess und endet.
Es wurden verschiedene Ausführungsformen beschrieben und dargestellt, jedoch ist die Erfindung nicht auf diese Ausführungsformen beschränkt. Der Fachmann wird erkennen, das zahlreiche Modifikationen, Änderungen, Variationen und Substitutionen sowie Äquivalente möglich sind, ohne den Rahmen der vorliegenden der Erfindung zu verlassen, der durch die anliegenden Ansprüche definiert ist.

Claims

Vorrichtung, umfassend: eine Mehrzahl von Kameraeinheiten, deren jede ein Objektiv, einen Sensor und einen Aktuator zum Einstellen der Objektivposition umfasst; und eine Steuerlogik, die mit jeder Kameraeinheit wirkverbunden ist und die wirksam ist für: die Durchführung einer Parallaxenoperation unter Verwendung von wenigstens zwei Einzelbildern von wenigstens zwei Kameraeinheiten zum Bestimmen einer gemeinsamen Brennweite im Anschluss an die Beendigung von unabhängigen Autofokussierungen und Einstellungen der jeweiligen Objektivposition für die wenigstens zwei Kameraeinheiten, wobei jedes der wenigstens zwei Einzelbilder mit der jeweiligen ersten Kameraeinheit oder der jeweiligen zweiten Kameraeinheit unter Verwendung der unabhängigen Autofokussierungen und jeweiligen Einstellungen der Objektivpositionen aufgenommen wird; und die Bereitstellung eines Steuersignals an wenigstens einen Kameraeinheit-Aktuator, um in Reaktion auf die Bestimmung der gemeinsamen Brennweite den Aktuator der wenigstens einen Kameraeinheit einzustellen, um das Objektiv der wenigstens einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition festzulegen, wobei eine der wenigstens zwei Kameraeinheiten eine kleinere Blende hat als die andere der wenigstens zwei Kameraeinheiten, wobei die Steuerlogik wirksam ist für: das Bestimmen, ob die Parallaxenoperation in einem interessierenden Überlappungsbereich fehlschlägt, und das Verwenden einer durch die Kameraeinheit mit der kleineren Blende bestimmten Brennweite als gemeinsame Brennweite, wenn die Parallaxenoperation in dem interessierenden Überlappungsbereich fehlschlägt.
Vorrichtung nach Anspruch 1, ferner umfassend: einen nichtflüchtigen, nichttransitorischen Speicher, der mit der Steuerlogik wirkverbunden ist; und Kamera-Kalibrierdaten für jede Kameraeinheit, die in dem nichtflüchtigen, nichttransitorischen Speicher gespeichert und sich auf Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit beziehen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuerlogik ferner wirksam ist für: den Zugriff auf den Speicher, um die Kamera-Kalibrierdaten für jede Kameraeinheit abzurufen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuerlogik ferner wirksam ist für: den Abruf einer Anfangseinstellung der Objektivposition für jede Kameraeinheit von dem entsprechenden Aktuator jeder Kameraeinheit.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuerlogik ferner wirksam ist für: das Iterieren der Parallaxenoperation durch die Gewinnung von mindestens zwei Einzelbildern im Anschluss an die Einstellung des Objektivs wenigstens der einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition und die Bestimmung einer iterierten gemeinsamen Brennweite; und die Bereitstellung von wenigstens einem zweiten Steuersignals an wenigstens eine oder eine weitere der wengistens zwei Kameraeinheiten, um die jeweilige Objektivposition auf eine der iterierten gemeinsamen Brennweite entsprechende endgültige Objektivposition einzustellen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuerlogik ferner wirksam ist für: die Bereitstellung der Steuersignale als eine für jede Kameraeinheit einmalige Objektivpositionseinstellung auf der Basis von Kamera-Kalibrierdaten für jede Kameraeinheit, die in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind und sich auf die Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kamera beziehen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei der nichtflüchtige, nichttransitorische Speicher verteilt ist als separater Speicher, der sich in jeder Kameraeinheit befindet, und mit der Steuerlogik wirkverbunden ist; und wobei die für jede Kameraeinheit spezifischen Kamera-Kalibrierdaten jeweils in dem Speicher jeder Kameraeinheit gespeichert sind.
Verfahren, umfassend: das Durchführen einer Parallaxenoperation unter Verwendung von wenigstens zwei Einzelbildern von wenigstens zwei Kameraeinheiten zum Bestimmen einer gemeinsamen Brennweite im Anschluss an die Beendigung unabhängiger Autofokussierungen und jeweiliger Objektiveinstellungen für die wenigstens zwei Kameraeinheiten, wobei jedes der wenigstens zwei Einzelbilder mit der jeweiligen ersten Kameraeinheit oder der jeweiligen zweiten Kameraeinheit unter Verwendung der unabhängigen Autofokussierungen und jeweiligen Einstellungen der Objektivpositionen aufgenommen wird; und das Einstellen eines Aktuators wenigstens einer Kameraeinheit in Reaktion auf die Bestimmung der gemeinsamen Brennweite, um das Objektiv der wenigstens einen Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition einzustellen, wobei eine der wenigstens zwei Kameraeinheiten eine kleinere Blende hat als die andere der wenigstens zwei Kameraeinheiten, wobei das Verfahren umfasst: das Bestimmen, ob die Parallaxenoperation in einem interessierenden Überlappungsbereich fehlschlägt, und das Verwenden einer durch die Kameraeinheit mit der kleineren Blende bestimmten Brennweite als gemeinsame Brennweite, wenn die Parallaxenoperation in dem interessierenden Überlappungsbereich fehlschlägt.
Verfahren nach Anspruch 8, ferner umfassend: den Abruf von Kamera-Kalibrierdaten für jede Kameraeinheit, die in dem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind und sich auf Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kamera beziehen.
Verfahren nach Anspruch 8 oder 9, ferner umfassend: den Zugriff auf den Speicher, um die Kamera-Kalibrierdaten für jede Kameraeinheit abzurufen; und das Einstellen des Aktuators der wenigstens einen Kameraeinheit unter Verwendung der diesbezüglichen Kamera-Kalibrierdaten.
Verfahren nach einem der Ansprüche 8 bis 10, ferner umfassend: den Abruf einer Anfangseinstellung der Objektivposition für jede Kameraeinheit von dem entsprechenden Aktuator jeder Kameraeinheit.
Verfahren nach einem der Ansprüche 8 bis 11, ferner umfassend: das Iterieren der Parallaxenoperation durch die Gewinnung von wenigstens zwei weiteren Einzelbildern im Anschluss an die Einstellung des Objektivs wenigstens einer Kameraeinheit auf eine der gemeinsamen Brennweite entsprechende Objektivposition und die Bestimmung einer iterierten gemeinsamen Brennweite; und das Einstellen eines Aktuators wenigstens einer oder einer weiteren der wenigstens zwei Kameraeinheiten, um die jeweilige Objektivposition auf eine der iterierten gemeinsamen Brennweite entsprechende endgültige Objektivposition einzustellen.
Verfahren nach einem der Ansprüche 8 bis 12, ferner umfassend: das Einstellen des Aktuators unter Verwendung einer für jede Kameraeinheit einmaligen Objektivposition auf der Basis von Kamera-Kalibrierdaten für jede Kameraeinheit, die in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind und sich auf Einstellungen der Objektivposition im Vergleich zur Brennweite für jede Kameraeinheit beziehen.
Verfahren nach einem der Ansprüche 8 bis 13, ferner umfassend: den Zugriff auf den Speicher, der als sich in der jeweiligen Kameraeinheit befindender separater Speicher verteilt ist, um die Einstellung der Objektivposition zu erhalten.