DE102015121747A1

DE102015121747A1 - Mehrfachkameravorrichtung und Verfahren zum synchronisierten automatischen Weißabgleich

Info

Publication number: DE102015121747A1
Application number: DE102015121747.3A
Authority: DE
Inventors: By-Her W. Richards; Sean C. Kelly; Kevin W. Johnson
Original assignee: Motorola Mobility LLC
Current assignee: Motorola Mobility LLC
Priority date: 2014-12-22
Filing date: 2015-12-14
Publication date: 2016-06-23
Also published as: US9741117B2; GB2534024B; US20160182874A1; CN105721846A; CN105721846B; GB2534024A; GB201521715D0

Abstract

Eine Vorrichtung umfasst eine Vielzahl von Kameraeinheiten, deren jede ein Objektiv und einen Sensor, der mindestens drei Farben detektieren kann, umfasst, und bei der Kameraeinheit-Kalibrierdaten für jede Kameraeinheit in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind. Die Vorrichtung enthält auch eine Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera, die mit jeder Kameraeinheit wirkverbunden ist. Die Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera ist wirksam für das Bestimmen von gemeinsamen Weißabgleichergebnissen auf der Basis der Kameraeinheit-Weißabgleichergebnisse pro Bild und auf der Basis der Kamera-Kalibrierdaten. Die gemeinsamen Weißabgleichergebnisse werden den Bildsignalverarbeitungs-Pipelines zur Verfügung gestellt, so dass nach erfolgtem Weißabgleich und nach erfolgter Farbkorrektur unter Verwendung der gemeinsamen Weißabgleichergebnisse durch die Kombination der Einzelbilder jeder Kamera ein zusammengesetztes Bild erstellt werden kann.

Description

GEBIET DER ERFINDUNG
Vorliegende Erfindung betrifft allgemein Abbildungsvorrichtungen wie Digitalkameras und insbesondere Verfahren und Vorrichtungen für einen Auto-Weißabgleich von Abbildungsvorrichtungen.
HINTERGRUND
Abbildungsvorrichtungen wie Digitalkameras führen Weißabgleichvorgänge durch zum Identifizieren der Lichtquelle am Aufnahmeort, zum Weißabgleichen der Bildbereiche von neutralgrauen Objekten und zum Korrigieren der Farbe der Bildbereiche von bunten Objekten. Bei einer gegebenen Abbildungsvorrichtung wird eine Kalibrierung verwendet, um der Variation von Bereich zu Bereich in dem Abbildungssystem Rechnung zu tragen. Für eine Farbkalibrierung oder eine Weißabgleichkalibrierung werden unter bekannten Lichtquellen Messdaten gesammelt, so dass die von der Abbildungsvorrichtung erfassten Bilder mit einem Referenzpunkt verglichen werden können. Die Kalibrierdaten können für Anpassungen des Weißabgleichs, für Anpassungen der Farbwiedergabe oder für beides verwendet werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm einer Vorrichtung mit mehreren Kameraeinheiten und einer Auto-Weißabgleichlogik gemäß einer Ausführungsform;
2 ist ein Blockdiagramm einer Vorrichtung mit einer Dual-Kamera-Bildsignalverarbeitungs-Pipeline und einer Auto-Weißabgleichlogik gemäß einer Ausführungsform;
3 ist ein Flussdiagramm zur Darstellung eines Prozesses zum Bestimmen eines statischen Konfidenzpegels für Weißabgleichergebnisse einer Kameraeinheit gemäß verschiedenen Ausführungsformen;
4 ist ein Flussdiagramm zur Darstellung eines Prozesses zum Bestimmen von Weißabgleichergebnissen einer Kameraeinheit mit einem Konfidenzpegel gemäß verschiedenen Ausführungsformen;
5 ist ein Flussdiagramm zur Darstellung eines Prozesses zum Bestimmen gemeinsamer Weißabgleichergebnisse für eine Vielzahl von Kameras gemäß verschiedenen Ausführungsformen
6 ist ein Flussdiagramm zur Darstellung eines Prozesses zum Bestimmen gemeinsamer Weißabgleichergebnisse für eine Dual-Kameravorrichtung mit einer Kameraeinheit mit einem weiteren Blickwinkel und einer Kameraeinheit mit einem engeren Blickwinkel gemäß verschiedenen Ausführungsformen.
DETAILBESCHREIBUNG
Die beschriebenen Ausführungsformen verringern kurz gesagt eine Farbfleckigkeit und andere Farbunstimmigkeiten bei Abbildungen, die durch die Verwendung von mehreren Kameraeinheiten erstellt werden. Insbesondere werden durch vorliegende Erfindung Vorrichtungen und Verfahren zum Durchführen eines Auto-Weißabgleichs für mehrere Einzelbilder, die mit mehreren Kameraeinheiten aufgenommen werden, vorgeschlagen. Die beschriebenen Vorrichtungen und Verfahren ermöglichen eine Einheitlichkeit beim Weißabgleich und bei der Farbkorrektur jedes von den verschiedenen Kameraeinheiten erfassten Einzelbildes, so dass aus den Einzelbildern ein zusammengesetztes Bild bzw. Mischbild erstellt werden kann.
Eine beschriebene Ausführungsform schlägt eine Vorrichtung vor, die eine Vielzahl von Kameraeinheiten umfasst. Jede Kameraeinheit hat ein Objektiv und einen Bildsensor, der mindestens drei Farben detektieren kann. Die Vorrichtung enthält auch Kameraeinheit-Kalibrierdaten für jede Kameraeinheit, die in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind. Die Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera ist mit jeder Kameraeinheit wirkverbunden und ist wirksam für die Bestimmung von gemeinsamen Weißabgleichergebnissen für die Vielzahl von Kameraeinheiten auf der Basis von Kameraeinheit-Weißabgleichergebnissen pro Einzelbild jeder Kameraeinheit und auf der Basis der Kameraeinheit-Kalibrierdaten. Die Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera sorgt für einen Weißabgleich und eine Farbkorrektur bei einem oder mehreren Einzelbildern, so dass sich durch die Kombination der Einzelbilder jeder Kameraeinheit ein zusammengesetztes Bild erstellen lässt.
Eine weitere beschriebene Vorrichtung umfasst eine Vielzahl von Kameraeinheiten, wobei jede Kameraeinheit ein Objektiv, einen Sensor, der für die Detektion von mindestens drei Farben wirksam ist, und einen nichtflüchtigen, nichttransitorischen Speicher zum Speichern von Kameraeinheit-Kalibrierdaten umfasst. Die Vorrichtung enthält auch mindestens einen Prozessor, der wirksam ist für die Bestimmung von Kameraeinheit-Weißabgleichergebnissen für jede Kameraeinheit der Vielzahl von Kameraeinheiten und eine Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera, die mit jeder Kameraeinheit und mit dem mindestens einen Prozessor wirkverbunden ist. Die Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera ist wirksam für das Anlegen eines Konfidenzpegels an die Einheit-Kalibrierdaten jeder Kameraeinheit, für das Anlegen von Konfidenzpegeln an die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit der Vielzahl von Kameraeinheiten und für die Wahl der Weißabgleichergebnisse einer Kameraeinheit, die kameraeinheit-spezifische Ergebnisse ausschließen, als gemeinsames Weißabgleichergebnis für die Anpassung von Weißabgleich-Verstärkungen und Farbkorrekturmatrizen für die Vielzahl von Kameraeinheiten.
Die Vorrichtung kann ferner eine statistische Verteilungsinformation für Einheit-Kalibrierdaten, die in dem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind, enthalten, so dass die Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera wirksam ist für das Anlegen von Konfidenzpegeln an die Einheit-Kalibrierdaten jeder Kameraeinheit unter Verwendung der statistischen Verteilungsinformation für Einheit-Kalibrierdaten. Die Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera kann auf der Basis von gemeinsamen Weißabgleichergebnissen Korrekturfaktoren für die Weißabgleichverstärkung für jede Kameraeinheit der Vielzahl von Kameraeinheiten wählen. Der mindestens eine Prozessor kann unter Verwendung der Korrekturfaktoren für die Weißabgleichverstärkung für jede Kameraeinheit der Vielzahl von Kameraeinheiten eine Vielzahl von Bestimmungen der Weißabgleichverstärkung anpassen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren, das zwei Schritte umfasst: (1) Auto-Weißabgleichroutinen der Kameraeinheit holen Statistiken von Einzelbildern jeder Kameraeinheit einer Vielzahl von Kameraeinheiten ein, wobei jedes Einzelbild mindestens drei Farben umfasst, wobei auf der Basis der Statistiken und der Kameraeinheit-Kalibrierdaten für jede Kameraeinheit der Vielzahl von Kameraeinheiten Kameraeinheit-Weißabgleichergebnisse bestimmt werden; (2) Logik zum Synchronisieren des Auto-Weißabgleichs einer Mehrfachkamera bestimmt gemeinsame Weißabgleichergebnisse aus den Kameraeinheit-Weißabgleichergebnissen von mehreren Kameras und erzeugt ein zusammengesetztes Bild durch die Kombination der Einzelbilder jeder Kamera nach dem Weißabgleich und der Farbkorrektur jedes Einzelbildes unter Verwendung der gemeinsamen Weißabgleichergebnisse.
Das Verfahren kann ferner die Ausgabe eines weißabgeglichenen und farbkorrigierten Einzelbildes auf der Basis der gemeinsamen Weißabgleichergebnisse durch eine Vielzahl von Bildverarbeitungs-Pipelines umfassen. In einigen Ausführungsformen kann das Verfahren die Zuordnung eines ersten Konfidenzpegels zu den Kameraeinheit-Weißabgleichergebnissen jeder Kameraeinheit und die Berechnung eines gewichteten Konfidenzpegels für die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit umfassen. Das Verfahren kann ferner das Bestimmen eines zweiten Konfidenzpegels für jedes von jeder Kamera aufgenommene Einzelbild auf der Basis von Licht, das bei der Aufnahme des Einzelbildes von der Kamera empfangen wird, umfassen und einen Weißabgleich und eine Farbkorrektur für jedes Einzelbild jeder Kamera unter Verwendung der Statistik durchführen, um Kameraeinheit-Weißabgleichergebnisse mit dem zweiten Konfidenzpegel für jedes Einzelbild jeder Kameraeinheit zu erzeugen.
In einigen Ausführungsformen kann das Verfahren die Wahl der Kameraeinheit-Weißabgleichergebnisse mit dem höchsten Konfidenzpegel umfassen, wenn die Kameraeinheit-Weißabgleichergebnisse für eine erste Kameraeinheit der Vielzahl von Kameraeinheiten sind, und das Bereitstellen von gemeinsamen Weißabgleichergebnissen für die Bildverarbeitungs-Pipeline jeder weiteren Kameraeinheit, außer der ersten Kameraeinheit. Das Verfahren kann ferner die Berechnung des gewichteten Konfidenzpegels für die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit umfassen, wobei der gewichtete Konfidenzpegel auf der Basis des Blickfeldes und der Objektivöffnung erhöht wird.
In einigen Ausführungsformen kann das Verfahren des Bestimmen von überlappenden Bereichen der Abbildung für jedes von der Kameraeinheit aufgenommene Einzelbild und das Erstellen einer Statistik nur für die überlappenden Bereiche jedes Bildes umfassen. Das Verfahren kann eine Kalibrierung der Ausrichtung der Kameraeinheiten umfassen, um Koordinaten für die Erstellung einer Statistik für überlappende Bereiche jedes Bildes zu bestimmen.
Es wird nunmehr auf die Zeichnungen Bezug genommen. 1 ist ein Blockdiagramm einer Vorrichtung 100 mit mehreren Kameraeinheiten und mit einer Mehrfachkamera-AWB-Synchronisationslogik 150 gemäß einer Ausführungsform. Die Vorrichtung 100 umfasst eine Gruppe von Kameraeinheiten 110 (vorliegend auch als ”Kameras” bezeichnet), mit einer Kameraeinheit 1 bis einschließlich einer n-ten Kameraeinheit ”N”, die jeweils mit einer Gruppe von Bildsignalverarbeitungs-Pipelines 170 wirkverbunden sind. Die Bildsignalverarbeitungs-Pipelines 170 können als Software (d. h. als ausführbarer Code), der auf einem oder mehreren Prozessoren 120 ausgeführt wird, oder als Hardware oder als eine Kombination von Hardware und Software/Firmware implementiert sein. Die Kameraeinheiten sind wirksam für die Aufnahme und Bereitstellung von Einzelbildern 118 an die Bildsignalverarbeitungs-Pipelines 170. Die Kameraeinheit 1 zeigt Beispieldetails von Komponenten, die in jeder Kameraeinheit von Kameraeinheiten 110 vorhanden sind. Wie für Kameraeinheit 1 gezeigt ist, hat jede Kameraeinheit mindestens ein Objektiv 111, einen Bildsensor 112, der mindestens drei Farben detektieren kann, und einen Speicher 115. Der Speicher 115 ist ein nichtflüchtiger, nichttransitorischer Speicher und enthält Kameraeinheit-Kalibrierdaten 116 und goldene Referenz-Kalibrierdaten 117 (vorliegend auch als ”klassische” Kalibrierdaten bezeichnet). Die Kameraeinheit-Kalibrierdaten 116 enthalten Weißabgleich-Kalibrierdaten für die Kameraeinheit, die mit Bezug auf eine Referenz wie eine kalibrierte Weißkartenreferenz gesammelt werden. Einige der Kameraeinheiten 110 können zwar identische Spezifikation haben, aber dennoch einmalig sein oder einige unterschiedliche Charakteristiken aufweisen. In einigen Ausführungsformen können unterschiedliche Kameraeinheit-Objektive zum Beispiel ein unterschiedliches Blickfeld (FOV) aufweisen. In einer beispielhaften Ausführungsform kann das Objektiv einer ersten Kameraeinheit ein weites FOV und das Objektiv einer zweiten Kamera ein im Vergleich zu dem FOV der ersten Kamera enges FOV aufweisen.
Die in der Beschreibung verwendeten Begriffe ”weit” und ”eng” sind relative Begriffe, die dahingehend zu verstehen sind, dass eine der Kameras im Vergleich zu einigen anderen der Kameras ein ”weiteres” oder ”engeres” FOV hat. Im Speziellen gilt eine Kamera, die hier mit einem ”engen” FOV beschrieben ist, als eine Kamera, deren FOV ”enger” ist als das einer anderen Kamera in einer Mehrfachkameravorrichtung. Ähnlich gilt eine Kamera, die hier mit einem ”weiten” FOV beschrieben ist, als eine Kamera, deren FOV ”weiter” ist als das einer anderen Kamera in einer Mehrfachkameravorrichtung.
Die Vorrichtung 100 enthält eine Mehrfachkamera-AWB-Synchronisationslogik 150, die mit den Bildsignalverarbeitungs-Pipelines 170 und mit den Kameraeinheit-Autoweißabgleich-(AWB)-Routinen 140 wirkverbunden ist. Wie im Zusammenhang mit den Bildsignalverarbeitungs-Pipelines 170 erläutert wurde, können in einigen Ausführungsformen die Mehrfachkamera-AWB-Synchronisationslogik 150 und/oder die Kameraeinheit-AWB-Routinen 140 ähnlich als ausführbare Befehle, die durch einen oder mehrere Prozessoren 120 ausgeführt werden, oder als Hardware oder als eine Kombination von Hardware und Software/Firmware implementiert sein. In Ausführungsformen, in denen eine oder mehrere dieser Komponenten als Software oder teilweise als Software/Firmware implementiert sind, können die ausführbaren Befehle in einem wirkgekoppelten nichtflüchtigen, nichttransitorischen Speicher 190 gespeichert sein, auf den je nach Notwendigkeit ein oder mehrere Prozessoren 120 zugreifen können. Wie dargestellt ist, kann der Speicher 190 mit einem oder mehreren Prozessoren 120 wirkgekoppelt sein, in denselben integriert sein oder eine Kombination eines Speichers und mit diesem wirkgekoppelten integrierten Speichers sein. Der Speicher 190 kann unter anderem einen ausführbaren Code des Betriebssystems speichern, um mindestens ein Betriebssystem arbeiten zu lassen, sowie einen ausführbaren Code für die Bildsignalverarbeitungs-Pipelines 170, die Mehrfachkamera-AWB-Synchronisationslogik 150 und/oder die Kameraeinheit-AWB-Routinen 140.
Die Kameraeinheit-AWB-Routinen 140 sind wirksam für das Einholen einer Autoweißabgleich-Statistik 171 von den Bildsignalverarbeitungs-Pipelines 170 und für die Bereitstellung von individuellen Kameraeinheit-Weißabgleichergebnissen 141 als Ausgabe. Die individuellen Kameraeinheit-Weißabgleichergebnisse 141 werden als Eingabe in die Mehrfachkamera-AWB-Synchronisationslogik 150 bereitgestellt, zusammen mit den Kalibrierdaten 119 jeder Kameraeinheit und dem pro Einzelbild 113 empfangenen Licht für jede Kameraeinheit. Das pro Einzelbild empfangene Licht wird durch die Kameraeinheit-Auto-Belichtungslogik 130 bereitgestellt, die für das Bestimmen des Lichts, das pro Einzelbild von jeder Kameraeinheit der Gruppe von Kameraeinheiten 110 empfangen wird, wirksam ist.
Die Mehrfachkamera-AWB-Synchronisationslogik 150 ist wirksam für das Bestimmen von gemeinsamen Weißabgleichergebnissen 131, die unter anderem enthalten können, jedoch nicht beschränkt sind auf eine gemeinsame korrelierte Farbtemperatur am Aufnahmeort, die Lichtquelle am Aufnahmeort, einen Hinweis, ob die Aufnahme eine Innen- oder Außenaufnahme ist, ein Hinweis auf ungünstige oder günstige Lichtverhältnisse am Aufnahmeort, die LED-Einstellungen, die bei Benutzung der Kamera im Flash-On-Modus verwendet werden, oder dergleichen mehr. Die gemeinsamen Weißabgleichergebnisse 131 können als Eingabe in eine oder mehrere Komponenten der Bildsignalverarbeitungs-Pipelines 170 bereitgestellt werden.
In einigen Ausführungsformen kann die Mehrfachkamera-AWB-Synchronisationslogik 150 als einzelnes integriertes Logikbauteil in die Kameraeinheit-AWB-Routinen 140 integriert sein. Die Kameraeinheit-AWB-Routinen 140 bestimmen die Lichtquelle am Aufnahmeort für jede Kamera auf der Basis der Autoweißabgleich-Statistik 171 und der Kameraeinheit-Kalibrierdaten 119 jeder Kameraeinheit. Die Kameraeinheit-Auto-Weißabgleich-Routinen 140 geben Kameraeinheit-Weißabgleichergebnisse 141 für jede der Kameraeinheiten aus und liefern diese Ergebnisse an die wirkgekoppelte Mehrfachkamera-AWB-Synchronisationslogik 150. Die Mehrfachkamera-AWB-Synchronisationslogik 150 empfängt zusätzlich zu den Kameraeinheit-Weißabgleichergebnissen 141 die Kameraeinheit-Kalibrierdaten 119 und Daten 113 über Licht, das pro Einzelbild von jeder Kameraeinheit empfangen wird. Das pro Einzelbild empfangene Licht kann von der Kameraeinheit-Auto-Belichtungslogik 130 eingeholt werden. Die Mehrfachkamera-AWB-Synchronisationslogik 150 kann verschiedene Gewichtungen bestimmen und auf die individuellen Kameraeinheit-Weißabgleichergebnisse 141 anwenden, um die gemeinsamen Weißabgleichergebnisse 131 zu bestimmen.
Das heißt, die Mehrfachkamera-AWB-Synchronisationslogik 150 kann durch die Verwendung eines später beschriebenen Wahlmechanismus als gemeinsame Weißabgleichergebnisse 131 eines der Kameraeinheit-Weißabgleichergebnisse 141 wählen, wobei kameraeinheit-spezifische Ergebnisse ausgeschlossen werden. Die Vorrichtung 100 kann auch eine Benutzerschnittstelle 160 aufweisen, die mit einem oder mehreren Prozessoren 120 wirkverbunden ist, um dem Benutzer das Erfassen einer Abbildung mit der Vorrichtung 100 zu ermöglichen und die Abbildung in dem Speicher 190 oder in einer anderen Speicherkomponente, zum Beispiel auf einer herausnehmbaren Speicherkarte, zu speichern.
Es versteht sich, dass jede der vorstehend beschriebenen Beispielkomponenten in der Beispielvorrichtung 100 als Software (d. h. als ausführbare Befehle oder ausführbarer Code) oder Firmware (oder eine Kombination von Software und Firmware), die auf einem oder mehreren Prozessoren läuft, implementiert sein kann oder dass ASICs (anwendungsspezifische integrierte Schaltungen), DSPs (digitale Signalprozessoren), festverdrahtete Schaltungen (logische Schaltungen), Zustandsautomaten, FPGAs (feldprogrammierbare Gate-Arrays) oder Kombinationen derselben verwendet werden können. Aus diesem Grund stellt die in den Zeichnungsfiguren dargestellte und vorliegend beschriebene Beispielvorrichtung lediglich eine beispielhafte Ausführungsform einer Mehrfachkameravorrichtung dar, die nicht als Einschränkung der verschiedenen anderen möglichen Implementierungen gedacht ist, die gemäß den verschiedenen Ausführungsformen verwendet werden können.
Insbesondere kann die Mehrfachkamera-AWB-Synchronisationslogik 150 eine Einzelkomponente sein oder kann ohne Einschränkung eine beliebige Kombination von Befehlen sein, die auf DSPs, ASICs, FPGAs und CPUs ausgeführt werden, eine festverdrahtete Schaltung, ein Zustandsautomat etc.. Aus diesem Grund kann die Mehrfachkamera-AWB-Synchronisationslogik 150 als ein Beispiel unter Verwendung einer ASIC oder eines FPGA implementiert sein, die mit der Gruppe von Kameraeinheiten 110 und/oder mit den Bildsignalverarbeitungs-Pipelines 170 wirkverbunden sein können. Ähnlich können die Kameraeinheit-Auto-Weißabgleich-Routinen 140 als Code ausgeführt werden oder können implementiert sein unter Verwendung einer ASIC oder eines FPGA, die mit der Gruppe von Kameraeinheiten 110 und/oder mit den Bildsignalverarbeitungs-Pipelines 170 wirkverbunden sind, wenn die Mehrfachkamera-AWB-Synchronisationslogik 150 ebenfalls unter Verwendung einer ASIC oder eines FPGA implementiert ist. In einem weiteren Beispiel können die Mehrfachkamera-AWB-Synchronisationslogik 150 und/oder die Kameraeinheit-Auto-Weißabgleich-Routinen 140 getrennt vorgesehen oder miteinander integriert sein und können eine Kombination von Hardware und Software oder Firmware sein, die auf einem Prozessor läuft, zum Beispiel auf einem oder mehreren Prozessoren 120, ohne Beschränkung hierauf. Diese beispielhaften Ausführungsformen und weitere Ausführungsformen werden in der vorliegenden Beschreibung in Betracht gezogen.
Die Kameraeinheit-Auto-Weißabgleich-Routinen 140 sind wirksam für das Erstellen von Auto-Weißabgleich-Statistikdaten 171 von einer oder mehreren Pipelines der Bildsignalverarbeitungs-Pipelines 170 und für das Bestimmen von Durchschnittswerten pro Farbkanalwert für Rasterblöcke der Bilddaten. Das heißt, die Bildsignalverarbeitungs-Pipelines 170 können ein Einzelbild in ein Raster unterteilen, das aus zwei oder mehr Blöcken besteht. Der vorliegend verwendete Begriff ”Farbkanal” bezieht sich auf einen individuellen Farbkanal für eine Farbabbildung, die mit einem gegebenen Farbmodell erstellt wird. In einem Beispiel bestimmen die Bildsignalverarbeitungs-Pipelines 170 Durchschnittswerte für einen roten, grünen und blauen Kanal für ein RGB-Bild. In einigen Ausführungsformen kann jeder Farbkanal des Bildes in ein Raster aufgeteilt sein, und es können dann die Durchschnittswerte pro Rasterblock jedes Farbkanals erfasst werden. Zum Beispiel erfassen die Bildsignalverarbeitungs-Pipelines 170 die Durchschnittswerte je Farbkanal für Rasterblöcke einer vorgegebenen Rastergröße auf einer Basis von Bild zu Bild, wie von jeder Kameraeinheit der Gruppe von Kameraeinheiten 110 aufgenommen. Diese Statistik kann dann für den weiteren Zugriff durch die Kameraeinheit-Auto-Weißabgleich-Routinen 140 in dem Speicher 190 gespeichert werden. Das vorstehende Beispiel und weitere hierin beschriebene Beispiele beziehen sich zwar auf das RGB-Farbmodell, dennoch versteht es sich, dass entsprechend den Ausführungsformen andere Farbmodelle verwendet werden können, RGB, RGBy, CMYK, HSV, HSL oder einige weitere Farbmodelle.
Die Multikamera-AWB-Synchronisationslogik 150 ist mit jeder der Kameraeinheiten 110 wirkverbunden und ist wirksam für den Abruf der gespeicherten Weißabgleich-Kalibierdaten von den jeweiligen Kalibrierdaten 116 jeder Kameraeinheit, die in dem Speicher 115 der Kameraeinheit gespeichert sind. Die Mehrfachkamera-AWB-Synchronisationslogik 150 gibt gemeinsame Weißabgleichergebnisse 131 aus, die für eine oder mehrere Komponenten der Bildsignalverarbeitungs-Pipelines 170 als Eingabe bereitgestellt werden. Die Bildsignalverarbeitungs-Pipelines 170 verwenden die Weißabgleichergebnisse 131 zum Erstellen von angepassten Ausgangsbildern 180. Die angepassten Ausgangsbilder 180 synchronisieren den Bild-Weißabgleich und die Farbe von jeder Kameraeinheit, so dass von der Gruppe von Kameraeinheiten 110 ein Bild mit vereinheitlichtem Weißabgleich und vereinheitlichter Farbwiedergabe erstellt werden kann. Mit anderen Worten: die angepassten Ausgangsbilder 180 sind hinsichtlich der Unterschiede im Weißabgleich und in der Farbwiedergabe zwischen den verschiedenen Kameraeinheiten korrigiert.
Obwohl die Kalibrierdaten 116 in der Beispielvorrichtung 100 in dem Speicher 115, der eine Komponente jeder individuellen Kameraeinheit ist, gespeichert sind, können die Kalibrierdaten 116 für jede Kameraeinheit auch in dem Speicher 190 gespeichert sein. Mit anderen Worten: die Kameraeinheit-Kalibrierdaten 116 können in einem Speicher gespeichert sein, der entweder eine separate Speicherkomponente ist, die mit einem oder mehreren Prozessoren 120 wirkverbunden ist, oder sie können in einem Speicher gespeichert sein, der in die Kameraeinheiten oder andere Komponenten der Vorrichtung 100 integriert ist.
Die Kameraeinheit-Kalibrierdaten 116 sind für die kameraeinheit-spezifische Daten und werden im Zuge der Herstellung der Kameraeinheit fabrikseitig bestimmt. Die goldenen Referenz-Kalibrierdaten 117 (in der vorliegenden Beschreibung auch als ”klassische” Kalibrierdaten bezeichnet), sind spezifisch für das Modell der Kameraeinheit und beziehen sich auf eine ”goldene Referenzeinheit”. Das bedeutet, dass bei einer Beschädigung der Einheit-Kalibrierdaten 116 für eine gegebene Kameraeinheit die klassischen Kalibrierdaten als Ersatz verwendet werden können.
Ungeachtet des Speicherorts der Kameraeinheit-Kalibrierdaten 116 (die die Weißabgleich-Kalibrierdaten enthalten) in der Vorrichtung 100, kann die Mehrfachkamera-AWB-Synchronisationslogik 150 auf diese Daten und auf die Weißabgleichergebnisse 141 der individuellen Kameraeinheit und auf das empfangene Licht je Bild 113 zugreifen und diese Information nutzen, um die gemeinsamen Weißabgleichergebnisse 131, die an die Bildsignalverarbeitungs-Pipelines 170 übermittelt werden, zu bestimmen. Details der Funktionsweise einer Ausführungsform mit zwei Kameraeinheiten sind in 2 dargestellt.
2 ist ein Blockdiagramm einer weiteren Beispielvorrichtung 200 mit einer Dualkamera-Bildsignalverarbeitungs-Pipeline und einer Mehrfachkamera-AWB-Synchronisationslogik 230 gemäß einer Ausführungsform. Die Mehrfachkamera-AWB-Synchronisationslogik 230 kann in einigen Ausführungsformen in eine Komponente integriert sein, die Kameraeinheit-Auto-Weißabgleich-Routinen durchführt, oder kann wie dargestellt eine separate Komponente sein. Die Beispielvorrichtung 200 hat eine erste Kameraeinheit 201 und eine zweite Kameraeinheit 202. Sowohl die erste Kameraeinheit 201 als auch die zweite Kameraeinheit 202 enthalten die internen Komponenten, die zum Beispiel in Kameraeinheit 1 in 1 gezeigt sind. Die erste Kameraeinheit 201 ist mit einer ersten Bildverarbeitungs-Pipeline 240 wirkverbunden, während die zweite Kameraeinheit 202 mit der zweiten Bildverarbeitungs-Pipeline 250 wirkverbunden ist. In dem Ausführungsbeispiel von 2 können die erste Bildverarbeitungs-Pipeline 240 und die zweite Bildverarbeitungs-Pipeline 250 als Software oder Firmware oder Hardware oder als Kombination von Hardware und Software implementiert sein. Die erste Kameraeinheit 201 und die zweite Kameraeinheit 202 geben jeweils Rohbilddaten an ihre jeweiligen Bildverarbeitungs-Pipelines aus und liefern ihre jeweiligen Einheit-Kalibrierdaten 204, 214 an ihre jeweilige erste Kameraeinheit-Auto-Weißabgleich-Routine 222 und zweite Kameraeinheit-Auto-Weißabgleich-Routine 223. Die Kalibrierdaten 204 der ersten Kameraeinheit und die Kalibrierdaten 214 der zweiten Kameraeinheit werden ebenfalls in die Mehrfachkamera-AWB-Synchronisationslogik 230 eingegeben. Die erste Bildverarbeitungs-Pipeline 240 und die zweite Bildverarbeitungs-Pipeline 250 umfassen jeweils eine Schwarzpegel-Subtraktion 203, eine Gegenlichtkorrektur 205, Demosaicing 206, eine Weißabgleich-Verstärkung 207, eine Farbkorrekturmatrix 209, globales Tonemapping 211, eine Gamma-Wertetabelle (LUT) 213, eine Farbsättigungskomponente 215, eine Rauschunterdrückungskomponente 217 und eine Schärfungskomponente 219. Die beiden Bildverarbeitungs-Pipelines erzeugen jeweils ein erstes Ausgangsbild 241 und ein zweites Ausgangsbild 251, die für eine Bildmischverarbeitung 260 bereitgestellt werden, die gegebenenfalls dafür sorgt, dass ein Ausgangsbild 261 auf einem Display angezeigt wird, in einem Speicher gespeichert wird oder einer weiteren Bildverarbeitung innerhalb der Vorrichtung 200 unterzogen wird.
Die erste Kameraeinheit-AWB-Routine 222 ist nach der Komponente für die Gegenlichtkorrektur 205 mit der ersten Bildverarbeitungs-Pipeline 240 verbunden, um eine auf die erste Kameraeinheit 201 bezogene Statistik 208 zu erstellen. In einer zweiten Operation, die in einigen Ausführungsformen als Paralleloperation durchgeführt werden kann, ist die zweite Kameraeinheit-AWB-Routine 223 ebenfalls mit der Komponente für die Gegenlichtkorrektur 205 der zweiten Bildverarbeitungs-Pipeline 250 wirkverbunden, um die Statistik 210 zu erstellen, die sich auf ein von der zweiten Kameraeinheit 202 aufgenommenes Einzelbild bezieht. Wenngleich das Beispiel von 2 zeigt, dass die Statistiken 208, 210 nach der Komponente für die Gegenlichtkorrektur 205 erstellt werden, versteht es sich, dass die Statistiken abhängig von der Ausgestaltung der Pipelines an einem beliebigen Ort in den Pipelines, der vor der Weißabgleich-Verstärkung 207 liegt, erstellt werden können. Die AWB-Routine 222 der ersten Kameraeinheit nutzt die Kalibrierdaten 204 der ersten Kameraeinheit und die Statistik 208 der ersten Kameraeinheit, um Weißabgleichergebnisse 224 der ersten Kameraeinheit zu generieren. Die AWB-Routine 223 der zweiten Kameraeinheit nutzt die Kalibrierdaten 214 der zweiten Kameraeinheit und die Statistik 210 der zweiten Kameraeinheit, um Weißabgleichergebnisse 225 der zweiten Kameraeinheit zu generieren. Die Mehrfachkamera-AWB-Synchronisationslogik 230 ist wirksam für den Empfang der und nutzt die Einheit-Kalibrierdaten 204 der ersten Kameraeinheit 201, die Einheit-Kalibrierdaten 214 der zweiten Kameraeinheit 202, das von der ersten Kamera am Aufnahmeort je Bild 220 empfangene Licht (von der Autobelichtungseinheit 216 der ersten Kameraeinheit bezogen), das von der zweiten Kamera am Aufnahmeort je Bild 221 empfangene Licht (von der Auto-Belichtungseinheit 218 der zweiten Kameraeinheit bezogen), Weißabgleichergebnisse 224 der ersten Kameraeinheit von der Auto-Weißabgleich-Routine 222 der ersten Kameraeinheit und Weißabgleichergebnisse 225 der zweiten Kameraeinheit von der Auto-Weißabgleich-Routine 223 der zweiten Kameraeinheit. Die Mehrfachkamera-AWB-Synchronisationslogik 230 verarbeitet diese Eingaben, um die gemeinsamen Weißabgleichergebnisse 231 als Ausgabe zu generieren. Die gemeinsamen Weißabgleichergebnisse 231 können von der ersten Bildverarbeitungs-Pipeline 240 und der zweiten Bildverarbeitungs-Pipeline 250 zur Anpassung der Weißabgleich-Verstärkung 207, zur Anpassung der Farbsättigung 215 und zur Anpassung der Farbkorrekturmatrix 209 verwendet werden. Die Bildverarbeitungs-Pipelines 240, 250 können dann farbkorrigierte Ausgangsbilder 241, 251 liefern, die anschließend von der Bildzusammensetzungsverarbeitung 260 verwendet werden können, um durch die Kombination der von jeder Kamera erfassten Einzelbilder ein einheitliches Bild zu generieren und das Ausgangsbild 261 zu generieren. Das Ausgangsbild 261 kann in dem Speicher der Vorrichtung 200 gespeichert und/oder auf einem Display der Vorrichtung 200 oder einer anderen Vorrichtung angezeigt werden.
Die gemeinsamen Weißabgleichergebnisse 231 können Skalierungsfaktoren an die Komponenten für die Weißabgleich-Verstärkung 207 liefern, um in Verbindung mit den Weißabgleichverstärkungs-Lookup-Tabellen 227, 232 die Farbtemperaturen für einzelne Bilder, die jeweils durch die erste Bildverarbeitungs-Pipeline 240 und die zweite Bildverarbeitungs-Pipeline 250 verarbeitet werden, entsprechend einzustellen. Der Speicher 212 enthält lichtquellen- oder farbtemperaturabhängige Lookup-Tabellen (LUTs) für die erste Kameraeinheit 201, einschließlich der Weißabgleichverstärkungs-LUT 227, der Farbkorrekturmatrix-(CCM)-LUT 228 und der Farbsättigungs-LUT 229. Ähnlich enthält der Speicher 212 für die zweite Kameraeinheit eine Weißabgleich-LUT 232, eine CCM-LUT 233 und eine Farbsättigungs-LUT 234. Diese LUTs können individuell gespeichert sein oder können in einigen Ausführungsformen als eine einzige LUT pro Kameraeinheit in derselben integriert sein. In einigen Ausführungsformen können die gemeinsamen Weißabgleichergebnisse 231 auch zum Einstellen der Komponenten der Farbkorrekturmatrix 209 und/oder der Komponenten für die Farbsättigung 215 jeder der beiden Bildsignalverarbeitungs-Pipelines verwendet werden, unter Verwendung der geeigneten LUTs aus dem Speicher 212. Die Komponenten der Bildsignalverarbeitungs-Pipelines können über eine Speicherschnittstelle 226 auf den Speicher 212 zugreifen.
In einem Beispiel der Einstellung der Weißabgleich-Verstärkung unter Verwendung der gemeinsamen Weißabgleichergebnisse 231 kann die Mehrfachkamera-AWB-Synchronisationslogik 230 Korrekturfaktoren an die Komponenten der Weißabgleich-Verstärkung 207 liefern, indem sie eine Farbtemperatur einer Lichtart bestimmt, die in Skalierungsfaktoren der R/G- und B/G-Weißabgleich-Verstärkung resultiert. Es können daher Korrekturfaktoren für die erste Kameraeinheit 201 gesendet werden, die aus einem R/G- und B/G-Korrekturfaktor bestehen, und es können ähnlich Korrekturfaktoren für die zweite Kameraeinheit 202 gesendet werden, die aus einem R/G- und B/G-Korrekturfaktor bestehen. Ein Beispiel einer Korrektur für die erste Kameraeinheit 201 lautet: R/G Gain1 = [(R/G)wb × (R/G)unit 1] und B/G Gain1 = [(B/G)wb × (B/G)unit 1] (engl. Gain = Verstärkung; engl. unit = Einheit). Ähnlich lautet die Korrektur in einem Beispiel für die zweite Kameraeinheit 202: R/G Gain2 = [(R/Gwb × (R/G)unit 2] und B/G Gain2 = [(B/G)wb·(B/G)unit 2]. Insbesondere kann die Mehrfachkamera-AWB-Synchronisationslogik 230 die (R/G)wb- und (B/G)wb-Korrekturfaktoren für eine oder beide Kameras auf der Basis der Weißabgleichergebnisse 231 ändern oder anpassen oder kann die Korrekturfaktoren als Teil der gemeinsamen Weißabgleichergebnisse 231 enthalten, die den Komponenten für die Weißabgleichverstärkung 207 überlassen werden.
Gemäß den Ausführungsformen empfängt die Mehrfachkamera-AWB-Synchronisationslogik 230 pro Kameraeinheit die Weißabgleichergebnisse 224, 225 der individuellen Kameraeinheit als Eingabe von den entsprechenden Auto-Weißabgleich-Routinen 222, 223 der ersten und der zweiten Kameraeinheit, die die Kalibrierdaten und Bildfarbenstatistik der entsprechenden Kameraeinheit verwenden. Eine Weißabgleichsynchronisation wird erreicht, indem ein Wählmechanismus verwendet wird, um unter Ausschluss von kameraeinheit-spezifischen Ergebnissen eine Gruppe von Weißabgleichergebnissen einer Kameraeinheit zu wählen, die die gemeinsamen Weißabgleichergebnisse 231 sein sollen. Die gemeinsamen Weißabgleichergebnisse 231 werden dann zusammen mit den Kalibrierdaten 204, 214 jeder Kamera verwendet, um die Weißabgleich-Verstärkung zu bestimmen und in einigen Ausführungsformen auch die Farbkorrekturmatrix (CCM) und die Farbsättigung pro Bild.
Ein Beispiel eines Wählmechanismus, den die Mehrfachkamera-AWB-Synchronisationslogik 230 verwendet, um die Weißabgleichsynchronisation zu erreichen, ist durch den Prozess in 3 bis einschließlich 5 veranschaulicht. Wie vorstehend erläutert, hat jede Kamera, nämlich die erste Kameraeinheit 1 und die zweite Kameraeinheit 2, ihre eigenen Farbkalibierdaten, die jeweils in den Einheit-Kalibrierdaten 204 und den Einheit-Kalibrierdaten 206 enthalten sind. Anhand der Bildfarbenstatistikdaten, die von Tausenden von Kameras erstellt wurden, kann eine Verteilung von Einheit-Kalibrierdaten erstellt und diese Information in dem Speicher gespeichert werden, für den Zugriff durch die Mehrfachkamera-AWB-Synchronisationseinheit 230. Durch die Verwendung dieser Verteilungsinformation kann die Mehrfachkamera-AWB-Logik 230 erkennen, ob die Kalibrierdaten einer gegebenen Kameraeinheit innerhalb eines Normalbereichs oder außerhalb eines Normalbereichs und innerhalb eines Ausreißerbereichs der Verteilung liegen. Das heißt, wenn die Einheit-Kalibrierdaten einer Kamera in dem Ausreißerbereich liegen, impliziert das eine größere Schwierigkeit, genaue Weißabgleichergebnisse einer individuellen Kameraeinheit zu generieren. Auch stehen für jedes Modell einer Kameraeinheit Kalibrierdaten von deren goldener Referenzeinheit (d. h. die ”klassischen” Kalibrierdaten) zur Verfügung. Wenn die Kalibrierdaten einer Kameraeinheit beschädigt sind, kann ersatzweise auf die klassischen Kalibrierdaten zurückgegriffen werden.
Es wird auf 3 bis 5 Bezug genommen. Der Prozess umfasst das Bestimmen eines Konfidenzpegels unabhängig für jede Kameraeinheit und unbeeinflusst von einer anderen Kameraeinheit. Der Wählmechanismus bestimmt dann ein Endergebnis auf der Basis des höchsten bestimmten Konfidenzpegels. Beginnend in 3 ist ein Prozess zum Bestimmen eines statischen Konfidenzpegels für die Weißabgleichergebnisse 224 der ersten Kameraeinheit und für die Weißabgleichergebnisse 225 der zweiten Kameraeinheit gemäß den verschiedenen Ausführungsformen dargestellt. Die in den 1 bis 5 dargestellten Prozesse sind auf die in 1 gezeigte Vorrichtung 100 und ebenso auf die in 2 gezeigte Vorrichtung 200 anwendbar. Der Einfachheit halber wird der Prozess jedoch mit Bezug auf die Dual-Bildverarbeitungssignal-Pipelines beschrieben, wie zum Beispiel in 2 dargestellt, wobei es sich versteht, dass der Prozess auf eine beliebige Anzahl von Kameraeinheiten und auf eine beliebige Anzahl von Bildsignalverarbeitungs-Pipelines ausgedehnt werden kann.
Es wird auf 3 Bezug genommen. In dem Funktionsblock 300 beginnt der Prozess, wenn die Vorrichtung angeschaltet wird oder bootet oder wenn eine erste Sitzung einer Kamerasoftwareanwendung initiiert wird. Die Mehrfachkamera-AWB-Synchronisationslogik 230 holt von einer der Kameras Kalibrierdaten ein, wie in dem Funktionsblock 301 gezeigt. Es versteht sich, dass der Prozess von 3 für die erste Kamera 201 und auch für die zweite Kamera 202 in der gleichen Weise und nicht auf einer Basis von Bild zu Bild durchgeführt wird, so dass der in 3 zugeordnete Konfidenzpegel als statischer Konfidenzpegel bezeichnet wird. In dem Entscheidungsblock 303 überprüft die Mehrfachkamera-AWB-Synchronisationslogik 230, ob sich die Einheit-Kalibrierdaten der Kamera innerhalb des Normalbereichs der vorstehend erläuterten Kalibrierdatenverteilung befinden. Wenn ja, ordnet die Mehrfachkamera-AWB-Synchronisationslogik 230 den Weißabgleichergebnissen der Kameraeinheit einen hohen Konfidenzpegel zu, wie in dem Funktionsblock 307 gezeigt. Der Prozess führt dann weiter zu dem Funktionsblock 313, in welchem für die Weißabgleichergebnisse dieser Kameraeinheit ein gewichteter Konfidenzpegel berechnet wird, unter Verwendung der Spezifikationen der Kamera, die unter anderem FOV, Blende etc. enthalten. In dem Funktionsblock 315 generiert die Mehrfachkamera-AWB-Logik 230 für die Weißabgleichergebnisse der gegebenen Kamera einen statischen Konfidenzpegel, und der Prozess endet wie dargestellt.
Wenn die Mehrfachkamera-AWB-Synchronisationslogik 230 in dem Entscheidungsblock 303 bestimmt, dass die Einheit-Kalibrierdaten nicht innerhalb des Normalbereichs liegen, bestimmt die Mehrfachkamera-AWB-Synchronisationslogik 230, ob die Kalibrierdaten außerhalb des Normalbereichs liegen, wie in dem Entscheidungsblock 305 gezeigt. Wenn die Einheit-Kalibrierdaten außerhalb des Normalbereichs liegen, ordnet die Mehrfachkamera-AWB-Synchronisationseinheit 230 den Weißabgleichergebnissen dieser Kameraeinheit einen niedrigen Konfidenzpegel zu, wie in dem Funktionsblock 309 gezeigt. Der Prozess führt dann weiter zu dem Funktionsblock 313 und dem Funktionsblock 315. Wenn jedoch festgestellt wird, dass die Kalibrierdaten ungültig (mit anderen Worten: beschädigt) sind, ordnet die Mehrfachkamera-AWB-Synchronisationslogik 230 in dem Funktionsblock 311 den Weißabgleichergebnissen dieser Kamera einen sehr niedrigen Konfidenzpegel zu und verwendet die klassischen Kalibrierdaten. Der Prozess führt dann weiter zu dem Funktionsblock 313 und dem Funktionsblock 315, und es wird ein statischer Konfidenzpegel für die Weißabgleichergebnisse der gegebenen Kameraeinheit bestimmt. Wie vorstehend angemerkt wurde, wird der Prozess sowohl für die erste Kameraeinheit 201 als auch die zweite Kameraeinheit 202 beim Einschalten oder Booten der Vorrichtung oder – in einigen Ausführungsformen – zu Beginn einer Sitzung der Kamerasoftwareanwendung der Vorrichtung nur einmal durchgeführt.
Anschließend setzt die Mehrfachkamera-AWB-Synchronisationslogik 230 den durch das Flussdiagramm von 4 dargestellten Prozess fort. In Funktionsblock 401 holt die Mehrfachkamera-AWB-Synchronisationslogik 230 den für die Weißabgleichergebnisse der gegebenen Kameraeinheit bestimmten statischen Konfidenzpegel ein und erfasst in dem Funktionsblock 403 das am Aufnahmeort von dem Bildsensor 112 der gegebenen Kameraeinheit empfangene Licht als Luminanzwert. Danach berechnet die Mehrfachkamera-AWB-Synchronisationslogik 230 in dem Funktionsblock 405 den dynamischen Konfidenzpegel. In dem Funktionsblock 407 erfassen die AWB-Routine 222 der ersten Kameraeinheit und die AWB-Routine 223 der zweiten Kameraeinheit von den Bildsignalverarbeitungs-Pipelines 240, 250 jeweils Statistiken 208, 210 und führen in dem Funktionsblock 409 einen Auto-Weißabgleich durch, um die Lichtquelle am Aufnahmeort zu bestimmen. Die Mehrfachkamera-AWB-Synchronisationslogik 230 bestimmt dann in dem Funktionsblock 411 für das Bild den Konfidenzpegel für die Weißabgleichergebnisse 224, 225 der individuellen Kamera, und der Prozess endet wie dargestellt. Der Prozess von 4 wird für die erste Kameraeinheit 201 sowie für die zweite Kameraeinheit 217 auf bildweiser Basis durchgeführt.
Die Mehrfachkamera-AWB-Synchronisationseinheit 230 fährt fort mit dem in 5 dargestellten Prozess. In dem Funktionsblock 501 holt die Mehrfachkamera-AWB-Synchronisationslogik 230 die Weißabgleichergebnisse 224 mit einem ersten Konfidenzpegel der ersten Kameraeinheit ein und holt die Weißabgleichergebnisse 225 mit dem zweiten Konfidenzpegel der zweiten Kameraeinheit ein. Bei einer Vorrichtung mit n Kameras würde dieser Vorgang für jede Kameraeinheit durchgeführt werden. Die Vorrichtung 200 in dem vorliegenden Beispiel umfasst jedoch zwei Kameras. Aus diesem Grund holt die Mehrfachkamera-AWB-Synchronisationslogik 230 in der Beispielvorrichtung 200 die Kameraeinheit-Weißabgleichergebnisse 224 für die erste Kameraeinheit 201 und die Kameraeinheit-Weißabgleichergebnisse 225 für die zweite Kameraeinheit 202 ein, wobei jedes Weißabgleichergebnis der unabhängigen Kameraeinheit einen zugeordneten Konfidenzpegel hat. In dem Funktionsblock 503 wählt die Mehrfachkamera-AWB-Synchronisationseinheit 230 die Weißabgleichergebnisse mit dem höchsten Konfidenzpegel der Kameraeinheit und gibt in dem Funktionsblock 505 die Weißabgleichergebnisse der gewählten Kameraeinheit unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsames Weißabgleichergebnis 231 aus, das dann für alle Kameraeinheiten verwendet wird. Daraufhin endet der Prozess wie dargestellt. Die gemeinsamen Weißabgleichergebnisse 231 können dann einer oder beiden Komponenten für die Weißabgleich-Verstärkung 207 der Bildsignalverarbeitungs-Pipelines für die Einstellung der Weißabgleich-Verstärkung zur Verfügung gestellt werden. Die Weißabgleich-Verstärkungen können eingestellt werden durch ein Skalieren der Weißabgleich-Verstärkung, die für die gegebene Kameraeinheit auf der Basis ihrer jeweiligen Einheit-Kalibrierdaten ermittelt wurde, und auf der Basis des am Aufnahmeort empfangen Lichts. Auch können die gemeinsamen Weißabgleichergebnisse 231 für die Einstellung der Farbkorrekturmatrix für eine der Komponenten für die Farbkorrektur 209 der Bildsignalverarbeitungs-Pipelines zur Verfügung gestellt werden. Die Bildverarbeitungs-Pipeline 240 und die Bildverarbeitungs-Pipeline 250 führen dann die Verarbeitung des Einzelbildes durch, um farbsynchronisierte Ausgangsbilder zu erzeugen, so dass ein endgültiges Bild erzeugt werden kann.
Die Details der Funktionsweise der Mehrfachkamera-AWB-Synchronisationslogik 230 wurden anhand der Verfahren von 3 bis einschließlich 5 dargestellt. Eine Funktionsweise der Mehrfachkamera-AWB-Synchronisationslogik 230 in einigen Ausführungsformen ist in 6 gezeigt. 6 ist ein Flussdiagramm zur Darstellung eines Prozesses zum Bestimmen von gemeinsamen Weißabgleichergebnissen für eine Dual-Kameravorrichtung mit einer Kamera mit weitem Blickfeld und einer Kamera mit engem Blickfeld gemäß verschiedenen Ausführungsformen. Die folgende Beschreibung beschränkt sich auf ein Dualkamera-Szenario, jedoch versteht es sich, dass der Prozess auf eine Vorrichtung mit einer beliebigen Anzahl von Kameras angewendet werden kann. Der Prozess lässt sich auf ein vorgegebenes Kamerapaar, auf verschiedene Kombinationen von Paaren oder iterativ auf alle Kameras der Vorrichtung, wenn diese mit der jeweils anderen Kamera gepaart sind, etc. anwenden.
Insbesondere kommt in 6 ein Wählmechanismus für jeweils zwei Kameras zum Einsatz. Die Kameras können sortiert werden durch die Verwendung ihrer Spezifikationen, indem zum Beispiel das FOV (Blickfeld) oder einige andere Charakteristiken herangezogen werden. Die ersten zwei Kameras werden verglichen durch die Verwendung ihrer Einheit-Kalibrierdatenqualität und/oder zusätzlich durch Licht, das am Aufnahmeort empfangen wird. Die Weißabgleichergebnisse einer Kameraeinheit werden unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsame Weißabgleichergebnisse gewählt, indem zum Beispiel die in 3 bis einschließlich 5 beschriebenen Verfahren angewendet werden. Anschließend können diese Kameraeinheit und eine weitere Kameraeinheit für n Kameraeinheiten in einer Vorrichtung mit n Kameraeinheiten verglichen werden. Bei jedem Vergleichsschritt wird nur das Weißabgleichergebnis einer Siegerkamera gewählt. Am Ende des Vergleichsprozesses werden nur die Weißabgleichergebnisse einer Kameraeinheit gewählt und unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsame Weißabgleichergebnisse für alle Kameraeinheiten der Vorrichtung verwendet.
Zur Vereinfachung der Erläuterung des Prozesses von 6 sei angenommen, dass die erste Kameraeinheit 201 eine Kamera mit weitem FOV und die zweite Kameraeinheit 202 eine Kamera mit engem FOV ist. Der Prozess beginnt, und in Funktionsblock 601 holt die Mehrfachkamera-AWB-Synchronisationslogik 230 die Einheit-Kalibrierdaten 204 von der Kamera mit weitem FOV, z. B. der ersten Kameraeinheit 201, ein. In dem Entscheidungsblock 603 überprüft die Mehrfachkamera-AWB-Synchronisationslogik 230 die Kalibrierdaten 204 für die erste Kameraeinheit 201 auf die Kalibrierdatenverteilung, um zu bestimmen, ob die Einheit-Kalibrierdaten 204 innerhalb des Normalbereichs liegen. Wenn ja, holt die AWB-Routine 222 der ersten Kameraeinheit in dem Funktionsblock 605 die Statistik 208 für die Kamera mit weitem FOV ein. In Funktionsblock 607 führt die AWB-Routine 222 der ersten Kameraeinheit den AWB-Vorgang durch und verwendet hierfür die Weißabgleichstatistik 208 für die Kamera mit weitem FOV und verwendet die Einheit-Kalibrierdaten 204 und stellt als Eingabe in die Mehrfachkamera-AWB-Synchronisationslogik 230 die Weißabgleichergebnisse der ersten Kameraeinheit bereit. Der Prozess führt dann weiter zu dem Funktionsblock 623, und die Mehrfachkamera-AWB-Synchronisationslogik 230 verwendet die Weißabgleichergebnisse 224 der ersten Kameraeinheit (d. h. die Weißabgleichergebnisse der Kamera mit weitem FOV) als gemeinsame Weißabgleichergebnisse 231, schließt jedoch kameraeinheit-spezifische Ergebnisse in 224 aus. Der Prozess endet dann wie dargestellt.
Liegen die Einheit-Kalibrierdaten für die Kamera mit weitem FOV in dem Entscheidungsblock 603 nicht innerhalb des Normalbereichs, dann bezieht die AWB-Routine 223 der zweiten Kameraeinheit in Funktionsblock 609 die Einheit-Kalibrierdaten 214 von der zweiten Kameraeinheit 202 (d. h. der Kamera mit engem FOV). Liegen die Einheit-Kalibrierdaten 214 von der Kamera mit engem VOF in dem Entscheidungsblock 611 innerhalb des Normalbereichs, dann holt die AWB-Routine 223 der zweiten Kameraeinheit in dem Funktionsblock 613 die Weißabgleichstatistik 210 für die Kamera mit engem FOV ein. In dem Funktionsblock 615 führt die AWB-Routine 223 der zweiten Kameraeinheit den AWB-Vorgang unter Verwendung der Weißabgleichstatistik 210 für die Kamera mit engem FOV und der Einheit-Kalibrierdaten 206 von der zweiten Kameraeinheit 202, welche die Kamera mit dem engen FOV ist, durch. Die Mehrfachkamera-AWB-Synchronisationslogik 230 verwendet dann die Weißabgleichergebnisse 225 der zweiten Kameraeinheit (d. h. die Weißabgleichergebnisse der Kamera mit engem FOV) als gemeinsame Weißabgleichergebnisse 231, schließt jedoch kameraeinheit-spezifische Ergebnisse in 225 aus, wie in dem Funktionsblock 623 gezeigt, und der Prozess endet.
Liegen die Einheit-Kalibrierdaten der Kamera mit engem FOV in dem Entscheidungsblock 611 im Normalbereich, dann holt die AWB-Routine 222 der ersten Kameraeinheit in dem Funktionsblock 617 die klassischen Kalibrierdaten von der Kamera mit weitem FOV (d. h. der ersten Kameraeinheit 201) ein. In dem Funktionsblock 619 holt die AWB-Routine 222 der ersten Kameraeinheit die Weißabgleichstatistik 208 für die Kamera mit weitem FOV ein und führt in dem Funktionsblock 621 den AWB-Vorgang durch, um unter Verwendung der Weißabgleichstatistik 208 für die Kamera mit weitem FOV zusammen mit klassischen Kalibrierdaten der Kamera mit weitem FOV die Lichtquelle am Aufnahmeort zu bestimmen. Die Mehrfachkamera-AWB-Synchronisationslogik 230 verwendet dann unter Ausschluss von kameraeinheit-spezifischen Ergebnissen die Weißabgleichergebnisse 224 der Kamera mit weitem FOV in dem Funktionsblock 623 als gemeinsame Weißabgleichergebnisse 231, und der Prozess endet.
In einigen Ausführungsformen können die Weißabgleichergebnisse der Kamera mit weitem FOV höher gewichtet werden als die Weißabgleichergebnisse der Kamera mit engem FOV, da der weitere FOV natürlich mehr von einer gegebenen Szene einfängt. Alternativ zu dem FOV oder in Verbindung mit dem FOV kann jedoch weiteren Faktoren der Kameraeinheit, zum Beispiel schnelleren Objektiven (ohne Beschränkung hierauf), ein größeres Gewicht beigemessen werden, wobei sich ein schnelleres Objektiv zum Beispiel auf eine größere Öffnung bei einer festen wirksamen Brennweite (EFL) bezieht. Eine Kamera mit einer größeren Öffnung kann im Vergleich zu einer Kamera mit einer kleineren Öffnung an demselben Aufnahmeort mehr Licht aufnehmen.
Um in einigen Ausführungsformen die Farbdifferenz zwischen weißabgeglichenen und farbkorrigierten Einzelbildern von Mehrfachkameras zu messen, können weitere Statistiken für die überlappenden Bereiche auf mehreren Einzelbildern erstellt werden. Die Statistik wird verwendet für die Auswertung der Wirksamkeit der Mehrfachkamera-AWB-Synchronisation. Die Statistik des überlappenden Bereichs kann auf einem weißabgeglichenen oder farbkorrigierten Einzelbild pro Kameraeinheit an einer beliebigen Stelle nach der Farbkorrekturmatrix 209 in den Pipelines erstellt werden. Ferner kann in Ausführungsformen mit n Kameras die Kalibrierung der Ausrichtung von einer neuen Farbstatistik-Erstellungslogik verwendet werden, die in den Bildsignalverarbeitungs-Pipelines 240 oder 250 nach der Farbkorrektur 209 liegt, um eine linke obere Koordinate und eine rechte untere Koordinate eines Bildfensters zu bestimmen, von dem die Statistik erstellt werden soll. Mit anderen Worten: die Statistik kann nur von überlappenden Bereichen der Ansichten der verschiedenen Kameraeinheiten erstellt und der Rest des Bildes ignoriert werden, um Verarbeitungsaufwand zu sparen. Diese Vorgehensweise ist möglich, indem die überlappenden Bereiche aller n Kameraeinheiten ermittelt werden, oder auf der Basis einer Kombination von Kameraeinheiten, zum Beispiel von jeweils zwei Kameraeinheiten etc. Aus diesem Grund kann in einigen Ausführungsformen die Erfassung der zweiten Statistik nach der Bildausrichtung erfolgen, zum Beispiel nach Anwendung des Stereoabgleichs, der dynamischen Pixelverschiebung, der Stereorektifikation (z. B. Verzerrungskorrektur oder Perspektivenkorrektur) etc.
Es wurden verschiedene Ausführungsformen beschrieben und dargestellt, jedoch ist die Erfindung nicht auf diese Ausführungsformen beschränkt. Der Fachmann wird erkennen, das zahlreiche Modifikationen, Änderungen, Variationen und Substitutionen sowie Äquivalente möglich sind, ohne den Rahmen der vorliegenden der Erfindung zu verlassen, der durch die anliegenden Ansprüche definiert ist.

Claims

Vorrichtung, umfassend: eine Mehrzahl von Kameraeinheiten, wobei jede Kameraeinheit ein Objektiv und einen Sensor hat, der für die Detektion von mindestens drei Farben wirksam ist; Kamera-Kalibrierdaten für jede Kameraeinheit, wobei die Kamera-Kalibrierdaten in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind; und eine Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera, die mit jeder Kameraeinheit wirkverbunden ist und die wirksam ist: für das Bestimmen gemeinsamer Weißabgleichergebnisse für die Vielzahl von Kameraeinheiten auf der Basis von Kameraeinheit-Weißabgleichergebnissen pro Bild jeder Kameraeinheit und auf der Basis der Kamera-Kalibrierdaten, um für einen Weißabgleich und eine Farbkorrektur eines oder mehrerer Bilder zu sorgen, so dass sich durch die Kombination der Bilder jeder Kameraeinheit ein zusammengesetztes Bild erstellen lässt.
Vorrichtung nach Anspruch 1, ferner umfassend: eine Vielzahl von Bildverarbeitungs-Pipelines, wobei jede Bildverarbeitungs-Pipeline mit einer entsprechenden Kameraeinheit der Vielzahl von Kameraeinheiten und mit der Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera wirkverbunden ist, wobei jede Bildverarbeitungs-Pipeline wirksam ist für die Ausgabe eines weißabgeglichenen und farbkorrigierten Bildes auf der Basis der gemeinsamen Weißabgleichergebnisse.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera ferner wirksam ist: für die Zuordnung eines ersten Konfidenzpegels zu Kameraeinheit-Weißabgleichergebnissen jeder Kameraeinheit; und für die Berechnung eines gewichteten Konfidenzpegels für die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera ferner wirksam ist: für das Bestimmen eines zweiten Konfidenzpegels für jedes von jeder Kameraeinheit erfasste Bild auf der Basis von Licht, das bei der Bildaufnahme von jeder Kameraeinheit empfangen wird; und für das Durchführen eines Weißabgleichs und einer Farbkorrektur für jedes Bild jeder Kameraeinheit unter Verwendung der Statistik zum Generieren von Kameraeinheit-Weißabgleichergebnissen mit dem zweiten Konfidenzpegel für jedes Bild jeder Kameraeinheit.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera ferner wirksam ist: zum Wählen der Kameraeinheit-Weißabgleichergebnisse mit dem höchsten Konfidenzpegel, wobei die Kameraeinheit-Weißabgleichergebnisse für eine erste Kameraeinheit der Vielzahl von Kameraeinheiten sind; und für das Bereitstellen der Kameraeinheit-Weißabgleichergebnisse mit dem höchsten Konfidenzpegel unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsame Weißabgleichergebnisse für die Bildverarbeitungs-Pipeline jeder anderen Kameraeinheit, außer der ersten Kameraeinheit.
Vorrichtung nach einem der Ansprüche 3 bis 5, wobei die Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera ferner wirksam ist: für das Berechnen des gewichteten Konfidenzpegels für die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit, wobei der gewichtete Konfidenzpegel auf der Basis des Blickfeldes oder der Objektivöffnung erhöht wird.
Vorrichtung nach einem der Ansprüche 3 bis 6, wobei eine neue Farbstatistik-Erstellungslogik ferner wirksam ist für: das Bestimmen von überlappenden Bereichen der Abbildung für jedes von jeder Kameraeinheit erfasste Bild; und für das Erstellen einer Statistik nur für die überlappenden Bereiche jedes Bildes.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei eine neue Farbstatistik-Erstellungslogik ferner wirksam ist für: das Verwenden einer Kalibrierung der Ausrichtung der Kameraeinheiten, um Koordinaten für die Erstellung einer Statistik für überlappende Bereiche jedes Bildes zu bestimmen.
Verfahren, umfassend: das Erfassen einer Statistik von Bildern jeder Kameraeinheit der Vielzahl von Kameraeinheiten, wobei jedes Bild mindestens drei Farben enthält; das Bestimmen gemeinsamer Weißabgleichergebnisse auf der Basis der Kameraeinheit-Weißabgleichergebnisse pro Bild und der Kalibrierdaten für jede Kameraeinheit der Vielzahl von Kameraeinheiten; und das Erstellen eines zusammengesetzten Bildes durch die Kombination der Bilder jeder Kameraeinheit nach dem Weißabgleich und der Farbkorrektur jedes Bildes unter Verwendung der gemeinsamen Weißabgleichergebnisse.
Verfahren nach Anspruch 9, ferner umfassend: das Ausgeben eines weißabgeglichenen und farbkorrigierten Bildes auf der Basis der gemeinsamen Weißabgleichergebnisse durch eine Vielzahl von Bildverarbeitungs-Pipelines.
Verfahren nach Anspruch 9 oder 10, ferner umfassend: das Zuordnen eines ersten Konfidenzpegels zu den Kameraeinheit-Weißabgleichergebnissen jeder Kameraeinheit; und das Berechnen eines gewichteten Konfidenzpegels für die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit.
Verfahren nach einem der Ansprüche 9 bis 11, ferner umfassend: das Bestimmen eines zweiten Konfidenzpegels für jedes von jeder Kameraeinheit erfasste Bild auf der Basis von Licht, das bei der Bildaufnahme von jeder Kameraeinheit empfangen wird; und das Durchführen eines Weißabgleichs und einer Farbkorrektur für jedes Bild jeder Kameraeinheit unter Verwendung der Statistik zum Generieren von Kameraeinheit-Weißabgleichergebnissen mit dem zweiten Konfidenzpegel für jedes Bild jeder Kameraeinheit.
Verfahren nach Anspruch 12, ferner umfassend: das Wählen der Kameraeinheit-Weißabgleichergebnisse mit dem höchsten Konfidenzpegel, wobei die Kameraeinheit-Weißabgleichergebnisse für eine erste Kameraeinheit der Vielzahl von Kameraeinheiten sind; und das Bereitstellen der Kameraeinheit-Weißabgleichergebnisse mit dem höchsten Konfidenzpegel unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsame Weißabgleichergebnisse für die Bildverarbeitungs-Pipeline jeder anderen Kameraeinheit, außer der ersten Kameraeinheit.
Verfahren nach einem der Ansprüche 11 bis 13, ferner umfassend: das Berechnen des gewichteten Konfidenzpegels für Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit, wobei der gewichtete Konfidenzpegel auf der Basis des Blickfeldes oder der Objektivöffnung erhöht wird.
Verfahren nach einem der Ansprüche 11 bis 14, ferner umfassend: das Bestimmen von überlappenden Bereichen der Abbildung für jedes von jeder Kamera erfasste Bild; und das Erstellen einer Statistik nur für die überlappenden Bereiche jedes Bildes.
Verfahren nach Anspruch 15, ferner umfassend: das Verwenden einer Kalibrierung der Ausrichtung der Kameraeinheiten zum Bestimmen von Koordinaten zum Erstellen der Statistik für die überlappenden Bereiche jedes Bildes.
Vorrichtung, umfassend: eine Mehrlzahl von Kameraeinheiten, wobei jede Kameraeinheit ein Objektiv und einen Sensor hat, der wirksam ist für die Detektion von mindestens drei Farben, und einen nichtflüchtigen, nichttransitorischen Speicher zum Speichern der Kamera-Kalibrierdaten; mindestens einen Prozessor, der wirksam ist für das Bestimmen von Kameraeinheit-Weißabgleichergebnissen für jede Kameraeinheit der Vielzahl von Kameraeinheiten; und eine Logik zum Synchronisieren eines Auto-Weißabgleichs einer Mehrfachkamera, die mit jeder Kameraeinheit und mit dem wenigstens einen Prozessor wirkverbunden ist und die wirksam ist für: das Anlegen eines Konfidenzpegels an die Einheit-Kalibrierdaten jeder Kameraeinheit; das Anlegen von Konfidenzpegeln an die Kameraeinheit-Weißabgleichergebnisse für jede Kameraeinheit der Vielzahl von Kameraeinheiten; und das Wählen der Weißabgleichergebnisse einer Kameraeinheit unter Ausschluss von kameraeinheit-spezifischen Ergebnissen als gemeinsames Weißabgleichergebnis für die Einstellung der Weißabgleich-Verstärkung und der Farbkorrekturmatrizen für die Vielzahl von Kameraeinheiten.
Vorrichtung nach Anspruch 17, ferner umfassend: statistische Verteilungsinformationen für Einheit-Kalibrierdaten, die in einem nichtflüchtigen, nichttransitorischen Speicher gespeichert sind; wobei die Logik zum Synchronisieren des Auto-Weißabgleichs der Mehrfachkamera wirksam ist für das Anlegen eines Konfidenzpegels an die Einheit-Kalibrierdaten jeder Kameraeinheit unter Verwendung der statistischen Verteilungsinformationen für Einheit-Kalibrierdaten.
Vorrichtung nach Anspruch 17 oder Anspruch 18, wobei die Logik zum Synchronisieren des Auto-Weißabgleichs der Mehrfachkamera wirksam ist: für das Bestimmen von Weißabgleich-Verstärkungsfaktoren für jede Kameraeinheit der Vielzahl von Kameraeinheiten.
Vorrichtung nach Anspruch 19, wobei mindestens ein Prozessor ferner wirksam ist: für das Anpassen einer Vielzahl von Weißabgleichverstärkungs-Bestimmungen unter Verwendung der Weißabgleich-Korrekturfaktoren für jede Kameraeinheit der Vielzahl von Kameraeinheiten.