DE102016105753B4 - Verfahren und Vorrichtung zur Bestimmung einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern - Google Patents

Verfahren und Vorrichtung zur Bestimmung einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern Download PDF

Info

Publication number
DE102016105753B4
DE102016105753B4 DE102016105753.3A DE102016105753A DE102016105753B4 DE 102016105753 B4 DE102016105753 B4 DE 102016105753B4 DE 102016105753 A DE102016105753 A DE 102016105753A DE 102016105753 B4 DE102016105753 B4 DE 102016105753B4
Authority
DE
Germany
Prior art keywords
camera
image
shading correction
lens shading
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016105753.3A
Other languages
English (en)
Other versions
DE102016105753A1 (de
Inventor
By-Her W. Richards
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of DE102016105753A1 publication Critical patent/DE102016105753A1/de
Application granted granted Critical
Publication of DE102016105753B4 publication Critical patent/DE102016105753B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Verfahren zum Einstellen einer Mehrfachkameravorrichtung mit einer ersten Kamera und einer zweiten Kamera, wobei die erste Kamera ein erstes Objektiv und die zweite Kamera ein zweites Objektiv aufweist, wobei die erste Kamera zum Aufnehmen eines ersten Bildes einer Szene mit einem ersten Sichtfeld und die zweite Kamera zum Aufnehmen eines zweiten Bildes derselben Szene mit einem zweiten Sichtfeld, das sich von dem ersten Sichtfeld unterscheidet, konfiguriert ist, das Verfahren umfassend:Aufnehmen eines Flachfeldbildes mit der ersten Kamera;Ermitteln eines ersten Objektiv-Shadingkorrekturverhältnisses für die erste Kamera; undBestimmen eines zweiten Objektiv-Shadingkorrekturverhältnisses für die zweite Kamera, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem durch die erste Kamera erfassten Flachfeldbild basiert.

Description

  • 1. GEBIET DER ERFINDUNG
  • Vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern.
  • 2. BESCHREIBUNGSEINLEITUNG
  • Tragbare Geräte wie Mobiltelefone, Tablet-Geräte, Digitalkameras, Multimedia-Geräte und andere Arten von Computergeräten und elektronischen Geräten verfügen derzeit oft über eine Digitalkameraeinrichtung, die zum Aufnehmen von Digitalbildern benutzt wird. Eine Digitalkamera hat ein Objektiv und einen Bildsensor. Ein Thema im Zusammenhang mit dem Betrieb von Bildsensoren ist die Notwendigkeit der Durchführung einer Objektiv-Shadingkorrektur. Ein Bildsensor hat normalerweise ein zweidimensionales Feld von lichtempfindlichen Pixeln. Das Kameraobjektiv kann ein Einzelobjektiv sein oder ein Mikrolinsenarray, das Licht auf die einzelnen Pixel des Bildsensors fokussiert. Verschiedene Fehler in dem Kameraobjektiv erzeugen jedoch einen Shadingeffekt (Schattierungseffekt). Ein üblicher Shadingeffekt ist, dass das Bild in der Mitte heller ist und zum Rand des Pixelarrays hin dunkler wird. Ganz allgemein liegt hier eine zweidimensionale Variation der Schattierung über das Feld von Pixeln vor, die durch die optischen Elemente in der optischen Baugruppe und durch die Schwierigkeiten bei der einheitlichen Projektion eines Bildes über das Sichtfeld des Bildsensors verursacht wird. Nichtkorrigierte Shadingeffekte können zu unerwünschten Variationen der Intensität über das gesamte Bild hinweg führen, die gegebenenfalls für einen Endnutzer wahrnehmbar sind. Zum Korrigieren des Shading in einem Bildsensor werden Objektiv-Shadingkorrekturalgorithmen angewendet. Empirische Daten werden herangezogen, um Koeffizienten einer Verstärkungskorrekturfunktion zu bestimmen, die verwendet wird, um die Verstärkung von einzelnen Pixeln zum Ausgleich des Objektiv-Shading einzustellen.
  • Manche tragbaren Geräte haben Mehrfachdigitalkameras, die in dieselbe Richtung weisen. Insbesondere hat jede Kamera in einem Mehrfachkamerasystem ein unterschiedliches Sichtfeld der Szene. Die Mehrfachdigitalkameras in solch einem System können mehrere Bilder mit verschiedenen Sichtfeldern derselben Szene generieren, und diese mehreren Bilder können zu einem Bild vereint werden. Ohne einen Abgleichalgorithmus verursachen die verschiedenen Shadingkorrekturen, die in einer Mehrfachkameravorrichtung an den verschiedenen Kameras angewendet werden, Fehler oder Mängel beim Kombinieren der Bilder von mehreren Kameras. Aus diesem Grund werden ein Verfahren und eine Vorrichtung zum Bestimmen einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern benötigt.
  • Die WO 2012 / 147 083 A1 offenbart ein Röntgengerät mit einem Szintillator und einer Anordnung aus einer Vielzahl von Bildsensoren, wobei jeder Bildsensor zum Erfassen von Licht ausgebildet ist, das von einem entsprechenden Segment des Szintillators ausgestrahlten wird. Ferner wird ein Verfahren zur Überlagerung der von den Bildsensoren erfassten Teilbilder offenbart.
  • Die US 2004 / 0 041 919 A1 offenbart ein Verfahren zum Bestimmen einer Shading-Korrektur für ein Bild auf Grundlage des Bildes und eines weiteren Bildes durch Variieren der Blendenöffnung oder der Brennweite.
  • Die US 2015 / 0 030 258 A1 offenbart ein Verfahren zum Korrigieren eines Rauschens in Bilddaten.
  • Die EP 1 377 026 A2 offenbart ein Verfahren zum Korrigieren eines Vignetteneffekts in Einzelbildern, die jeweils von einer Mehrzahl von Kameras aufgenommen werden, sowie ein Verfahren zum Zusammenführen der Einzelbilder.
  • Die US 2009 / 0 322 892 A1 offenbart ein Verfahren zum Berechnen von Shading-Korrekturwerten durch Aufnehmen einer Mehrzahl von Einzelbildern mittels einer Mehrzahl von Kameras bei unterschiedlichen Beleuchtungsverhältnissen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Im Folgenden wird anhand von speziellen Ausführungsformen beschrieben, in welcher Weise Vorteile und Merkmale der vorliegenden Erfindung erzielt werden. Dabei wird auf die anliegenden Zeichnungen Bezug genommen, die jedoch lediglich Beispiele von Ausführungsformen darstellen, die nicht als Einschränkung der vorliegenden Erfindung gedacht sind.
    • 1 ist eine Beispieldarstellung eines Systems gemäß einer möglichen Ausführungsform;
    • 2 ist ein Beispielblockdiagramm einer Vorrichtung wie beispielsweise eines Mobilgeräts gemäß einer möglichen Ausführungsform;
    • 3 ist eine Beispieldarstellung eines Systems gemäß einer möglichen Ausführungsform;
    • 4 ist ein Beispielflussdiagramm, das die Betriebsweise einer Vorrichtung gemäß einer möglichen Ausführungsform darstellt;
    • 5 ist ein Beispieldiagramm eines Helligkeitsabfall-Pixelprofils einer ersten Kamera und eines Helligkeitsabfallprofils einer zweiten Kamera ohne Objektiv-Vignettierungskorrektur, wenn die zweite Kamera ein engeres Sichtfeld als eine erste Kamera hat, gemäß einer möglichen Ausführungsform;
    • 6 ist ein Beispieldiagramm eines Helligkeitsabfall-Pixelprofils einer ersten Kamera und eines Helligkeitsabfallprofils einer zweiten Kamera ohne Objektiv-Shadingkorrektur, wenn die zweite Kamera ein weiteres Sichtfeld als eine erste Kamera hat, gemäß einer möglichen Ausführungsform;
    • 7 ist ein Beispieldiagramm eines Helligkeitsabfall-Pixelprofils einer ersten Kamera, das anhand des ersten, korrigierten Flachfeldbildes generiert wird, und eines Helligkeitsabfallprofils einer zweiten Kamera, das anhand des zweiten, nichtkorrigierten Flachfeldbildes generiert wird, wenn die zweite Kamera ein engeres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform; und
    • 8 ist ein Beispieldiagramm eines Helligkeitsabfall-Pixelprofils einer ersten Kamera, das anhand des ersten, korrigierten Flachfeldbildes generiert wird, und eines Helligkeitsabfallprofils einer zweiten Kamera, das anhand des zweiten, nichtkorrigierten Flachfeldbildes generiert wird, wenn die zweite Kamera ein weiteres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform.
  • DETAILBESCHREIBUNG
  • Ausführungsformen der Erfindung stellen ein Verfahren und eine Vorrichtung zum Bestimmen einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern bereit. Ein Algorithmus zum Abgleich von Objektiv-Shadingkorrekturen kann an jeweils zwei Kameras einer Mehrfachkameravorrichtung gleichzeitig durchgeführt werden. Dabei können die jeweils zwei Kameras durch eine erste Kamera und eine zweite Kamera gebildet sein. Gemäß einer möglichen Ausführungsform kann mit der ersten Kamera, die ein erstes Objektiv für die Mehrfachkameravorrichtung enthält, ein Flachfeldbild aufgenommen werden. Ein erstes Objektiv-Shadingkorrekturverhältnis lässt sich für die erste Kamera ermitteln. Ein zweites Objektiv-Shadingkorrekturverhältnis lässt sich für die zweite Kamera bestimmen, die ein zweites Objektiv für die Mehrfachkameravorrichtung enthält. Das Sichtfeld der zweiten Kamera kann sich von dem Sichtfeld der ersten Kamera unterscheiden. Das zweite Objektiv-Shadingkorrekturverhältnis kann auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem Flachfeldbild basieren, das von der ersten Kamera erfasst wurde.
  • 1 ist eine Beispieldarstellung eines Systems 100 gemäß einer möglichen Ausführungsform. Das System 100 kann ein Mobilgerät 100 und eine Szene 120 umfassen. Das Mobilgerät 110 kann ein Mehrfachkamerasystem 130 enthalten. Das Mobilgerät 110 kann ein Mobiltelefon, ein Smartphone, ein Tablet-Gerät, eine Digitalkamera, ein Laptop-Computer oder eine andere Art eines tragen Computer- und/oder elektronischen Geräts sein, das ein Mehrfachkamerasystem 130 enthält. In dieser beispielhaften Ausführungsform kann das Mehrfachkamerasystem 130 zwei Kameras 140 und 150 umfassen, die ein digitales Bild aufnehmen können. Das Mehrfachkamerasystem 130 kann auch mehr als zwei Kameras umfassen. Eine erste Kamera 140 kann ein erstes Objektiv 142 und einen ersten Bildsensor 144 enthalten. Ähnlich kann eine zweite Kamera 150 ein zweites Objektiv 152 und einen zweiten Bildsensor 154 enthalten. Das Sichtfeld der zweiten Kamera 150 kann sich von dem Sichtfeld der ersten Kamera 140 unterscheiden. Zum Beispiel kann das Sichtfeld der ersten Kamera 140 ein weites Sichtfeld sein für die Aufnahme eines ersten Bildes 160 der Szene 120, und das Sichtfeld der zweiten Kamera 150 kann ein engeres Sichtfeld sein für die Aufnahme eines zweiten Bildes 170 der Szene 120 gleichzeitig mit der Aufnahme des ersten Bildes 160 durch die erste Kamera 130. Das Sichtfeld des zweiten Bildes 170 kann enger sein als das Sichtfeld des ersten Bildes 160. Alternativ kann das Sichtfeld des zweiten Bildes 170 weiter sein als das Sichtfeld des ersten Bildes 160. Um dies zu erreichen, können die Charakteristiken des ersten Objektivs 142 andere sein als die des zweiten Objektivs 152, d.h. die Objektive können zum Beispiel eine unterschiedliche Brennweite aufweisen. Die Charakteristiken der Objektive 142 und 152 können sich auch in deren physischer Form und in deren Dimensionen unterscheiden und auch darin, dass mehrere Linsen verwendet werden, um verschiedene Sichtfelder zu erzielen.
  • Das Mehrfachkamerasystem 130 kann zum Beispiel eine Weitwinkelkamera und eine Telekamera umfassen. Die Begriffe „Weitwinkel“ und „Tele“ sind relativ zwischen den Kameras, und jede Kamera kann im Vergleich zu Kameras an oder in anderen Vorrichtungen als Weitwinkelkamera oder Telekamera betrachtet werden oder nicht. Die Weitwinkelkamera kann Bilder mit einem weiteren Sichtfeld und die Telekamera Bilder mit einem engeren Sichtfeld als jenem der Weitwinkelkamera aufnehmen. Die Vorrichtung 110 mit dem Mehrfachkamerasystem 130 kann eine Weitwinkelaufnahme mit einer Teleaufnahme pro Szene verschmelzen, um bei gleichem Zoomverhältnis ein gezoomtes Bild zu erstellen, das besser sein kann als ein digitales Zoom-Bild und das mit einem optischen Zoom-Bild konkurrieren kann. Die Objektiv-Shadingkorrektur kann auch bei den Bildern angewendet werden. Zum Beispiel werden die Bildfläche des Weitwinkelbildes und die Bildfläche des Telebildes ohne Objektiv-Shadingkorrektur beim Verschmelzungsprozess nicht miteinander abgeglichen.
  • Ein Bild bzw. eine Abbildung kann aus mehreren Kanälen bestehen, zum Beispiel aus vier Kanälen von RGrGbB oder RGBC an CMOS-Kamerasensoren bestehen. Für jeden Kanal pro Bild kann die Bildoberfläche aus einem Flachfeldbild bestehen, und ein Pixelprofil kann aus einem diagonalen Querschnitt der Bildfläche bestehen. Mit einer geeigneten Objektiv-Shadingkorrektur je Bild können die Bildoberfläche des Weitwinkelbildes und jene des Telebildes je Kanal während des Verschmelzungsprozesses abgeglichen werden. Bei einem Objektiv-Shadingkorrekturverhältnis, das bei beiden Bildern hoch ist, beispielsweise >=80%, kann das Bildrauschen an den vier Ecken jedes Bildes größer sein als in der Mitte jedes Bildes. Während der Verschmelzungsverarbeitung je Kanal kann das Bildrauschen an den mit dem Weitwinkelbild verschmolzenen Pixelkoordinaten in den vier Ecken des Telebildes größer sein, während das Bildrauschen des Weitwinkelbildes dort geringer ist. Der Grund dafür ist, dass die Objektiv-Shadingkorrektur Pixelsignale an den vier Ecken beider Bilder mit einem größeren Verstärkungsfaktor verstärkt, wenn zur Korrektur der Objektiv-Vignettierung die Signale an den Ecken verstärkt werden. Gleichzeitig wird auch das Rauschen in dem Bild an den vier Ecken jedes Bildes mehr verstärkt. Bei schwachem Licht ist das Rauschen in dem gesamten Bild stärker, weshalb der Rauschpegel an den Ecken nach der Objektiv-Shadingkorrektur wesentlich schlechter sein kann. Dadurch wird das Generieren eines gleichmäßig verschmolzenen Bildbereichs rund um die vier Ecken des Telebildes pro Kanal gegebenenfalls erschwert. Ausführungsformen der Erfindung können dieses und weitere Probleme lösen, indem ein Verfahren und eine Vorrichtung zum Abgleich einer Objektiv-Shadingkorrektur hinsichtlich Rauschpegel und Pixelprofil an Weitwinkel- und Telebildern je Kanal bereitgestellt werden. Ausführungsformen der Erfindung können zum Beispiel Lösungen für die Reduzierung und den Abgleich von Rauschpegeln zwischen Weitwinkelbildern und Telebildern bereitstellen.
  • Bei manchen Implementierungen kann vor der Objektiv-Shadingkorrektur für Weitwinkelbilder und Telebilder jeweils in jedem Kanal des gesamten Bildes ein nicht-radialer Rauschreduzierungsfilter verwendet werden. Dadurch kann das Rauschen vor seiner Verstärkung reduziert werden. Nach der Objekt-Shadingkorrektur kann für Weitwinkelbilder und Telebilder jeweils ein radialer Rauschreduzierungsfilter in jedem Kanal des gesamten Bildes verwendet werden. Dadurch lässt sich das Rauschen an den Ecken nach dem Verstärken der Pixelsignale sehr viel aggressiver reduzieren. Während des Abstimmens jedes Rauschreduzierungsfilters je Kanal durch sämtliche Lichtstärken hindurch kann die Stärke für Weitwinkel- und Telekameras so abgeglichen werden, dass bei gleicher Lichtstärke ein ähnliches Signal-RauschVerhältnis (SNR) vorliegt.
  • 2 ist ein Beispielblockdiagramm einer Vorrichtung 200, zum Beispiel eines Mobilgeräts 110, gemäß einer möglichen Ausführungsform. Die Vorrichtung 200 kann ein Gehäuse 210, eine Steuereinheit 220 in dem Gehäuse 210, eine mit der Steuereinheit 220 gekoppelte Audioeingabe- und Audioausgabeschaltung 230, einen mit der Steuereinheit 220 gekoppelten Bildschirm 240, einen mit der Steuereinheit 220 gekoppelten Sender-Empfänger 250, eine mit dem Sender-Empfänger 250 gekoppelte Antenne 255, eine mit der Steuereinheit 220 gekoppelte Benutzerschnittstelle 260, einen mit der Steuereinheit 220 gekoppelten Speicher 270 und eine mit der Steuereinheit 220 gekoppelte Netzwerkschnittstelle 280 umfassen. Die Vorrichtung 200 kann auch mindestens zwei Kameras enthalten, zum Beispiel eine erste Kamera 291 und eine zweite Kamera 295, die jeweils äquivalent sein können zu der ersten Kamera 140 und zweiten Kamera 150. Die Vorrichtung 200 kann Verfahren durchführen, die in den Ausführungsformen beschrieben sind.
  • Der Bildschirm 240 kann ein Bildsucher sein, ein Flüssigkristallbildschirm (LCD), ein Leuchtdioden-(LED)-Bildschirm, ein Plasmabildschirm, ein Projektionsbildschirm, ein Berührungsbildschirm oder eine andere Vorrichtung, die Informationen anzeigt. Der Sender-Empfänger 250 kann einen Sender und/oder Empfänger enthalten. Die Audioeingabe- und Audioausgabeschaltung 230 können ein Mikrophon, einen Lautsprecher, einen Messumformer oder eine andere Audioeingabe- und Audioausgabeschaltung umfassen. Die Benutzerschnittstelle 260 kann eine Kleintastatur, eine Tastatur, Tasten, ein Touchpad, einen Joystick, einen Berührungsbildschirm, eine andere zusätzliche Anzeigevorrichtung oder ein anderes Gerät umfassen, das für die Bildung einer Schnittstelle zwischen einem Benutzer und einem elektronischen Gerät zweckmäßig ist. Die Netzwerkschnittstelle 280 kann ein Universal Serial Bus-Port sein, ein Ethernet-Port, ein Infrarot-Sender/Empfänger, ein USB-Port, ein IEEE 1392-Port, ein WLAN-Sender-Empfänger oder eine andere Schnittstelle, die eine Vorrichtung mit einem Netzwerk oder einem Computer verbinden kann und die Datenkommunikationssignale senden und empfangen kann. Der Speicher 270 kann einen Arbeitsspeicher, einen Nur-Lese-Speicher, einen optischen Speicher, einen Flash-Speicher, einen entfernbaren Speicher, eine Festplatte, einen Zwischenspeicher oder einen anderen Speicher umfassen, der mit einer drahtlosen Kommunikationsvorrichtung verbunden werden kann.
  • Die Vorrichtung 200 oder die Steuereinheit 220 können ein beliebiges Betriebssystem implementieren, zum Beispiel Microsoft Windows®, UNIX® oder LINUX®, Android™ oder ein anderes Betriebssystem. Betriebssoftware für die Vorrichtung kann in einer beliebigen Programmiersprache geschrieben sein, zum Beispiel in C, C++, Java oder Visual Basic. Vorrichtungssoftware kann auch auf einem Anwendungsrahmenwerk laufen, zum Beispiel auf einem Java®-Rahmenwerk, einem NET®-Rahmenwerk oder einem anderen Anwendungsrahmenwerk. Die Software und/oder das Betriebssystem können in dem Speicher 270 gespeichert sein oder an anderer Stelle in der Vorrichtung 200. Die Vorrichtung 200 oder die Steuereinheit 220 können zur Implementierung der beschriebenen Abläufe und Vorgänge auch Hardware nutzen. Zum Beispiel kann die Steuereinheit 220 ein beliebiger programmierbarer Prozessor sein. Die beschriebenen Ausführungsformen können auch an einem Universalcomputer oder einem Spezialcomputer, an einem programmierten Mikroprozessor oder Mikroprozessor, an integrierten Peripherie-Schaltungselementen, an einer anwendungsspezifischen integrierten Schaltung oder an anderen integrierten Schaltungen, an Hardware-/elektronischen Logikschaltungen, wie zum Beispiel eine Schaltung mit einem einzelnen Schaltungsbaustein, an einer programmierbaren logischen Vorrichtung, wie zum Beispiel ein programmierbares Logikarray, feldprogrammierbares Gate-Array oder dergleichen implementiert werden. Allgemein kann die Steuereinheit 220 eine beliebige Steuereinheit oder eine Prozessorvorrichtung oder eine Vorrichtung sein, die für den Betrieb einer elektronischen Vorrichtung und für die Implementierung der beschriebenen Ausführungsformen geeignet ist. Die Netzwerkschnittstelle 280 kann eine drahtgebundene Kommunikationsschnittstelle sein, zum Beispiel eine Universal Serial Bus-Schnittstelle, eine serielle Draht-Schnittstelle, eine parallele Draht-Schnittstelle, eine Ethernet-Schnittstelle oder eine andere drahtgebundene Schnittstelle, kann eine optische Schnittstelle sein, zum Beispiel eine Infrarot-Schnittstelle, kann eine drahtlose Schnittstelle sein, zum Beispiel eine Bluetooth®-Schnittstelle, eine WiFi-Schnittstelle, eine Wireless Local Area Network-Schnittstelle, eine Mobilfunknetzwerk-Schnittstelle, einen Satellitennetzwerk-Schnittstelle, eine Wireless Wide Area Netzwerk-Schnittstelle, oder kann eine beliebige andere Schnittstelle oder Schnittstellenkombination sein.
  • Die erste Kamera 291 kann ein erstes Objektiv 292, einen ersten Sensor 293 und einen ersten Kameraspeicher 294 aufweisen. Die zweite Kamera 295 kann ein zweites Objektiv 296, einen zweiten Sensor 297 und einen zweiten Kameraspeicher 298 aufweisen. Das Sichtfeld der zweiten Kamera 295 kann sich von dem Sichtfeld der ersten Kamera 291 unterscheiden. Im Betriebszustand kann die erste Kamera 192 über das erste Objektiv 292 und den ersten Sensor 293 ein erstes Bild aufnehmen. Die zweite Kamera 295 kann ein zweites Bild aufnehmen. Einer der Speicher 294, 298 und 270 kann eine erste Objektiv-Shadingkorrekturtabelle enthalten, die auf einem ersten Objektiv-Shadingkorrekturverhältnis der ersten Kamera 291 basiert, und eine zweite Objektiv-Shadingkorrekturtabelle, die auf einem zweiten Objektiv-Shadingkorrekturverhältnis basiert. Das zweite Objektiv-Shadingkorrekturverhältnis kann auf einem Flachfeldbild basieren, das mit der ersten Kamera aufgenommen wurde. Das zweite Objektiv-Shadingkorrekturverhältnis kann in den beschriebenen Ausführungsformen auch auf anderen Elementen basieren. Gemäß einer möglichen Ausführungsform kann der erste Kameraspeicher 294 die erste Objektiv-Shadingkorrekturtabelle und der zweite Kameraspeicher 298 die zweite Objektiv-Shadingkorrekturtabelle enthalten. Die Steuereinheit 220 kann eine Objektiv-Shadingkorrektur an dem ersten Bild basierend auf der ersten Objektiv-Shadingkorrekturtabelle vorsehen, um ein korrigiertes erstes Bild zu generieren, kann eine Objektiv-Shadingkorrektur an dem zweiten Bild basierend auf der zweiten Objektiv-Shadingkorrekturtabelle vorsehen, um ein korrigiertes zweites Bild zu generieren, und kann das korrigierte erste Bild und das korrigierte zweite Bild verschmelzen, um ein zusammengeführtes Bild zu generieren. Die Steuereinheit 220 kann das zusammengeführte Bild auch zur Anzeige auf dem Bildschirm 240, zur Speicherung in dem Speicher 270, zur Übertragung zu einem anderen Gerät über den Sender-Empfänger 250 oder die Netzwerkschnittstelle 280 und/oder auf andere Weise ausgeben.
  • 3 ist eine Beispieldarstellung eines Systems 300 gemäß einer möglichen Ausführungsform. Das System 300 kann eine Vorrichtung 310 wie eine Kamerakalibriervorrichtung, eine Kamera 360 und ein Testobjekt 370 wie eine Diffusorscheibe, eine Kontrastkarte, eine Graukarte, eine Lichtquelle oder ein anderes Objekt umfassen, das für die Kamerakalibrierung verwendet werden kann. Die Vorrichtung 310 kann einen Eingang 330, eine Steuereinheit 320, einen Speicher 350 und mindestens einen Ausgang 341 und/oder 342 umfassen. Der Ausgang 341 kann Daten aus der Steuereinheit 320 an den Speicher 350 ausgeben, und der Ausgang 342 kann vorrichtungsexterne Daten der Vorrichtung 310 aus der Steuereinheit 310 ausgeben. Die Vorrichtung 310 oder die Steuereinheit 320 können ein beliebiges Betriebssystem implementieren, zum Beispiel Microsoft Windows®, UNIX® oder LINUX®, Android™ oder ein anderes Betriebssystem. Software für den Betrieb der Vorrichtung kann in einer beliebigen Programmiersprache geschrieben sein, z.B. in C, C++, Java oder Visual Basic. Vorrichtungssoftware kann auch auf einem Anwendungsrahmenwerk wie beispielsweise auf einem Java®-Rahmenwerk, einem .NET®-Rahmenwerk oder einem anderen Anwendungsrahmenwerk laufen. Die Software und/oder das Betriebssystem können in dem Speicher 350 oder an anderer Stelle in der Vorrichtung 310 gespeichert sein. Die Vorrichtung 310 oder die Steuereinheit 320 können auch Hardware nutzen, um beschriebene Abläufe bzw. Vorgänge zu implementieren. Zum Beispiel kann die Steuereinheit 320 ein beliebiger programmierbarer Prozessor sein. Beschriebene Ausführungsformen können auch an einem Universalcomputer oder einem Spezialcomputer, einem programmierten Mikroprozessor oder einem Mikroprozessor, an Peripherie-IC-Elementen, einer anwendungsspezifischen integrierten Schaltung oder an anderen integrierten Schaltungen, an Hardware-/elektronischen Logikschaltungen wie einer Schaltung mit diskreten Bausteinen, einer programmierbaren logischen Schaltung wie einer programmierbaren logischen Anordnung, einem feldprogrammierbaren Gate-Array oder dergleichen implementiert werden. Allgemein kann die Steuereinheit 320 eine beliebige Steuereinheit oder eine Prozessorvorrichtung oder Vorrichtung sein, die für den Betrieb einer elektronischen Vorrichtung und für die Implementierung der beschriebenen Ausführungsformen geeignet ist.
  • Im Betrieb kann der Eingang 330 ein Flachfeldbild empfangen, das mit einer ersten Kamera 360 aufgenommen wurde, die ein erstes Objektiv 362 für eine Mehrfachkameravorrichtung wie beispielsweise die Vorrichtung 110, das Mehrfachkamerasystem 130 und/oder eine andere Mehrfachkameravorrichtung aufweist. Die Steuereinheit 320 kann ein erstes Objektiv-Shadingkorrekturverhältnis für die erste Kamera 360 ermitteln. Die Steuereinheit 320 kann das erste Objektiv-Shadingkorrekturverhältnis für die erste Kamera ermitteln, um einen optimalen Kompromiss zwischen der Vignettierungskorrektur des Flachfeldbildes und der Verbesserung des Eckrauschens des Flachfeldbildes zu erzielen. Zum Beispiel kann das erste Objektiv-Shadingkorrekturverhältnis derart gewählt werden, dass ein gegebener Farbkanal eine gewünschte Objektiv-Shadingkorrektur je Lichtquelle oder Lichtstärke von Interesse erzielt, nachdem die Objektiv-Shadingkorrektur angewendet wurde.
  • Die Steuereinheit 320 kann ein zweites Objektiv-Shadingkorrekturverhältnis für eine zweite Kamera für die Mehrfachkameravorrichtung bestimmen. Die zweite Kamera kann ein Sichtfeld aufweisen, das sich von dem Sichtfeld der ersten Kamera unterscheidet. Jede Kamera der Mehrfachkameravorrichtung hat ein Objektiv und einen Bildsensor. Das erste und das zweite Kameraobjektiv können unterschiedliche Brennweiten aufweisen, indem in der ersten Kamera ein Objektiv mit einer ersten Brennweite zum Erzeugen eines ersten Bildes und in der zweiten Kamera ein Objektiv mit einer zweiten Brennweite zum Erzeugen eines zweiten Bildes verwendet wird. Zum Beispiel kann die erste Kamera ein Objektiv mit einem ersten Sichtfeld und die zweite Kamera eine Objektiv mit einem zweiten, engeren Sichtfeld als jenem der ersten Kamera aufweisen oder umgekehrt. Die Brennweiten der Objektive können sich voneinander unterscheiden, indem die Objektive unterschiedliche physikalische Eigenschaften aufweisen, mehrere Linsen enthalten, unterschiedliche Entfernungen zu den relativen Bildsensoren aufweisen, Spiegel verwenden oder basierend auf anderen Charakteristiken unterschiedliche Brennweiten haben.
  • Das zweite Objektiv-Shadingkorrekturverhältnis kann auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem durch die erste Kamera erfassten Bild basieren. Das zweite Objektiv-Shadingkorrekturverhältnis kann auf dem ersten Objektiv-Shadingkorrekturverhältnis basieren, um eine zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes mit einer ersten Bildoberfläche eines ersten korrigierten Flachfeldbildes abzugleichen. Zum Beispiel kann die zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes, für das eine zweite Objektiv-Shadingkorrekturtabelle verwendet wird, mit einer ersten Bildoberfläche des ersten korrigierten Flachfeldbildes, für das eine erste Objektiv-Shadingkorrekturtabelle verwendet wird, abgeglichen werden.
  • Zum Beispiel kann die Steuereinheit 320 zum Bestimmen des zweiten Objektiv-Korrekturverhältnisses auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses und des durch die erste Kamera erfassten Flachfeldbildes ein korrigiertes Flachfeldbild generieren. Die Steuereinheit 320 kann ein Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera an einer bestimmten Pixelkoordinate bestimmen. Die Steuereinheit 320 kann dann das zweite Objektiv-Korrekturverhältnis für die zweite Kamera auf der Basis des bestimmten Helligkeitsabfall-Pixelprofilverhältnisses an der bestimmten Pixelkoordinate bestimmen. Eine Mehrfachkameravorrichtung kann auch mehr als zwei Kameras enthalten, und die Objektivkorrekturverhältnisse jeder der mehreren Kameras können auf dem ersten Objektivkorrekturverhältnis basieren, nämlich zum Beispiel auf dem bestimmten Helligkeitsabfall-Pixelprofilverhältnis an der bestimmten Pixelkoordinate.
  • Gemäß einer möglichen Ausführungsform kann die Steuereinheit 320 das Helligkeitsabfall-Pixelprofilverhältnis bestimmen, indem sie eine Pixelintensität (y) des Helligkeitsabfall-Pixelprofils an der bestimmten Pixelkoordinate des korrigierten Flachfeldbildes der ersten Kamera bestimmt, die einer Pixelkoordinate an einem Rand eines mit der zweiten Kamera aufzunehmenden Bildes entspricht, wobei der Rand des zweiten Bildes innerhalb eines Randes des Flachfeldbildes liegt, wenn ein Bereich des zweiten Bildes dem korrigierten Flachfeldbild der ersten Kamera überlagert wird. Die Steuereinheit 320 kann dann das Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera auf der Basis der Pixelintensität (y) bestimmen. Diese Ausführungsform kann angewendet werden, wenn die erste Kamera ein breiteres Sichtfeld als die zweite Kamera hat und wenn die Ecken des Sichtfeldes der zweiten Kamera innerhalb des Sichtfeldes der ersten Kamera liegen.
  • Gemäß einer möglichen Implementierung dieser Ausführungsform kann die Pixelintensität eine erste Pixelintensität sein. Das Helligkeitsabfall-Pixelprofilverhältnis kann ein Verhältnis sein zwischen der ersten Pixelintensität (y) des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität (I0) des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera. Die Steuereinheit 320 kann dann das Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera auf der Basis der ersten und der zweiten Pixelintensität bestimmen.
  • Gemäß einer weiteren möglichen Ausführungsform kann die Steuereinheit 320 das Helligkeitsabfall-Pixelprofilverhältnis bestimmen, indem eine Pixelintensität (y) an einem Ort entlang der Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera an der bestimmten Pixelkoordinate bestimmt wird, die einem Rand eines durch die zweite Kamera aufzunehmenden Bildes entspricht. Die Steuereinheit 320 kann dann das Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera auf der Basis der Pixelintensität (y) bestimmen. Diese Ausführungsform kann angewendet werden, wenn die erste Kamera ein engeres Sichtfeld als die zweite Kamera hat und wenn die Ecken des Sichtfeldes der zweiten Kamera außerhalb des Sichtfeldes der ersten Kamera liegen.
  • Gemäß einer möglichen Implementierung dieser Ausführungsform kann die Pixelintensität (y) eine erste Pixelintensität sein. Das Helligkeitsabfall-Pixelprofilverhältnis kann ein Verhältnis sein zwischen der ersten Pixelintensität (y) der Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Intensität (I0) des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  • Der Ausgang 341 oder 340 kann das zweite Objektiv-Shadingkorrekturverhältnis ausgeben. Zum Beispiel kann der Ausgang 341 das zweite Objektiv-Shadingkorrekturverhältnis an einen lokalen Speicher ausgeben, zum Beispiel an ein RAM, einen Festkörperspeicher, eine Festplatte oder einen anderen lokalen Speicher der Vorrichtung. Der Ausgang 342 kann das zweite Objektiv-Shadingkorrekturverhältnis ebenfalls an eine andere Einrichtung ausgeben, zum Beispiel an einen Speicher an einem Gerät, in welchem die Mehrfachkameravorrichtung verwendet wird, einen Speicher in der Mehrfachkameravorrichtung oder einen Speicher in der zweiten Kamera. Der Ausgang 342 kann das zweite Objektiv-Shadingkorrekturverhältnis über ein lokales Netzwerk oder über ein Weitverkehrsnetzwerk an einen Bildschirm ausgeben oder an ein anderes Element, das die Ausgabe eines zweiten Objektiv-Shadingkorrekturverhältnisses empfängt. Die Steuereinheit 320 kann zum Beispiel eine erste Objektiv-Shadingkorrekturtabelle auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses generieren und kann eine zweite Objektiv-Shadingkorrekturtabelle auf der Basis des zweiten Objektiv-Shadingkorrekturverhältnisses generieren. Die Steuereinheit 320 kann dann die erste Objektiv-Shadingkorrekturtabelle und die zweite Objektiv-Shadingkorrekturtabelle in dem Speicher 350 ablegen oder in einem externen Speicher speichern. Ebenso kann die Steuereinheit 320 das zweite Objektiv-Shadingkorrekturverhältnis speichern, ohne dieses als Tabelle in einem Speicher zu hinterlegen. Ein Speicher kann sich in einem Kameramodul befinden, zum Beispiel in dem Kameramodul der zweiten Kamera, kann sich in der Steuereinheit 320 befinden, kann sich in der Vorrichtung 310 befinden, kann sich in einem Kameramodulspeicher befinden, kann sich in einem Speicher an der Vorrichtung befinden, in der das Mehrfachkamerasystem verwendet wird, kann sich in einer Cloud befinden oder an einem anderen Ort, der für ein Gerät zweckmäßig ist, das mit einem Mehrfachkamerasystem arbeitet. Ein Speicher kann ein One Time Programming (OTP) Memory (nur einmal beschreibbarer Speicher), ein Programmable Read-Only Memory (PROM) (programmierbarer Nur-Lese-Speicher), ein Electrically Erasable Programmable Read-Only Memory (EEPROM) (elektrisch löschbarer programmierbare Nur-Lese-Speicher), ein Flash-Speicher, ein optischer Speicher, eine Festplatte und/oder ein beliebiger anderer Speicher sein, der eine Tabelle speichern kann.
  • 4 ist ein Beispielflussdiagramm 400, das den Betrieb einer Vorrichtung wie beispielsweise der Vorrichtung 310 gemäß einer möglichen Ausführungsform darstellt. Der Ablauf in dem Flussdiagramm 400 kann bei Pos. 410 beginnen. Bei Pos. 420 kann mit der ersten Kamera, die über ein erstes Objektiv für eine Mehrfachkameravorrichtung verfügt, eine Flachfeldaufnahme gemacht werden.
  • 5 ist ein Beispieldiagramm 500 eines Helligkeitsabfall-Pixelprofils 510 der ersten Kamera und eines Helligkeitsabfall-Pixelprofils 520 der zweiten Kamera ohne Objektiv-Shadingkorrektur, wenn die zweite Kamera ein engeres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform. Für jeden Kanal pro Bild besteht die Bildoberfläche aus einem Flachfeldbild, und das in dem Diagramm 500 dargestellte Pixelprofil besteht aus dem diagonalen Querschnitt der Bildoberfläche. Die Spitze des ersten Helligkeitsabfall-Pixelprofils kann einen Pixelwert von (I0) zeigen, und der Rand des diagonalen Querschnitts der Bildoberfläche kann einen Pixelwert von (y1) zeigen, was den Vignettierungseffekt darstellt, der durch das Helligkeitsabfall-Pixelprofil entsteht. Die Pixelkoordinate (x1) kann einem Rand eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entlang des Helligkeitsabfall-Pixelprofils 520 der zweiten Kamera entsprechen.
  • 6 ist ein Beispieldiagramm eines Helligkeitsabfall-Pixelprofils 610 einer ersten Kamera und eines Helligkeitsabfall-Pixelprofils 620 einer zweiten Kamera ohne Objektiv-Shadingkorrektur, wenn die zweite Kamera ein breiteres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform. Für jeden Kanal pro Bild besteht die Bildoberfläche aus einem Flachfeldbild, und das in dem Diagramm 600 dargestellte Pixelprofil besteht aus einem diagonalen Querschnitt der Bildoberfläche. Die Spitze des ersten Helligkeitsabfall-Pixelprofils kann einen Pixelwert von (I0) zeigen, und der Rand des diagonalen Querschnitts der Bildoberfläche kann einen Pixelwert von (y2) zeigen, was den Vignettierungseffekt darstellt, der durch das Helligkeitsabfall-Pixelprofil entsteht. Die Pixelkoordinate (x2) kann einem Rand eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entlang des Helligkeitsabfall-Pixelprofils 620 der zweiten Kamera entsprechen, und die Pixelkoordinate (x3) kann einem Rand eines mit der ersten Kamera aufzunehmenden ersten Bildes entlang des Helligkeitsabfall-Pixelprofils 610 der ersten Kamera entsprechen.
  • Bei Pos. 430 kann ein erstes Objektiv-Shadingkorrekturverhältnis für die erste Kamera ermittelt werden. Das erste Objektiv-Shadingkorrekturverhältnis lässt sich ermitteln, indem es auf der Basis von Entwurfsparametern generiert wird, indem es als Eingabe empfangen wird, indem es aus einer Tabelle abgerufen wird, indem Berechnungen durchgeführt werden, indem Simulationen durchgeführt werden oder durch eine beliebige andere Vorgehensweise zum Ermitteln eines ersten Objektiv-Shadingkorrekturverhältnisses. Das erste Objektiv-Shadingkorrekturverhältnis kann für die erste Kamera bestimmt werden, um einen optimalen Kompromiss zwischen einer Vignettierungskorrektur des Flachfeldbildes und einer Reduzierung des Eckrauschens des Flachfeldbildes zu erzielen. Das erste Objektiv-Shadingkorrekturverhältnis kann zum Beispiel so gewählt werden, dass ein gegebener Farbkanal nach der Objektiv-Shadingkorrektur die gewünschte Objektiv-Shadingkorrektur je Lichtquelle oder Lichtstärke von Interesse erzielt. Bei Pos. 440 kann basierend auf dem ersten Objektiv-Shadingkorrekturverhältnis und dem Flachfeldbild ein korrigiertes Flachfeldbild der ersten Kamera generiert werden. Bei Pos. 450 kann ein Helligkeitsabfall-Pixelprofil eines korrigierten Flachfeldbildes generiert werden.
  • Bei Pos. 460 kann eine Pixelintensität an zwei Pixelkoordinaten bestimmt werden. Gemäß einer möglichen Implementierung kann die Pixelintensität an einem Ort entlang des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes aus der ersten Kamera interpoliert werden. Zum Beispiel kann eine Pixelintensität (y) des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes an der bestimmten Pixelkoordinate (x) des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera bestimmt werden, die einer Pixelkoordinate eines Randes eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entspricht. Der Rand des zweiten Bildes kann innerhalb eines Randes des Flachfeldbildes liegen, wenn ein Bereich des zweiten Bildes über das korrigierte Flachfeldbild der ersten Kamera gelegt wird. Eine Pixelkoordinate eines Randes eines durch die zweite Kamera aufzunehmenden zweiten Bildes kann zum Beispiel eine Pixelkoordinate eines engeren Sichtfeldes der zweiten Kamera sein, das über ein Sichtfeld der ersten Kamera gelegt und auf diesem zentriert wird. Die beiden Pixelkoordinaten können die Pixelintensität (y) in Form einer ersten Pixelintensität enthalten und können eine zweite Pixelintensität (I0) enthalten.
  • 7 ist ein Beispieldiagramm 700 eines Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes 710 der ersten Kamera für diese Implementierung, wenn die zweite Kamera ein engeres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform. Bei dieser Implementierung kann die Pixelintensität (y3) eine erste Pixelintensität an einer bestimmten Pixelkoordinate (x1) sein, zum Beispiel entsprechend der Pixelkoordinate (x1) in dem Diagramm 500 für den Rand des mit der zweiten Kamera aufzunehmenden Bildes, und das Helligkeitsabfall-Pixelprofilverhältnis kann ein Verhältnis sein zwischen der ersten Pixelintensität (y3) des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität (I0) des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera. Gemäß dieser Implementierung kann die erste Kamera eine Kamera mit einem ersten Sichtfeld sein, und die zweite Kamera kann eine Kamera mit einem Sichtfeld sein, das enger ist als das erste Sichtfeld. Die entsprechende Pixelkoordinate kann eine jeweilige Koordinate an einem Rand eines durch die zweite Kamera aufzunehmenden zweiten Bildes mit einem engeren Sichtfeld sein, nachdem Bilder der ersten Kamera und der zweiten nach ihrer Zentrierung miteinander verschmolzen wurden. Es kann ein geeignetes Interpolationsverfahren angewendet werden. Es können mehrere Pixelkoordinaten jedes Randes des zweiten Bildes verwendet werden, und das Helligkeitsabfall-Pixelprofilverhältnis der mehreren Pixelkoordinaten kann gemittelt werden.
  • Gemäß einer weiteren möglichen Implementierung kann die Pixelintensität (y) an einem Ort entlang einer Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera an bestimmten Pixelkoordinate bestimmt werden, die einem Rand eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entsprecht. Bei dieser Implementierung kann die Pixelkoordinate eines Randes eines durch die zweite Kamera aufzunehmenden Bildes eine Pixelkoordinate eines Sichtfeldes der zweiten Kamera sein, das über ein Sichtfeld der ersten Kamera gelegt und auf diesem zentriert wird, wobei ein Rand des Sichtfeldes der zweiten Kamera außerhalb eines Randes des Sichtfeldes der ersten Kamera liegen kann.
  • 8 ist ein Beispieldiagramm 800 eines Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes 810 der ersten Kamera für diese Implementierung, wenn die zweite Kamera ein breiteres Sichtfeld als die erste Kamera hat, gemäß einer möglichen Ausführungsform. Die Pixelintensität (y4) kann eine erste Pixelintensität sein, und das Helligkeitsabfall-Pixelprofilverhältnis kann ein Verhältnis sein zwischen der ersten Pixelintensität (y4)einer Erstreckung einer bestimmten Pixelkoordinate (x2), zum Beispiel entsprechend der Pixelkoordinate (x2) in dem Diagramm 600 für den Rand des mit der zweiten Kamera aufzunehmenden Bildes, dem Helligkeitsabfall-Pixelprofil des korrigierten Flachfeldbildes der ersten Kamera, das sich von dem Rand (x3) des durch die erste Kamera aufzunehmenden ersten Bildes erstreckt, und einer zweiten Pixelintensität (I0) des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  • Gemäß dieser Implementierung kann die erste Kamera eine Kamera mit einem ersten Sichtfeld und die zweite Kamera eine Kamera mit einem zweiten Sichtfeld sein, das breiter ist als das erste Sichtfeld. Der Ort (x2) und die entsprechende Pixelintensität (y4) entlang der Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera können aus dem Helligkeitsabfall-Pixelprofil des korrigierten Flachfeldbildes der ersten Kamera extrapoliert werden. Es kann ein zweckmäßiges Extrapolationsverfahren angewendet werden. Gemäß einer möglichen Implementierung kann ein Iterationsverfahren angewendet werden. Zum Beispiel kann eine mathematische Funktion wie eine Polynomfunktion gesucht werden, um das Helligkeitsabfall-Pixelprofil oder die Bildoberfläche des korrigierten Flachfeldbildes der ersten Kamera abzubilden, nachdem die erste Objektiv-Shadingkorrektur bestimmt wurde. Dann kann ein extrapolierter Punkt an dem Rand des Helligkeitsabfall-Pixelprofils für ein mit der zweiten Kamera aufzunehmendes zweites Bild gesucht werden. Bei gegebenen Spezifikationen von zwei Kameras zum Beispiel können die Pixelkoordinaten an dem Rand des zweiten Bildes aufgefunden werden. Dieser extrapolierte Punkt kann eine erste Schätzung eines Korrekturverhältnisses für das zweite Bild liefern. Das Flachfeldbild kann ein erstes Flachfeldbild sein, und ein zweites Flachfeldbild der zweiten Kamera kann mir der ersten Schätzung des Korrekturverhältnisses ermittelt werden. Das Pixelprofil oder die Bildoberfläche können zwischen dem ersten Flachfeldbild und dem zweiten Flachfeldbild verglichen werden. Wenn die Differenz der beiden Pixelprofile oder der beiden Bildoberflächen an der verschmolzenen Pixelkoordinate größer ist als ein Schwellwert, kann das Objektiv-Shadingkorrekturverhältnis des zweiten Bildes entsprechend eingestellt werden. Ferner können Iterationen durchgeführt werden, bis die Differenz die gewünschten Anforderungen erfüllt.
  • Es wird erneut auf das Flussdiagramm 400 Bezug genommen. Bei Pos. 470 kann ein Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera an der bestimmten Pixelkoordinate bestimmt werden. Ein Helligkeitsabfall-Pixelprofil kann ein Profil eines Pixels sein, dessen Helligkeit von der Mitte eines Bildes zum Rand eines Bildes hin abnimmt, zum Beispiel aufgrund einer Objektiv-Vignettierung. Zum Beispiel kann das Helligkeitsabfall-Pixelprofilverhältnis des korrigierten Flachfeldbildes der ersten Kamera basierend auf den bestimmten Pixelintensitäten an zwei Pixelkoordinaten bestimmt werden.
  • Bei Pos. 480 kann ein zweites Objektiv-Shadingkorrekturverhältnis für eine zweite Kamera bestimmt werden, die über ein zweites Objektiv für die Mehrfachkameravorrichtung verfügt, wobei die zweite Kamera ein Sichtfeld aufweisen kann, das sich von dem Sichtfeld der ersten Kamera unterscheidet, und wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem Flachfeldbild, das durch die erste Kamera erfasst wurde, basieren kann. Das zweiten Objektiv-Shadingkorrekturverhältnis kann auf dem ersten Objektiv-Shadingkorrekturverhältnis basieren, um eine zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes mit einer ersten Bildoberfläche eines ersten korrigierten Flachfeldbildes abzugleichen. Zum Beispiel kann die zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes, für welches eine zweite Objektiv-Shadingkorrekturtabelle verwendet wird, mit einer ersten Bildoberfläche des ersten korrigierten Flachfeldbildes, für welches die erste Objektiv-Shadingkorrekturtabelle verwendet wird, abgeglichen werden. Das zweite Objektiv-Shadingkorrekturverhältnis kann für die zweite Kamera auf der Basis des bestimmten Helligkeitsabfall-Pixelprofilverhältnisses an der bestimmten Pixelkoordinate bestimmt werden. Zum Beispiel kann das Helligkeitsabfall-Pixelprofilverhältnis an der bestimmten Pixelkoordinate (x) basierend auf einem Verhältnis der ersten Pixelintensität (y) gegenüber der zweiten Pixelintensität (I0) bestimmt werden. Dieses bestimmte Pixelprofil-Helligkeitsabfallverhältnis, das auf der ersten Pixelintensität (y) und auf der zweiten Pixelintensität (I0) basiert, kann das Objekt-Shadingkorrekturverhältnis für das zweite Bild sein. Das Verhältnis kann zum Beispiel y/I0 * 100% betragen, welches das Objektiv-Shadingkorrekturverhältnis des zweiten Bildes sein kann.
  • Bei der vorstehenden ersten Implementierung kann das Korrekturverhältnis des zweiten Bildes höher sein als ein gewünschtes erstes Objektiv-Shadingkorrekturverhältnis für das erste Flachfeldbild mit einem breiteren Sichtfeld als dem des zweiten Bildes. Wenn zum Beispiel bei einer gegebenen Kamera mit einem engeren Sichtfeld das gewünschte Objektiv-Shadingkorrekturverhältnis etwa 80% betragen kann, kann das gemessene Objektiv-Shadingkorrekturverhältnis für die Kamera mit dem engeren Sichtfeld etwa 85-86% betragen.
  • Bei der vorstehenden zweiten Implementierung kann das Korrekturverhältnis des zweiten Bildes kleiner sein als das gewünschte Korrekturverhältnis für das erste Flachfeldbild mit einem engeren Sichtfeld als jenem des zweiten Bildes. Wenn zum Beispiel bei einer Kamera mit einem engeren Sichtfeld das gewünschte Objektiv-Shadingkorrekturverhältnis für eine Kamera mit einem engeren Sichtfeld etwa 86% beträgt, kann das gemessene Objektiv-Shadingkorrekturverhältnis für eine Kamera mit einem breiteren Sichtfeld etwa 80~81 % betragen.
  • Die Mehrfachkameravorrichtung kann mehr als zwei Kameras enthalten, und die Objektiv-Korrekturverhältnisse für jede der mehreren Kameras kann auf dem ersten Objektiv-Korrekturverhältnis basieren. Das Verfahren kann unter Anwendung der klassischen Kalibrierung Einheit für Einheit durchgeführt werden, wobei das klassische Verfahren Objektiv-Shadingkorrekturverhältnisse für ein Objektivpaar bestimmen kann und die gleichen Shadingkorrekturverhältnisse für jedes in Herstellung befindliche Objektivpaar verwendet.
  • Bei Pos. 490 können das erste und das zweite Objektiv-Shadingkorrekturverhältnis oder die Objektiv-Shadingkorrekturtabelle in einem Speicher gespeichert werden. Eine erste Objektiv-Shadingkorrekturtabelle kann zum Beispiel auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses generiert werden, und das erste Objektiv-Shadingkorrekturverhältnis und die erste Objektiv-Shadingkorrekturtabelle können in einem Speicher gespeichert werden. Eine zweite Objektiv-Shadingkorrekturtabelle kann basierend auf dem zweiten Objektiv-Shadingkorrekturverhältnis generiert werden, die zweite Objektiv-Shadingkorrekturtabelle kann in dem Speicher gespeichert werden. Zusätzlich können mehrere Tabellen für mehrere jeweilige Farbkanäle verwendet werden. Ferner können die Schritte des Flussdiagramms 400 für mehrere verschiedene Lichtquellen angewendet werden. Diese mehreren Lichtquellen können zum Beispiel eine fluoreszierende Lichtquelle, eine Wolfram-Lichtquelle, Sonnenlicht und/oder andere Lichtquellen umfassen. Es können separate Tabellen verwendet werden, um die Objektiv-Shadingkorrekturverhältnisse oder -Tabellen für diese mehreren Lichtquellen zu speichern. Bei Pos. 495 kann das Flussdiagramm enden.
  • Das Flussdiagramm 400 kann während des Abstimmens der Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung ablaufen. Es kann eine Look-Up-Tabelle (LUT) für eine Echtzeitverarbeitung erstellt werden. Es versteht sich, dass ungeachtet der speziellen Schritte, wie diese in den Figuren dargestellt sind, abhängig von der Ausführungsform eine Vielfalt von zusätzlichen oder anderen Schritten durchgeführt werden kann und dass einer oder mehrere der speziellen Schritte abhängig von der Ausführungsform umgestellt, wiederholt werden oder ganz entfallen können. Einige der Schritte können auch laufend oder kontinuierlich wiederholt werden, während gleichzeitig andere Schritte durchgeführt werden. Ferner können verschiedene Schritte durch verschiedene Elemente oder in einem einzelnen Element der vorliegend beschriebenen Ausführungsformen durchgeführt werden.
  • Durch die beschriebenen Ausführungsformen können ein Verfahren und eine Vorrichtung zum Bestimmen einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern bereitgestellt werden. Was ein Objektiv-Shadingkorrekturverhältnis betrifft, kann die Lichtempfindlichkeit mancher Objektive zum Rand des Sichtfeldes hin abnehmen. Dies kann als Empfindlichkeitsabfall betrachtet werden. In In verschiedenen Algorithmen kann das Objekt-Shadingkorrekturverhältnis verwendet werden, um diese Änderung der Empfindlichkeit zu korrigieren, wobei jeder Pixelwert abhängig von der Entfernung von der Bildmitte zur Pixelposition verstärkt werden kann. Basierend auf einem gewünschten Abstimmungsziel kann das erste Objektiv-Shadingkorrekturverhältnis für die erste Kamera gewählt werden. Das Abstimmungsziel kann üblicherweise sein, die beste Balance zwischen einer Vignettierungskorrektur und einer Reduzierung des Eckrauschens zu finden. Es kann ein Algorithmus mit dem ersten Objektiv-Shadingkorrekturverhältnis verwendet werden, um ein korrigiertes Flachfeldbild zu generieren. Danach kann das Objektiv-Shadingkorrekturverhältnis für die zweite Kamera auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses bestimmt werden, zum Beispiel auf der Basis des korrigierten Flachfeldbildes der ersten Kamera, das auf dem Algorithmus basiert, bei welchem das Objektiv-Shadingkorrekturverhältnis verwendet wurde, um das korrigierte Flachfeldbild zu generieren.
  • Das beschriebene Verfahren kann auf einem programmierten Prozessor implementiert werden. Jedoch können die Steuereinheiten, die Flussdiagramme und die Module auch an einem Universalcomputer oder Spezialcomputer, einem programmierten Mikroprozessor oder Mikrocontroller und an integrierten Peripherie-Schaltungselementen, an einer integrierten Schaltung, einer Hardware-Elektronikschaltung oder logischen Schaltung wie einer Schaltung mit diskreten Bauelementen, an einem programmierbaren Logikbaustein oder dergleichen implementiert werden. Allgemein kann jede Vorrichtung, auf der ein endlicher Automat hinterlegt ist, der die in den Figuren dargestellten Flussdiagramme abarbeiten kann, für die Implementierung der vorliegend beschriebenen Prozessorfunktionen verwendet werden.
  • Die vorliegende Erfindung wurde vorstehend anhand von bestimmten Ausführungsformen beschrieben. Der Fachmann wird jedoch erkennen, dass zahlreiche Alternativen, Modifikationen und Variationen möglich sind. Verschiedene Komponenten der Ausführungsformen können in anderen Ausführungsformen zum Beispiel ausgetauscht, hinzugefügt oder ersetzt werden. Außerdem sind nicht sämtliche Elemente jeder der Figuren für den Betrieb der beschriebenen Ausführungsformen notwendig. Zum Beispiel wäre der Durchschnittsfachmann auf dem Gebiet der beschriebenen Ausführungsformen in der Lage, die Lehre der vorliegenden Erfindung durch die Verwendung der in den abhängigen Ansprüchen angegebenen Elemente anzuwenden. Die beschriebenen Ausführungsformen sind daher rein illustrativ und stellen keine Einschränkung dar. Verschiedene Änderungen können durchgeführt werden, ohne den Rahmen der Erfindung zu verlassen.
  • In der vorliegenden Beschreibung werden Begriffe wie „erste/r/s“, „zweite/r/s“ und dergleichen lediglich verwendet, um eine Einheit oder Aktion von einer anderen Einheit oder Aktion zu unterscheiden, ohne dass dadurch eine solche Beziehung oder Ordnung zwischen den Einheiten oder Aktionen notwendig ist oder impliziert wird. Der Begriff „zumindest eine/r/s von“ gefolgt von einer Auflistung bedeutet ein, einige oder alle, aber nicht notwendigerweise alle Elemente der Liste. Die Begriffe „umfasst“, „umfassend“ oder eine andere Form dieser Begriffe bedeutet eine nicht ausschließliche Einbeziehung, das heißt, dass ein eine Auflistung von Elementen umfassender Prozess, ein Verfahren, ein Gegenstand oder eine Vorrichtung nicht nur diese Elemente umfasst, sondern auch andere oder weitere Elemente umfassen kann, die nicht ausdrücklich genannt sind oder die zu einem solchen Prozess, Verfahren, Gegenstand oder einer solchen Vorrichtung gehören. Ein Element, dem der unbestimmte Artikel „ein/e/r/s“ oder dergleichen vorangestellt ist und das nicht mit einer weiteren Einschränkung versehen ist, schließt nicht aus, dass in dem Prozess, in dem Verfahren, bei dem Gegenstand oder in der Vorrichtung, die dieses Element enthalten, nicht zusätzliche identische Elemente vorhanden sind. Der Begriff „weitere/r/s“ bedeutet, dass zumindest ein zweites oder mehr Elemente vorgesehen sind. Die Begriffe „enthalten“, „aufweisen“ und dergleichen sind vorliegend gleichbedeutend mit dem Begriff „umfassend“. Ferner ist der Zusammenhang zwischen manchen Ausführungsformen in dem Abschnitt „Hintergrund“ aus der eigenen Sicht des Erfinders und seinem Verständnis der Zusammenhänge zum Zeitpunkt der Hinterlegung der vorliegenden Anmeldung dargestellt. Ebenso sind die angegebenen Probleme bei bestehenden Technologien Probleme, die der Erfinder im Rahmen seiner eigenen Tätigkeit erkannt hat.

Claims (20)

  1. Verfahren zum Einstellen einer Mehrfachkameravorrichtung mit einer ersten Kamera und einer zweiten Kamera, wobei die erste Kamera ein erstes Objektiv und die zweite Kamera ein zweites Objektiv aufweist, wobei die erste Kamera zum Aufnehmen eines ersten Bildes einer Szene mit einem ersten Sichtfeld und die zweite Kamera zum Aufnehmen eines zweiten Bildes derselben Szene mit einem zweiten Sichtfeld, das sich von dem ersten Sichtfeld unterscheidet, konfiguriert ist, das Verfahren umfassend: Aufnehmen eines Flachfeldbildes mit der ersten Kamera; Ermitteln eines ersten Objektiv-Shadingkorrekturverhältnisses für die erste Kamera; und Bestimmen eines zweiten Objektiv-Shadingkorrekturverhältnisses für die zweite Kamera, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem durch die erste Kamera erfassten Flachfeldbild basiert.
  2. Verfahren nach Anspruch 1, ferner umfassend: Generieren einer ersten Objektiv-Shadingkorrekturtabelle auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses; Speichern der ersten Objektiv-Shadingkorrekturtabelle in einem Speicher; Generieren einer zweiten Objektiv-Shadingkorrekturtabelle auf der Basis des zweiten Objektiv-Shadingkorrekturverhältnisses; und Speichern der zweiten Objektiv-Shadingkorrekturtabelle in dem Speicher.
  3. Verfahren nach Anspruch 1 oder 2, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis basiert, um eine zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes mit einer ersten Bildoberfläche eines ersten korrigierten Flachfeldbildes abzugleichen.
  4. Verfahren nach einem der Ansprüche 1 bis 3, ferner umfassend das Durchführen der Aufnahme, der Ermittlung und der Bestimmung für mehrere Lichtquellen.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Ermitteln eines ersten Objektiv-Shadingkorrekturverhältnisses das Ermitteln des ersten Objektiv-Shadingkorrekturverhältnisses für die erste Kamera umfasst, um einen optimalen Kompromiss zwischen einer Vignettierungskorrektur des ersten Flachfeldbildes und einer Verbesserung des Eckrauschens des Flachfeldbildes zu erzielen.
  6. Verfahren nach einem der Ansprüche 1 bis 5, ferner umfassend: das Generieren eines korrigierten Flachfeldbildes der ersten Kamera auf der Basis des ersten Objektiv-Shadingkorrekturverhältnisses und des durch die erste Kamera erfassten Flachfeldbildes; und das Bestimmen eines Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera an einer bestimmen Pixelkoordinate, wobei das Bestimmen des zweiten Objektiv-Shadingkorrekturverhältnisses das Bestimmen des zweiten Objektiv-Shadingkorrekturverhältnisses für die zweite Kamera auf der Basis des bestimmten Helligkeitsabfall-Pixelprofilverhältnisses an der bestimmten Pixelkoordinate umfasst.
  7. Verfahren nach Anspruch 6, ferner umfassend: das Bestimmen einer Pixelintensität des korrigierten Flachfeldbildes an der bestimmten Pixelkoordinate des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera, die einer Pixelkoordinate eines Randes eines mit der zweiten Kamera aufzunehmenden Bildes entspricht, wobei der Rand des zweiten Bildes innerhalb eines Randes des Flachfeldbildes liegt, wenn ein Bereich des zweiten Bildes dem korrigierten Flachfeldbild der ersten Kamera überlagert wird, wobei das Bestimmen des Helligkeitsabfall-Pixelprofilverhältnisses das Bestimmen eines Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera auf der Basis der Pixelintensität umfasst.
  8. Verfahren nach Anspruch 7, wobei die Pixelintensität eine erste Pixelintensität umfasst, wobei das Helligkeitsabfall-Pixelprofilverhältnis ein Verhältnis ist zwischen: der ersten Pixelintensität des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  9. Verfahren nach einem der Ansprüche 6 bis 8, ferner umfassend: das Bestimmen einer Pixelintensität an einem Ort entlang einer Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera an der bestimmten Pixelkoordinate, die einem Rand eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entspricht, wobei das Bestimmen des Helligkeitsabfall-Pixelprofilverhältnisses das Bestimmen eines Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera auf der Basis der Pixelintensität umfasst.
  10. Verfahren nach Anspruch 9, wobei die Pixelintensität eine erste Pixelintensität umfasst, wobei das Helligkeitsabfall-Pixelprofilverhältnis ein Verhältnis ist zwischen: der ersten Pixelintensität der Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  11. Vorrichtung zum Einstellen einer Mehrfachkameravorrichtung mit einer ersten Kamera und einer zweiten Kamera, wobei die erste Kamera ein erstes Objektiv und die zweite Kamera ein zweites Objektiv aufweist, wobei die erste Kamera zum Aufnehmen eines ersten Bildes einer Szene mit einem ersten Sichtfeld und die zweite Kamera zum Aufnehmen eines zweiten Bildes derselben Szene mit einem zweiten Sichtfeld, das sich von dem ersten Sichtfeld unterscheidet, konfiguriert ist, die Vorrichtung umfassend: einen Eingang, der für den Empfang eines Flachfeldbildes konfiguriert ist, das mit der ersten Kamera aufgenommen wird; eine Steuereinheit, die konfiguriert ist für das Ermitteln eines ersten Objektiv-Shadingkorrekturverhältnisses für die erste Kamera und für das Bestimmen eines zweiten Objektiv-Shadingkorrekturverhältnisses für die zweite Kamera, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf der dem ersten Objektiv-Shadingkorrekturverhältnis und auf dem durch die erste Kamera erfassten Flachfeldbild basiert; und einen Ausgang, der für die Ausgabe des zweiten Objektiv-Shadingkorrekturverhältnisses konfiguriert ist.
  12. Vorrichtung nach Anspruch 11, wobei die Steuereinheit konfiguriert ist für das Generieren einer ersten Objektiv-Shadingkorrekturtabelle basierend auf dem ersten Objektiv-Shadingkorrekturverhältnis und für das Generieren einer zweiten Objektiv-Shadingkorrekturtabelle basierend auf dem zweiten Objektiv-Shadingkorrekturverhältnis und wobei die Vorrichtung ferner einen Speicher umfasst, der für die Speicherung der ersten Objektiv-Shadingkorrekturtabelle und der zweiten Objektiv-Shadingkorrekturtabelle konfiguriert ist.
  13. Vorrichtung nach Anspruch 11 oder 12, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis basiert, um eine zweite Bildoberfläche eines zweiten korrigierten Flachfeldbildes mit einer ersten Bildoberfläche eines ersten korrigierten Flachfeldbildes abzugleichen.
  14. Vorrichtung nach einem der Ansprüche 11 bis 13, wobei die Steuereinheit konfiguriert ist für das Ermitteln des ersten Objektiv-Shadingkorrekturverhältnisses für die erste Kamera, um einen optimalen Kompromiss zwischen einer Vignettierungskorrektur des Flachfeldbildes und einer Verbesserung des Eckrauschens des Flachfeldbildes zu erzielen.
  15. Vorrichtung nach einem der Ansprüche 11 bis 14, wobei die Steuereinheit konfiguriert ist für: das Generieren eines korrigierten Flachfeldbildes der ersten Kamera basierend auf dem ersten Objektiv-Shadingkorrekturverhältnisses und dem durch die erste Kamera erfassten Flachfeldbildes, das Bestimmen eines Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera an einer bestimmten Koordinate und das Bestimmen des zweiten Objektiv-Shadingkorrekturverhältnisses für die zweite Kamera basierend auf dem bestimmten Helligkeitsabfall-Pixelprofilverhältnis an der bestimmten Pixelkoordinate.
  16. Vorrichtung nach Anspruch 15, wobei die Steuereinheit konfiguriert ist für: das Bestimmen einer Pixelintensität des korrigierten Flachfeldbildes an der bestimmten Pixelkoordinate des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera, die einer Pixelkoordinate eines Randes eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entspricht, wobei der Rand des zweiten Bildes innerhalb des Randes des Flachfeldbildes liegt, wenn ein Bereich des zweiten Bildes dem korrigierten Flachfeldbild der ersten Kamera überlagert wird, und das Bestimmen des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera basierend auf der Pixelintensität.
  17. Vorrichtung nach Anspruch 16, wobei die Pixelintensität eine erste Pixelintensität umfasst, wobei das Helligkeitsabfall-Pixelprofilverhältnis ein Verhältnis ist zwischen: der ersten Pixelintensität des Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  18. Vorrichtung nach einem der Ansprüche 15 bis 17, wobei die Steuereinheit konfiguriert ist für: das Bestimmen einer Pixelintensität an einem Ort entlang einer Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera an der bestimmten Pixelkoordinate, die einem Rand eines mit der zweiten Kamera aufzunehmenden zweiten Bildes entspricht, und das Bestimmen des Helligkeitsabfall-Pixelprofilverhältnisses des korrigierten Flachfeldbildes der ersten Kamera basierend auf der Pixelintensität.
  19. Vorrichtung nach Anspruch 18, wobei die Pixelintensität eine erste Pixelintensität umfasst, wobei das Helligkeitsabfall-Pixelprofilverhältnis ein Verhältnis ist zwischen: der ersten Pixelintensität der Erstreckung des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera und einer zweiten Pixelintensität des korrigierten Flachfeldbildes der ersten Kamera in der Mitte des Helligkeitsabfall-Pixelprofils des korrigierten Flachfeldbildes der ersten Kamera.
  20. Mehrfachkameravorrichtung, umfassend: eine erste Kamera mit einem ersten Objektiv, wobei die erste Kamera für die Aufnahme eines ersten Bildes einer Szene mit einem ersten Sichtfeld konfiguriert ist; eine zweite Kamera mit einem zweiten Objektiv, wobei die zweite Kamera für die Aufnahme eines zweiten Bildes derselben Szene mit einem zweiten Sichtfeld, das sich von dem ersten Sichtfeld unterscheidet, konfiguriert ist; einen Speicher, enthaltend eine erste Objektiv-Shadingkorrekturverhältnis-Korrekturtabelle, die auf einem ersten Objektiv-Shadingkorrekturverhältnis der ersten Kamera basiert, und eine zweite Objektiv-Shadingkorrekturverhältnis-Korrekturtabelle, die auf einem zweiten Objektiv-Shadingkorrekturverhältnis basiert, wobei das zweite Objektiv-Shadingkorrekturverhältnis auf dem ersten Objektiv-Shadingkorrekturverhältnis und auf einem mit der ersten Kamera aufgenommenen Flachfeldbild basiert; und eine Steuereinheit, die derart konfiguriert ist, dass diese für eine Objektiv-Shadingkorrektur an dem ersten Bild auf der Basis der ersten Objektiv-Shadingkorrekturtabelle sorgt, um ein korrigiertes erstes Bild zu generieren, für eine Objektiv-Shadingkorrektur an dem zweiten Bild auf der Basis der zweiten Objektiv-Shadingkorrekturtabelle, um ein korrigiertes zweites Bild zu generieren, und das korrigierte erste Bild mit dem korrigierten zweiten Bild verschmilzt, um ein zusammengeführtes Bild zu generieren.
DE102016105753.3A 2015-04-22 2016-03-30 Verfahren und Vorrichtung zur Bestimmung einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern Active DE102016105753B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/693,103 2015-04-22
US14/693,103 US10708526B2 (en) 2015-04-22 2015-04-22 Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view

Publications (2)

Publication Number Publication Date
DE102016105753A1 DE102016105753A1 (de) 2016-10-27
DE102016105753B4 true DE102016105753B4 (de) 2023-10-19

Family

ID=56027561

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016105753.3A Active DE102016105753B4 (de) 2015-04-22 2016-03-30 Verfahren und Vorrichtung zur Bestimmung einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern

Country Status (4)

Country Link
US (1) US10708526B2 (de)
CN (1) CN106067953B (de)
DE (1) DE102016105753B4 (de)
GB (1) GB2537745B (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139408A (ko) * 2016-06-09 2017-12-19 엘지전자 주식회사 듀얼 카메라가 장착된 동영상 촬영 장치
CN106161981B (zh) * 2016-07-29 2017-08-29 广东欧珀移动通信有限公司 图像暗角补偿方法、装置和终端设备
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
EP3413155B1 (de) * 2017-06-09 2020-02-26 Andreas Stihl AG & Co. KG Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem
JP7050432B2 (ja) * 2017-07-05 2022-04-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN107592516B (zh) * 2017-09-14 2020-01-17 长沙全度影像科技有限公司 一种用于全景相机的颜色阴影校正方法及系统
JP7267723B2 (ja) * 2018-12-14 2023-05-02 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
JP7059171B2 (ja) * 2018-12-14 2022-04-25 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
CN109700433A (zh) * 2018-12-28 2019-05-03 深圳铁盒子文化科技发展有限公司 一种舌象诊断系统和舌诊移动终端
WO2020150980A1 (zh) * 2019-01-24 2020-07-30 深圳市大疆创新科技有限公司 图像控制方法、设备和可移动平台
CN112135117B (zh) * 2019-06-25 2023-11-07 北京小米移动软件有限公司 摄像模组的测试箱体、系统、方法、装置和存储介质
CN110363729B (zh) * 2019-07-30 2021-07-20 维沃移动通信有限公司 一种图像处理方法、终端设备及计算机可读存储介质
CN111932636B (zh) * 2020-08-19 2023-03-24 展讯通信（上海）有限公司 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备
CN113055618B (zh) * 2021-03-10 2022-10-21 展讯半导体(南京)有限公司 图像处理方法、装置、电子设备和存储介质
US11451694B1 (en) 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content
KR20220142135A (ko) * 2021-04-14 2022-10-21 삼성전자주식회사 반사체 및 렌즈 어셈블리를 포함하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377026A2 (de) 2002-06-21 2004-01-02 Microsoft Corporation Aneinanderheften von Bildern
US20040041919A1 (en) 2002-08-27 2004-03-04 Mutsuhiro Yamanaka Digital camera
US20090322892A1 (en) 2008-06-25 2009-12-31 Micron Technology, Inc. Method and apparatus for calibrating and correcting shading non-uniformity of camera systems
US20110102548A1 (en) 2009-11-02 2011-05-05 Lg Electronics Inc. Mobile terminal and method for controlling operation of the mobile terminal
WO2012147083A1 (en) 2011-04-25 2012-11-01 Generic Imaging Ltd. System and method for correction of vignetting effect in multi-camera flat panel x-ray detectors
US20150030258A1 (en) 2013-07-26 2015-01-29 Qualcomm Incorporated System and method of corner noise reduction in an image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
JP2009512303A (ja) * 2005-10-13 2009-03-19 ノキア コーポレイション デジタル画像のビグネッティングを除去する方法および装置
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101771826B (zh) * 2008-12-29 2011-09-14 华晶科技股份有限公司 数字摄像装置及其亮度校正方法
TWI401973B (zh) * 2009-02-13 2013-07-11 Altek Corp A Method to Improve the Color Shadow in Digital Image
CN105681633B (zh) 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
KR20110135720A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US9578259B2 (en) * 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
TWI524279B (zh) * 2014-06-13 2016-03-01 聚晶半導體股份有限公司 影像擷取裝置及其暗角補償方法
CN105282401B (zh) * 2014-06-13 2018-09-14 聚晶半导体股份有限公司 影像获取装置及其暗角补偿方法
US10119809B2 (en) * 2015-02-16 2018-11-06 Intel Corporation Simulating multi-camera imaging systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377026A2 (de) 2002-06-21 2004-01-02 Microsoft Corporation Aneinanderheften von Bildern
US20040041919A1 (en) 2002-08-27 2004-03-04 Mutsuhiro Yamanaka Digital camera
US20090322892A1 (en) 2008-06-25 2009-12-31 Micron Technology, Inc. Method and apparatus for calibrating and correcting shading non-uniformity of camera systems
US20110102548A1 (en) 2009-11-02 2011-05-05 Lg Electronics Inc. Mobile terminal and method for controlling operation of the mobile terminal
WO2012147083A1 (en) 2011-04-25 2012-11-01 Generic Imaging Ltd. System and method for correction of vignetting effect in multi-camera flat panel x-ray detectors
US20150030258A1 (en) 2013-07-26 2015-01-29 Qualcomm Incorporated System and method of corner noise reduction in an image

Also Published As

Publication number Publication date
US20160316155A1 (en) 2016-10-27
GB2537745B (en) 2018-10-24
GB201605307D0 (en) 2016-05-11
US10708526B2 (en) 2020-07-07
CN106067953A (zh) 2016-11-02
GB2537745A (en) 2016-10-26
DE102016105753A1 (de) 2016-10-27
CN106067953B (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
DE102016105753B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Objektiv-Shadingkorrektur für eine Mehrfachkameravorrichtung mit verschiedenen Sichtfeldern
DE102014015352B4 (de) Dynamikkompression
DE102019213184A1 (de) Verfahren und system zum automatischen weissabgleich auf basis von tiefem lernen
DE102012222990B4 (de) System und Verfahren zum automatischen Anpassen von Einstellungen elektronischer Anzeigen
DE102015121747A1 (de) Mehrfachkameravorrichtung und Verfahren zum synchronisierten automatischen Weißabgleich
DE102018119625A1 (de) Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
DE112016001040T5 (de) Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang
DE102018130086A1 (de) Mehrkameraprozessor mit merkmalsabgleich
DE112006003031T5 (de) Grafikverarbeitungseinheit: Verwendung und Vorrichtung
DE112013003565T5 (de) Bildanzeigevorrichtung und -verfahren
DE102008062121A1 (de) Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen
DE102012201696A1 (de) Bildverarbeitungsvorrichtung, zugehöriges Steuerverfahren, Programm und Aufzeichnungsmedium
WO2016012288A1 (en) Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
DE102013017099A1 (de) Auf interpolation inverser brennpunktstatistiken basierende tiefenschätzung
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
CN103268596A (zh) 一种降低图像噪声和使颜色接近标准的方法
DE102016122790A1 (de) Unterstützter automatischer Weißabgleich
WO2011157696A2 (de) Farbbildsensor
DE102015114651A1 (de) Bildskalierungstechniken
EP3206387A1 (de) Verfahren zur einstellung des dynamischen bereichs eines bildes, endgerät und speichermedium
DE102014102011B4 (de) System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich
EP1814079B1 (de) Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds
EP1588554B1 (de) Verfahren zur einstellung eines bildsensors

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005217000

Ipc: H04N0023800000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final