DE102018130086A1 - Mehrkameraprozessor mit merkmalsabgleich - Google Patents

Mehrkameraprozessor mit merkmalsabgleich Download PDF

Info

Publication number
DE102018130086A1
DE102018130086A1 DE102018130086.7A DE102018130086A DE102018130086A1 DE 102018130086 A1 DE102018130086 A1 DE 102018130086A1 DE 102018130086 A DE102018130086 A DE 102018130086A DE 102018130086 A1 DE102018130086 A1 DE 102018130086A1
Authority
DE
Germany
Prior art keywords
camera
interest
feature
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018130086.7A
Other languages
English (en)
Inventor
Avinash Kumar
Manjula Gururaj
Ramkumar Narayanswamy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102018130086A1 publication Critical patent/DE102018130086A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Eine Ausführungsform einer Halbleiterbaugruppenvorrichtung kann Technologie beinhalten, um zwei oder mehr gleichzeitige Bilder einer Szene mit zwei oder mehr Kameras aufzunehmen, ein Merkmal in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras zu detektieren, das Merkmal in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras abzugleichen und eine photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchzuführen. Andere Ausführungsformen werden offenbart und beansprucht.

Description

  • TECHNISCHES GEBIET
  • Ausführungsformen betreffen allgemein Mehrkamerasysteme. Insbesondere betreffen Ausführungsformen einen Mehrkameraprozessor mit Merkmalsabgleich.
  • HINTERGRUND
  • Ein Mehrkamerasystem kann Funktionalität, wie etwa Tiefenextraktion, dreidimensionale (3D) Rekonstruktion, Panorama-Bildgebung usw. ermöglichen. Bilder, die gleichzeitig durch mehrere Kameras erzeugt werden, können verarbeitet werden, um eine derartige Funktionalität bereitzustellen.
  • Figurenliste
  • Die verschiedenen Vorteile der Ausführungsformen werden einem Fachmann auf dem Gebiet beim Lesen der folgenden Spezifikation und der angehängten Ansprüche und unter Bezugnahme auf die folgenden Zeichnungen ersichtlich werden, in denen gilt:
    • 1 ist ein Blockdiagramm eines Beispiels für ein elektronisches Verarbeitungssystem gemäß einer Ausführungsform;
    • 2 ist ein Blockdiagramm eines Beispiels für eine Halbleiterbaugruppenvorrichtung gemäß einer Ausführungsform;
    • 3A bis 3C sind Flussdiagramme eines Beispiels für ein Verfahren zum Kalibrieren mehrerer Kameras gemäß einer Ausführungsform;
    • 4A bis 4B sind veranschaulichende Diagramme von Beispielen für Bilder mehrerer Kameras gemäß einer Ausführungsform;
    • 5 ist ein Blockdiagramm eines Beispiels für eine Einzelkamera gemäß einer Ausführungsform;
    • 6 ist ein veranschaulichendes Diagramm eines Beispiels für einen Prozessfluss für ein Mehrkamerasystem gemäß einer Ausführungsform;
    • 7 ist ein veranschaulichendes Diagramm eines anderen Beispiels für einen Prozessfluss für ein Mehrkamerasystem gemäß einer Ausführungsform;
    • 8 ist ein veranschaulichendes Diagramm eines anderen Beispiels für einen Prozessfluss für ein Mehrkamerasystem gemäß einer Ausführungsform;
    • 9 ist ein Blockdiagramm eines Beispiels für ein System mit einer Navigationssteuerung gemäß einer Ausführungsform; und
    • 10 ist ein Blockdiagramm eines Beispiels für ein System mit einem kleinen Formfaktor gemäß einer Ausführungsform.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Jetzt mit Bezug auf 1 kann eine Ausführungsform eines elektronischen Verarbeitungssystems 10 einen Prozessor 11, zwei oder mehr Kameras 12 (z. B. Kamera C1 bis CN , wobei N > 1), die kommunikativ mit dem Prozessor 11 gekoppelt sind, um zwei oder mehr gleichzeitige Bilder einer Szene aufzunehmen, und eine Logik 13, die kommunikativ mit dem Prozessor 11 gekoppelt ist, um ein Merkmal in einem ersten Bild von einer ersten Kamera C1 der zwei oder mehr Kameras 12 zu detektieren, das Merkmal in einem zweiten Bild von einer zweiten Kamera C2 der zwei oder mehr Kameras 12 abzugleichen und eine photometrische Kalibration zwischen der ersten Kamera C1 und der zweiten C2 Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchzuführen, beinhalten. Bei manchen Ausführungsformen kann die Logik 13 dazu ausgelegt sein, ein erstes Gebiet von Interesse (ROI - Region of Interest) für die erste Kamera C1 basierend auf dem detektierten Merkmal im ersten Bild zu definieren, ein zweites ROI für die zweite Kamera C2 basierend auf dem abgeglichenen Merkmal im zweiten Bild zu definieren und die photometrische Kalibration zwischen der ersten Kamera C1 und der zweiten Kamera C2 basierend auf dem ersten ROI und dem zweiten ROI durchzuführen. Die Logik 13 kann zum Beispiel dazu ausgelegt sein, das erste und zweite Gebiet von Interesse (ROIs) basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild zu definieren.
  • Bei manchen Ausführungsformen des Systems 10 kann die Logik 13 zusätzlich oder alternativ dazu ausgelegt sein, ein erstes ROI für die erste Kamera C1 zu definieren, das Merkmal im ersten Bild basierend auf dem ersten ROI zu detektieren, ein zweites ROI für die zweite Kamera C2 basierend auf dem abgeglichenen Merkmal im zweiten Bild zu definieren und die photometrische Kalibration zwischen der ersten Kamera C1 und der zweiten Kamera C2 basierend auf dem ersten ROI und dem zweiten ROI durchzuführen. Die Logik 13 kann zum Beispiel dazu ausgelegt sein, das zweite ROI basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild zu definieren. Bei beliebigen der Ausführungsformen hierin kann die Logik 13 auch dazu ausgelegt sein, einen oder mehrere Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration zu bestimmen. Die photometrische Kalibration kann zum Beispiel Parameterwerte für Fokus und/oder Farbkorrektur und/oder Gammakorrektur und/oder Schärfe und/oder Belichtung und/oder Schwarzwert und/oder Rauschen und/oder Weißabgleich und/oder Kontrast bestimmen.
  • Ausführungsformen von sowohl dem obigen Prozessor 11, den obigen Kameras 12, der obigen Logik 13 als auch anderen Systemkomponenten können in Hardware, Software oder einer beliebigen geeigneten Kombination davon implementiert werden. Hardwareimplementierungen können zum Beispiel konfigurierbare Logik beinhalten, wie etwa zum Beispiel programmierbare Logik-Arrays (PLAs), feldprogrammierbare Gate-Arrays (FPGAs), komplexe programmierbare Logikeinrichtungen (CPLDs) oder Logikhardware mit fester Funktionalität unter Verwendung von Technologie, wie etwa zum Beispiel einer anwendungsspezifischen integrierten Schaltung (ASIC), eines komplementären Metalloxidhalbleiters (CMOS) oder Transistor-Transistor-Logik(TTL)-Technologie oder einer beliebigen Kombination davon beinhalten.
  • Alternativ oder zusätzlich dazu können alle oder Teile dieser Komponenten in einem oder mehreren Modulen als ein Satz von Logikbefehlen implementiert werden, die in einem maschinen- oder computerlesbaren Speicherungsmedium, wie etwa einem Direktzugriffsspeicher (RAM), einem Nurlesespeicher (ROM), einem programmierbaren ROM (PROM), Firmware, einem Flash-Speicher usw. gespeichert sind, sodass sie durch einen Prozessor oder eine Datenverarbeitungseinrichtung ausgeführt werden. Ein Computerprogrammcode zum Ausführen der Operationen der Komponenten kann zum Beispiel in einer beliebigen Kombination einer oder mehrerer Betriebssystem(OS)-anwendbarer/-geeigneter Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Programmiersprache, wie etwa PYTHON, PERL, JAVA, SMALLTALK, C++, C# oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa die „C“-Programmiersprache oder ähnliche Programmiersprachen. Ein Hauptspeicher, permanente Speicherungsmedien oder ein anderer Systemspeicher kann bzw. können zum Beispiel einen Satz von Befehlen speichern, die bei Ausführung durch den Prozessor 11 bewirken, dass das System 10 eine oder mehrere Komponenten, ein oder mehrere Merkmale oder einen oder mehrere Aspekte des Systems 10 (z. B. die Logik 13, die das Merkmal in einem ersten Bild detektiert, das Merkmal im zweiten Bild abgleicht, die photometrische Kalibration durchführt usw.) implementiert.
  • Jetzt mit Bezug auf 2 kann eine Ausführungsform einer Halbleiterbaugruppenvorrichtung 20 ein oder mehrere Substrate 21 und Logik 22, die mit dem einen oder den mehreren Substraten gekoppelt ist, beinhalten, wobei die Logik 22 zumindest teilweise in einer konfigurierbaren Logik und/oder einer Hardwarelogik mit fester Funktionalität implementiert wird. Die mit dem einen oder den mehreren Substraten gekoppelte Logik 22 kann dazu ausgelegt sein, zwei oder mehr gleichzeitige Bilder einer Szene mit zwei oder mehr Kameras aufzunehmen, ein Merkmal in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras zu detektieren, das Merkmal in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras abzugleichen und eine photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchzuführen. Bei manchen Ausführungsformen kann die Logik 22 dazu ausgelegt sein, ein erstes ROI für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild zu definieren, ein zweites ROI für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild zu definieren und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten ROI und dem zweiten ROI durchzuführen. Die Logik 22 kann zum Beispiel dazu ausgelegt sein, das erste und zweite ROI basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild zu definieren.
  • Bei manchen Ausführungsformen kann die Logik 22 zusätzlich oder alternativ dazu ausgelegt sein, ein erstes ROI für die erste Kamera zu definieren, das Merkmal im ersten Bild basierend auf dem ersten ROI zu detektieren, ein zweites ROI für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild zu definieren und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten ROI und dem zweiten ROI durchzuführen. Die Logik 22 kann zum Beispiel dazu ausgelegt sein, das zweite ROI basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild zu definieren. Bei beliebigen der Ausführungsformen hierin kann die Logik 22 auch dazu ausgelegt sein, einen oder mehrere Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration zu bestimmen. Die photometrische Kalibration kann zum Beispiel Parameterwerte für Fokus und/oder Fehlerkorrektur und/oder Gammakorrektur und/oder Schärfe und/oder Belichtung und/oder Schwarzwert und/oder Rauschen und/oder Weißabgleich und/oder Kontrast bestimmen.
  • Ausführungsformen der Logik 22 und anderer Komponenten der Vorrichtung 20 können in Hardware, Software oder einer beliebigen Kombination davon implementiert werden, einschließlich zumindest einer teilweisen Implementierung in Hardware. Hardwareimplementierungen können zum Beispiel konfigurierbare Logik beinhalten, wie etwa zum Beispiel PLAs, FPGAs, CPLDs oder Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel ASIC, CMOS oder TTL-Technologie oder einer beliebigen Kombination davon. Zusätzlich dazu können Teile dieser Komponenten in einem oder mehreren Modulen als ein Satz von Logikbefehlen implementiert werden, die in einem maschinen- oder computerlesbaren Speicherungsmedium, wie etwa RAM, ROM, PROM, Firmware, Flash-Speicher usw., gespeichert sind, sodass sie durch einen Prozessor oder eine Datenverarbeitungseinrichtung ausgeführt werden. Ein Computerprogrammcode zum Ausführen der Operationen der Komponenten kann zum Beispiel in einer beliebigen Kombination von einer oder mehreren OS-anwendbaren/-geeigneten Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie etwa PYTHON, PERL, JAVA, SMALLTALK, C++, C# oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa die „C“-Programmiersprache oder ähnlicher Programmiersprachen.
  • Jetzt unter Bezugnahme auf die 3A bis 3C kann eine Ausführungsform eines Verfahrens 30 zum Kalibrieren mehrerer Kameras Folgendes beinhalten: Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras bei Block 31, Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras bei Block 32, Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras bei Block 33 und Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, bei Block 34. Manche Ausführungsformen des Verfahrens 30 können ferner Folgendes beinhalten: Definieren eines ersten ROI für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild bei Block 35, Definieren eines zweiten ROI für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild bei Block 36 und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten ROI und dem zweiten ROI bei Block 37. Das Verfahren 30 kann zum Beispiel auch Definieren des ersten und zweiten ROI basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild bei Block 38 beinhalten.
  • Manche Ausführungsformen des Verfahrens 30 können zusätzlich oder alternativ dazu Folgendes beinhalten: Definieren eines ersten ROI für die erste Kamera bei Block 39, Detektieren des Merkmals im ersten Bild basierend auf dem ersten ROI bei Block 40, Definieren eines zweiten ROI für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild bei Block 41 und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten ROI und dem zweiten ROI bei Block 42. Das Verfahren 30 kann zum Beispiel auch Definieren des zweiten ROI basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild bei Block 43 beinhalten. Für beliebige der Ausführungsformen hierin kann das Verfahren 30 auch Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration bei Block 44 beinhalten. Nicht beschränkende Beispiele für die Parameterwerte können Fokus, Farbkorrektur, Gammakorrektur, Schärfe, Belichtung, Schwarzwert, Rauschen, Weißabgleich, Kontrast usw. bei Block 45 beinhalten.
  • Ausführungsformen des Verfahrens 30 können in einem System, einer Vorrichtung, einem Computer, einer Einrichtung usw., wie etwa zum Beispiel den hierin beschriebenen, implementiert werden. Insbesondere können Hardwareimplementierungen des Verfahrens 30 konfigurierbare Logik beinhalten, wie etwa zum Beispiel PLAs, FPGAs, CPLDs oder Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel ASIC, CMOS oder TTL-Technologie oder einer beliebigen Kombination davon. Alternativ oder zusätzlich dazu kann das Verfahren 30 in einem oder mehreren Modulen als ein Satz von Logikbefehlen implementiert werden, die in einem maschinen- oder computerlesbaren Speicherungsmedium, wie etwa RAM, ROM, PROM, Firmware, Flash-Speicher usw., gespeichert sind, sodass sie durch einen Prozessor oder eine Datenverarbeitungseinrichtung ausgeführt werden. Ein Computerprogrammcode zum Ausführen der Operationen der Komponenten kann zum Beispiel in einer beliebigen Kombination von einer oder mehreren OSanwendbaren/-geeigneten Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie etwa PYTHON, PERL, JAVA, SMALLTALK, C++, C# oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa der „C“-Programmiersprache oder ähnlicher Programmiersprachen.
  • Das Verfahren 30 kann zum Beispiel auf einem computerlesbaren Medium implementiert werden, wie in Verbindung mit den untenstehenden Beispielen 19 bis 24 beschrieben. Ausführungsformen oder Teile des Verfahrens 30 können in Firmware, Anwendungen (z. B. durch eine Anwendungsprogrammierungsschnittstelle (API)) oder Treibersoftware, die auf einem Betriebssystem (OS) ausgeführt wird, implementiert werden.
  • Manche Ausführungsformen können vorteilhafterweise einen Mehrkamera-Bildsignalprozessor (ISP - Image Signal Processor) bereitstellen, der Merkmalsdetektion und -abgleich nutzt. Mehrkamera-Arrays können verschiedene Bildgebungs-Rechenfähigkeiten beinhalten, wie etwa Tiefenextraktion (z. B. mit einer Doppelkameraanordnung), 3D-Rekonstruktion, Panorama-Bildgebung, 360-Grad-Video usw. (z. B. mehr Funktionalität, als mit einer Einzelkamera möglich sein könnte). Für eine genaue Funktionsfähigkeit eines Mehrkamera-Arrays kann es wichtig sein, Kalibrationen in drei Ebenen aufzuweisen, einschließlich geometrisch (z. B. relative Stellung), photometrisch (z. B. ähnliche Bildqualität) und zeitlich (z. B. zeitsynchronisierte Aufnahme). Manche Ausführungsformen können eine photometrische Kalibration verbessern, indem eine bessere photometrische Ähnlichkeit über Mehrkamerabilder, die dieselbe Szene aufnehmen, bereitgestellt wird.
  • Photometrische Eigenschaften eines Bildes können die Belichtungs-, Fokus-, Weißabgleichs-, Gammakorrektur- und Schärfeeinstellungen beinhalten, mit denen das Bild aufgenommen wurde. Diese Parameter können unterschiedliche Blöcke eines ISP für eine Kamera bilden. Da jede Kamera im Mehrkamera-Array ihren eigenen ISP aufweisen kann, können die Kameras Bilder mit photometrischer Variation erzeugen. Für eine photometrische Kalibration können alle oder die meisten dieser Parameter lokal für jede Kamera angepasst werden, sodass die Ausgangsbilder nach jedem Komponenten-ISP-Block ähnlich aussehen. Eine erfolgreiche Kalibration kann zu einem finalen Satz von Farbbildern von jeder Kamera führen, die bezüglich aller dieser Parameter konsistenter erscheinen können. Manche anderen Systeme können eine Master-Slave-Technik nutzen, bei der eine Kamera als die Master-Kamera ausgewählt wird und die anderen Kameras des Mehrkamerasystems dazu ausgelegt sind, dieselben Parameter wie der Master aufzuweisen. Manche Parameter sind jedoch nicht für die Master-Slave-Technik zugänglich. Zum Beispiel wird Fokussieren möglicherweise nicht gut mit dieser Technik funktionieren, da sich das ROI, auf das der Master fokussiert, ändern kann, wie sich die Kameraperspektive ändert, und das Verwenden desselben ROI für die Slaves kann zu einem Fokussieren auf ein völlig anderes Objekt führen, das sich auch bei einem anderen Abstand befinden kann. Manche Ausführungsformen können eine photometrische Kalibrationstechnik bereitstellen, die vorteilhafterweise ein dynamisches ROI gestattet und Optimierungsverfahren zur Parameterschätzung nutzen kann.
  • Manche Ausführungsformen können vorteilhafterweise eine Merkmalsdetektions- und Merkmalsabgleichtechnologie nutzen, um ein ROI in einem Bild für eine photometrische Kalibration dynamisch zu definieren. Eine beliebige geeignete Merkmalsdetektions-/-abgleichtechnologie kann verwendet werden, einschließlich SIFT (Scale-Invariant Feature Transform), ORB (Oriented FAST and Rotated BRIEF), SURF (Speeded Up Robust Features), KAZE, AKAZE usw. Manche Ausführungsformen können unterscheidungsfähige Merkmale und einen Merkmalsabgleich zwischen Mehrkamerabildern, die nach jedem ISP-Block erhalten werden, nutzen, um ein dynamisches ROI zu definieren. Das ROI kann zum Beispiel einer Liste zum Abgleichen zweidimensionaler (2D) Pixelorte und eines Deskriptors eines Gebiets um die 2D-Pixelorte herum entsprechen. Für manche ISP-Parameter (z. B. Farbkorrektur) kann das definierte ROI eine Funktion der Stelle detektierter übereinstimmender Merkmale sein. Für andere Parameter (z. B. Fokus) kann ein spezifisches ROI in einer Master-Kamera definiert werden und dann können Merkmale innerhalb dieses ROI über Bilder hinweg verfolgt werden. Bei manchen Ausführungsformen können beide Szenarios vorteilhafterweise ein dynamisches ROI gestatten.
  • Bei manchen Ausführungsformen können die Eigenschaften übereinstimmender Merkmale (z. B. Intensität, Schärfe in einem Fenster usw.) als Beobachtungen genutzt werden. Eine Fehlerfunktion, die durch ISP-Parameter parametrisiert wird, kann zum Beispiel basierend auf den Beobachtungen formuliert werden. Die Fehlerfunktion kann dann als ein Optimierungsproblem gelöst werden, um verbesserte oder beste Mehrkamera-ISP-Parameter auf eine automatisierte Art und Weise zu erzielen. Vorteilhafterweise können manche Ausführungsformen eine Technologie zum Vergrößern der Abstimmung und der Nutzung eines Mehrkamerasystems bereitstellen. Manche Ausführungsformen können verbesserte oder optimierte Parameterwerte für einen beliebigen Block eines Kamera-ISP bestimmen, einschließlich unter anderem Fokus, Farbkorrektur, Gammakorrektur, Schärfe, Belichtung, Schwarzwert, Rauschen, Weißabgleich und Kontrast.
  • Manche andere Mehrkamerasysteme können homogene Kameras mit sehr ähnlichen Charakteristiken erfordern, um eine effektive photometrische Kalibration beizubehalten. Vorteilhafterweise können manche Ausführungsformen heterogene Kamerasysteme nutzen. Bei manchen Ausführungsformen können manche photometrischen Variationen zwischen heterogenen Kameras effektiv durch eine Bestimmung geeigneter ISP-Parameter kalibriert werden, um die Variation zu berücksichtigen. Aufgrund der Nutzung von Merkmalspunkten durch manche Ausführungsformen kann eine jegliche Heterogenität über Kameras hinweg, die kein ISP-Parameter ist, vorteilhafterweise im Merkmalsdeskriptor codiert werden. Manche Ausführungsformen können merkmalsbasierte Optimierungstechniken bereitstellen, um Mehrkameraeinstellungen und/oder -betriebsparameter zu bestimmen. Bei manchen Ausführungsformen können Einzelkameraparameter für ein Mehrkamerasystem systematisch erweitert oder optimiert werden.
  • Jetzt unter Bezugnahme auf die 4A bis 4B kann ein Satz von vier Bildern I1 bis I4 gleichzeitig durch vier entsprechende Kameras C1 bis C4 (nicht dargestellt) aufgenommen worden sein. Die aufgenommenen Bilder können erhebliche Farbtemperaturdifferenzen aufweisen, wie durch unterschiedliche Schraffurmuster repräsentiert (z. B. kann das Bild I1 wärmer sein, während das Bild I2 einen viel kälteren Farbton aufweisen kann). Selbst in einem homogenen Kamera-Array kann es zum Beispiel eine Inkonsistenz zwischen Kameras bezüglich verschiedener Kameraparameter (z. B. Belichtung, Rauschen, Farbe, Schärfe usw.) geben. Diese Inkonsistenz kann zu verschiedenen Problemen bei Anwendungen (z. B. wie etwa Computersehen) führen, in denen die mehreren Bilder genutzt werden können. Die photometrischen Variationen können zum Beispiel zu visuellen Artefakten bei der Ansichtsinterpolation und beim Bild-Stitching führen. Manche Ausführungsformen können eine globale Optimierung der Farb- und Gammaparameter der individuellen Kameras C1 bis C4 bereitstellen, um photometrisch ähnlichere Endbilder bereitzustellen. Eine merkmalsbasierte Farb- und Gammakorrektur kann zum Beispiel an den aufgenommenen Bildern I1 bis I4 angewendet werden, um korrigierte Bilder I1C bis I4C bereitzustellen (siehe z. B. 4B). Die merkmalsbasierte Farb- und Gammakorrektur kann zu ähnlichen Farbtemperaturen führen, sodass der komplette Satz von 4 korrigierten Bildern I1 bis I4 eine Ähnlichkeit in den Farbtemperaturen erzielen kann, wie durch dasselbe Schraffurmuster in allen vier Bildern repräsentiert. Die korrigierten Bilder I1C bis I4C können bei der Minderung von manchen dieser Artefakte helfen oder anderweitig den Betrieb von nachgelagerten Bildverarbeitungsanwendungen verbessern.
  • Manche Ausführungsformen können eine Merkmalsdetektion und einen Merkmalsabgleich verwenden, die bzw. der über Mehraufnahmebilder berechnet wird, um ein oder mehrere sich dynamisch ändernde ROIs in Abhängigkeit von der Kameraperspektive zu definieren. Danach kann eine Optimierungsfunktion formuliert werden, die genutzt werden kann, um individuelle ISP-Parameterblöcke lokal zu verfeinern, was zu photometrisch ähnlichen Bildern (z. B. hinsichtlich Belichtung, Farbe, Gamma, Schärfe usw.) führt. Die Optimierungsfunktion kann von dem optimierten ISP-Parameterblock abhängen und manche Ausführungsformen können eine Ähnlichkeit in Ausgangsbildern nach jedem parametrisierten ISP-Block erzielen. Manche Ausführungsformen können eine derartige merkmalsbasierte photometrische Kalibration für mehrere ISP-Parameterblöcke anwenden, sodass das erhaltene Endbild von der ISP-Pipeline in mehreren Hinsichten ähnlicher sein kann.
  • Manche andere Mehrkamerasysteme können eine Master-Slave-Konfiguration verwenden, bei der die Master-Parameter in einem Bildgebiet im Master-Bild berechnet werden können und dann die Master-Parameter zu den Slave-Kameras übertragen werden. Jeder Slave verwendet entweder die Master-Parameter direkt (z. B. einen Fokussierungsparameter) oder passt die Master-Parameter unabhängig von anderen Slave-Kameras an, um seine eigenen Bildkriterien zu optimieren. Manche anderen Mehrkamerasysteme können merkmalsbasierte Ansätze aufweisen, die hauptsächlich auf eine Farbkorrektur ausgerichtet sind, ohne irgendeine globale Optimierung anzuwenden. Manche Ausführungsformen können eine Merkmalsdetektion und einen Merkmalsabgleich nutzen, um Daten für ISP-Parameter abzutasten, und können auch die ISP-Parameter unter Berücksichtigung aller Kameras optimieren. Manche Ausführungsformen können zum Beispiel über alle ISP-Parameter, die zu jeder der Kameras im Mehrkamera-Array gehören, gleichzeitig entweder global oder bezüglich einer spezifizierten Master-Kamera optimieren.
  • Bei manchen Ausführungsformen kann ein Merkmalsabgleich ähnliche Merkmale über Bilder hinweg verfolgen, um dynamisch dimensionierte ROIs für die unterschiedlichen Kamerabilder zu definieren. Die dynamisch dimensionierten ROIs können besonders für Mehrkamera-Arrays vorteilhaft sein, bei denen jede Kamera unterschiedliche Perspektiven aufweisen kann. Manche Ausführungsformen können einen Merkmalsabgleich für eine Mehrkamera-ISP-Optimierung verwenden.
  • Manche Ausführungsformen können einen Merkmalsdeskriptor nutzen, der gegenüber Bildeigenschaften, die nicht durch einen ISP-Block angezielt werden, invariant ist. Ein invarianter Merkmalsdeskriptor, der die Gradienteninformationen codiert, kann zum Beispiel um einen Merkmalspunkt herum in zwei Bildern mit unterschiedlicher Auflösung skaliert werden, um Schärfe zu bestimmen. Eine Skalierung um den Merkmalspunkt herum wird möglicherweise jedoch nicht durch die Auflösung der beiden Bilder beeinflusst. Manche anderen Techniken können ein quadratisches Fenster als das ROI um Merkmalspunkte herum verwenden und müssen möglicherweise zuerst einen relativen Bildmaßstab bestimmen, um die Größe der Fenster zur Verwendung zur Berechnung eines Bildgradienten zu erkennen, um den Fokus zu bestimmen.
  • Manche andere Mehrkamerasysteme können das Endbild nach einer ISP-Pipeline-Stufe nachverarbeiten. Manche Ausführungsformen können zwischenliegende ISP-Block-Bilder verarbeiten, um eine Bildähnlichkeit bezüglich dieses speziellen ISP-Blocks zu erzielen. Die Zwischenverarbeitung kann vorteilhafterweise eine größere Flexibilität in der ISP-Optimierungs-Pipeline gestatten sowie einen Informationsverlust für am ISP-Endbild arbeitende Techniken vermeiden.
  • Manche Ausführungsformen können Merkmalsdetektions- und Merkmalsabgleichtechniken verwenden, um variabel dimensionierte ROIs in jedem der Mehrkamerabilder zu erzeugen. Die ROIs können der Liste von 2D-Pixelorten entsprechen, die über die Mehrkamerabilder hinweg verfolgt werden. In Abhängigkeit vom optimierten ISP-Parameter kann das ROI das Vollbild sein (z. B. im Fall von Farb- und Gammakorrektur) oder das ROI kann zuvor in einem der Bilder ausgewählt werden (z. B. alle Merkmalspunkte innerhalb eines rechteckigen Gebiets in einem der Bilder). Diese Punkte können dann in allen anderen Bildern (z. B. im Fall einer Fokuseinstellung) verfolgt werden. Schließlich kann eine Optimierungsfehlerfunktion in Abhängigkeit vom ISP-Parameter im verfolgten ROI definiert werden.
  • Jetzt mit Bezug auf 5 kann eine Ausführungsform einer Einzelkamera 50 eine ISP-Pipeline mit einer Vielfalt unterschiedlicher ISP-Parameter/-Blöcke beinhalten. Die Kamera 50 kann einen Bildsensor 51 beinhalten, der Pixelsensoren, mit einem über die Pixelsensoren des Bildsensors 51 platzierten Farbfilter-Array (CFA - Color Filter Array) (oder z. B. einem Farbfiltermosaik (CFM - Color Filter Mosaic) usw.) zum Aufnehmen von Farbinformationen aufweist. Ein Objektiv 52 kann bezüglich des Bildsensors 51 geeignet positioniert sein. Ein Fokussteuerungsblock 53 kann den Fokus für das Objektiv 52 steuern und ein Belichtungssteuerungsblock 54 kann eine Belichtung von durch den Bildsensor 51 aufgenommenen Bildern steuern. Ein Sensordefektkorrekturblock 55 kann zwischen dem Bildsensor 51 und dem Fokussteuerungsblock 53 gekoppelt sein. Bilddaten vom Bildsensor 51 können durch die ISP-Pipeline verarbeitet werden, die seriell gekoppelte ISP-Blöcke beinhalten kann, einschließlich zum Beispiel eines Schwarzwertanpassungsblocks 56a, eines Rauschreduzierungsblocks 56b, eines Weißabgleichblocks 56c, eines CFA-Interpolationsblocks 56d, eines Farbkorrekturmatrix(CCM)-Blocks 56e (CCM - Color Correction Matrix), eines Gammakorrekturblocks 56f, eines Rot-Grün-Blau(RGB)-zu-Luminanz-Blaudifferenz-Rotdifferenz(YCC)-Konversionsblocks 56g, eines Schärfeblocks 56h, eines Kontrastverbesserungsblocks 56i und eines Falschchromaunterdrückungsblocks 56j. Bei manchen Ausführungsformen kann die ISP-Pipeline mehr oder weniger Blöcke beinhalten und kann unterschiedliche ISP-Blöcke und/oder eine unterschiedliche Reihenfolge der Blöcke beinhalten. Die Kamera 50 kann ein Ausgangsbild 57 als ein Ergebnis einer Verarbeitung des durch den Bildsensor 51 aufgenommenen Bildes durch die ISP-Pipeline bereitstellen.
  • Zahlreiche Parameter können beeinflussen, wie die verschiedenen Steuerblöcke und ISP-Blöcke der Kamera 50 arbeiten. Gemäß manchen Ausführungsformen kann die Kamera 50 einen Parameteranpasser 58 beinhalten, um einen oder mehrere Parameter der Kamera 50 basierend auf einer Merkmalsdetektions-, Merkmalsabgleichtechnologie und/oder einem dynamisch definierten ROI für eine photometrische Kalibration bezüglich einer oder mehrerer anderer Kameras in einem Mehrkamerasystem anzupassen. Die Kamera 50 kann zum Beispiel verdrahtet oder drahtlos mit den anderen Kameras oder mit einem zentralisierten Mehrkameraprozessor gekoppelt sein, um eine Merkmalsdetektions- und Merkmalsabgleichtechnologie zu nutzen, um ein ROI in einem Bild für eine photometrische Kalibration als Teil eines Mehrkamerasystems dynamisch zu definieren. Die Kamera 50 kann Informationen mit den anderen Kameras kommunizieren, um Daten und Parameter von der Kamera 50, Daten und Parameter der anderen Kameras und/oder Berechnungen/Anpassungen austauschen, um die photometrische Kalibration zwischen den mehreren Kameras zu verbessern.
  • Jetzt mit Bezug auf 6 kann eine Ausführungsform eines Prozessflusses 60 für ein Mehrkamerasystem eine photometrische Kalibration für eine Mehrkamerafokussteuerung beinhalten. Manche Ausführungsformen des Systems können gestatten, dass manche oder alle Kameras im Mehrkamerasystem auf dieselbe Tiefe oder auf dasselbe Merkmal fokussieren. Vorteilhafterweise können manche Ausführungsformen dabei helfen, eine Defokussierungsunschärfe in aufgenommenen Bildern zu entfernen. Manche Ausführungsformen können zum Beispiel eine verbesserte oder ideale Fokusmotorposition für jede der Kameras mit einer Autofokusfähigkeit im Mehrkameragitter bestimmen. Die im Autofokus-ROI eines Bildes von einer Master-Kamera detektierten Merkmale können in allen anderen Kameras verfolgt werden und merkmalsabgeglichene ROIs können für alle anderen Bilder bestimmt werden. Die individuellen Kameras können dann ihr merkmalsabgeglichenes ROI verwenden, um eine beste Fokusposition zu bestimmen, und können den Fokusmotor dementsprechend betätigen.
  • Der Prozessfluss 60 kann sowohl eine Master-Kamera Cm als auch zwei oder mehr zusätzliche Kameras C1 bis CN (N>1) beinhalten, die Rohdaten im BAYER-Format bei den Blöcken 61a bis 61c aufnehmen und die defekten Pixel bei den Blöcken 62a bis 62c einfüllen. Die Master-Kamera Cm kann ein 2D-Autofokus-ROI in der Szene, auf die die Kamera fokussieren soll, bei Block 63 auswählen. Das Autofokus-ROI kann manuell ausgewählt werden oder kann automatisch ausgewählt werden (z. B. als das auffälligste Gebiet im Bild). Das Autofokus-ROI kann eine beliebige geeignete Größe und Form (z. B. nicht notwendigerweise eine beliebig geometrische Form) aufweisen. Das Autofokus-ROI kann zum Beispiel auf einem Fokuspunkt plus und minus einem Delta-x-Wert und einem Delta-y-Wert basieren. Die Master-Kamera Cm kann einen festen Fokusbereich und/oder eine feste Fokusgröße aufweisen und das Autofokus-ROI kann diesem Fokusbereich und dieser Fokusgröße (oder z. B. plus/minus einem Deltax/-y) entsprechen. Die Master-Kamera Cm kann ein Merkmal im Bild, wie etwa Gesichter, Objekte usw., automatisch detektieren und das Autofokus-ROI kann dem Fokusbereich des detektierten Merkmals (z. B. plus/minus einem Delta-x/-y) entsprechen. Die Master-Kamera Cm kann dem Benutzer gestatten, das Fokusgebiet auszuwählen (z. B. durch eine Berührung eines Anzeigebildschirms, um einen Fokuspunkt/einen Bereich/ein Gesicht/ein Objekt/usw. auszuwählen), und das Autofokus-ROI kann dem benutzerausgewählten Fokusgebiet (z. B. plus/minus einem Delta-x/-y) entsprechen.
  • Eine Merkmalsdetektion (z. B. SIFT) kann an dem Bild von der Master-Kamera Cm im Autofokus-ROI bei Block 64a durchgeführt werden. Eine Merkmalsdetektion kann an den Bildern von den Kameras C1 bis CN in ihren jeweiligen aufgenommenen Vollbildern bei dem Blöcken 62b bis 62c durchgeführt werden. Ein Merkmalsabgleich kann zwischen Merkmalen, die im Autofokus-ROI detektiert werden, und allen anderen Bildern bei Block 65 durchgeführt werden. Das Autofokus-ROI kann für die Master-Kamera bei Block 66a ausgewählt werden und ein bildabhängiges merkmalsabgeglichenes ROI kann in den anderen Bildern basierend auf verfolgten Merkmalen bei dem Blöcken 66b bis 66c ausgewählt werden. Jede Kamera kann dann eine Fokusmaßnahme für Merkmalspunkte, die Teil des jeweiligen Autofokus-ROI und der merkmalsabgeglichenen ROIs sind, bei den Blöcken 67a bis 67c berechnen. Die Fokusaktoren für jede Kamera können zum Fokussieren basierend auf wiederholten Fokusmaßnahmeberechnungen bei den Blöcken 68a bis 68c angetrieben werden, und jeweilige Ausgangsbilder können bei den Blöcken 69a bis 69c bereitgestellt werden. Vorteilhafterweise können die Ausgangsbilder auf dieselben Szenenpunkte von allen Kameras im System fokussieren. Bei manchen Ausführungsformen kann eine Mehrkamerafokussteuerung einen Teil oder den gesamten Prozessfluss 60 einschließlich der Blöcke 64 bis 66 durchführen. Die Mehrkamerafokussteuerung kann ein separater Prozessor sein, kann in einer der Kameras (z. B. der Master-Kamera CM ) implementiert sein oder kann zwischen zwei oder mehr der Kameras verteilt sein.
  • Jetzt mit Bezug auf 7 kann eine Ausführungsform eines Prozessflusses 70 für ein Mehrkamerasystem eine photometrische Kalibration für eine Farbkorrekturmatrix und Gammakorrektur beinhalten. Während ein Mehrkamerasystem betrieben wird, kann jede Komponentenkamera Szenenstatistiken aufnehmen, die ein Grauwerthistogramm, ein Rot/Grün-Farbverhältnis und ein Blau/Grün-Farbverhältnis für jedes Pixel beinhalten können. Diese Farbverhältnisse können eine Referenzbeleuchtung und daher die Farbtemperatur der Szene bestimmen. Um eine konsistente Farbreproduktion zwischen den unterschiedlichen Kameras zu erzielen, kann eine Farbkorrekturmatrix (CCM) nach einem Weißabgleich berechnet werden. Die Gammakorrekturkurve für alle Sensoren kann auch derart angepasst werden, dass sie zu einem ähnlichen Kontrast für alle Bilder im Mehrkamera-Array führt. Manche Ausführungsformen können vorteilhafterweise eine Mehrkamera-CCM und Gammakorrektur basierend auf einer Merkmalsdetektion, einem Abgleich und einer Optimierungsfunktion bereitstellen. Manche Ausführungsformen können zum Beispiel eine Berechnung einer Mehrkamera-Farbkorrekturmatrix Ci* und von Gammaparametern βm*, βi* für eine i-te Kamera im Mehrkamera-Array als einen Teil der ISP-Pipeline bereitstellen. Manche Ausführungsformen können auch eine Optimierungsfunktion für die Berechnung dieser Parameter bereitstellen.
  • Eine der Kameras des Mehrkamerasystems kann als eine Master-Kamera Cm designiert oder ausgewählt werden, während andere Kameras als Kamera Ci designiert werden können. Eine Einzelkamera-ISP-Block-Farbkorrekturmatrix [a1 a2 ...]{m, 1, ..., i} kann bei den Blöcken 71a bis 71i angewendet werden und ein Einzelkamera-ISP-Block einer Gammakorrektur kann unter Verwendung von Parametern γ{m, 1, ..., i} bei den Blöcken 72a bis 72i durchgeführt werden, um jeweilige Bilder Im bis Ii nach einem Einzelkamera-ISP bereitzustellen. Eine Merkmalsdetektion kann an jedem der Vollbilder bei den Blöcken 74a bis 74i durchgeführt werden. Ein Merkmalsabgleich kann dann für detektierte Merkmale über alle Mehrkamerabilder hinweg durchgeführt und als f bei Block 75 gespeichert werden. Eine Optimierungsfunktion E(βm, β{1,...,i}, C{1,...,i}) kann gelöst werden, um die individuelle ISP-CCM-Matrix und die Gammawerte bei Block 76 zu verfeinern, und die optimierten Parameter können dann angewendet werden, um korrigierte Bilder bei den Blöcken 77a bis 77i zu erhalten (und dann werden z. B. die nächsten ISP-Blöcke implementiert). Die CCM- und Gammaoptimierungskosten E(βm, β{1,...,i}, C{1,...,i}) können gemeinsam für Gammakorrekturparameter (βm, β{1,...,i}) sowie die relative CCM-Anpassungsmatrix C für die Master-Kamera und die verbleibenden Kameras gelöst werden. Die Funktion kann mit CCM- und Gammakorrektur-ISP-Parametern individueller Kameras (z. B. [a1 , a2 , ...][m, 1, ..., i] bzw. γ[m, 1, ..., i]) initialisiert werden. Die Optimierung kann über RGB-Werte von Merkmalsabgleichorten f in den Bildern Im , I1 , ..., Ii durchgeführt werden. Bei manchen Ausführungsformen kann ein Mehrkamera-CCM-und-Gammakorrektur-Modul einen Teil oder den gesamten Prozessfluss 70 einschließlich der Blöcke 74 bis 77 durchführen. Das Mehrkamera-CCM-und-Gammakorrektur-Modul kann ein separater Prozessor sein, kann in einer der Kameras (z. B. der Master-Kamera CM ) implementiert werden oder kann zwischen zwei oder mehr der Kameras verteilt sein.
  • Jetzt mit Bezug auf 8 kann eine Ausführungsform eines Prozessflusses 80 für ein Mehrkamerasystem eine photometrische Kalibration für Schärfe beinhalten. Eine Schärfefehlanpassung zwischen Bildern von einem Kamera-Array kann zu scharf-unscharf Paaren von Bildern führen. Viele Anwendungen von Mehrkamera-Arrays (z. B. Panorama-Stitching, Disparitätsschätzung usw.) an derartigen Bildpaaren können Artefakte aufweisen. Manche Ausführungsformen können vorteilhafterweise eine Schärfe gemeinsam über das Kamera-Array einstellen. Eine Raumfrequenzantwort (SPR) oder Modulationstransferfunktion (MTF) kann eine schärfebezogene Maßnahme bereitstellen, bei der ein Indikator einer Bildschärfe die Raumfrequenzen sein können, wobei die MTF 50 % ihres Niederfrequenzwertes (MTF50) oder 50 % ihres Spitzenwertes (MTF50P) ist. Manche andere Systeme können MTF50 der individuellen Kameras basierend auf einem technischen Ziel messen und den Schärfeparameter berechnen, um Hochfrequenzen in der MTF zu erhöhen. Für ein Mehrkamera-Array können die Perspektivenänderungen jedoch bewirken, dass sich das ROI am technischen Ziel für jede Kamera verschiebt. Dementsprechend kann das Verwenden eines festen ROI-Orts an allen Kamerabildern bewirken, dass nicht technische Zielgebiete der Szene auch für die MTF analysiert werden. Manche Ausführungsformen können eine Merkmalsdetektion und einen Merkmalsabgleich nutzen, um ein Master-Kamera-Ziel-ROI zu verfolgen. Vorteilhafterweise kann das szenen-/perspektivenabhängige ROI für jede Kamera dasselbe bleiben und manche Ausführungsformen können eine verbesserte Schärfe in einem Mehrkamerasystem bereitstellen. Bei manchen Ausführungsformen kann dann eine Homographie verwendet werden, um das verfolgte ROI zu registrieren, und resultierende registrierte Bilder können verwendet werden, um individuelle kameraabhängige Schärfeparameter zu berechnen.
  • Eine der Kameras des Mehrkamerasystems kann als eine Master-Kamera Cm designiert oder ausgewählt werden, während andere Kameras als Kameras C1 bis CN (N > 1) designiert werden können. Ein ROI kann an einem technischen Ziel im Bild von der Master-Kamera Cm bei Block 81 spezifiziert werden. Im Anschluss an die RGB-zu-YCC-Konversionsblöcke kann ein Merkmalsdetektor Merkmale im ROI im Bild von der Master-Kamera Cm und im Vollbild aller anderen Kameras C1 bis CN bei den Blöcken 82a bis 82c detektieren. Ein Merkmalsabgleich kann bei den Blöcken 83a bis 83b zwischen Merkmalen durchgeführt werden, die im ROI der Master-Kamera Cm und in unterschiedlichen Bildern detektiert werden. Der Merkmalsabgleich kann ROIs in den Bildern von den anderen Kameras C1 bis CN definieren. Eine paarweise planare Homographie kann bei den Blöcken 84a bis 84b basierend auf mindestens 4 gefundenen Übereinstimmungen berechnet werden. Die berechnete Homographie kann verwendet werden, um das ROI der Master-Kamera Cm mit den ROIs von den Kameras C1 und C2 bei den Blöcken 85a bis 85c zu registrieren/auszurichten. Ein schärfstes ROI S kann basierend auf einer Frequenzanalyse bei Block 86 berechnet werden. Für jedes Kamerabild-ROI kann das entsprechende ideale schärfste ROI bekannt sein und der Schärfe-Kernel kann in einer Fourier-Domäne unter Verwendung der Formel K = (Register-ROI-Gebiet) * S-1 bei den Blöcken 87a bis 87c berechnet werden. Bei manchen Ausführungsformen kann die Homographie paarweise sein und die Paare können geometrisch aneinander angrenzend liegen. Geometrisch angrenzende Kameras können zum Beispiel eine erhebliche Sichtfeldüberlappung aufweisen. Bei manchen Ausführungsformen können Homographien für Hm1, H12, H23, H34 und so weiter bis H{N-1,N} berechnet werden, um Gebiete Rm , R1 , R2 und so weiter bis Gebiet RN zu erzeugen.
  • Für manche Bilder kann zum Beispiel das Bild der Master-Kamera Cm manche Hochfrequenzen herausfiltern. Der Schärfe-Kernel vom Block 87a kann, wenn er am Bild der Master-Kamera Cm angewendet wird, dazu führen, dass die MTF eine Hochfrequenz gestattet und der MTF einer anderen Kamera ähnlich wird. Die MTF50 der Master-Kamera Cm kann zum Beispiel erhöht werden, um besser mit der einen anderen Kamera übereinzustimmen. Die andere Kamera kann, wenn sie optimiert wird, um eine bessere Schärfe zu liefern, zu niedrigeren Rektifizierungsfehlern und einer gleichmäßigeren Disparität führen, wenn sie mit einer anderen Kamera kombiniert wird. Bei manchen Ausführungsformen eines Mehrkamerasystems, das für Schärfe optimiert ist, kann sich zum Beispiel die durchschnittliche Rektifizierungsgenauigkeit verbessern und die Disparität kann weniger rauschbehaftet sein.
  • Bei manchen Ausführungsformen kann ein Mehrkamera-Schärfemodul einen Teil oder den gesamten Prozessfluss 80 einschließlich der Blöcke 81 bis 87 durchführen. Das Mehrkamera-Schärfemodul kann ein separater Prozessor sein, kann in einer der Kameras (z. B. der Master-Kamera CM ) implementiert sein oder kann zwischen zwei oder mehr der Kameras verteilt sein. Manche Ausführungsformen können zwei oder mehr Module für eine photometrische Mehrkamera-Kalibration beinhalten, einschließlich zwei oder mehr der MehrkameraFokussteuerung (6), des Mehrkamera-CCM-und-Gammakorrektur-Moduls (7) und des Mehrkamera-Schärfemoduls (8). Unter Berücksichtigung des Vorteils der vorliegenden Spezifikation und der vorliegenden Zeichnungen kann das Anwenden einer Merkmalsdetektion und eines Merkmalsabgleichs für eine photometrische Kalibration basierend auf dynamischen und/oder variabel dimensionierten ROIs in einem Mehrkamerasystem leicht zu anderen ISP-Parameterblöcken angepasst werden. Die Ausführungsformen der 6 bis 8 sollten als veranschaulichend und nicht beschränkend betrachtet werden.
  • 9 veranschaulicht eine Ausführungsform eines Systems 700. Bei Ausführungsformen kann das System 700 ein Mediensystem sein, obwohl das System 700 nicht in diesem Zusammenhang beschränkt ist. Das System 700 kann zum Beispiel in einem Personal Computer (PC), einem Laptop-Computer, einem Ultra-Laptop-Computer, einem Tablet, einem Touchpad, einem portablen Computer, einem handgehaltenen Computer, einem Palmtop-Computer, einem Personal Digital Assistant (PDA), einem zellularen Telefon, einer Zellulartelefon/PDA-Kombination, einem Fernseher, einer Smart-Einrichtung (z. B. einem Smartphone, einem Smart-Tablet oder einem Smart-Fernseher), einer mobilen Interneteinrichtung (MID), einer Messaging-Einrichtung, einer Datenkommunikationseinrichtung und so weiter, integriert sein.
  • Bei Ausführungsformen umfasst das System 700 eine Plattform 702, die mit einer Anzeige 720 gekoppelt ist, die visuellen Inhalt darstellt. Die Plattform 702 kann einen Video-Bitstrom-Inhalt von einer Inhaltseinrichtung empfangen, wie etwa einer oder mehreren Inhaltsdiensteinrichtungen 730 oder einer oder mehreren Inhaltsliefereinrichtungen 740 oder anderen ähnlichen Inhaltsquellen. Eine Navigationssteuerung 750, die ein oder mehrere Navigationsmerkmale umfasst, kann verwendet werden, mit zum Beispiel der Plattform 702 und/oder der Anzeige 720 zu interagieren. Jede dieser Komponenten wird untenstehend ausführlicher beschrieben.
  • Bei Ausführungsformen kann die Plattform 702 eine beliebige Kombination eines Chipsatzes 705, eines Prozessors 710, eines Speichers 712, einer Speicherung 714, eines Grafikuntersystems 715, von Anwendungen 716 und/oder einer Funkvorrichtung 718 (z. B. einer Netzsteuerung) umfassen. Der Chipsatz 705 kann eine Interkommunikation zwischen dem Prozessor 710, dem Speicher 712, der Speicherung 714, dem Grafikuntersystem 715, den Anwendungen 716 und/oder der Funkvorrichtung 718 bereitstellen. Der Chipsatz 705 kann zum Beispiel einen Speicherungsadapter (nicht abgebildet) beinhalten, der in der Lage ist, eine Interkommunikation mit der Speicherung 714 bereitzustellen.
  • Der Prozessor 710 kann als CISC- (Complex Instruction Set Computer - Computer mit komplexem Befehlssatz) oder RISC-Prozessoren (Reduced Instruction Set Computer - Computer mit reduziertem Befehlssatz), x86-Befehlssatzkompatible Prozessoren, ein Mehrkern oder ein beliebiger anderer Mikroprozessor oder eine beliebige andere Zentralverarbeitungseinheit (CPU) implementiert werden. Bei Ausführungsformen kann der Prozessor 710 einen oder mehrere Doppelkernprozessoren, einen oder mehrere mobile Doppelkernprozessoren und so weiter umfassen.
  • Der Speicher 712 kann als eine flüchtige Speichereinrichtung implementiert werden, wie etwa unter anderem ein Direktzugriffsspeicher (RAM), ein dynamischer Direktzugriffsspeicher (DRAM) oder ein statischer RAM (SRAM).
  • Die Speicherung 714 kann als eine nicht flüchtige Speicherungseinrichtung implementiert werden, wie etwa unter anderem ein magnetisches Plattenlaufwerk, ein optisches Plattenlaufwerk, ein Bandlaufwerk, eine interne Speicherungseinrichtung, eine angeschlossene Speicherungseinrichtung, ein Flash-Speicher, ein Batterie-Backup-SDRAM (synchroner DRAM) und/oder eine für ein Netz zugängliche Speicherungseinrichtung. Bei Ausführungsformen kann die Speicherung 714 Technologie umfassen, um den erweiterten Speicherungsperformanz-Schutz für wertvolle digitale Medien zu erhöhen, wenn zum Beispiel mehrere Festplatten enthalten sind.
  • Das Grafikuntersystem 715 kann eine Verarbeitung von Bildern, wie etwa Standbildern oder Video, für eine Anzeige durchführen. Das Grafikuntersystem 715 kann zum Beispiel eine Grafikverarbeitungseinheit (GPU - Graphics Processing Unit) oder eine visuelle Verarbeitungseinheit (VPU - Visual Processing Unit) sein. Eine analoge oder digitale Schnittstelle kann verwendet werden, um das Grafikuntersystem 715 und die Anzeige 720 kommunikativ zu koppeln. Die Schnittstelle kann zum Beispiel eine beliebige aus HDMI (High-Definition Multimedia Interface), DisplayPort, Drahtlos-HDMI und/oder Drahtlos-HDkonformen Techniken sein. Das Grafikuntersystem 715 könnte in dem Prozessor 710 oder den Chipsatz 705 integriert sein. Das Grafikuntersystem 715 könnte eine unabhängige Karte sein, die kommunikativ mit dem Chipsatz 705 gekoppelt ist. Bei einem Beispiel beinhaltet das Grafikuntersystem 715 ein Rauschreduzierungsuntersystem, wie hierin beschrieben.
  • Die hierin beschriebenen Grafik- und/oder Videoverarbeitungstechniken können in verschiedenen Hardwarearchitekturen implementiert werden. Grafik- und/oder Videofunktionalität kann zum Beispiel innerhalb eines Chipsatzes integriert sein. Alternativ dazu kann ein diskreter Grafik- und/oder Videoprozessor verwendet werden. Als noch eine andere Ausführungsform können die Grafik- und/oder Videofunktionen durch einen Allgemeinprozessor, einschließlich eines Mehrkernprozessors, implementiert werden. Bei einer weiteren Ausführungsform können die Funktionen in einer Verbraucherelektronikeinrichtung implementiert werden.
  • Die Funkvorrichtung 718 kann eine Netzsteuerung sein, die eine oder mehrere Funkvorrichtungen beinhaltet, die in der Lage sind, Signale unter Verwendung verschiedener geeigneter Drahtloskommunikationstechniken zu übertragen und zu empfangen. Derartige Techniken können Kommunikationen über ein oder mehrere Drahtlosnetze beinhalten. Beispielhafte Drahtlosnetze beinhalten (unter anderem) drahtlose lokale Netze (WLANs), drahtlose persönliche Netze (WPANs), drahtlose städtische Netze (WMANs), zellulare Netze und Satellitennetze. Bei der Kommunikation über derartige Netze kann die Funkvorrichtung 718 gemäß einem oder mehreren gültigen Standards in einer beliebigen Version arbeiten.
  • Bei Ausführungsformen kann die Anzeige 720 einen beliebigen fernseherartigen Monitor oder eine beliebige fernseherartige Anzeige umfassen. Die Anzeige 720 kann zum Beispiel einen Computeranzeigebildschirm, eine Touchscreen-Anzeige, einen Videomonitor, eine fernseherartige Einrichtung und/oder einen Fernseher umfassen. Die Anzeige 720 kann digital und/oder analog sein. Bei Ausführungsformen kann die Anzeige 720 eine holographische Anzeige sein. Außerdem kann die Anzeige 720 eine transparente Oberfläche sein, die eine visuelle Projektion empfangen kann. Derartige Projektionen können verschiedene Formen von Informationen, Bildern und/oder Objekten übermitteln. Derartige Projektionen können zum Beispiel eine visuelle Überlagerung für eine Anwendung einer mobilen erweiterten Realität (MAR - Mobile Augmented Reality) sein. Unter der Steuerung einer oder mehrerer Softwareanwendungen 716 kann die Plattform 702 eine Benutzeroberfläche 722 auf der Anzeige 720 anzeigen.
  • Bei Ausführungsformen können eine oder mehrere Inhaltsdiensteinrichtungen 730 durch einen beliebigen nationalen, internationalen und/oder unabhängigen Dienst gehostet werden und somit für die Plattform 702 über zum Beispiel das Internet zugänglich sein. Die eine oder die mehreren Inhaltsdiensteinrichtungen 730 können mit der Plattform 702 und/oder der Anzeige 720 gekoppelt sein. Die Plattform 702 und/oder die eine oder die mehreren Inhaltsdiensteinrichtungen 730 können mit einem Netz 760 gekoppelt sein, um Medieninformationen zum und vom Netz 760 zu kommunizieren (z. B. zu senden und/oder zu empfangen). Die eine oder die mehreren Inhaltsliefereinrichtungen 740 können auch mit der Plattform 702 und/oder der Anzeige 720 gekoppelt sein.
  • Bei Ausführungsformen können die eine oder die mehreren Inhaltsdiensteinrichtungen 730 eine Kabelfernsehbox, einen Personal Computer, ein Netz, ein Telefon, internetfähige Einrichtungen oder ein internetfähiges Gerät, die bzw. das in der Lage ist bzw. sind, digitale Informationen und/oder digitalen Inhalt zu liefern, und eine beliebige andere ähnliche Einrichtung, die in der Lage ist, Inhalt unidirektional oder bidirektional zwischen Inhaltsanbietern und der Plattform 702 und/oder der Anzeige 720 über das Netz 760 oder direkt zu kommunizieren, umfassen. Es wird gewürdigt werden, dass der Inhalt unidirektional und/oder bidirektional zu und von einer beliebigen der Komponenten im System 700 und einem Inhaltsanbieter über das Netz 760 kommuniziert werden kann. Beispiele für den Inhalt können beliebige Medieninformationen beinhalten, einschließlich zum Beispiel Video, Musik, medizinische Informationen und Gaming-Informationen und so weiter.
  • Die eine oder die mehreren Inhaltsdiensteinrichtungen 730 empfangen Inhalt, wie etwa ein Kabelfernsehprogramm einschließlich Medieninformationen, digitaler Informationen und/oder eines anderen Inhalts. Beispiele für Inhaltsanbieter können beliebige Kabel- oder Satellitenfernseh- oder Radio- oder Internetinhaltsanbieter beinhalten. Die bereitgestellten Beispiele sollen Ausführungsformen nicht beschränken.
  • Bei Ausführungsformen kann die Plattform 702 Steuersignale von einer Navigationssteuerung 750, die ein oder mehrere Navigationsmerkmale aufweist, empfangen. Die Navigationsmerkmale der Steuerung 750 können verwendet werden, um zum Beispiel mit der Benutzeroberfläche 722 zu interagieren. Bei Ausführungsformen kann die Navigationssteuerung 750 eine Zeigeeinrichtung sein, die eine Computerhardwarekomponente (spezifisch eine Human-Interface-Device) sein kann, die einem Benutzer gestattet, räumliche (z. B. kontinuierliche und mehrdimensionale) Daten in einen Computer einzugeben. Viele Systeme, wie etwa grafische Benutzeroberflächen (GUI) und Fernseher und Monitore, ermöglichen dem Benutzer, den Computer oder Fernseher unter Verwendung von physischen Gesten zu steuern und Daten an diesen bereitzustellen.
  • Bewegungen der Navigationsmerkmale der Steuerung 750 können auf einer Anzeige (z. B. der Anzeige 720) durch Bewegungen eines Zeigers, eines Cursors, eines Fokusringes oder anderer visueller Indikatoren, die auf der Anzeige angezeigt werden, wiedergegeben werden. Unter der Steuerung zum Beispiel der Softwareanwendungen 716 können die sich auf der Navigationssteuerung 750 befindlichen Navigationsmerkmale zum Beispiel zu virtuellen Navigationsmerkmalen, die auf der Benutzeroberfläche 722 angezeigt werden, abgebildet werden. Bei Ausführungsformen ist die Steuerung 750 möglicherweise keine separate Komponente, sondern ist in die Plattform 702 und/oder die Anzeige 720 integriert. Ausführungsformen sind jedoch nicht auf die hierin dargestellten oder beschriebenen Elemente oder im hierin dargestellten oder beschriebenen Zusammenhang beschränkt.
  • Bei Ausführungsformen können Treiber (nicht dargestellt) Technologie umfassen, um Benutzern zu ermöglichen, die Plattform 702 wie einen Fernseher mit der Berührung einer Taste nach zum Beispiel einem anfänglichen Hochfahren, wenn aktiviert, unmittelbar ein- und auszuschalten. Programmlogik kann der Plattform 702 gestatten, Inhalt zu Medienadaptern oder einer oder mehreren anderen Inhaltsdiensteinrichtungen 730 oder einer oder mehreren Inhaltsliefereinrichtungen 740 zu streamen, wenn die Plattform „aus“-geschaltet ist. Zusätzlich dazu kann der Chipsatz 705 zum Beispiel eine Hardware- und/oder Softwareunterstützung für 5.1-Surround-Sound-Audio und/oder High-Definition-7.1-Surround-Sound-Audio umfassen. Treiber können einen Grafiktreiber für integrierte Grafikplattformen beinhalten. Bei Ausführungsformen kann der Grafiktreiber eine PCI(Peripheral Component Interconnect)-Express-Grafikkarte umfassen.
  • Bei verschiedenen Ausführungsformen können eine oder mehrere beliebige der im System 700 dargestellten Komponenten integriert sein. Die Plattform 702 und die eine oder die mehreren Inhaltsdiensteinrichtungen 730 können zum Beispiel integriert sein oder die Plattform 702 und die eine oder die mehreren Inhaltsliefereinrichtungen 740 können integriert sein oder die Plattform 702, die eine oder die mehreren Inhaltsdiensteinrichtungen 730 und die eine oder die mehreren Inhaltsliefereinrichtungen 740 können zum Beispiel integriert sein. Bei verschiedenen Ausführungsformen können die Plattform 702 und die Anzeige 720 eine integrierte Einheit sein. Die Anzeige 720 und die eine oder die mehreren Inhaltsdiensteinrichtungen 730 können integriert sein oder die Anzeige 720 und die eine oder die mehreren Inhaltsliefereinrichtungen 740 können zum Beispiel integriert sein. Diese Beispiele sollen die Ausführungsformen nicht beschränken.
  • Bei verschiedenen Ausführungsformen kann das System 700 als ein drahtloses System, ein verdrahtetes System oder eine Kombination beider implementiert werden. Wenn es als ein drahtloses System implementiert wird, kann das System 700 Komponenten und Schnittstellen beinhalten, die sich zur Kommunikation über drahtlose gemeinsam genutzte Medien eignen, wie etwa eine oder mehrere Antennen, Sender, Empfänger, Sendeempfänger, Verstärker, Filter, Steuerlogik und so weiter. Ein Beispiel für drahtlose gemeinsam genutzte Medien können Teile eines Drahtlosspektrums beinhalten, wie etwa das HF-Spektrum und so weiter. Wenn es als ein verdrahtetes System implementiert wird, kann das System 700 Komponenten und Schnittstellen beinhalten, die sich zur Kommunikation über verdrahtete Kommunikationsmedien eignen, wie etwa Eingabe/Ausgabe(E/A)-Adapter, physische Verbinder, um den E/A-Adapter mit einem entsprechenden verdrahteten Kommunikationsmedium zu verbinden, eine Netzwerkschnittstellenkarte (NIC), eine Plattensteuerung, eine Videosteuerung, eine Audiosteuerung und so weiter. Beispiele für verdrahtete Kommunikationsmedien können einen Draht, ein Kabel, Metallleitungen, eine Leiterplatte (PCB), eine Backplane, ein Switch-Fabric, ein Halbleitermaterial, einen Twisted-Pair-Draht, ein Koaxialkabel, Faseroptiken und so weiter beinhalten.
  • Die Plattform 702 kann einen oder mehrere logische oder physische Kanäle zum Kommunizieren von Informationen aufbauen. Die Informationen können Medieninformationen und Steuerinformationen beinhalten. Medieninformationen können sich auf beliebige Daten beziehen, die einen Inhalt repräsentieren, der für einen Benutzer gedacht ist. Beispiele für Inhalt können zum Beispiel Daten eines Gesprächs, eine Videokonferenz, ein Streaming-Video, eine elektronische Postnachricht („E-Mail“-Nachricht), eine Voicemail-Nachricht, alphanumerische Symbole, Grafiken, ein Bild, Video, Text und so weiter beinhalten. Daten eines Gesprächs können zum Beispiel Sprachinformationen, Stillzeiträume, Hintergrundgeräusche, Komfortgeräusche, Töne und so weiter sein. Steuerinformationen können sich auf beliebige Daten beziehen, die Anweisungen, Befehle oder Steuerwörter repräsentieren, die für ein automatisiertes System gedacht sind. Steuerinformationen können zum Beispiel verwendet werden, um Medieninformationen durch ein System zu routen oder einen Knoten anzuweisen, die Medieninformationen auf eine vorbestimmte Art und Weise zu verarbeiten. Die Ausführungsformen sind jedoch nicht auf die in 9 dargestellten oder beschriebenen Elemente oder in dem in 9 dargestellten oder beschriebenen Zusammenhang beschränkt.
  • Wie oben beschrieben, kann das System 700 in unterschiedlichen physischen Stilen oder Formfaktoren umgesetzt werden. 10 veranschaulicht Ausführungsformen einer Einrichtung 800 mit kleinem Formfaktor, in der das System 700 umgesetzt werden kann. Bei Ausführungsformen kann die Einrichtung 800 zum Beispiel als eine mobile Datenverarbeitungseinrichtung mit Drahtlosfähigkeiten implementiert werden. Eine mobile Datenverarbeitungseinrichtung kann sich auf eine beliebige Einrichtung beziehen, die zum Beispiel ein Verarbeitungssystem und eine mobile Leistungsquelle oder -versorgung, wie etwa eine oder mehrere Batterien, aufweist.
  • Wie oben beschrieben, können Beispiele für eine mobile Datenverarbeitungseinrichtung einen Personal Computer (PC), einen Laptop-Computer, einen Ultra-Laptop-Computer, ein Tablet, ein Touchpad, einen portablen Computer, einen handgehaltenen Computer, einen Palmtop-Computer, einen Personal Digital Assistant (PDA), ein zellulares Telefon, eine Zellulartelefon/PDA-Kombination, einen Fernseher, eine Smart-Einrichtung (z. B. ein Smartphone, ein Smart-Tablet oder einen Smart-Fernseher), eine mobile Interneteinrichtung (MID), eine Messaging-Einrichtung, eine Datenkommunikationseinrichtung und so weiter beinhalten.
  • Beispiele für eine mobile Datenverarbeitungseinrichtung können auch Computer beinhalten, die dazu ausgebildet sind, durch eine Person getragen zu werden, wie etwa ein Handgelenk-Computer, ein Finger-Computer, ein Ring-Computer, ein Brillen-Computer, ein Gürtelclip-Computer, ein Armband-Computer, Schuh-Computer, Bekleidungs-Computer und andere tragbare Computer. Bei Ausführungsformen kann eine mobile Datenverarbeitungseinrichtung zum Beispiel als ein Smartphone implementiert werden, das in der Lage ist, Computeranwendungen sowie Sprachkommunikationen und/oder Datenkommunikationen auszuführen. Obwohl manche Ausführungsformen möglicherweise mit einer mobilen Datenverarbeitungseinrichtung beschrieben werden, die beispielshalber als ein Smartphone implementiert wird, kann gewürdigt werden, dass andere Ausführungsformen auch unter Verwendung anderer drahtloser mobiler Datenverarbeitungseinrichtungen implementiert werden können. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
  • Wie in 10 dargestellt, kann die Einrichtung 800 ein Gehäuse 802, eine Anzeige 804, eine Eingabe/Ausgabe(E/A)-Einrichtung 806 und eine Antenne 808 umfassen. Die Einrichtung 800 kann auch Navigationsmerkmale 812 umfassen. Die Anzeige 804 kann eine beliebige geeignete Anzeigeeinheit zum Anzeigen von Informationen umfassen, die sich für eine mobile Datenverarbeitungseinrichtung eignet. Die E/A-Einrichtung 806 kann eine beliebige geeignete E/A-Einrichtung zum Eingeben von Informationen in eine mobile Datenverarbeitungseinrichtung umfassen. Beispiele für die E/A-Einrichtung 806 können eine alphanumerische Tastatur, ein numerisches Tastenfeld, ein Touchpad, Eingabetasten, Tasten, Schalter, Kippschalter, Mikrofone, Lautsprecher, eine Spracherkennungseinrichtung und -software und so weiter beinhalten. Informationen können auch in die Einrichtung 800 mittels eines Mikrofons eingegeben werden. Derartige Informationen können durch eine Spracherkennungseinrichtung digitalisiert werden. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
  • Bei manchen Ausführungsformen kann bzw. können das System 700 und/oder die Einrichtung 800 einen oder mehrere der Aspekte des hierin beschriebenen Mehrkamerasystems implementieren. Das System 700 und/oder die Einrichtung 800 kann bzw. können zum Beispiel einen oder mehrere Aspekte der folgenden Beispiele beinhalten.
  • Zusätzliche Anmerkungen und Beispiele:
  • Beispiel 1 kann ein elektronisches Verarbeitungssystem beinhalten, umfassend einen Prozessor, zwei oder mehr Kameras, die kommunikativ mit dem Prozessor gekoppelt sind, um zwei oder mehr gleichzeitige Bilder einer Szene aufzunehmen, und Logik, die kommunikativ mit dem Prozessor gekoppelt ist, um ein Merkmal in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras zu detektieren, das Merkmal in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras abzugleichen und eine photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchzuführen.
  • Beispiel 2 kann das System des Beispiels 1 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild, zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 3 kann das System des Beispiels 2 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  • Beispiel 4 kann das System des Beispiels 1 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren eines ersten Gebiets von Interesse für die erste Kamera, zum Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse, zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 5 kann das System des Beispiels 4 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  • Beispiel 6 kann das System eines der Beispiele 1 bis 5 beinhalten, wobei die Logik ferner ausgelegt ist zum bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  • Beispiel 7 kann eine Halbleiterbaugruppenvorrichtung beinhalten, umfassend ein oder mehrere Substrate und Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, wobei die Logik zumindest teilweise in einer konfigurierbaren Logik und/oder Hardwarelogik mit fester Funktionalität implementiert wird, wobei die Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, ausgelegt ist zum Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras, zum Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras, zum Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras und zum Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  • Beispiel 8 kann die Vorrichtung des Beispiels 7 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild, zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 9 kann die Vorrichtung des Beispiels 8 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  • Beispiel 10 kann die Vorrichtung des Beispiels 7 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren eines ersten Gebiets von Interesse für die erste Kamera, zum Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse, zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 11 kann die Vorrichtung des Beispiels 10 beinhalten, wobei die Logik ferner ausgelegt ist zum Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  • Beispiel 12 kann die Vorrichtung eines der Beispiele 7 bis 11 beinhalten, wobei die Logik ferner ausgelegt ist zum Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  • Beispiel 13 kann ein Verfahren zum Kalibrieren mehrerer Kameras beinhalten, umfassend Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras, Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras, Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras und Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  • Beispiel 14 kann das Verfahren des Beispiels 13 beinhalten, ferner umfassend Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild, Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 15 kann das Verfahren des Beispiels 14 beinhalten, ferner umfassend Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  • Beispiel 16 kann das Verfahren des Beispiels 13 beinhalten, ferner umfassend Definieren eines ersten Gebiets von Interesse für die erste Kamera, Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse, Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 17 kann das Verfahren des Beispiels 16 beinhalten, ferner umfassend Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  • Beispiel 18 kann das Verfahren eines der Beispiele 13 bis 17 beinhalten, ferner umfassend Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  • Beispiel 19 kann mindestens ein computerlesbares Medium beinhalten, umfassend einen Satz von Befehlen, die bei Ausführung durch eine Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung zwei oder mehr gleichzeitige Bilder einer Szene mit zwei oder mehr Kameras aufnimmt, ein Merkmal in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras detektiert, das Merkmal in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras abgleicht und eine photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchführt.
  • Beispiel 20 kann das mindestens eine computerlesbare Medium des Beispiels 19 beinhalten, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung ein erstes Gebiet von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Gebiet definiert, ein zweites Gebiet von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Gebiet definiert und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse durchführt.
  • Beispiel 21 kann das mindestens eine computerlesbare Medium des Beispiels 20 beinhalten, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung das erste und zweite Gebiet von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild definiert.
  • Beispiel 22 kann das mindestens eine computerlesbare Medium des Beispiels 19 beinhalten, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung ein erstes Gebiet von Interesse für die erste Kamera definiert, das Merkmal im ersten Bild basierend auf dem ersten Gebiet von Interesse detektiert, ein zweites Gebiet von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild definiert und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse durchführt.
  • Beispiel 23 kann das mindestens eine computerlesbare Medium des Beispiels 22 beinhalten, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung das zweite Gebiet von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild definiert.
  • Beispiel 24 kann das mindestens eine computerlesbare Medium eines der Beispiele 19 bis 23 beinhalten, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung einen oder mehrere Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration bestimmt.
  • Beispiel 25 kann eine Mehrkamera-Kalibrationsvorrichtung beinhalten, umfassend Mittel zum Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras, Mittel zum Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras, Mittel zum Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras und Mittel zum Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  • Beispiel 26 kann das Verfahren des Beispiels 25 beinhalten, ferner umfassend Mittel zum Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild, Mittel zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und Mittel zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 27 kann das Verfahren des Beispiels 26 beinhalten, ferner umfassend Mittel zum Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  • Beispiel 28 kann das Verfahren des Beispiels 25 beinhalten, ferner umfassend Mittel zum Definieren eines ersten Gebiets von Interesse für die erste Kamera, Mittel zum Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse, Mittel zum Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild und Mittel zum Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  • Beispiel 29 kann das Verfahren des Beispiels 28 beinhalten, ferner umfassend Mittel zum Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  • Beispiel 30 kann das Verfahren eines der Beispiele 25 bis 29 beinhalten, ferner umfassend Mittel zum Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  • Ausführungsformen sind für die Verwendung mit allen Arten von Halbleiterchips mit integrierten Schaltungen („IC“) anwendbar. Beispiele für diese IC-Chips beinhalten unter anderem Prozessoren, Steuerungen, Chipsatzkomponenten, programmierbare Logik-Arrays (PLAs), Speicherchips, Netzwerkchips, Systeme auf einem Chip (SoCs) SSD/NAND-Steuerung-ASICs und dergleichen. Zusätzlich dazu werden Signalleiterbahnen in manchen der Zeichnungen mit Linien repräsentiert. Manche können unterschiedlich sein, um mehr Signalpfadbestandteile anzugeben, manche können eine Nummernbezeichnung aufweisen, um eine Anzahl von Signalpfadbestandteilen anzugeben, und/oder manche können Pfeile an einem oder mehreren Enden aufweisen, um eine Hauptinformationsflussrichtung anzugeben. Dies sollte jedoch nicht auf eine beschränkende Art und Weise ausgelegt werden. Stattdessen können derartige hinzugefügte Einzelheiten in Verbindung mit einem oder mehreren Ausführungsbeispielen verwendet werden, um ein leichteres Verständnis einer Schaltung zu ermöglichen. Jegliche repräsentierten Signalleitungen mit oder ohne zusätzlichen Informationen können tatsächlich ein oder mehrere Signale umfassen, die in mehreren Richtungen laufen können und mit einer beliebigen geeigneten Art von Signalschema implementiert werden können, z. B. digitalen oder analogen Leitungen, die mit Differentialpaaren, optischen Faserleitungen und/oder asymmetrischen Leitungen implementiert werden.
  • Beispielhafte Größen/Modelle/Werte/Bereiche können gegeben worden sein, obwohl Ausführungsformen nicht auf diese beschränkt sind. Da Herstellungstechniken (z. B. Photolithographie) mit der Zeit ausreifen, wird erwartet, dass Einrichtungen mit kleinerer Größe hergestellt werden könnten. Zusätzlich dazu werden wohlbekannte Leistungs-/Masseverbindungen mit IC-Chips und anderen Komponenten innerhalb der Figuren zur Vereinfachung der Veranschaulichung und Besprechung, und damit sie gewisse Aspekte der Ausführungsformen nicht verundeutlichen, möglicherweise dargestellt oder nicht. Des Weiteren können Anordnungen in Blockdiagrammform dargestellt sein, um eine Verundeutlichung von Ausführungsformen zu vermeiden, und auch hinsichtlich der Tatsache, dass Details bezüglich der Implementierung derartiger Blockdiagrammanordnungen sehr von der Plattform abhängen, in der die Ausführungsform implementiert werden soll, d. h. derartige Details sollten wohl innerhalb im Bereich eines Fachmanns auf dem Gebiet liegen. Wo spezifische Einzelheiten (z. B. Schaltungen) dargelegt sind, um Ausführungsbeispiele zu beschreiben, sollte einem Fachmann auf dem Gebiet ersichtlich werden, dass Ausführungsformen ohne oder mit einer Variation dieser spezifischen Einzelheiten umgesetzt werden können. Die Beschreibung soll somit als veranschaulichend anstatt beschränkend betrachtet werden.
  • Der Ausdruck „gekoppelt“ kann hierin verwendet werden, um sich auf eine beliebige Art von Beziehung, direkt oder indirekt, zwischen den betroffenen Komponenten zu beziehen und kann für elektrische, mechanische, fluide, optische, elektromagnetische, elektromechanische oder andere Verbindungen gelten. Zusätzlich dazu können die Ausdrücke „erster“, „zweiter“ usw. hierin verwendet werden, um nur die Diskussion zu erleichtern, und führen keine spezielle zeitliche oder chronologische Bedeutung, sofern nichts anderes angegeben ist.
  • Wie in dieser Anmeldung und in den Ansprüchen verwendet, kann eine Liste von Gegenständen, die durch den Ausdruck „ein oder mehr“ verbunden ist, eine beliebige Kombination der aufgelisteten Ausdrücke bedeuten. Zum Beispiel können sowohl die Phrase „ein oder mehrere von A, B und C“ als auch die Phrase „ein oder mehr von A, B oder C“ A; B; C; A und B; A und C; B und C; oder A, B und C bedeuten.
  • Fachleute auf dem Gebiet werden aus der vorstehenden Beschreibung zu würdigen wissen, dass die umfassenden Techniken der Ausführungsformen in einer Vielfalt von Formen implementiert werden können. Obwohl die Ausführungsformen in Verbindung mit speziellen Beispielen davon beschrieben worden sind, sollte daher der wahre Schutzumfang der Ausführungsformen nicht so beschränkt sein, da andere Modifikationen dem Fachmann bei der Untersuchung der Zeichnungen, der Spezifikation und der folgenden Ansprüche ersichtlich werden.

Claims (24)

  1. Elektronisches Verarbeitungssystem, umfassend: einen Prozessor; zwei oder mehr Kameras, die kommunikativ mit dem Prozessor gekoppelt sind, um zwei oder mehr gleichzeitige Bilder einer Szene aufzunehmen; und Logik, die kommunikativ mit dem Prozessor gekoppelt ist, zum: Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras, Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras, und Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  2. System nach Anspruch 1, wobei die Logik ferner ausgelegt ist zum: Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild; Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Gebiet; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  3. System nach Anspruch 2, wobei die Logik ferner ausgelegt ist zum: Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen der Merkmale im ersten und zweiten Bild.
  4. System nach Anspruch 1, wobei die Logik ferner ausgelegt ist zum: Definieren eines ersten Gebiets von Interesse für die erste Kamera; Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse; Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  5. System nach Anspruch 4, wobei die Logik ferner ausgelegt ist zum: Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  6. System nach einem der Ansprüche 1 bis 5, wobei die Logik ferner ausgelegt ist zum: Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  7. Halbleiterbaugruppenvorrichtung, umfassend: ein oder mehrere Substrate; und Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, wobei die Logik zumindest teilweise in einer konfigurierbaren Logik und/oder einer Hardwarelogik mit fester Funktionalität implementiert ist, wobei die Logik mit dem einen oder den mehreren Substraten gekoppelt ist zum: Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras, Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras, Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras, und Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  8. Vorrichtung nach Anspruch 7, wobei die Logik ferner ausgelegt ist zum: Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild; Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  9. Vorrichtung nach Anspruch 8, wobei die Logik ferner ausgelegt ist zum: Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  10. Vorrichtung nach Anspruch 7, wobei die Logik ferner ausgelegt ist zum: Definieren eines ersten Gebiets von Interesse für die erste Kamera; Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse; Definieren eines zweiten Gebiets von Interesse für ausgelegt die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  11. Vorrichtung nach Anspruch 10, wobei die Logik ferner ausgelegt ist zum: Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  12. Vorrichtung nach einem der Ansprüche 7 bis 11, wobei die Logik ferner ausgelegt ist zum: Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  13. Verfahren zum Kalibrieren mehrerer Kameras, umfassend: Aufnehmen von zwei oder mehr gleichzeitigen Bildern einer Szene mit zwei oder mehr Kameras; Detektieren eines Merkmals in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras; Abgleichen des Merkmals in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras; und Durchführen einer photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht.
  14. Verfahren nach Anspruch 13, ferner umfassend: Definieren eines ersten Gebiets von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild; Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  15. Verfahren nach Anspruch 14, ferner umfassend: Definieren des ersten und zweiten Gebiets von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild.
  16. Verfahren nach Anspruch 13, ferner umfassend: Definieren eines ersten Gebiets von Interesse für die erste Kamera; Detektieren des Merkmals im ersten Bild basierend auf dem ersten Gebiet von Interesse; Definieren eines zweiten Gebiets von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild; und Durchführen der photometrischen Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse.
  17. Verfahren nach Anspruch 16, ferner umfassend: Definieren des zweiten Gebiets von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild.
  18. Verfahren nach einem der Ansprüche 13 bis 17, ferner umfassend: Bestimmen eines oder mehrerer Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration.
  19. Computerlesbares Medium bzw. computerlesbare Medien, umfassend einen Satz von Befehlen, die bei Ausführung durch eine Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: zwei oder mehr gleichzeitige Bilder einer Szene mit zwei oder mehr Kameras aufnimmt; ein Merkmal in einem ersten Bild von einer ersten Kamera der zwei oder mehr Kameras detektiert; das Merkmal in einem zweiten Bild von einer zweiten Kamera der zwei oder mehr Kameras abgleicht; und eine photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf einem Teil des ersten Bildes, der dem detektierten Merkmal entspricht, und einem Teil des zweiten Bildes, der dem abgeglichenen Merkmal entspricht, durchführt.
  20. Computerlesbares Medium bzw. computerlesbare Medien nach Anspruch 19, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch eine Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: ein erstes Gebiet von Interesse für die erste Kamera basierend auf dem detektierten Merkmal im ersten Bild definiert; ein zweites Gebiet von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Gebiet definiert; und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse durchführt.
  21. Computerlesbares Medium bzw. computerlesbare Medien nach Anspruch 20, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: das erste und zweite Gebiet von Interesse basierend auf jeweiligen Positionen und Größen des Merkmals im ersten und zweiten Bild definiert.
  22. Computerlesbares Medium bzw. computerlesbare Medien nach Anspruch 19, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: ein erstes Gebiet von Interesse für die erste Kamera definiert; das Merkmal im ersten Bild basierend auf dem ersten Gebiet von Interesse detektiert; ein zweites Gebiet von Interesse für die zweite Kamera basierend auf dem abgeglichenen Merkmal im zweiten Bild definiert; und die photometrische Kalibration zwischen der ersten Kamera und der zweiten Kamera basierend auf dem ersten Gebiet von Interesse und dem zweiten Gebiet von Interesse durchführt.
  23. Computerlesbares Medium bzw. computerlesbare Medien nach Anspruch 22, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: das zweite Gebiet von Interesse basierend auf einer Position und Größe des abgeglichenen Merkmals im zweiten Bild definiert.
  24. Computerlesbares Medium bzw. computerlesbare Medien nach einem der Ansprüche 19 bis 23, umfassend einen weiteren Satz von Befehlen, die bei Ausführung durch die Datenverarbeitungseinrichtung bewirken, dass die Datenverarbeitungseinrichtung: einen oder mehrere Parameterwerte für jede der zwei oder mehr Kameras basierend auf der photometrischen Kalibration bestimmt.
DE102018130086.7A 2017-12-29 2018-11-28 Mehrkameraprozessor mit merkmalsabgleich Pending DE102018130086A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/858,063 US10762664B2 (en) 2017-12-29 2017-12-29 Multi-camera processor with feature matching
US15/858,063 2017-12-29

Publications (1)

Publication Number Publication Date
DE102018130086A1 true DE102018130086A1 (de) 2019-07-04

Family

ID=65230648

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018130086.7A Pending DE102018130086A1 (de) 2017-12-29 2018-11-28 Mehrkameraprozessor mit merkmalsabgleich

Country Status (4)

Country Link
US (1) US10762664B2 (de)
KR (1) KR20190082080A (de)
CN (1) CN109995997A (de)
DE (1) DE102018130086A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3213497B1 (de) * 2014-10-31 2020-09-30 Hewlett-Packard Development Company, L.P. Kreuzkalibrierung von bildgebern
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
WO2020024576A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
US11606504B2 (en) 2019-09-10 2023-03-14 Samsung Electronics Co., Ltd. Method and electronic device for capturing ROI
CN110769151B (zh) * 2019-09-27 2021-10-15 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
US11475595B2 (en) * 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
WO2024038778A1 (ja) * 2022-08-15 2024-02-22 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338750A (ja) * 2002-05-20 2003-11-28 Nec Electronics Corp 汎用ロジックセル、これを用いた汎用ロジックセルアレイ、及びこの汎用ロジックセルアレイを用いたａｓｉｃ
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
EP2375376B1 (de) * 2010-03-26 2013-09-11 Alcatel Lucent Verfahren und Anordnung zur Kalibrierung mehrerer Kameras
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera

Also Published As

Publication number Publication date
US20190043220A1 (en) 2019-02-07
US10762664B2 (en) 2020-09-01
CN109995997A (zh) 2019-07-09
KR20190082080A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
DE102018130086A1 (de) Mehrkameraprozessor mit merkmalsabgleich
US20230419437A1 (en) Systems and methods for fusing images
DE102019213184A1 (de) Verfahren und system zum automatischen weissabgleich auf basis von tiefem lernen
DE102020123304A1 (de) Tiefes lernen für engmaschige semantische segmentierung in video mit automatisierter interaktivität und verbesserter zeitlicher kohärenz
Thongkamwitoon et al. An image recapture detection algorithm based on learning dictionaries of edge profiles
DE112018007730T5 (de) 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern
US9704254B2 (en) Stereo image matching by shape preserving filtering of a cost volume in a phase domain
DE112018007721T5 (de) Aufnehmen und modifizieren von 3D-Gesichtern unter Verwendung neuronaler Bild-und Zeitverfolgungsnetze
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
DE102020129800A1 (de) Interaktive segmentierung mit hoher wiedergabetreue für videodaten mit tief faltenden tessellationen und kontextsensitiven skip-verbindungen
Zheng et al. Segmented spherical projection-based blind omnidirectional image quality assessment
DE102021118479A1 (de) Einbetten von komplexen 3d-objekten in eine erweiterte realitätsszene unter verwendung einer bildsegmentierung
DE112013004778T5 (de) Kodierung von Bildern unter Verwendung eines 3D-Netzes von Polygonen und entsprechenden Strukturen
DE112012005481T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungssystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE102015107872A1 (de) Neu beleuchtbare Textur zur Verwendung beim Rendern eines Bildes
CN110365894A (zh) 摄像机装置中图像融合的方法及相关装置
DE102018125739A1 (de) Dynamische Kalibrierung von Mehrkamerasystemen mithilfe einer Vielzahl von Multi View-Bildrahmen
DE112017000500T5 (de) Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung
DE102020200310A1 (de) Verfahren und System zur Dunstreduzierung für die Bildverarbeitung
DE102021119882A1 (de) Videohintergrundschätzung unter verwendung von räumlich-zeitlichen modellen
CN111226256A (zh) 用于图像动态范围调整的系统和方法
DE102019215387A1 (de) Zirkularfischaugenkameraarrayberichtigung
CN111429371A (zh) 图像处理方法、装置及终端设备
Cao et al. Quality measurement for high dynamic range omnidirectional image systems
CN113628259A (zh) 图像的配准处理方法及装置

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HGF EUROPE LLP, DE

Representative=s name: HGF EUROPE LP, DE