DE102018203475A1 - Für Anwendungen des maschinellen Sehens optimierte Digitalkameraverfahren und -vorrichtungen - Google Patents

Für Anwendungen des maschinellen Sehens optimierte Digitalkameraverfahren und -vorrichtungen Download PDF

Info

Publication number
DE102018203475A1
DE102018203475A1 DE102018203475.3A DE102018203475A DE102018203475A1 DE 102018203475 A1 DE102018203475 A1 DE 102018203475A1 DE 102018203475 A DE102018203475 A DE 102018203475A DE 102018203475 A1 DE102018203475 A1 DE 102018203475A1
Authority
DE
Germany
Prior art keywords
image
image capture
capture device
light
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018203475.3A
Other languages
English (en)
Inventor
Andrey Belogolovy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102018203475A1 publication Critical patent/DE102018203475A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

In manchen Beispielen sind Verbesserungen der Digitalkameratechnologie offenbart, um Bilder für den besseren Gebrauch in Anwendungen des Maschinellen Sehens zu erfassen und zu verarbeiten. Beispielsweise verbesserte Farbfilter, Kameralinsenplatzierungen und Bildverarbeitungsketten.

Description

  • FACHGEBIET
  • Ausführungsformen betreffen Verbesserungen bei Digitalkameravorrichtungen, um bessere Bilder für Anwendungen des computerisierten Sehens zu erzeugen. Manche Ausführungsformen betreffen verbesserte Kameravorrichtungen einschließlich einer Multipositions-Kamera und eines verbesserten Bildsensorfilters. Andere Ausführungsformen betreffen verbesserte Bildverarbeitungsketten.
  • HINTERGRUND
  • Bilderfassungsvorrichtungen, wie digitale Standbild- und Videokameras (hierin kollektiv als Digitalkameras bezeichnet) werden von Anwendungen des Maschinellen Sehens, wie selbstfahrende Autos, Gesichtserkennung, Bildersuche, industrielle Bildverarbeitung, Texterkennung, Fernerkundung, Robotik und dergleichen, verwendet. Diese Digitalkameras nutzen Bildsensoren, wie eine ladungsgekoppelte Vorrichtung (CCD) und aktive Pixelsensoren (APS), allgemein bekannt als komplementäre Metalloxidhalbleiter (CMOS), um erfasste Lichtwellenlängen zu elektrischen Signalen in Form von Daten umzuwandeln.
  • Figurenliste
  • In den Zeichnungen, die nicht notwendigerweise maßstabsgetreu gezeichnet sind, können gleiche Zahlen ähnliche Komponenten in unterschiedlichen Perspektiven beschreiben. Gleiche Zahlen mit unterschiedlichen Suffixen können unterschiedliche Beispiele gleicher Komponenten darstellen. Die Zeichnungen veranschaulichen allgemein, als Beispiel jedoch nicht als Einschränkung, unterschiedliche in dem vorliegenden Dokument besprochene Ausführungsformen.
    • 1 zeigt ein Diagramm eines Digitalkamerageräts, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 2 zeigt ein Diagramm des Sichtfelds der unterschiedlichen Linsen des Kamerageräts von 1 im Brennpunkt, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 3 zeigt Farbfilteranordnungen, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 4 zeigt ein Blockdiagramm von Komponenten einer beispielhaften Digitalkamera, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 5 zeigt ein Blockdiagramm einer beispielhaften Bildgebungsverarbeitungskette, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 6 zeigt ein Blockdiagramm einer für Maschinelles Sehen optimierten Bildverarbeitungskette, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 7 zeigt ein Flussdiagramm eines beispielhaften Verfahrens des Prozessors, der die Bildverarbeitungskette aus 6 durchführt.
    • 8 zeigt ein Flussdiagramm eines Verfahrens zur Bilderfassung, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 9 zeigt ein Flussdiagramm eines Verfahrens zur Bilderfassung, gemäß manchen Beispielen der vorliegenden Offenbarung.
    • 10 ist ein Blockdiagramm, das Beispiel einer Maschine veranschaulicht, auf der eine oder mehrere Ausführungsformen umgesetzt werden können.
  • DETAILLIERTE BESCHREIBUNG
  • Maschinelles Sehen ist ein Fachgebiet, das Verfahren zum Erwerb, zur Verarbeitung, zur Analyse und zur Erfassung von Bildern umfasst, um numerische oder symbolische Informationen, z.B. in Form von Entscheidungen, zu erzeugen. Maschinelles Sehen ist Teil vieler Anwendungsgebiete für wearable-Vorrichtungen und Vorrichtungen des Internets der Dinge (IoT), wie menschliche Sicherheit, Navigation und Augmented Reality geworden.
    So können beispielsweise selbstfahrende Autos Maschinelles Sehen nutzen, um Objekterkennung, -identifikation und -nachverfolgung bereitzustellen. Der Ausgangspunkt jeder Anwendung des Maschinellen Sehens ist eine Kamera, die Eingaben für den Rest einer Verarbeitungskette (z.B. Erfassung, Nachverfolgung, Erkennung und dergleichen) bereitstellt. Beim Maschinellen Sehen wird die Leistung bedeutend von der Eingabequalität beeinflusst. Ist die Eingabe „schlecht“, wird die Ausgabe ebenfalls „schlecht“ sein.
  • Die meisten Kameras, die heutzutage für Maschinelles Sehen verwendet werden, wurden ursprünglich für menschliches Sehen oder menschlichen Empfang und nicht für Maschinelles Sehen entwickelt. Algorithmen des Maschinellen Sehens betrachten ein Bild anders als die Augen eines Menschen. So sind beispielsweise harte Kanten für das menschliche Auge nicht wünschenswert, also versuchen Digitalkamera-Bildverarbeitungsketten (z.B. Nachbearbeitungsschritte der Rohdaten des Bildsensors) diese harten Kanten aufzuweichen. Für Maschinelles Sehen sind harte Kanten wünschenswert, um die Kanten zu erkennen und die meisten Anwendungen des Maschinellen Sehens führen als ersten Schritt eine Kantendetektion durch (die das Gegenteil der Bildaufweichung der Bildverarbeitungskette darstellt). Daher ist das Aufweichen der harten Kanten in der Bildverarbeitungskette einer Kamera für Anwendungen des Maschinellen Sehens kontraproduktiv. Ähnlich ist es bei Farbabgleicheinstellungen: Einstellungen für das menschliche Sehen werden bei Anwendungen des Maschinellen Sehens zurückgesetzt oder sind für diese unerwünscht.
  • Zusätzlich dazu erfassen für das menschliche Sehen optimierte Kameras aufgrund der hinter der Linse und vor dem Sensor angebrachten Filter lediglich sichtbares Licht (Rot-, Grün- und Blaukomponenten). Für Anwendungen des Maschinellen Sehens können nützliche Daten in den Ultraviolett- (UV-) und Infrarot- (IR-) Spektren liegen. Blaue Wellenlängen sind für Anwendungen des Maschinellen Sehens weniger wichtig, da die meisten Bilder blaue Komponenten aufgrund der Interaktion zwischen Licht und dem Sauerstoff in unserer Atmosphäre aufweisen. Infolgedessen ist die blaue Information weniger wichtig.
  • Schließlich liefern der Linsenblickwinkel und die Sensorauflösungen der meisten Kameras nicht genügend Pixel für komplexe Anwendungen des Maschinellen Sehens. Anwendungen des Maschinellen Sehens erfordern oft eine Mindestpixelgröße für verarbeitbare Pixel. Wenn die Pixelanzahl eines Objekts unter den Anforderungen liegt, wird die Genauigkeit der Anwendungen des Maschinellen Sehens verringert. Beispielsweise kann es sein, dass für die Fußgängererkennung, für unterschiedliche Algorithmen des Maschinellen Sehens, die Breite eines „Fußgängers“ in Pixel größer als 64 Pixel sein muss. Wenn ein Gegenstand weniger als 64 Pixel ausmacht, kann das Objekt mitunter nicht als Fußgänger erkannt werden. Als weiteres Beispiel ist Gesichtserkennung zu berücksichtigen. Wenn das Objekt kleiner als 32 Pixel ist, kann es mitunter nicht als Gesicht erkannt werden. Durch den flachen Blickwinkel können Objekte mitunter nur erkannt werden, wenn sie sehr nahe an der Kamera sind.
  • In manchen Beispielen sind Systeme, Verfahren, Kameravorrichtungen und maschinenlesbare Medien offenbart, die diese Defizite überwinden. In manchen Beispielen ist ein Kameragerät offenbart, das eine Vielzahl an Linsen vorsieht, wobei sich zumindest ein Teil des Sichtfelds jeder Linse im Brennpunkt mit einem Teil des Sichtfelds im Brennpunkt mit zumindest einer anderen Linse überschneidet. In manchen Beispielen sieht das Kameragerät eine Vielzahl an Linsen vor, wobei sich zumindest ein Teil des Sichtfelds jeder Linse im Brennpunkt mit einem Teil eines Sichtfelds im Brennpunkt von 2, 3, 4, 5 oder mehr anderen Linsen, je nach Konfiguration, überschneidet.
  • Beispielsweise sind in manchen Konfigurationen zumindest zwei Zeilen und zumindest zwei Spalten an Linsen offenbart, wobei jede Linse sich teilweise überschneidende Sichtfelder mit zumindest drei anderen Linsen aufweist. Jede Linse kann einem einzelnen Bildsensor entsprechen oder sie kann einem speziellen Abschnitt eines Bildsensors entsprechen. In Ausführungsformen, in denen jede Linse einem einzelnen Bildsensor entspricht, kann die Vielzahl an Bildern zusammengefügt werden, um ein größeres Bild zu ergeben. Die sich überschneidenden Sichtfelder helfen beim Zusammenfügen des Bildes und können zusätzliche Tiefeninformationen bereitstellen, um eine dreidimensionale Tiefe des Bildes zu bestimmen. Zusätzlich dazu können die Linsen in manchen Beispielen auf einer gekrümmten Fläche angebracht werden, um ein breiteres Sichtfeld als bei anderen Multi-Kamera-Systemen zu ermöglichen. Dieses Kamerasystem kann für ein breiteres Sichtfeld sorgen und die Linsen können für die gewünschte Brennweite optimiert werden, sodass sämtliche Objekte, die von Anwendungen des Maschinellen Sehens erkannt werden sollen, in einer für die Erkennung geeigneten Größe erscheinen. Beispielsweise durch die Verwendung mehrerer Bildsensoren.
  • Darüber hinaus sind in manchen Beispielen optimierte Farbfilteranordnungen (wie Bayer-Filter) offenbart, die dafür sorgen, dass ultraviolettes (UV-) und/oder Infrarot- (IR-)Licht den Bildsensor an einer oder mehreren Pixelstellen des Bildgebungssensors berühren, um UV- und/oder IR-Daten zu generieren. Herkömmliche Farbfilter filtern jedes Licht außer rotem, grünem oder blauem Licht an der jeweiligen Stelle des Matrixfilters über dem Bildsensor. Die zusätzlichen Informationen auf den UV- oder IR-Spektren können Anwendungen des Maschinellen Sehens bei der Objekterkennung helfen. Beispielsweise zeigen IR-Daten Wärme an und können zur Identifikation von Objekten genutzt werden, die wärmer als die Umgebungsatmosphäre sind (wie einer Person oder einem Tier).
  • Ferner sind in anderen Beispielen optimierte Bildverarbeitungsketten offenbart, die Daten auf eine Art verarbeiten, die besser für die Analyse des Maschinellen Sehens ist. In manchen Beispielen werden herkömmliche Bildverarbeitungsblöcke umgangen oder können umgangen werden. Beispielsweise sind die speziellen Bildverarbeitungsblöcke, die in einem bestimmten Fall anzuwenden sind, konfigurierbar. In anderen Beispielen können neue Bildverarbeitungsketten und -funktionen speziell für Anwendungen des Maschinellen Sehens eingebracht werden. Beispielsweise werden Rauschunterdrückungs-, Farbkorrektur- und Komprimierungsblöcke entfernt oder umgangen. In manchen Beispielen, in denen mehrere Sensoren eingesetzt werden (z.B. das offenbarte Kameragerät - s. 1), kann ein Belichtungsbestimmungsalgorithmus auf alle Sensoren des Geräts angewendet werden, um für die gleichen Belichtungswerte bei allen zu sorgen. In anderen Beispielen, in denen mehrere Sensoren eingesetzt werden, kann ein geometrischer Verzerrungskompensationsblock angewendet werden, der die Verzerrung eines Objekts durch leicht unterschiedliche Blickwinkel und Kamerapositionierung kompensiert. In wieder anderen Beispielen können ein Bildzusammenfügungsblock, um Bilder von verschiedenen Sensoren zusammenzufügen, ein Stabilisierungsblock, um viele Bilder zu stabilisieren und dergleichen angewendet werden. In wieder weiteren Beispielen können ein Gradientenhistogramm, Harris Ecken-Detektion, und andere Blöcke angewendet werden.
  • Es versteht sich, dass eine oder mehrere dieser Verbesserungen (z.B. das Kameragerät, Farbfilter und Bildgebungsverarbeitungsketten) alleine oder in Kombination verwendet werden können. Beispielsweise kann das Kameragerät aus 1 mit dem Farbfilter und/oder der verbesserten Bildverarbeitungskette des Maschinellen Sehens angewendet werden. Als weiteres Beispiel kann der Farbfilter in einer Einzellinsen-Kamera, gegebenenfalls mit den verbesserten Bildverarbeitungsketten des Maschinellen Sehens genutzt werden. Als weiteres Beispiel können die verbesserten Bildverarbeitungsketten des Maschinellen Sehens die normale Bildverarbeitungskette einer normalen Digitalkamera ersetzen oder als Alternative zu dieser verwendet werden, oder mit der verbesserten Farbfilteranordnung oder dem verbesserten Kameragerät aus 1 genutzt werden. Wie hierin verwendet, können die offenbarten Verbesserungen auf digitalen Standbild-, Video- oder Kombinationen aus digitalen Standbild- und Videokameravorrichtungen genutzt werden.
  • In 1 wird eine Bilderfassungsvorrichtung in Form eines Digitalkamerageräts 1000 gezeigt. Bei Digitalkameragerät 1000 kann es sich um eine Standbild-, Video- oder eine Kombination aus Standbild- und Videokamera handeln. Linsenmontagefläche 1020 ist zwischen der oberen Fläche 1030 und der unteren Fläche 1040 angeordnet. Wie in 1. illustriert, ist die Linsenmontagefläche 1020 gekrümmt und das Digitalkameragerät 1000 ist in zylindrischer Form. In manchen Beispielen kann die Linsenmontagefläche 1020 flach sein. In manchen Beispielen kann die Fläche im hinteren Teil des Geräts (nicht gezeigt) gegenüber der Linsenmontagefläche 1020 flach sein (d.h. das Digitalkameragerät 1000 kann mitunter nur an der vorderen Linsenmontagefläche 1020 gekrümmt sein). Linsen 1050, 1060, 1070, 1080, 1090, 1100, 1110, 1120, 1130 und 1140 sind, wie gezeigt, in zwei Zeilen und 5 Spalten angeordnet. In manchen Beispielen können, wie bereits erwähnt, mehr oder weniger Linsen eingesetzt werden. Beispielsweise zwei Zeilen und zwei Spalten, drei Zeilen und zwei Spalten, drei Zeilen und drei Spalten und dergleichen.
  • In 2 ist ein Diagramm des Sichtfelds der unterschiedlichen Linsen des Kamerageräts 1000 im Brennpunkt, gemäß manchen Beispielen der vorliegenden Offenbarung, gezeigt. Das Sichtfeld von Linse 1130 wird durch das quadratische Bild 2030 mit einer gewünschten Brennweite dargestellt. Linse 1140 verfügt über ein Sichtfeld, das durch das quadratische Bild 2080 dargestellt wird. Überschneidungsbereich 2040 ist ein Bereich des quadratischen Bilds 2030 und des quadratischen Bilds 2080, in dem sich die Sichtfelder der Linsen 1130 und 1140 zumindest teilweise überschneiden. Ähnlich dazu verfügt Linse 1120 über ein Sichtfeld, das vom quadratischen Bild 2100 dargestellt wird und Linse 1110 über ein Sichtfeld, das vom quadratischen Bild 2090 dargestellt wird. Überschneidungsbereich 2110 ist ein Bereich der quadratischen Bilder 2090 und 2100, in dem sich die Sichtfelder der Linsen 1110 und 1120 überschneiden. Zusätzlich dazu ist Überschneidungsbereich 2070 ein Bereich der quadratischen Bilder 2090 und 2080, in dem sich die Sichtfelder der Linsen 1110 und 1140 überschneiden. Überschneidungsbereich 2050 ist ein Bereich der quadratischen Bilder 2100 und 2030, in dem sich die Sichtfelder der Linsen 1130 und 1120 überschneiden. Überschneidungsbereich 2060 ist ein Bereich der quadratischen Bilder 2030, 2080, 2100 und 2090, in dem sich die Sichtfelder der Linsen 1110, 1120, 1130 und 1140 überschneiden. Während quadratische Sichtfelder genutzt werden, um die Überschneidungsabdeckungen der Linsen zu schematisieren, wird es sich für Fachleute verstehen, dass rechteckige Sichtfelder, runde Sichtfelder und andere Formen genutzt werden können.
  • Linse 1090 verfügt über ein Sichtfeld im Brennpunkt, das durch das quadratische Bild 2120 dargestellt wird, Linse 1100 verfügt über ein Sichtfeld, das durch das quadratische Bild 2130 dargestellt wird. Überschneidungsbereich 2150 ist ein Bereich der quadratischen Bilder 2120 und 2130, in dem sich die Sichtfelder der Linsen 1090 und 1100 überschneiden. Überschneidungsbereich 2140 ist ein Bereich der quadratischen Bilder 2120 und 2100, in dem sich die Sichtfelder der Linsen 1090 und 1120 überschneiden. Überschneidungsbereich 2170 ist ein Bereich der quadratischen Bilder 2130 und 2090, in dem sich die Sichtfelder der Linsen 1110 und 1100 überschneiden. Überschneidungsbereich 2160 ist ein Bereich der quadratischen Bilder 2120, 2130, 2090 und 2100, in dem sich die Sichtfelder der Linsen 1110, 1100, 1120 und 1090 überschneiden. Es versteht sich, dass die Anzahl der sich überschneidenden Sichtfelder variieren kann und die Schnittmenge (in Bezug auf Pixel) konfigurierbar ist und variieren kann.
  • Daher kann im Beispielgerät von 1 eine bestimmte Linse einen oder mehrere Überschneidungsbereiche in ihrem Sichtfeld mit einer oder mehreren Linsen aufweisen. Im Beispiel von 1 weisen alle Linsen zumindest drei Überschneidungsbereiche auf, wobei manche Linsen in den inneren Spalten fünf Überschneidungsbereiche aufweisen. Beispielsweise teilt Linse 1120 sich überschneidende Sichtfelder mit Linsen 1110, 1090, 1100, 1140 und 1130. Es versteht sich, dass die Sichtfeldüberschneidungen durch das Einstellen der Linsenwinkel in Bezug auf einander im gewünschten Brennpunkt eingestellt werden können. Beispielsweise können die Winkel so eingestellt werden, dass für eine bestimmte Linse nur zwei Überschneidungsbereiche ermöglicht werden.
  • In 3 sind Farbfilteranordnungen 3000, 3100 und 3200 gemäß manchen Beispielen der vorliegenden Offenbarung veranschaulicht. Um Farbinformationen zu erhalten, ist ein Bildsensor üblicherweise mit einer Farbfilteranordnung überzogen, bei der es sich um eine Rasteranordnung kleinster Farbfilter (z.B. Elemente) handelt, die über den Pixelsensoren eines Bildsensors angebracht ist, um Farbinformationen zu erfassen. Die Farbfilter filtern alle (oder im Wesentlichen alle) Wellenlängen, bis auf die gewünschten Wellenlängen heraus. Die Farbfilteranordnung wird benötigt, da Fotosensoren üblicherweise nur Lichtintensität jedoch keine Informationen über die Wellenlänge erfassen. Indem alle Informationen bis auf eine spezielle Wellenlänge herausgefiltert werden, kann der Sensor eine Intensität der speziellen Wellenlänge, die durch den Filter gelassen wurde, bestimmen und somit Farbinformationen erzeugen. Bei herkömmlichen Kameras für das menschliche Sehen bestehen diese Filter aus roten (R), grünen (G) und blauen (B) Filtern in einem sich wiederholenden Rastermuster, wie beispielsweise in Bezug auf Farbfilteranordnung 3000 (die beispielsweise nur rotes, grünes und blaues Licht - oder im Wesentlichen rotes, grünes und blaues Licht durchlässt) gezeigt.
  • Wie bereits erwähnt, können Informationen über UV- und IR-Wellenlängenintensität in Anwendungen des Maschinellen Sehens nützlich sein. In Farbfilteranordnung 3100 ist der G-Filter in jeder zweiten Reihe der Farbfilteranordnung durch ein „X“ ersetzt. Das X kann entweder ein Filter, der jedes Licht außer UV-Licht herausfiltert oder ein Filter, der jedes Licht außer IR-Licht herausfiltert, sein. Die Wellenlängen von UV-Licht liegen üblicherweise im 10-400 Nanometerbereich, während IR-Wellenlängen üblicherweise im Bereich von 700 nm-1 mm liegen. In Farbfilteranordnung 3200 ist der blaue Filter ersetzt, da blaue Intensitätsinformationen für Anwendungen des Maschinellen Sehens weniger wichtig sind. Der blaue Filter kann durch einen UV- und IR-Filter (in beliebiger Reihenfolge gekennzeichnet mit X und Y) ersetzt werden. Mit R-, G-, B-, UV-, IR-Filter ist gemeint, dass das Licht außerhalb dieser Wellenlängen herausgefiltert wird und nur die bestimmte Komponente übrig bleibt (d.h. der R-Filter filtert im Wesentlichen alle anderen Wellenlängen als die roten Wellenlängen heraus). Fachleute auf dem Gebiet der Erfindung, die von dieser Offenbarung profitieren, werden erkennen, dass andere Anordnungen der unterschiedlichen Filter möglich sind und im Schutzumfang der vorliegenden Offenbarung liegen. Beispielsweise können X und Y UV-Filter sein. Ähnlich dazu kann es sich bei X und Y um IR-Filter handeln. Die in 3 offenbarten IR- und UV-Farbfilteranordnungen können im Kameragerät von den 1 und 2 oder in anderen Digitalkameras genutzt werden.
  • 4 zeigt ein Blockdiagramm von Komponenten einer beispielhaften Digitalkamera 4000, gemäß manchen Beispielen der vorliegenden Offenbarung. Bei Digitalkamera 4000 kann es sich entweder um eine digitale Standbildkamera oder eine digitale Videokamera handeln oder sie kann in der Lage sein, sowohl Standbilder als auch Videos zu machen. In manchen Beispielen werden Tasten oder andere Benutzereingaben 4010 und eine oder mehrere Benutzerausgaben (z.B. LED-Statuslicht (nicht gezeigt)) und Sensoren (Lichtsensoren) geprüft und von einer Steuerung 4020 verwaltet. Beispieltasten 4010 können Obj ektivsteuerungstasten, Verschlusssteuerungstasten, Belichtungssteuerungstasten und dergleichen umfassen. Steuerung 4020 steuert Motorantriebe 4030, die Motoren 4040 antreiben, die das Objektiv 4050 einstellen. Zusätzlich dazu kann die Steuerung 4020 den Blitz 4060 oder andere Lichtquellen, basierend auf den Benutzereinstellungen und in manchen Beispielen auf den umgebenden Lichtverhältnissen (wie vom Lichtsensor erfasst) aktiviert werden. Steuerung 4020 kommuniziert mit (und führt Befehle aus von) dem Prozessor 4070. Licht tritt durch die Linse und trifft den Sensor 4080 (nachdem es von einer Farbfilteranordnung ausgefiltert wurde) auf einem oder mehreren Pixeln. Die Daten werden dann an den Prozessor 4070 gesendet. Audioeingabe 4110 (z.B. von einem Mikrophon) wird von einer Audiosteuerung 4090 empfangen und an den Prozessor 4070 gesendet. Audioausgabe wird vom Prozessor 4070 an Audiosteuerung 4090 gesendet an eine Audioausgabe 4100 (z.B. Lautsprecher) ausgegeben.
  • Prozessor 4070 bearbeitet die vom Sensor 4080 empfangenen Audio- und Bilddaten in einer Bildverarbeitungskette nach. Die Bildverarbeitungskette wird in Bezug auf 5 und 6 erklärt werden. Sobald das Bild verarbeitet ist, kann es im Speicher 4120 (z.B. eine SD-Karte, geräteinterner Direktzugriffsspeicher (RAM), Solid-State-Festplatte oder dergleichen) abgespeichert werden. Prozessor 4070 kann mit einer oder mehreren Schnittstellensteuerungen 4130 kommunizieren. Schnittstellensteuerungen 4130 können Schnittstellen, wie eine Universal Serial Bus- (USB-) Schnittstelle, eine High Definition Multimedia-Schnittstelle (HDMI), periphere Komponentenschnittstelle (PCI) und dergleichen, steuern.
  • Prozessor 4070 kann mit der Anzeigensteuerung 4140, die eine oder mehrere Anzeigen 4150 steuern kann, kommunizieren. Anzeige 4150 kann Flüssigkristallanzeigen (LCDs), Leuchtdioden- (LED-) Anzeigen, Anzeigen mit organischer Aktivmatrix-Leuchtdiodenvorrichtung (AMOLED) und dergleichen umfassen. Anzeige 4150 kann ein oder mehrere Menüs anzeigen, die Eingabe eines oder mehrerer Befehle zulassen, das Ändern von einer oder mehreren Bilderfassungseinstellungen zulassen und dergleichen. Bei Anzeige 4150 kann es sich um eine Touchscreen-Anzeige handeln. Anzeige 4150 kann mit Tasten 4010 eine Benutzerschnittstelle umfassen. Zusätzlich dazu können andere Eingabe- und Ausgabevorrichtungen bereitgestellt werden (z.B. durch Schnittstellensteuerungen 4130 oder andere Komponenten), wie eine Maus, eine Tastatur, ein Trackball und dergleichen.
  • Digitalkamera 4000 kann in einem anderen Gerät enthalten oder Teil davon sein. Beispielsweise kann die Digitalkamera 4000 Teil eines Smartphones, Tablets, Laptops, PCs oder eines anderen Computers sein. In diesen Beispielen können die Komponenten unterschiedliche Funktionen erfüllen. Beispielsweise kann der Prozessor 4070 die zentrale Verarbeitungseinheit (CPU) des Computers darstellen. Zusätzlich dazu ist die Anordnung der Komponenten in 4 beispielhaft und andere Anordnungen und ein anderer Aufbau werden beabsichtigt. In manchen Beispielen können die Komponenten von 4 in der Kamera von 1 genutzt werden. In diesen Beispielen können zusätzliche Komponenten (z.B. zusätzliche Bildsensoren und Linsen) hinzugefügt werden, um die große Anzahl an Linsen und Sensoren zu unterstützen. Zusätzlich dazu können mehrere Prozessoren und Eingabetasten und Ausgabeanzeigen eingesetzt werden, um die zusätzlichen Linsen zu unterstützen. In anderen Beispielen kann jede Linse von 1 eine eigene Digitalkamera 4000 sein und ihre Ausgaben können von einer Bildverarbeitungskette außerhalb des Prozessors 4070 verarbeitet werden.
  • In 5 wird ein Blockdiagramm einer beispielhaften Bildgebungsverarbeitungskette, gemäß manchen Beispielen der vorliegenden Offenbarung, gezeigt. Linse 4050 fokussiert Licht in den Sensor 4080. Sensor 4080 kann einen Bildsensor 5010 (z.B. CCD- oder CMOS-Sensor) und eine Farbfilteranordnung 5020 umfassen. Bei Farbfilteranordnung 5020 kann es sich um eine der Farbfilteranordnungen (3000, 3100, 3200) aus 3 handeln. Die daraus entstandenen Bilddaten werden in den Prozessor 4070 eingespeist. Dort liest ein Steuerungsmodul 5030 Konfigurationsdaten 5040. Konfigurationsdaten 5040 können null oder mehrere Nachbearbeitungsoperationen, die auf die Daten angewendet werden und in welcher Reihenfolge die Operationen durchzuführen sind, spezifizieren. Konfigurationsdateien 5040 können statisch definiert (z.B. während der Herstellung) oder z.B. mittels Tasten 4010, Touchscreen-Anzeige (z.B. 4150) konfiguriert oder über eine oder mehrere externe Schnittstellen empfangen werden. Steuerungsmodul 5030 kann die Bilddaten zu den festgelegten Nachbearbeitungsoperationen in festgelegter Reihenfolge leiten. Beispiele für Nachbearbeitungsoperationen umfassen:
    • • 5050 Schwarzwerteinstellungen - gleicht die Aufhellung dunkler Bildbereiche und den wahrgenommenen Verlust des Gesamtkontrasts ab. In manchen Beispielen wird jedes Pixel des Bildsensors überprüft und der aus dem Pixel abgelesene Wert (jeder R-, G-, B-Wert) wird dann mit einem bestimmten Wert abgeglichen, um ein einheitliches Ergebnis zu erzielen.
    • • 5060 Rauschunterdrückung - diese Anpassungen entfernen Rauschen im Bild, indem das Bild weicher gemacht wird. Beispielsweise indem ähnliche benachbarte Pixel (durch einen Grenzwert definierte ähnliche Pixel) angeglichen werden.
    • • 5070 Weißabgleicheinstellungen - diese Einstellungen regulieren die relative Intensität der RGB-Werte, sodass neutrale Töne neutral wirken. In einem Beispiel kann das durch die Multiplikation jedes R-, G- und B-Wertes mit einem unterschiedlichen Weißabgleichkoeffizienten erreicht werden.
    • • 5080 Gammakorrektur - kompensiert für Nichtlinearität des Ausgabegeräts. Zum Beispiel durch Anwendung der Umformungen: R ' = R 1 / γ   G ' = G 1 / γ   B ' = B 1 / γ
      Figure DE102018203475A1_0001
    • • 5090 RGB-Mischung - gleicht die Unterschiede der Sensorintensität aus, sodass der Sensor-RGB-Farbraum einem Standard-RGB-Farbraum zugeordnet ist. In manchen Beispielen kann das beispielsweise folgendermaßen erreicht werden: (wo Mxy eine festgelegte Konstante darstellt) [ R ' G ' B ' ] = [ M 11 M 12 M 13 M 21 M 21 M 23 M 31 M 31 M 33 ] [ R G B ]
      Figure DE102018203475A1_0002
    • • 5100 Farbfilteranordnung-Interpolation - Da die Farbfilteranordnung nur eine Farbe pro Pixel durchlässt, zielt die Farbfilteranordnung-Interpolation darauf ab, 2 fehlende Farben für jede Stelle zu interpolieren. Beispielsweise mittels Interpolation in der nahen Nachbarschaft.
    • • 5110 RGB-zu-YCC-Konvertierung - trennt die Luminanzkomponente Y von den Farbkomponenten. Das wird durch die Anwendung einer Standardformel erreicht: ( Y C b C r ) = [ 0,2989 0,5866 0,1145 − 0,1687 − 0,3312 0,500 0,5000 − 0,4183 − 0,0816 ] x ( R G B )
      Figure DE102018203475A1_0003
    • • 5120 Kantenverstärkung - wendet Kantenverstärkungsfilter an, um das Bild zu schärfen.
    • • 5130 Kontrastverstärkungen erhöhen oder verringern den Bereich zwischen der maximalen und der minimalen Pixelintensität in einem Bild.
    • • 5140 Falschfarbenunterdrückung - diese Verbesserung bezieht sich auf ein Problem der Farbfilteranordnung-Interpolation, bei der viele der interpolierten Bilder am Bildrand falsche Farben aufweisen. In manchen Beispielen kann ein Medianfilter eingesetzt werden, um die falschen Farben zu unterdrücken.
  • In einem Beispiel ist eine übliche Verarbeitungskette für das menschliche Sehen: 1. Schwarzwerteinstellung, 2. Rauschunterdrückung, 3. Weißabgleicheinstellung, 4. Farbfilteranordnung-Interpolation, 5. RGB-Mischung, 6. Gammakorrektur, 7. RGB-zu-YCC-Konvertierung, 8. Kantenverstärkung, 9. Kontrastverstärkung, 10. Falschfarbenunterdrückung. In anderen Beispielen für Bildgebungsanwendungen des Maschinellen Sehens können ein oder mehrere der erwähnten Punkte umgangen werden. Beispielsweise kann eine für Bildgebungsanwendungen des Maschinellen Sehens optimierte Verarbeitungskette mitunter keine Rauschunterdrückung, Farbkorrektur oder Blockkomprimierungen umfassen.
  • In 6 ist ein Blockdiagramm einer beispielhaften für Maschinelles Sehen optimierten Bildgebungsverarbeitungskette, gemäß manchen Beispielen der vorliegenden Offenbarung, dargestellt. Diese Bildverarbeitungskette kann anstelle von oder zusätzlich zu der Bildverarbeitungskette von 5 genutzt werden (z.B. kann der Benutzer die spezielle Verarbeitungskette durch die Konfigurationsdatei auswählen). Linse 4050 fokussiert Licht in den Sensor 4080. Sensor 4080 kann einen Bildsensor 6010 und einen Farbfilter 6020 umfassen. Farbfilter 6020 kann eine der Farbfilteranordnungen aus 3 sein, wie 3000, 3100 und 3200.
  • Die dadurch entstandenen Bilddaten werden dem Prozessor 4070 zugeführt. Dort liest ein Steuerungsmodul 6030 Konfigurationsdaten 6040. Steuerungsmodul 6030 kann an allen Sensoren 4080 eine durchgängige Belichtungssteuerung 6035 anwenden. Konfigurationsdaten 6040 können null oder mehrere Nachbearbeitungsoperationen spezifizieren, die an den Daten anzuwenden sind und in welcher Reihenfolge die Operationen durchzuführen sind. Konfigurationsdaten 6040 können statisch definiert (z.B. während der Herstellung) oder z.B. mittels Tasten 4010 oder Touchscreen-Anzeige (z.B. 4150) konfiguriert werden. Steuerungsmodul 6030 kann die Bilddaten zu den festgelegten Nachbearbeitungsoperationen in der festgelegten Reihenfolge leiten. Beispiele für Nachbearbeitungsoperationen umfassen:
    • • Geometrische Verzerrungskompensation (GVK) 6050 - dieser Block kann die geometrische Verzerrung von Objekten ausgleichen. In manchen Beispielen kann das durch die gekrümmte Oberfläche einer Multilinsenkamera, wie jene in Bezug auf 1 beschriebene, erzielt werden. In manchen Beispielen kann das durch die Anwendung einer vorausgleichenden entgegengesetzten Verzerrung auf das Bild erreicht werden. In manchen Beispielen können radiale (Tonnen- oder Fischaugeneffekte) und tangentiale Verzerrung korrigiert werden. Beispielsweise mithilfe des Brown-Conrady-Modells, das sowohl radiale als auch tangentiale Verzerrung korrigiert.
    • • Bildzusammenfügung 6060 - dieser Block kann Bilder mehrerer Kameras (z.B. die in Bezug auf 1 beschriebenen Multilinsenkameras) zusammenfügen. Beispielsweise können Schlüsselelemente in jedem Bild erkannt werden und lokale invariante Deskriptoren aus den Eingabebildern extrahiert werden. Dann können die Deskriptoren zwischen zwei Bildern abgeglichen werden. Mithilfe eines Random Sample Consensus-(RANSAC-) Algorithmus kann eine Homographiematrix mithilfe der abgeglichen Merkmalsvektoren geschaffen werden und dann kann mithilfe der Homographiematrix eine Verformungsumwandlung angewendet werden.
    • • Bildstabilisierung 6070 - diese korrigiert Unschärfe, die mit Bewegung (entweder von der Kamera oder den erfassten Bildern) während der Belichtung zusammenhängt. In der Standbildfotografie kann Bildstabilisierung eingesetzt werden, um kürzere Verschlusszeiten (und somit ein helleres Bild) ohne die begleitende Unschärfe zu erzielen. Das ist auch bei Videos zweckdienlich. Beispielhafte Verfahren umfassen Bewegungsschätzung und Bewegungskompensation.
    • • Gradientenhistogramm 6080 - dieser Block zählt das Auftreten von Gradientausrichtung in eingegrenzten Abschnitten eines Bildes. Beispielsweise durch die Verarbeitung von Gradientwerten (z.B. durch die Anwendung einer 1-D zentrierten punktdiskreten Ableitungsmaske in einer oder beiden der horizontalen und vertikalen Richtungen), durch das Erstellen von Zellenhistogrammen (Verlaufsklasseneinteilung), durch das Erstellen von Deskriptorblöcken, Blocknormalisation und dann das Zuführen der Deskriptoren zu einem überwachten Lernmodell (z.B. eine Unterstützungsvektormaschine SVM).
    • • Harris & Stephens-Eckendetektion 6090 - dieser Block extrahiert Merkmale aus dem Bild, indem Ecken erkannt werden. Das kann als gefensterter Unterschied eines Gesamtbilds mit einem verschobenen Gesamtbild verarbeitet werden.
    • • Andere Funktionen 6100 können einen oder mehrere andere Verarbeitungsblöcke umfassen, zum Beispiel jeden Block aus 5 (z.B. einen oder mehrere der Blöcke 5050-5140).
  • In einem Beispiel können Konfigurationsdaten 6040 eine Verarbeitungskette aus 1. Geometrischer Verzerrungskorrektur 6050 - 2. Bildzusammenfügung 6060 - 3.Stabilisierung 6070 anwenden. Nachdem diese beendet sind, können eine oder mehrere der Gradientenhistogrammverarbeitungsschritte 6080, Harris Ecken-Detektion 6090 und andere Funktionen 6100 ebenfalls durchgeführt werden.
  • 7 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 7000 des Prozessors, der die Bildverarbeitungskette aus 6 durchführt. Bei Verarbeitungsschritt 7010 werden die Bilddaten empfangen. Die Bilddaten können in einem von vielen möglichen Formaten erscheinen, beispielsweise mit einem oder mehreren (R-, G-, B-) Werten entsprechend der Pixel des Sensors. Falls mehrere Linsen oder Sensoren vorhanden sind, kann der Prozessor bei Verarbeitungsschritt 7020 geometrische Verzerrungskompensationen und bei Verarbeitungsschritt 7030 Zusammenfügung anwenden. In manchen Beispielen kann der Prozessor, selbst wenn nur eine Linse oder ein Sensor vorhanden ist, dennoch bei Verarbeitungsschritt 7020 geometrische Verzerrungskompensation anwenden. Bei Verarbeitungsschritt 7040 wird Bildstabilisierung angewendet. Zusätzliche Verarbeitungsschritte können alternativ dazu und in jeglicher Reihenfolge angewendet werden, wie Gradientenhistogramm bei Verarbeitungsschritt 7050, Harris Ecken-Detektion bei Verarbeitungsschritt 7060 und andere Funktionen bei Verarbeitungsschritt 7070 (wie eine oder mehrere Funktionen aus 5). Die Ausgabe wird dann erzeugt 7080. Unterschiedliche Reihenfolgen und Kombinationen der Verarbeitungsschritte können durch die Konfigurationsdaten spezifiziert werden.
  • 8 zeigt ein Flussdiagramm eines Verfahrens 8000 zur Bilderfassung, gemäß manchen Beispielen der vorliegenden Offenbarung. Bei Verarbeitungsschritt 8010 empfängt das Gerät durch eine oder mehrere Linsen Licht. Bei Verarbeitungsschritt 8020 wird das Licht durch eine Farbfilteranordnung gelenkt, die UV und/oder IR durch zumindest eine Pixelstelle des Bildsensors lässt. Beispielsweise eine Farbfilteranordnung wie 3100 oder 3200 von 3. Das gefilterte Licht wird dann bei Verarbeitungsschritt 8030 zu einem Lichtsensor, wie einem CCD- oder einem CMOS-Sensor gelenkt. In manchen Beispielen wird der Sensor bei Verarbeitungsschritt 8040 für ein oder mehrere Pixel abgelesen. Diese Sensordaten können dann aus dem Gerät ausgegeben oder durch Anwendung eine oder mehrerer Algorithmen in einer Verarbeitungskette, wie in 5 und 6 gezeigt, nachbearbeitet werden.
  • 9 zeigt ein Flussdiagramm eines Verfahrens 9000 zur Bilderfassung, gemäß manchen Beispielen der vorliegenden Offenbarung. Bei Verarbeitungsschritt 9010 empfängt das Gerät durch zumindest vier Linsen Licht, wobei jede Linse ein Sichtfeld in einem Brennpunkt hat, das sich zumindest teilweise mit einem Abschnitt eines Sichtfelds von zumindest drei anderen Linsen überschneidet. In manchen Beispielen können die Linsen (und Sensoren) auf einer gekrümmten Fläche angeordnet sein. Bei Verarbeitungsschritt 9020 kann das Licht durch eine Farbfilteranordnung, zum Beispiel eine Farbfilteranordnung wie 3000, 3100 oder 3200 von 3 gelenkt werden. Während hierin die Verwendung einer Farbfilteranordnung beschrieben wird, können in anderen Beispielen andere Verfahren zur Farbtrennung, zum Beispiel ein Foveon X3-Sensor, ein 3CCD-Sensor oder dergleichen, angewendet werden. Das gefilterte Licht wird dann bei Verarbeitungsschritt 9030 zu einem Lichtsensor, wie einem CCD- oder CMOS-Sensor gelenkt. In manchen Beispielen wird das Licht von jeder Linse zu einem diskreten Sensor gelenkt. In anderen Beispielen können mehrere Linsen das Licht auf die gleichen oder unterschiedliche Stellen eines gleichen Sensors fokussieren. In manchen Beispielen kann eine Einzellinse Licht auf mehrere Sensoren fokussieren. In manchen Beispielen wird der Sensor bei Verarbeitungsschritt 9040 auf ein oder mehrere Pixel abgelesen. Diese Sensordaten können dann aus dem Gerät ausgegeben oder durch Anwendung eines oder mehrerer Algorithmen in einer Verarbeitungskette bei Verarbeitungsschritt 9050, wie in 5 und 6 dargestellt, nachbearbeitet werden.
  • 10 veranschaulicht ein Blockdiagramm einer beispielhaften Maschine 10000, auf der jedes oder mehrere der hierin besprochenen Verfahren (z.B. Methodiken) durchgeführt werden können. In alternativen Ausführungsformen kann die Maschine 10000 als eigenständiges Gerät arbeiten oder mit anderen Maschinen verbunden (z.B. vernetzwerkt) sein. In einer Netzwerkanwendung kann die Maschine 10000 als Server-Maschine, Client-Maschine oder beidem in Server-Client-Netzwerkumgebungen agieren. In einem Beispiel kann die Maschine 10000 als Peer-Maschine in einer Peer-to-Peer- (P2P-) (oder anders verteilten) Netzwerkumgebung agieren. Bei der Maschine 10000 kann es sich um eine Digitalkamera (z.B. Digitalkamera 1000, 4000), einen Personal Computer (PC), einen Tablet-PC, eine Set-Top-Box (STB), einen Personal Digital Assistant (PDA), ein Mobiltelefon, ein Smartphone, eine Webanwendung, einen Netzwerk-Router, eine Netzwerkweiche oder -brücke oder jede andere Maschine handeln, die in der Lage ist, Anweisungen umzusetzen (der Reihe nach oder anderweitig), die Schritte festlegen, die von der Maschine ausgeführt werden sollen. In manchen Beispielen kann die Maschine 10000 die Farbfilteranordnungen 3000, 3100 oder 3200 umfassen. In manchen Beispielen kann die Maschine 10000 die in 5 und 6 gezeigten Verarbeitungsketten ausführen. In manchen Beispielen kann die Maschine 10000 die Verfahren von 8 und 9 durchführen. Ferner soll, während nur eine einzige Maschine gezeigt wird, der Begriff „Maschine“ jede Zusammensetzung von Maschinen umfassen, die alleine oder gemeinschaftlich ein Set (oder mehrere Sets) an Befehlen ausführen, um eines oder mehrere der hierin besprochenen Verfahren durchzuführen, wie Cloud-Computing, Software-as-a-Service (SaaS) oder andere Computer Cluster-Konfigurationen.
  • Beispiele, wie hierin beschrieben, können Logik, oder eine Reihe an Komponenten, Modulen oder Mechanismen umfassen oder sich dieser bedienen. Module sind materielle Einheiten (z.B. Hardware), die in der Lage sind, festgelegte Arbeitsschritte durchzuführen und die in einer bestimmten Art konfiguriert oder angeordnet sein können. In einem Beispiel können Schaltungen auf eine spezifizierte Weise als Modul angeordnet sein (z.B. intern oder in Bezug auf äußere Einheiten wie andere Schaltungen). In einem Beispiel können das ganze oder ein Teil eines oder mehrerer Computersysteme (z.B. ein eigenständiges, ein Client- oder ein Server-Computersystem) oder ein oder mehrere Hardwareprozessoren durch Firmware oder Software (z.B. Befehle, Teil einer Anwendung oder eine Anwedung) als ein Modul konfiguriert sein, das arbeitet, um spezielle Arbeitsschritte durchzuführen. In einem Beispiel kann sich die Software auf einem maschinenlesbaren Medium befinden. In einem Beispiel veranlasst die Software, wenn sie von der zugrundeliegenden Hardware des Moduls ausgeführt wird, dass die Hardware die spezifizierten Arbeitsschritte durchführt.
  • Dementsprechend wird der Begriff „Modul“ so verstanden, dass er eine materielle Einheit umfasst, wobei es sich dabei um eine physisch konstruierte, eine speziell konfigurierte (z.B. festverdrahtete) oder temporär (z.B. vorübergehend) konfigurierte (z.B. programmierte) Einheit handeln kann, um auf eine bestimmte Art zu arbeiten oder beliebige der hierin beschriebenen Arbeitsschritte teilweise oder vollständig durchzuführen. Bei Beispielen, in denen Module temporär konfiguriert sind, muss nicht jedes Modul zu jedem Zeitpunkt instanziiert sein. Beispielsweise, wenn die Module einen mittels Software konfigurierten Universalhardwareprozessor umfassen, kann der Universalhardwareprozessor als jeweils anderes Modul zu unterschiedlichen Zeiten konfiguriert werden. Dementsprechend kann Software einen Hardwareprozessor konfigurieren, zum Beispiel, um ein bestimmtes Modul zu einem bestimmten Zeitpunkt und ein anderes Modul zu einem anderen Zeitpunkt zu erzeugen.
  • Maschine (z.B. Computersystem) 10000 kann einen Hardwareprozessor 10002 (z.B. eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Hardwareprozessorkern oder jede Kombination davon), einen Hauptspeicher 10004 und einen statischen Speicher 10006 umfassen, von denen manche oder alle miteinander über ein Zwischenglied (z.B. einen Bus) 10008 kommunizieren können. Die Maschine 10000 kann ferner eine Anzeigeeinheit 10010, ein alphanumerisches Eingabegerät 10012 (z.B. eine Tastatur) und ein Benutzerschnittstellennavigationsgerät 10014 (z.B. eine Maus) umfassen. In einem Beispiel können die Anzeigeeinheit 10010, das Eingabegerät 10012 und das Benutzerschnittstellennavigationsgerät 10014 eine Touchscreen-Anzeige sein. Die Maschine 10000 kann zusätzlich dazu eine Speichervorrichtung (z.B. Festplatteneinheit) 10016, ein Signalerzeugungsgerät 10018 (z.B. ein Lautsprecher), ein Netzwerkschnittstellengerät 10020 und einen oder mehrere Sensoren 10021, wie ein globaler Positionierungssystem- (GPS-) Sensor, Kompass, Beschleunigungssensor, CCD-Sensor, CMOS-Sensor oder andere Sensoren umfassen. Die Maschine 10000 kann eine Ausgabesteuerung 10028, wie einen seriellen (z.B. universeller serieller Bus (USB)), parallelen oder anderen verdrahteten oder drahtlosen (z.B. infraroten (IR), Nahfeldkommunikation (NFC), etc.) Anschluss umfassen, um mit einer oder mehreren Peripherievorrichtungen (z.B. einem Drucker, Kartenleser, etc.) zu kommunizieren oder diese zu steuern.
  • Die Speichervorrichtung 10016 kann ein maschinenlesbares Medium 10022 umfassen, auf dem ein oder mehrere Datenstruktursätze oder Befehlssätze 10024 (z.B. Software) gespeichert sind, die ein oder mehrere beliebige der hierin beschriebenen Verfahren oder Funktionen verkörpern oder von diesen verwendet werden. Die Befehle 10024 können auch vollständig oder zumindest teilweise innerhalb des Hauptspeichers 10004, innerhalb des statischen Speichers 10006 oder innerhalb des Hardwareprozessors 10002 während deren Ausführung durch die Maschine 10000, liegen. In einem Beispiel kann der Hardwareprozessor 10002, der Hauptspeicher 10004, der statische Speicher 10006 oder die Speichervorrichtung 10016 oder jede Kombination davon ein maschinenlesbares Medium darstellen.
  • Obwohl das maschinenlesbare Medium 10022 als Einzelmedium dargestellt wird, kann der Ausdruck „maschinenlesbares Medium“ ein Einzelmedium oder mehrere Medien (z.B. eine zentralisierte oder verteilte Datenbank und/oder damit verbundene Zwischenspeicher und Server) umfassen, die konfiguriert sind, den einen oder die mehreren Befehle 10024 zu speichern.
  • Der Ausdruck „maschinenlesbares Medium“ kann jedes Medium umfassen, das in der Lage ist, Befehle, die von der Maschine 10000 ausgeführt werden und diese veranlassen ein oder mehrere beliebige Verfahren der vorliegenden Offenbarung durchzuführen, zu speichern, zu verschlüsseln oder zu übertragen oder das in der Lage ist, Datenstrukturen, die von solchen Befehlen genutzt werden oder mit diesen verbunden sind, zu speichern, zu verschlüsseln oder zu übertragen. Nichteinschränkende Beispiele für maschinenlesbare Medien können Festkörperspeicher und optische und magnetische Medien umfassen. Spezifische Beispiele für maschinenlesbare Medien können Folgendes umfassen: Nichtflüchtige Speicher wie Halbleiterspeichervorrichtungen (z.B. elektrisch programmierbarer Nur-Lese-Speicher (EPROM), elektrisch löschbarer programmierbarer Nur-Lese-Speicher (EEPROM)) und Flash-Speichervorrichtungen; Magnetplatten, wie interne Festplatten und Wechselplatten; magneto-optische Platten; Direktzugriffsspeicher (RAM); Solid-State-Festplatten (SSD); und CD-ROM und DVD-ROM. In manchen Beispielen können maschinenlesbare Medien nichtflüchtige maschinenlesbare Medien umfassen. In manchen Beispielen können maschinenlesbare Medien, maschinenlesbare Medien umfassen, die kein vorübergehend verbreitendes Signal darstellen.
  • Die Befehle 10024 können ferner über ein Kommunikationsnetzwerk 10026, unter Verwendung eines Übertragungsmediums über das Netzwerkschnittstellengerät 10020, übertragen oder empfangen werden. Die Maschine 10000 kann mit einer oder mehreren anderen Maschinen mittels eines beliebigen mehrerer Übertragungsprotokolle (z.B. Frame Relay, Internetprotokoll (IP), Übertragungssteuerprotokoll (TCP), Benutzerdatengrammprotokoll (UDP), Hypertext-Übertragungsprotokoll (HTTP), etc.) kommunizieren. Exemplarische Kommunikationsnetzwerke können u.a. ein lokales Netzwerk (LAN), ein Großraumnetzwerk (WAN), ein Paketdatennetzwerk (z.B. das Internet), Mobiltelefonnetzwerke (z.B. zellulare Netzwerke), Plain Old Telephone (POTS-) Netzwerke und drahtlose Datennetzwerke (z.B. Institute of Electrical and Electronics Engineers (IEEE) 802.11-Normfamilie bekannt als Wi-Fi®, IEEE 802.16-Normfamilie bekannt als WiMax®), IEEE 802.15.4-Normfamilie, eine Long Term Evolution (LTE-) Normfamilie, eine Universal Mobile Telecommunications System (UMTS-) Normfamilie, Peer-to-Peer (P2P-) Netzwerke umfassen. In einem Beispiel kann das Netzwerkschnittstellengerät 10020 eine oder mehrere physische Buchsen (z.B. Ethernet, Koaxialbuchsen oder Telefonbuchsen) oder eine oder mehrere Antennen umfassen, um mit dem Kommunikationsnetzwerk 10026 verbunden zu werden. In einem Beispiel kann das Netzwerkschnittstellengerät 10020 eine Vielzahl an Antennen umfassen, um drahtlos mittels zumindest eines der Ein-Eingabe-Mehr-Ausgabe- (SIMO-), Mehr-Eingabe-Mehr-Ausgabe- (MIMO-) oder Mehr-Eingabe-Ein-Ausgabe- (MISO-) Verfahren zu kommunizieren. In manchen Beispielen kann das Netzwerkschnittstellengerät 10020 mittels Mehrbenutzer-MIMO-Verfahren drahtlos kommunizieren.
  • ANDERE ANMERKUNGEN UND BEISPIELE
  • Bei Beispiel 1 handelt es sich um eine Bilderfassungsvorrichtung, wobei die Bilderfassungsvorrichtung Folgendes umfasst: zumindest vier in zumindest zwei Spalten und zwei Zeilen an einer gekrümmten Fläche angeordnete Lichtsensoren, wobei sich jeder Lichtsensor in einem entsprechenden Sichtfeld von zumindest drei weiteren Sensoren der zumindest vier Sensoren überschneidet, jeder Sensor erfasste Lichtwellen in elektrische Signale umwandelt; und einen Prozessor, wobei der Prozessor kommunikativ mit wobei Lichtsensoren gekoppelt ist, der Prozessor, die elektrischen Signale empfängt und Verarbeitungsschritte durchführt, die Folgendes umfassen: Durchführen von Nachbearbeitung an den empfangenen elektrischen Signalen von jedem Sensor mittels einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt, wobei die Bildverarbeitungskette zumindest eine Zusammenfügungskomponente umfasst, um die empfangenen elektrischen Signale von den zumindest vier Lichtsensoren zu einem zusammengesetzten Bild zusammenfügt.
  • In Beispiel 2 umfasst der Gegenstand von Beispiel 1 gegebenenfalls den Fall, dass die Vorrichtung zehn Lichtsensoren, angeordnet in fünf Spalten und zwei Zeilen, umfasst, wobei sich jeder Lichtsensor in einem entsprechenden Sichtfeld von zumindest drei anderen Lichtsensoren überschneidet.
  • In Beispiel 3 umfasst der Gegenstand von Beispiel 2 gegebenenfalls den Fall, dass sich die Sensoren in den mittleren drei Spalten in einem entsprechenden Sichtfeld von zumindest fünf anderen Sensoren überschneiden.
  • In Beispiel 4 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-3 gegebenenfalls den Fall, dass die Sensoren eine Farbfilteranordnung umfassen, bestehend aus einer Rasteranordnung von Elementen, umfassend Elemente, die Lichtwellenlängen in der roten und grünen und einer dritten Wellenlängenkomponente zu den Sensoren durchlassen, wobei die dritte Wellenlängenkomponente eine ultraviolette Komponente und/oder eine infrarote Komponente umfasst.
  • In Beispiel 5 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-4 gegebenenfalls den Fall, dass die Bildverarbeitungskette Verarbeitungsschritte weglässt, in denen Rauschunterdrückung, Farbkorrektur oder Komprimierung angewendet werden, um das zusammengesetzte Bild zu erzeugen.
  • In Beispiel 6 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-5 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen geometrischen Verzerrungskorrektur-Verarbeitungsschritt umfasst.
  • In Beispiel 7 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-6 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Bildstabilisierungs-Verarbeitungsschritt umfasst.
  • In Beispiel 8 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-7 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen geometrischen Verzerrungskorrektur-Verarbeitungsschritt und einen Bildstabilisierung-Verarbeitungsschritt umfasst.
  • In Beispiel 9 umfasst der Gegenstand von Beispiel 8 gegebenenfalls den Fall, dass die Bildverarbeitungskette ein Gradientenhistogramm umfasst.
  • In Beispiel 10 umfasst der Gegenstand von einem oder mehreren der Beispiele 8-9 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Harris-Ecken-Detektionsschritt umfasst.
  • In Beispiel 11 umfasst der Gegenstand von einem oder mehreren der Beispiele 1-10 gegebenenfalls den Fall, dass der Prozessor auf dem zusammengesetzten Bild einen Maschinelles-Sehen-Verarbeitungsschritt durchführt.
  • Beispiel 12 ist ein Bilderfassungsverfahren umfassend: den Empfang von Licht durch zumindest vier in zumindest zwei Spalten und zwei Zeilen auf einer gekrümmten Fläche angeordnete Linsen, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen Linsen der zumindest vier Linsen überschneidet; die Lenkung des Lichts durch zumindest einen Farbfilter; die Lenkung des gefilterten Lichts zu zumindest einem Sensor, der das Licht in elektrische Signale umwandelt; und die Durchführung einer Nachbearbeitung an den empfangenen elektrischen Signalen mittels Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt, wobei die Bildverarbeitungskette zumindest eine Zusammenfügungskomponente umfasst, um die empfangenen elektrischen Signale von den zumindest vier Lichtsensoren zu einem zusammengesetzten Bild zusammenzufügen.
  • In Beispiel 13 umfasst der Gegenstand von Beispiel 12 gegebenenfalls den Empfang des Lichts durch zehn in fünf Spalten und zwei Zeilen angeordnete Linsen, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen Linsen überschneidet.
  • In Beispiel 14 umfasst der Gegenstand von Beispiel 13 gegebenenfalls den Fall, dass sich die Linsen in den mittleren drei Spalten in einem entsprechenden Sichtfeld von zumindest fünf anderen Linsen überschneiden.
  • In Beispiel 15 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-14 gegebenenfalls den Fall, dass die Farbfilteranordnung eine Rasteranordnung von Elementen umfasst, die Lichtwellenlängen in der roten und grünen und einer dritten Wellenlängenkomponente zu den Sensoren durchlässt, wobei die dritte Wellenlängenkomponente eine ultraviolette und/oder eine infrarote Komponente umfasst.
  • In Beispiel 16 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-15 gegebenenfalls den Fall, dass die Bildverarbeitungskette Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur oder Komprimierung weglässt, um das zusammengesetzte Bild zu erzeugen.
  • In Beispiel 17 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-16 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur umfasst.
  • In Beispiel 18 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-17 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  • In Beispiel 19 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-18 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur und einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  • In Beispiel 20 umfasst der Gegenstand von Beispiel 19 gegebenenfalls den Fall, dass die Bildverarbeitungskette ein Gradientenhistogramm umfasst.
  • In Beispiel 21 umfasst der Gegenstand von einem oder mehreren der Beispiele 19-20 gegebenenfalls den Fall, dass die Bildverarbeitungskette einen Harris-Ecken-Detektionsschritt umfasst.
  • In Beispiel 22 umfasst der Gegenstand von einem oder mehreren der Beispiele 12-21 gegebenenfalls die Durchführung eines Verarbeitungsschritts des Maschinellen Sehens auf dem zusammengesetzten Bild.
  • Beispiel 23 ist eine Bilderfassungsvorrichtung umfassend: Mittel, um Licht durch zumindest vier in zumindest zwei Spalten und zwei Zeilen auf einer gekrümmten Fläche angebrachte Linsen, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen Linsen von den zumindest vier Linsen überschneidet, zu empfangen; Mittel, um das Licht durch zumindest einen Farbfilter zu lenken; Mittel, um das gefilterte Licht zu zumindest einem Sensor zu lenken, der das Licht in elektrische Signale umwandelt; und Mittel, um Nachbearbeitung auf den empfangenen elektrischen Signalen mithilfe einer Bildverarbeitungskette, die elektrische Signale in ein Ausgabebild umwandelt, durchzuführen, wobei die Bildverarbeitungskette zumindest eine Zusammenfügungskomponente enthält, um die empfangenen elektrischen Signale von den zumindest vier Lichtsensoren zu einem zusammengesetzten Bild zusammenzusetzen.
  • In Beispiel 24 umfasst der Gegenstand von Beispiel 23 gegebenenfalls den Fall, dass die Vorrichtung zehn Linsen umfasst, die in fünf Spalten und zwei Zeilen angeordnet sind, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen Linsen überschneidet.
  • In Beispiel 25 umfasst der Gegenstand von Beispiel 24 gegebenenfalls, dass sich die Linsen in den mittleren drei Spalten in einem entsprechenden Sichtfeld von zumindest fünf anderen Linsen überschneiden.
  • In Beispiel 26 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-25 gegebenenfalls den Fall, dass die Farbfilteranordnung eine Rasteranordnung von Elementen umfasst, die Lichtwellenlängen in der roten und grünen und einer dritten Wellenlängenkomponente zu den Sensoren durchlässt, wobei die dritte Wellenlängenkomponente eine ultraviolette und/oder eine infrarote Komponente umfasst.
  • In Beispiel 27 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-26 gegebenenfalls den Fall, dass die Bildverarbeitungskette Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur oder Komprimierung weglässt, um das zusammengesetzte Bild zu erzeugen.
  • In Beispiel 28 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-27 gegebenenfalls den Fall, dass die Bildverarbeitungskette Mittel für einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur umfasst.
  • In Beispiel 29 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-28 gegebenenfalls den Fall, dass die Bildverarbeitungskette Mittel für einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  • In Beispiel 30 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-29 gegebenenfalls den Fall, dass die Bildverarbeitungskette Mittel für einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur und einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  • In Beispiel 31 umfasst der Gegenstand von Beispiel 30 gegebenenfalls den Fall, dass die Bildverarbeitungskette Mittel für ein Gradientenhistogramm umfasst.
  • In Beispiel 32 umfasst der Gegenstand von einem oder mehreren der Beispiele 30-31 gegebenenfalls den Fall, dass die Bildverarbeitungskette Mittel für einen Harris-Ecken-Detektionsschritt umfasst.
  • In Beispiel 33 umfasst der Gegenstand von einem oder mehreren der Beispiele 23-32 gegebenenfalls Mittel, um einen Verarbeitungsschritt des Maschinellen Sehens auf dem zusammengesetzten Bild durchzuführen.
  • Beispiel 34 ist eine Bilderfassungsvorrichtung, die Bilderfassungsvorrichtung umfassend: einen Lichtsensor, der erfasste Lichtwellen in elektrische Signale umwandelt; eine Farbfilteranordnung, wobei die Farbfilteranordnung eine Rasteranordnung von Elementen aufweist, die Lichtwellenlängen in der roten, grünen und einer dritten und einer vierten Lichtwellenkomponente zum Sensor durchlässt, wobei die dritte Wellenlängenkomponente eine blaue Wellenlängenkomponente, eine ultraviolette Komponente oder eine infrarote Komponente umfasst und die vierte Wellenlängenkomponente eine ultraviolette oder eine infrarote Komponente umfasst; und einen Prozessor, wobei der Prozessor kommunikativ mit dem Lichtsensor gekoppelt ist, der Prozessor die elektrischen Signale empfängt und Verarbeitungsschritte durchführt, die Folgendes umfassen: Durchführen von Nachbearbeitungen an den empfangenen elektrischen Signalen mithilfe einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt.
  • In Beispiel 35 umfasst der Gegenstand von Beispiel 34 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine ultraviolette Komponente ist.
  • In Beispiel 36 umfasst der Gegenstand von Beispiel 35 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und ultravioletten Filtern umfasst.
  • In Beispiel 37 umfasst der Gegenstand von einem oder mehreren der Beispiele 34-36 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine infrarote Komponente ist.
  • In Beispiel 38 umfasst der Gegenstand von Beispiel 37 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und infraroten Filtern umfasst.
  • In Beispiel 39 umfasst der Gegenstand von einem oder mehreren der Beispiele 34-38 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd ultravioletten und infraroten Filtern umfasst.
  • In Beispiel 40 umfasst der Gegenstand von einem oder mehreren der Beispiele 34-39 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 41 umfasst der Gegenstand von einem oder mehreren der Beispiele 34-40 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte geometrische Verzerrungskorrektur, Bildzusammenfügung und Bildstabilisierung umfassen.
  • In Beispiel 42 umfasst der Gegenstand von Beispiel 41 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte die Durchführung von einem Gradientenhistogramm und/oder einem Harris-Ecken-Detektionsschritt umfassen.
  • In Beispiel 43 umfasst der Gegenstand von einem oder mehreren der Beispiele 41-42 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 44 umfasst der Gegenstand von einem oder mehreren der Beispiele 34-43 gegebenenfalls den Fall, dass das Ausgabebild in einer Anwendung des Maschinellen Sehens verwendet wird.
  • Beispiel 45 ist ein Bilderfassungsverfahren umfassend: den Empfang von Licht durch eine Linse; die Lenkung des Lichts durch eine Farbfilteranordnung, wobei die Farbfilteranordnung eine Rasteranordnung von Elementen aufweist, die Lichtwellenlängen in der roten, grünen, einer dritten und einer vierten Wellenlängenkomponente zum Sensor durchlassen, wobei die dritte Wellenlängenkomponente eine blaue Wellenlängenkomponente, eine ultraviolette Komponente oder eine infrarote Komponente umfasst und die vierte Wellenlängenkomponente eine ultraviolette Komponente oder eine infrarote Komponente umfasst; die Lenkung des durch die Farbfilteranordnung hindurchtretenden Lichts zu einem Lichtsensor, der das Licht in elektrische Signale umwandelt; und der Einsatz eines Prozessors, wobei der Prozessor kommunikativ mit dem Lichtsensor gekoppelt ist, um an den empfangenen elektrischen Signalen Nachbearbeitungen durchzuführen mithilfe einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt.
  • In Beispiel 46 umfasst der Gegenstand von Beispiel 45 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine ultraviolette Komponente ist.
  • In Beispiel 47 umfasst der Gegenstand von Beispiel 46 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätze aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und ultravioletten Filtern umfasst.
  • In Beispiel 48 umfasst der Gegenstand von einem oder mehreren der Beispiele 45-47 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine infrarote Komponente ist.
  • In Beispiel 49 umfasst der Gegenstand von Beispiel 48 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und infraroten Filtern umfasst.
  • In Beispiel 50 umfasst der Gegenstand von einem oder mehreren der Beispiele 45-49 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätzen aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd ultravioletten und infraroten Filtern umfasst.
  • In Beispiel 51 umfasst der Gegenstand von einem oder mehreren der Beispiele 45-50 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 52 umfasst der Gegenstand von einem oder mehreren der Beispiele 45-51 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte geometrische Verzerrungskorrektur, Bildzusammenfügung und Bildstabilisierung umfassen.
  • In Beispiel 53 umfasst der Gegenstand von Beispiel 52 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte die Durchführung von einem Gradientenhistogramm und/oder einem Harris-Ecken-Detektionsschritt umfassen.
  • In Beispiel 54 umfasst der Gegenstand von einem oder mehreren der Beispiele 52-53 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 55 umfasst der Gegenstand von einem oder mehreren der Beispiele 45-54 gegebenenfalls den Fall, dass das Ausgabebild in einer Anwendung des Maschinellen Sehens genutzt wird.
  • Beispiel 56 ist eine Bilderfassungsvorrichtung umfassend: Mittel, um Licht durch eine Linse zu empfangen; Mittel, um das Licht durch eine Farbfilteranordnung zu lenken, wobei die Farbfilteranordnung eine Rasteranordnung von Elementen aufweist, die Elemente umfasst, die Lichtwellenlängen in der roten, grünen, einer dritten und einer vierten Wellenlängenkomponente zum Sensor durchlassen, wobei die dritte Wellenlängenkomponente eine blaue Wellenlängenkomponente, eine ultraviolette Komponente oder eine infrarote Komponente umfasst und die vierte Wellenlängenkomponente eine ultraviolette Komponente oder eine infrarote Komponente umfasst; Mittel, um das durch die Farbfilteranordnung passierte Licht zu einem Lichtsensor zu lenken, der das Licht in elektrische Signale umwandelt; und Mittel, um Nachbearbeitungen an den empfangenen elektrischen Signalen durchzuführen, mithilfe einer Bildverarbeitungskette, die die elektrischen Signale in eine Ausgabebild umwandelt.
  • In Beispiel 57 umfasst der Gegenstand von Beispiel 56 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine ultraviolette Komponente ist.
  • In Beispiel 58 umfasst der Gegenstand von Beispiel 57 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und ultravioletten Filtern umfasst.
  • In Beispiel 59 umfasst der Gegenstand von einem oder mehreren der Beispiele 56-58 gegebenenfalls den Fall, dass die vierte Wellenlängenkomponente eine infrarote Komponente ist.
  • In Beispiel 60 umfasst der Gegenstand von Beispiel 59 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sets aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und infraroten Filtern umfasst.
  • In Beispiel 61 umfasst der Gegenstand von einem oder mehreren der Beispiele 56-60 gegebenenfalls den Fall, dass die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätzen aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd ultravioletten und infraroten Filtern umfasst.
  • In Beispiel 62 umfasst der Gegenstand von einem oder mehreren der Beispiele 56-61 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 63 umfasst der Gegenstand von einem oder mehreren der Beispiele 56-62 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Mittel zur geometrischen Verzerrungskorrektur, Bildzusammenfügung und Bildstabilisierung umfassen.
  • In Beispiel 64 umfasst der Gegenstand von Beispiel 63 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Mittel für die Durchführung von zumindest einem Gradientenhistogramm oder einem Harris-Ecken-Detektionsschritt umfassen.
  • In Beispiel 65 umfasst der Gegenstand von einem oder mehreren der Beispiele 63-64 gegebenenfalls den Fall, dass die Nachbearbeitungsschritte Verarbeitungsschritte zur Rauschunterdrückung, Farbkorrektur und Komprimierung auslassen.
  • In Beispiel 66 umfasst der Gegenstand von einem oder mehreren der Beispiele 56-65 gegebenenfalls den Fall, dass das Ausgabebild in einer Anwendung des Maschinellen Sehens genutzt wird.
  • Beispiel 67 ist eine Bilderfassungsvorrichtung, die Bilderfassungsvorrichtung umfassend: einen Lichtsensor, der erfasste Lichtwellen in elektrische Signale umwandelt; und einen Prozessor, wobei der Prozessor kommunikativ mit dem Lichtsensor gekoppelt ist, der Prozessor die elektrischen Signale empfängt und Verarbeitungsschritte durchführt, die Folgendes umfassen: die Weitergabe der elektrischen Signale an eine Bildverarbeitungskette, wobei die Bildverarbeitungskette zumindest einen Bildverarbeitungsschritt durchführt aber Verarbeitungsschritte, die Rauschunterdrückung, Farbkorrektur oder Komprimierung anwenden, weglässt, um Bilddaten zu erzeugen.
  • In Beispiel 68 umfasst der Gegenstand von Beispiel 67 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt eine geometrische Verzerrungskompensation umfasst.
  • In Beispiel 69 umfasst der Gegenstand von einem oder mehreren der Beispiele 67-68 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Bildzusammenfügungsschritt umfasst.
  • In Beispiel 70 umfasst der Gegenstand von einem oder mehreren der Beispiele 67-69 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Stabilisierungsschritt umfasst.
  • In Beispiel 71 umfasst der Gegenstand von einem oder mehreren der Beispiele 67-70 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen geometrischen Verzerrungskompensationsschritt umfasst und dass die Bildverarbeitungskette ferner einen Bildzusammenfügungsschritt und einen Stabilisierungsschritt durchführt.
  • In Beispiel 72 umfasst der Gegenstand von Beispiel 71 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt ein Gradientenhistogramm umfasst.
  • In Beispiel 73 umfasst der Gegenstand von einem oder mehreren der Beispiele 71-72 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Harris-Ecken-Detektionsschritt umfasst.
  • In Beispiel 74 umfasst der Gegenstand von einem oder mehreren der Beispiele 67-73 gegebenenfalls den Fall, dass der Prozessor die Bilddaten dazu verwendet, um eine Maschinelles-Sehen-Anwendung durchzuführen.
  • Beispiel 75 ist ein Bilderfassungsverfahren umfassend: den Empfang elektrischer Signale von einem Lichtsensor, der erfasste Lichtwellen in elektrische Signale umwandelt; die Weitergabe der elektrischen Signale an einen Prozessor, der eine Bildverarbeitungskette ausführt, wobei die Bildverarbeitungskette zumindest einen Bildverarbeitungsschritt durchführt aber die Durchführung von Verarbeitungsschritten zur Rauschunterdrückung, Farbkorrektur oder Komprimierung weglässt, um Bilddaten zu erzeugen; und die Verwendung der Bilddaten um eine Anwendung des Maschinellen Sehens durchzuführen.
  • In Beispiel 76 umfasst der Gegenstand von Beispiel 75 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst.
  • In Beispiel 77 umfasst der Gegenstand von einem oder mehreren der Beispiele 75-76 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Bildzusammenfügungsschritt umfasst.
  • In Beispiel 78 umfasst der Gegenstand von einem oder mehreren der Beispiele 75-77 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Stabilisierungsschritt umfasst.
  • In Beispiel 79 umfasst der Gegenstand von einem oder mehreren der Beispiele 75-78 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst und dass die Bildverarbeitungskette ferner einen Bildzusammenfügungsschritt und einen Stabilisierungsschritt durchführt.
  • In Beispiel 80 umfasst der Gegenstand von Beispiel 79 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt ein Gradientenhistogramm umfasst.
  • In Beispiel 81 umfasst der Gegenstand von einem oder mehreren der Beispiele 79-80 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Harris-Ecken-Detektionsschritt umfasst.
  • Beispiel 82 ist ein maschinenlesbares Medium, das Befehle umfasst und das, wenn es von einer Maschine durchgeführt wird, herbeiführt, dass die Maschine Verarbeitungsschritte durchführt, die Folgendes umfassen: den Empfang elektrischer Signale von einem Lichtsensor, der erfasste Lichtwellen in elektrische Signale umwandelt; die Weitergabe der elektrischen Signale zu einem Prozessor, der eine Bildverarbeitungskette ausführt, wobei die Bildverarbeitungskette zumindest einen Bildverarbeitungsschritt durchführt aber die Durchführung von Verarbeitungsschritten zur Rauschunterdrückung, Farbkorrektur oder Komprimierung weglässt, um Bilddaten zu erzeugen; und die Verwendung der Bilddaten um eine Maschinelles-Sehen-Anwendung durchzuführen.
  • In Beispiel 83 umfasst der Gegenstand von Beispiel 82 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst.
  • In Beispiel 84 umfasst der Gegenstand von einem oder mehreren der Beispiele 82-83 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Bildzusammenfügungsschritt umfasst.
  • In Beispiel 85 umfasst der Gegenstand von einem oder mehreren der Beispiele 82-84 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Stabilisierungsschritt umfasst.
  • In Beispiel 86 umfasst der Gegenstand von einem oder mehreren der Beispiele 82-85 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst und dass die Bildverarbeitungskette ferner einen Bildzusammenfügungsschritt und einen Stabilisierungsschritt durchführt.
  • In Beispiel 87 umfasst der Gegenstand von Beispiel 86 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt ein Gradientenhistorgramm umfasst.
  • In Beispiel 88 umfasst der Gegenstand von einem oder mehreren der Beispiele 86-87 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Harris-Ecken-Detektionsschritt umfasst.
  • Beispiel 89 ist eine Bilderfassungsvorrichtung umfassend: Mittel, um elektrische Signale von einem Lichtsensor zu empfangen, der erfasste Lichtwellen in elektrische Signale umwandelt; Mittel, um die elektrischen Signale an einen Prozessor weiterzugeben, der eine Bildverarbeitungskette ausführt, wobei die Bildverarbeitungskette zumindest einen Bildverarbeitungsschritt durchführt aber die Durchführung von Verarbeitungsschritten zur Rauschunterdrückung, Farbkorrektur oder Komprimierung weglässt, um Bilddaten zu erzeugen; und Mittel, um die Bilddaten dazu zu verwenden, um eine Anwendung des Maschinellen Sehens durchzuführen.
  • In Beispiel 90 umfasst der Gegenstand von Beispiel 89 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst.
  • In Beispiel 91 umfasst der Gegenstand von einem oder mehreren der Beispiele 89-90 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Bildzusammenfügungsschritt umfasst.
  • In Beispiel 92 umfasst der Gegenstand von einem oder mehreren der Beispiele 89-91 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Stabilisierungsschritt umfasst.
  • In Beispiel 93 umfasst der Gegenstand von einem oder mehreren der Beispiele 89-92 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Verarbeitungsschritt zur geometrischen Verzerrungskompensation umfasst und dass die Bildverarbeitungskette ferner einen Bildzusammenfügungsschritt und einen Stabilisierungsschritt durchführt.
  • In Beispiel 94 umfasst der Gegenstand von Beispiel 93 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt ein Gradientenhistogramm umfasst.
  • In Beispiel 95 umfasst der Gegenstand von einem oder mehreren der Beispiele 93-94 gegebenenfalls den Fall, dass der zumindest eine Bildverarbeitungsschritt einen Harris-Ecken-Detektionsschritt umfasst.

Claims (25)

  1. Bilderfassungsvorrichtung, wobei die Bilderfassungsvorrichtung Folgendes umfasst: zumindest vier in zumindest zwei Spalten und zwei Zeilen auf einer gekrümmten Fläche angeordnete Lichtsensoren, wobei sich jeder Lichtsensor in einem entsprechenden Sichtfeld von zumindest drei weiteren Sensoren der zumindest vier Sensoren überschneidet, wobei jeder Sensor erfasste Lichtwellen in elektrische Signale umwandelt; und einen Prozessor, wobei der Prozessor kommunikativ mit den Lichtsensoren gekoppelt ist, wobei der Prozessor die elektrischen Signale empfängt und Verarbeitungsschritte durchführt, die Folgendes umfassen: Durchführung von Nachbearbeitungen an den empfangenen elektrischen Signalen von jedem Sensor mithilfe einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt, wobei die Bildverarbeitungskette zumindest eine Zusammenfügungskomponente umfasst, um die empfangenen elektrischen Signale von den zumindest vier Lichtsensoren zu einem zusammengesetzten Bild zusammenzufügen.
  2. Bilderfassungsvorrichtung nach 1, wobei die Vorrichtung zehn Lichtsensoren umfasst, die in fünf Spalten und zwei Zeilen angeordnet sind, wobei sich jeder Lichtsensor in einem entsprechenden Sichtfeld von zumindest drei anderen Sensoren überschneidet.
  3. Bilderfassungsvorrichtung nach 2, wobei sich die Sensoren in den mittleren drei Spalten in einem entsprechenden Sichtfeld von zumindest fünf anderen Sensoren überschneiden.
  4. Bilderfassungsvorrichtung nach 1, wobei die Sensoren eine Farbfilteranordnung umfassen, die eine Rasteranordnung von Elementen aufweist, die Elemente umfasst, die Lichtwellenlängen in der roten und grünen und einer dritten Wellenkomponente zu den Sensoren durchlassen, wobei die dritte Wellenlängenkomponente eine ultraviolette Komponente und/oder eine infrarote Komponente umfasst.
  5. Bilderfassungsvorrichtung nach einem der Ansprüche 1-4, wobei die Bildverarbeitungskette Verarbeitungsschritte weglässt, die Rauschunterdrückung, Farbkorrektur oder Komprimierung anwenden, um das zusammengesetzte Bild zu erzeugen.
  6. Bilderfassungsvorrichtung nach einem der Ansprüche 1-4, wobei die Bildverarbeitungskette einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur umfasst.
  7. Bilderfassungsvorrichtung nach einem der Ansprüche 1-4, wobei die Bildverarbeitungskette einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  8. Bilderfassungsvorrichtung nach einem der Ansprüche 1-4, wobei die Bildverarbeitungskette einen Verarbeitungsschritt zur geometrischen Verzerrungskorrektur und einen Verarbeitungsschritt zur Bildstabilisierung umfasst.
  9. Bilderfassungsvorrichtung nach 8, wobei die Bildverarbeitungskette ein Gradientenhistogramm umfasst.
  10. Bilderfassungsvorrichtung nach 8, wobei die Bildverarbeitungskette einen Harris-Ecken-Detektionsschritt umfasst.
  11. Bilderfassungsvorrichtung nach einem der Ansprüche 1-4, wobei der Prozessor einen Verarbeitungsschritt des Maschinellen Sehens auf dem zusammengesetzten Bild anwendet.
  12. Bilderfassungsverfahren, das Folgendes umfasst: das Empfangen von Licht durch zumindest vier in zumindest zwei Spalten und zwei Zeilen auf einer gekrümmten Oberfläche angeordnete Linsen, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen der zumindest vier Linsen überschneidet; das Lenken des Lichts durch zumindest einen Farbfilter; das Lenken des Filterlichts zu zumindest einem Sensor, der das Licht in elektrische Signale umwandelt; und das Durchführen von Nachbearbeitungen an den empfangenen elektrischen Signalen mittels einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt, wobei die Bildverarbeitungskette zumindest eine Zusammenfügungskomponente umfasst, um die empfangenen elektrischen Signale von den zumindest vier Lichtsensoren zu einem zusammengesetzten Bild zusammenzufügen.
  13. Bilderfassungsverfahren nach 12, das das Empfangen von Licht durch zehn in fünf Spalten und zwei Zeilen angeordnete Linsen umfasst, wobei sich jede Linse in einem entsprechenden Sichtfeld von zumindest drei anderen Linsen überschneiden.
  14. Bilderfassungsverfahren nach 13, wobei sich die Linsen in den mittleren drei Spalten in einem entsprechenden Sichtfeld von zumindest fünf anderen Linsen überschneidet.
  15. Bilderfassungsverfahren nach 12, wobei die Farbfilteranordnung eine Rasteranordnung von Elementen umfasst, die Lichtwellenlängen in der roten und grünen und einer dritten Wellenlängenkomponente zu den Sensoren durchlassen, wobei die dritte Wellenlängenkomponente eine ultraviolette und/oder eine infrarote Komponente umfasst.
  16. Bilderfassungsvorrichtung, wobei die Bilderfassungsvorrichtung Folgendes umfasst: einen Lichtsensor, der erfasste Lichtwellen in elektrische Signale umwandelt; eine Farbfilteranordnung, wobei die Farbfilteranordnung eine Rasteranordnung von Elementen aufweist, die Elemente umfassen, die Lichtwellenlängen in der roten, grünen, einer dritten und einer vierten Wellenlängenkomponente zum Sensor durchlassen, wobei die dritte Wellenlängenkomponente eine blaue Wellenlängenkomponente, eine ultraviolette Komponente oder eine infrarote Komponente umfasst und wobei die vierte Wellenlängenkomponente eine ultraviolette Komponente oder eine infrarote Komponente umfasst; und einen Prozessor, wobei der Prozessor kommunikativ mit dem Lichtsensor gekoppelt ist, wobei der Prozessor die elektrischen Signale empfängt und Verarbeitungsschritte durchführt, die Folgendes umfassen: Durchführung von Nachbearbeitungen an empfangenen elektrischen Signalen mithilfe einer Bildverarbeitungskette, die die elektrischen Signale in ein Ausgabebild umwandelt.
  17. Bilderfassungsvorrichtung nach Anspruch 16, wobei die vierte Wellenlängenkomponente eine ultraviolette Komponente ist.
  18. Bilderfassungsvorrichtung nach Anspruch 17, wobei die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätzen aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und ultravioletten Filtern umfasst.
  19. Bilderfassungsvorrichtung nach Anspruch 16, wobei die vierte Wellenlängenkomponente eine infrarote Komponente ist.
  20. Bilderfassungsvorrichtung nach Anspruch 19, wobei die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätzen aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd blauen und infraroten Filtern umfasst.
  21. Bilderfassungsvorrichtung nach Anspruch 16, wobei die Rasteranordnung von Elementen in einer Abfolge von sich wiederholenden Sätzen aus zwei Zeilen angeordnet ist, wobei eine erste Zeile der zwei Zeilen geordnete Spalten aus abwechselnd grünen und roten Filtern umfasst und wobei eine zweite Zeile der zwei Zeilen geordnete Spalten aus abwechselnd ultravioletten und infraroten Filtern umfasst.
  22. Bilderfassungsvorrichtung nach einem der Ansprüche 16-21, wobei die Nachbearbeitungsschritte Verarbeitungsschritte auslassen, die Rauschunterdrückung, Farbkorrektur und Komprimierung durchführen.
  23. Bilderfassungsvorrichtung nach einem der Ansprüche 16-22, wobei die Nachbearbeitungsschritte geometrische Verzerrungskorrektur, Bildzusammenfügung und Bildstabilisierung umfassen.
  24. Bilderfassungsvorrichtung nach Anspruch 23, wobei die Nachbearbeitungsschritte die Durchführung eines Gradientenhistogramm und/oder eines Harris-Ecken-Detektionsschritts umfassen.
  25. Bilderfassungsvorrichtung nach Anspruch 23, wobei die Nachbearbeitungsschritte Verarbeitungsschritte auslassen, die Rauschunterdrückung, Farbkorrektur und Komprimierung durchführen
DE102018203475.3A 2017-03-08 2018-03-08 Für Anwendungen des maschinellen Sehens optimierte Digitalkameraverfahren und -vorrichtungen Pending DE102018203475A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/453,596 US20180260929A1 (en) 2017-03-08 2017-03-08 Digital camera methods and devices optimized for computer vision applications
US15/453,596 2017-03-08

Publications (1)

Publication Number Publication Date
DE102018203475A1 true DE102018203475A1 (de) 2018-09-13

Family

ID=63259240

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018203475.3A Pending DE102018203475A1 (de) 2017-03-08 2018-03-08 Für Anwendungen des maschinellen Sehens optimierte Digitalkameraverfahren und -vorrichtungen

Country Status (3)

Country Link
US (1) US20180260929A1 (de)
CN (1) CN108574796B (de)
DE (1) DE102018203475A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288472B2 (en) * 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
US11050938B2 (en) 2019-07-03 2021-06-29 Gopro, Inc. Apparatus and methods for pre-processing and stabilization of captured image data
US11190705B2 (en) * 2020-03-16 2021-11-30 Lenovo (Singapore) Pte. Ltd. Intelligent array of lights for illumination

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074505A1 (en) * 2006-07-26 2008-03-27 Intematix Corporation Phosphors for enhancing sensor responsivity in short wavelength regions of the visible spectrum
RU2460187C2 (ru) * 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8836672B2 (en) * 2011-02-09 2014-09-16 Dornerworks, Ltd. System and method for improving machine vision in the presence of ambient light
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法
EP3869797B1 (de) * 2012-08-21 2023-07-19 Adeia Imaging LLC Verfahren zur tiefenerkennung in mit array-kameras aufgenommenen bildern
US9448771B2 (en) * 2014-10-17 2016-09-20 Duelight Llc System, computer program product, and method for generating a lightweight source code for implementing an image processing pipeline
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US10349040B2 (en) * 2015-09-21 2019-07-09 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-D image
EP3182328A1 (de) * 2015-12-17 2017-06-21 Nokia Technologies Oy Verfahren, vorrichtung oder computerprogramm zur steuerung der bildverarbeitung einer szene zur anpassung des aufgenommenen bildes
US20180121733A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Reducing computational overhead via predictions of subjective quality of automated image sequence processing

Also Published As

Publication number Publication date
US20180260929A1 (en) 2018-09-13
CN108574796B (zh) 2021-09-14
CN108574796A (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
US20210004952A1 (en) Method for image processing, non-transitory computer readable storage medium, and electronic device
DE102018119625A1 (de) Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung
EP4109392A1 (de) Bildverarbeitungsverfahren und bildverarbeitungsvorrichtung
EP3849170B1 (de) Bildverarbeitungsverfahren, elektronische vorrichtung, und computerlesbares speichermedium
DE102018120304A1 (de) Verfahren und System zur Bildverzerrungkorrektur für Bilder, die durch Verwenden einer Weitwinkellinse aufgenommen werden
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
US20140340515A1 (en) Image processing method and system
DE112017002060T5 (de) Strichcodescannen und -dimensionieren
US10803559B2 (en) Fused image optimization systems and methods
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP2367360A2 (de) Verfahren zur Korrektur von Farbfehlern in Bildern von digitalen Farbkameras
DE112017005193T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
DE102018203475A1 (de) Für Anwendungen des maschinellen Sehens optimierte Digitalkameraverfahren und -vorrichtungen
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
DE112016005809T5 (de) Lichtfeld-Rendering eines Bildes unter Verwendung variabler Rechenkomplexität
DE102011106052A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE112014006439T5 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
DE112018007171T5 (de) Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren
CN109801231B (zh) 一种电泳电子纸检测设备的图像处理方法
DE102012020301A1 (de) Verfahren, Vorrichtung und Erzeugnis zum Erkennen lächelnder Gesichter
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
US11010874B2 (en) Images for perception modules of autonomous vehicles
CN114998122A (zh) 一种低照度图像增强方法
DE112022001773T5 (de) Systeme und Verfahren zur Bestimmung eines adaptiven Bereichs von Interesse (ROI) für die Berechnung von Bildmetriken

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005225000

Ipc: H04N0023000000