DE202017106567U1 - Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient - Google Patents

Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient Download PDF

Info

Publication number
DE202017106567U1
DE202017106567U1 DE202017106567.7U DE202017106567U DE202017106567U1 DE 202017106567 U1 DE202017106567 U1 DE 202017106567U1 DE 202017106567 U DE202017106567 U DE 202017106567U DE 202017106567 U1 DE202017106567 U1 DE 202017106567U1
Authority
DE
Germany
Prior art keywords
lens
magnification
rectilinear
computer program
program product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202017106567.7U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE202017106567U1 publication Critical patent/DE202017106567U1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/02Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

Vorrichtung, umfassend:eine erste Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor einschließt, wobei das erste Objektiv eine erste Vergrößerung aufweist;eine zweite Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor einschließt, wobei das zweite Objektiv ein nicht rektilineares Objektiv ist, das einen Vergrößerungsgradienten aufweist, dessen Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am kleinsten ist, und wobei das zweite Objektiv eine Vergrößerung hat, die größer ist als die Vergrößerung des ersten Objektivs.

Description

  • TECHNISCHES GEBIET
  • Die offengelegten Ausführungsformen beziehen sich im Allgemeinen auf Kameras und insbesondere, aber nicht ausschließlich, auf Multikamerasysteme, die ein Objektiv mit Vergrößerungsgradienten enthalten.
  • HINTERGRUND
  • Zweikamerasysteme der Art, die in den neuesten Smartphones zu finden ist, verfügen über ein Paar Digitalkameras, die in dieselbe Richtung zeigen. Jede Kamera hat ein unterschiedliches Objektiv: eine Kamera hat ein Objektiv mit einer kurzen Brennweite, die andere ein Objektiv mit einer langen Brennweite. Beispielsweise kann bei einigen Zweikameraanordnungen das Kurzbrennweitenobjektiv ein Normal- oder Weitwinkelobjektiv und das Langbrennweitenobjektiv ein Teleobjektiv mit einer 3fach Vergrößerung im Vergleich zum Weitwinkelobjektiv sein (z. B. wenn wir die Vergrößerung des Normal- oder Weitwinkelobjektivs mit 1fach bezeichnen, hat das Teleobjektiv insgesamt die dreifache oder 3fach Vergrößerung).
  • Für sich selbst erlauben diese Zweikameraanordnungen einem Nutzer, nur ein Weitwinkel (1X)-Bild oder ein Teleobjektiv (3X)-Bild aufzunehmen, aber nichts dazwischen. Aber was geschieht, wenn der Nutzer ein Bild in einer zwischenliegenden Vergrößerung aufnehmen möchte, die zwischen den beiden Objektivvergrößerungen liegt-sagen wir ein 2fach Bild in einem System mit 1fach und 3fach Objektiv? Die Brennweiten der beiden Objektive sind fix und können nicht geändert werden, deshalb kann kein wahrer optischer Zoom implementiert werden, um ein 2fach Bild zu erstellen. Um trotzdem einen optischen Zoom zu simulieren, können Bilder sowohl mit dem 1fach als auch dem 3fach Objektiv aufgenommen werden und die aufgenommenen digitalen Bilder über bekannte Softwareverfahren verschmolzen werden, um ein Bild zu erstellen, das im Wesentlichen so ist, wie es sich ergeben würde, wenn es tatsächlich möglich wäre, die Vergrößerung eines der Objektive auf 2fach einzustellen.
  • Probleme ergeben sich bei diesem simulierten optischen Zoom, wenn die Differenz in der Brennweite zwischen dem Kurzbrennweitenobjektiv und dem Langbrennweitenobjektiv zu groß ist. In diesen Situationen haben es die Algorithmen, die die Bilder mit verschiedenen Vergrößerungen verschmelzen, um ein Bild mit einer gewünschten zwischenliegenden Vergrößerung zu erstellen, schwer, ein gutes Bild in diesen zwischenliegenden Vergrößerungen zu erstellen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß einem ersten Aspekt soll hier eine Vorrichtung bereitgestellt werden, umfassend: eine erste Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor beinhaltet, wobei das erste Objektiv eine erste Vergrößerung hat; eine zweite Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor beinhaltet, wobei das zweite Objektiv ein nicht rektilineares Objektiv ist, das einen Vergrößerungsgradienten hat, dessen Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am kleinsten ist, und wobei das zweite Objektiv eine Vergrößerung hat, die größer ist als die Vergrößerung des ersten Objektivs. Dadurch kann ein verbessertes Bild insbesondere bei zwischenliegenden Vergrößerungen oder Brennweiten (zwischen den beiden oder mehreren Objektiven) bereitgestellt werden.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs linear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs nichtlinear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist das erste Objektiv ein rektilineares Objektiv.
  • Optional ist das erste Objektiv ein nicht rektilineares Objektiv.
  • Optional hat das erste Objektiv einen Vergrößerungsgradienten.
  • Optional ist die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer als die Vergrößerung am Rand des ersten Objektivs.
  • Gemäß einem zweiten Aspekt soll hier ein Computerprogramm-Produkt bereitgestellt werden, das Anweisungen einschließt, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, einen Prozess auszuführen, wobei der Prozess die folgenden Schritte umfasst: ein erstes digitales Bild mit einer ersten Digitalkamera aufzunehmen, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor enthält, wobei das erste Objektiv eine erste Vergrößerung hat; ein zweites digitales Bild mit einer zweiten Digitalkamera aufzunehmen, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor enthält, wobei das zweite Objektiv eine zweite Vergrößerung hat die größer ist als die erste Vergrößerung, wobei das zweite Objektiv ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten ist, bei dem die Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am geringsten ist; das erste digitale Bild mit dem zweiten digitalen Bild zu verschmelzen, um ein drittes digitales Bild mit einer Vergrößerung zwischen der ersten Vergrößerung und der zweiten Vergrößerung zu erstellen.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs linear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs nichtlinear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist das erste Objektiv ein rektilineares Objektiv.
  • Optional ist das erste Objektiv ein nicht rektilineares Objektiv.
  • Optional hat das erste Objektiv einen Vergrößerungsgradienten.
  • Optional ist die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer als die Vergrößerung am Rand des ersten Objektivs.
  • Optional kann der Prozess darüber hinaus umfassen, eine Verzerrungskompensation auf das zweite digitale Bild anzuwenden, bevor es mit dem ersten digitalen Bild verschmolzen ist, um das dritte digitale Bild zu erstellen.
  • Gemäß einem weiteren Aspekt soll hier eine Vorrichtung bereitgestellt werden, die darüber hinaus Mittel umfasst, die angepasst sind, um die Schritte des beschriebenen Prozesses auszuführen.
  • Gemäß einem weiteren Aspekt soll hier ein Computerprogramm bereitgestellt werden, das Anweisungen enthält, um die Vorrichtung zu veranlassen, die Schritte des beschriebenen Prozesses auszuführen. Beispielsweise kann die Vorrichtung ein Mobilgerät (z. B. ein Smartphone) sein.
  • Es ist zu beachten, dass jede oben beschriebene Funktion mit jedem Aspekt oder jeder Ausführungsform dieser Erfindung verwendet werden kann.
  • Figurenliste
  • Nicht begrenzende und nicht erschöpfende Ausführungsformen der Erfindung werden unter Bezugnahme auf die folgenden Abbildungen beschrieben, wobei gleiche Bezugsnummern gleiche Teile überall in den verschiedenen Ansichten bezeichnen, sofern es nicht anders angegeben ist.
    • 1A ist eine Grundriss-Ansicht der Rückseite einer Ausführungsform eines Smartphones, das ein Zweikamerasystem umfasst.
    • 1B ist ein Blockdiagramm einer Ausführungsform eines Zweikamerasystems, das mit einem Smartphone, wie in 1A gezeigt, verwendet werden kann.
    • 2A ist eine Draufsicht einer Ausführungsform eines Zweikamerasystems, das das Sichtfeld der Objektive und ihr Aufnehmen einer Szene veranschaulicht.
    • 2B-2C sind Ansichten einer Bilderfassung in den Vergrößerungen der beiden Objektive in einem Multikamerasystem und ein Bild in einer zwischenliegenden Vergrößerung.
    • 3A ist eine Grafik, die eine Ausführungsform einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist.
    • 3B ist eine Ansicht eines Bildes, das die Vergrößerungskonturen für ein nicht rektilineares Objektiv in einer Ausführungsform einer Vergrößerungsverteilung, wie in 3A gezeigt, darstellt.
    • 3C-3D sind Grafiken, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist.
    • 4 ist eine Grafik, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist.
    • 5 ist eine Grafik, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem die beiden Objektive nicht rektilinear sind.
    • 6 ist ein Flussdiagramm einer Ausführungsform für einen Prozess zur Herstellung verschmolzener Bilder mit einem Zweikamerasystem in einer zwischenliegenden Vergrößerung zwischen der Vergrößerung eines ersten Objektivs und der Vergrößerung eines zweiten Objektivs.
  • AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Ausführungsformen werden beschrieben als Vorrichtung, System und Verfahren für Multikamerasysteme, die ein Objektiv mit einem Vergrößerungsgradienten enthalten. Es werden spezifische Details beschrieben, um ein Verständnis der Ausführungsformen zu schaffen, aber Fachleute werden erkennen, dass in einigen Fällen die Erfindung ohne das eine oder mehrere der beschriebenen Einzelheiten ausgeführt sein kann und in anderen Fällen die Erfindung mit anderen Verfahren, Komponenten, Materialien, usw. ausgeführt werden kann. In einigen Fällen werden allgemein bekannte Strukturen, Materialien oder Vorgänge nicht detailliert dargestellt oder beschrieben, liegen aber trotzdem im Umfang der Erfindung.
  • Bezugnahme in dieser Spezifikation auf „eine Ausführungsform“ oder „irgendeine Ausführungsform“ bedeutet, dass eine beschriebene Funktion, Struktur oder Eigenschaft in mindestens einer beschriebenen Ausführungsform enthalten sein kann, so dass die Erscheinungen „in einer Ausführungsform“ oder „in irgendeiner Ausführungsform“ nicht notwendigerweise immer auf dieselbe Ausführungsform bezogen sind. Des Weiteren können die bestimmten Merkmale, Strukturen oder Charakteristiken in jeder geeigneten Weise bei einer oder mehreren Ausführungsformen kombiniert werden.
  • 1A veranschaulicht eine Ausführungsform eines Multikamerasystems in einem Smartphone 100. Smartphone 100 beinhaltet zwei in dieselbe Richtung zeigende Digitalkameras, so dass beide gleichzeitig Bilder derselben Szene aufnehmen können. Die veranschaulichte Ausführungsform enthält zwei Kameras-eine erste Kamera A und eine zweite Kamera B-andere Ausführungsformen können aber auch mehr als zwei Kameras umfassen. Kamera A und B sind nebeneinander in Smartphone 100 eingebaut, aber sie könnten in weiteren Ausführungsformen auch anders positioniert sein. Darüber hinaus, in noch weiteren Ausführungsformen, können die mehreren Kameras in einem Gerät enthalten sein, das kein Smartphone ist, beispielsweise eine dedizierte Digitalkamera, und können mehr als zwei Kameras enthalten.
  • 1B veranschaulicht in Form eines Blockdiagramms, eine Ausführungsform eines Zweikamerasystems 150, das in einem Multikamerasystem, wie dem Smartphone 100, verwendet werden kann. Kamera A beinhaltet ein erstes Objektiv 152 und einen ersten Bildsensor 156, während Kamera B ein zweites Objektiv 154 und einen zweiten Bildsensor 158 beinhaltet. Objektiv 152 wird unten manchmal auch als Objektiv A bezeichnet, da es zu Kamera A gehört, und Objektiv 154 wird gleichermaßen manchmal auch als Objektiv B bezeichnet, da es zu Kamera B gehört. Die Objektive 152 und 154 haben unterschiedliche Brennweiten, dies bedeutet, dass sie unterschiedliche Vergrößerungen haben, da die Vergrößerung mit der Brennweite verbunden ist, wie es im Folgenden für ein einzelnes Objektiv dargestellt ist: M = f f d 0
    Figure DE202017106567U1_0001
  • Wobei M die Vergrößerung, f die Brennweite und do die Objektentfernung ist. In einer Ausführungsform kann das Objektiv 152 ein Normal- oder Weitwinkelobjektiv und Objektiv 154 ein Teleobjektiv sein. Im Allgemeinen ist die Vergrößerung des ersten Objektivs 152 geringer als die Vergrößerung des zweiten Objektivs 154 oder, anders ausgedrückt, die Brennweite des Objektivs 152 ist kürzer als die Brennweite des zweiten Objektivs 154. Beispielsweise kann in einer bestimmten Ausführungsform das Objektiv 152 ein 1fach-Objektiv und Objektiv 154 ein 3fach-Objektiv sein. Aber in anderen Ausführungsformen kann Objektiv 152 eine Vergrößerung zwischen 1fach und 5fach und Objektiv 154 eine Vergrößerung zwischen 2fach und 10fach oder größer haben.
  • Zweikamerasystem 150 umfasst auch einen Prozessor 160 und einen Speicher 162. In der veranschaulichten Ausführungsform teilen Kamera A und B einen einzelnen Prozessor und Speicher. In weiteren Ausführungsformen können Kamera A und B separate Prozessoren haben, die einen Speicher teilen, oder separate Prozessoren mit separaten Speichern, obwohl in diesen Ausführungsformen die Prozessoren, die Speicher, oder beides, kommunikativ miteinander verbunden sein können, um es einem oder beiden Prozessoren zu erlauben, die von den Kameras mit den allgemein bekannten Bildfusionsverfahren aufgenommenen Bilder zu verschmelzen (z. B. Hochpassfilterungstechnik; auf IHS-Transformation basierende Bildfusion; PCAbasierte Bildfusion; Wavelet-Transformations-Bildfusion; und paarweise Raumfrequenz-Abstimmung).
  • 2A veranschaulicht die Nutzung der ersten Kamera A und der zweiten Kamera B, um Bilder einer Szene 190 aufzunehmen. Kamera A, deren Objektiv eine geringere Vergrößerung hat und deshalb ein weiteres Sichtfeld (ungefähr 90° in einer Ausführungsform), nimmt die ganze Szene 190 auf. Kamera B, deren Objektiv 154 eine höhere Vergrößerung und deshalb ein engeres Sichtfeld hat (ungefähr 30° für eine 3fach Ausführungsform; ungefähr 9° für eine 10fach Ausführungsform, und so weiter), nimmt nur einen Teil der Szene 106 aber in einer höheren Vergrößerung auf als Kamera A. Die von beiden Kameras erzeugten digitalen Bilder haben im Wesentlichen nach Bildgröße und Pixelzahl gemessen dieselbe Größe, aber da Kamera B einen kleineren Teil der Szene aufnimmt, hat es eine größere räumliche Auflösung.
  • 2B-2C veranschaulichen die von Kamera 150 aufgenommenen Bilder. Noch spezifischer veranschaulichen sie die Szenenabdeckungsbereiche von Kamera A und B. 2B zeigt die Szenenabdeckung mit einem Satz von Vergrößerungen für Kamera A und B-beispielsweise 1fach für Kamera A und 3fach für Kamera B. Die erste Kamera A nimmt die gesamte Szene bei 1fach Vergrößerung auf, aber da die zweite Kamera B eine höhere Vergrößerung hat, nimmt sie einen kleineren Teil der Szene auf.
  • 2C veranschaulicht die Szenenabdeckung von Kamera A und B, wenn die Vergrößerung von Objektiv B im Vergleich zu 2B erhöht wird. Wenn 2B Kamera B mit einem 3fach Objektiv zeigt, kann 2C Kamera B mit einem 5fach oder 10fach Objektiv zeigen. Das Nettoergebnis ist, dass die Szenenabdeckung von Kamera B im Wesentlichen geringer ist. Diese Lücke oder dieses Delta in der Szenenabdeckung-und, im weiteren Sinne, die Bildauflösung-machen es schwieriger, ein Bild mit zwischenliegender Vergrößerung C zu erstellen, und je größer das Delta in der Szenenabdeckung ist desto schwieriger wird es. Sowohl in 2B als auch 2C können die Bilder A und B mit bekannten Techniken verschmolzen werden, um ein digitales Bild in einer zwischenliegenden Vergrößerung C zwischen A und B zu erstellen. Aber wenn die Differenz in der Vergrößerung zwischen den Objektiven A und B größer wird, wird auch die räumliche Auflösung der beiden Bilder entsprechend größer. Infolgedessen wird es schwieriger, die beiden Bilder zu verschmelzen, um ein Bild C mit einer zwischenliegenden Vergrößerung zu erstellen. Je höher das ΔM zwischen Kamera A und B ist, desto unzufriedenstellender wird das Bild in einer zwischenliegenden Kartenvergrößerung C.
  • 3A veranschaulicht die Verteilung der Vergrößerung in einer Ausführungsform eines Multikamerasystems. Die Grafik plottet die Vergrößerung M entlang der vertikalen Achse gegen den normierten Radius (r/R) entlang der horizontalen Achse. In der veranschaulichten Ausführungsform hat Kamera A ein rektilineares Objektiv und Kamera B hat ein nicht rektilineares Objektiv. Die rektilineares Objektive sind Objektive, die dieselbe Menge über den gesamten Objektivbereich vergrößern und demnach keine radiale Verzerrung erzeugen. In der veranschaulichten Ausführungsform ist Objektiv A rektilinear, damit ist seine Vergrößerung im Radius konstant. Aber Objektiv B ist nicht rektilinear, dies bedeutet, dass seine Vergrößerung mit dem Radius variiert oder, anders ausgedrückt, Objektiv B hat einen Vergrößerungsgradienten zwischen seiner Mitte und seinen Rändern. Da der Vergrößerungsgradient von Objektiv B eine optische Verzerrung schafft, kann diese Vergrößerung auf andere Weise so beschrieben werden, dass Objektiv B eine Vorverzerrung aufweist.
  • In der veranschaulichten Ausführungsform hat Objektiv B seine größte Vergrößerung in der Mitte und die Vergrößerung verringert sich nichtlinear und monoton fallend von der Mitte zu den Rändern des Objektivs, aber in anderen Ausführungsformen muss der Vergrößerungsgradient nicht nichtlinear oder monoton fallend sein. Zum Vergleich zeigt die Grafik auch die Vergrößerung einer rektilinearen Version von Objektiv B mit einer Vergrößerung, die der größten Vergrößerung der nicht rektilinearen Version gleich ist. Im Allgemeinen ist die Vergrößerung von Objektiv A geringer als die durchschnittliche Vergrößerung von Objektiv B oder, anders ausgedrückt, die Brennweite von Objektiv A ist kürzer als die durchschnittliche Brennweite von Objektiv B. Wie in der Grafik ersichtlich ist: wenn Objektiv B einen Vergrößerungsgradienten aufweist, auch mit einer größten Vergrößerung in der Mitte, ist das durchschnittliche ΔM zwischen Objektiv A und B geringer als wenn beide Objektive rektilinear mit Objektiv B am höchsten ΔM wären. Das ΔM an den Rändern der Objektive-und damit der Rand des sich ergebenden Bildes-ist auch im Wesentlichen kleiner. Beide Eigenschaften machen es einfacher, ein zufriedenstellendes Bild in einer zwischenliegenden Vergrößerung unter Verwendung der bekannten Bildfusionstechniken zu erreichen. Die exakte Vergrößerungsverteilung von Objektiv B kann experimentell oder numerisch bestimmt werden, und kann ausgewählt werden, um die Leistung der bekannten Bildfusionsverfahren zu optimieren.
  • 3B veranschaulicht eine Ausführungsform der Vergrößerungskonturen über einem Bilderfassungsbereich von Objektiv B. In der veranschaulichten Ausführungsform können die Vergrößerungskonturen des Bilderfassungsbereichs zu der in 3A gezeigten Vergrößerungsverteilung gehören. Der Vergrößerungsgradient führt zu einer Bildverzerrung, da das Objektiv nicht rektilinear ist, aber die Verzerrungen können mit Software-Techniken aus dem sich ergebenden Bild herausgenommen werden.
  • 3C-3D veranschaulichen weitere mögliche Kombinationen von Vergrößerungsverteilungen. Wie in 3A plotten beide Grafiken die Vergrößerung M entlang der vertikalen Achse gegen den normierten Radius (r/R) entlang der horizontalen Achse, und wobei auch wie in 3A das Objektiv A rektilinear ist und Objektiv B nicht rektilinear ist. Die primäre Differenz zwischen Fig. 3C-3D und 3A ist, dass die Vergrößerungsverteilung von Objektiv B nach unten verschoben wird, um mit der Vergrößerung von Objektiv A an oder in der Nähe der Ränder übereinzustimmen oder diese zu überlappen. 3C zeigt den Fall, in dem die Vergrößerungen an den Rändern übereinstimmen -das heißt, wo ΔM=0 an den Rändern des Objektivs ist. 3D zeigt den Fall, in dem sich die Vergrößerungen an den Rändern überlappen -das heißt, wo ΔM < 0 an den Rändern des Objektivs ist.
  • 4 veranschaulicht weitere Ausführungsformen der Vergrößerungsverteilung für Objektiv B. Die Vergrößerungsverteilung B1 schließt einen Mittelabschnitt der konstanten Vergrößerung in dem Bereich um die Mitte des Objektivs ein (d. h. auf der optischen Achse des Objektivs zentriert), mit einer linearen und monoton fallenden Abnahme der Vergrößerung zwischen dem Mittelabschnitt der konstanten Vergrößerung und den Rändern des Objektivs. Die Vergrößerungsverteilung B2 hat eine maximale Vergrößerung in der Mitte des Objektivs; die Vergrößerung nimmt dann linear und monoton fallend zu den Rändern des Objektivs ab.
  • 5 veranschaulicht eine noch weitere Ausführungsform der Vergrößerungsverteilung in einem Zweikamerasystem. In den zuvor diskutierten Zweikamerasystemen ist eines der Objektive rektilinear und das andere Objektiv nicht-d.h. eines hat eine konstante Vergrößerung und das andere hat einen Vergrößerungsgradienten. Aber dies muss nicht die Anordnung in jeder Ausführungsform sein. 5 veranschaulicht beispielsweise die Vergrößerungsverteilungen für die Objektive in einem Zweikamerasystem, bei dem beide Objektive nicht rektilinear sind. In der veranschaulichten Ausführungsform haben beide Objektive A und B ähnlich geformte Vergrößerungsverteilungen, aber dies muss nicht in jeder Ausführungsform der Fall sein. In einer anderen Ausführungsform kann beispielsweise Objektiv B die gezeigte Vergrößerungsverteilung haben, während Objektiv A eine lineare Vergrößerungsverteilung, wie die in 4 gezeigten Verteilungen B1 oder B2, haben kann. Ihre jeweiligen Vergrößerungsgradienten können ausgewählt werden, um die Bilder erfolgreich verschmelzen und eine zwischenliegende Vergrößerung simulieren zu können.
  • 6 veranschaulicht eine Ausführungsform eines Prozesses zum Erfassen und Verschmelzen eines Bilderpaares, das von einem Zweikamerasystem erfasst wird, einschließlich Kamera A mit einem rektilinearen Objektiv A und Kamera B, die ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten zwischen seiner Mitte und seinen Rändern beinhaltet.
  • Der Prozess startet einen Block 602. An Block 604 wird die gewünschte Vergrößerung eingegeben. Wenn beispielsweise eines der Objektive im Zweikamerasystem ein 1fach Objektiv ist und das andere ein 10fach Objektiv ist, aber der Nutzer ein 5fach Bild benötigt oder wünscht, wird das 5fache von dem Nutzer an Block 604 festgelegt. An Block 606 wird Bild A von Kamera A aufgenommen und an Block 608 wird Bild B von Kamera B aufgenommen.
  • An Block 610, der optional ist, wie anhand der gestrichelten Umrisslinie dargestellt, kann eine Verzerrungskompensation an Bild B vorgenommen werden, um die von dem Vergrößerungsgradienten erzeugte Bildverzerrung zu berücksichtigen. An Block 612 wird Bild B-mit Verzerrungskompensation, wenn dies an Block 610 angewendet wird, ohne Verzerrungskompensation, wenn nicht-mit Bild A in der gewünschten Eingabevergrößerung mithilfe bekannter Bildfusionsverfahren verschmolzen. An Block 614 wird das verschmolzene Bild ausgegeben und an Block 616 endet der Prozess.
  • Die vorstehende Beschreibung der Ausführungsformen, einschließlich dessen, was in der Zusammenfassung beschrieben ist, soll nicht vollständig sein oder die Erfindung exakt auf die beschriebenen Formen beschränken. Spezifische Ausführungsformen und Beispiele der Erfindung sind hierin zur Veranschaulichung beschrieben, aber es sind, wie der Fachmann erkennen wird, verschiedene Modifikationen innerhalb des Anwendungsbereichs der Erfindung möglich.
  • Die in den folgenden Ansprüchen verwendeten Begriffe sollten nicht derart ausgelegt werden, dass sie die Erfindung auf die spezifischen Ausführungsformen beschränken, die in der Spezifikation und den Ansprüchen offengelegt sind. Es sollte vielmehr der Umfang der Erfindung vollständig durch die folgenden Ansprüche bestimmt werden, die in Übereinstimmung mit etablierten Lehren der Anspruchsinterpretation auszulegen sind.

Claims (20)

  1. Vorrichtung, umfassend: eine erste Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor einschließt, wobei das erste Objektiv eine erste Vergrößerung aufweist; eine zweite Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor einschließt, wobei das zweite Objektiv ein nicht rektilineares Objektiv ist, das einen Vergrößerungsgradienten aufweist, dessen Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am kleinsten ist, und wobei das zweite Objektiv eine Vergrößerung hat, die größer ist als die Vergrößerung des ersten Objektivs.
  2. Vorrichtung nach Anspruch 1, wobei der Vergrößerungsgradient des zweiten Objektivs linear ist.
  3. Vorrichtung nach Anspruch 2, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt.
  4. Vorrichtung nach Anspruch 1, wobei der Vergrößerungsgradient des zweiten Objektivs nichtlinear ist.
  5. Vorrichtung nach Anspruch 4, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das erste Objektiv ein rektilineares Objektiv ist.
  7. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei das erste Objektiv ein nicht rektilineares Objektiv ist.
  8. Vorrichtung nach Anspruch 7, wobei das erste Objektiv einen Vergrößerungsgradienten aufweist.
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer ist als die Vergrößerung am Rand des ersten Objektivs.
  10. Computerprogramm-Produkt, das Anweisungen enthält, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, ein Verfahren auszuführen, das Verfahren umfassend: Erfassen eines ersten digitalen Bildes mit einer ersten Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor einschließt, wobei das erste Objektiv eine erste Vergrößerung aufweist; Erfassen eines zweiten digitalen Bildes mit einer zweiten Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor einschließt, wobei das zweite Objektiv eine zweite Vergrößerung aufweist, die größer ist als die erste Vergrößerung, wobei das zweite Objektiv ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten ist, bei dem die Vergrößerung in der Mitte des zweiten Objektivs am höchsten und an den Rändern des zweiten Objektivs am geringsten ist; Verschmelzen des ersten digitalen Bildes mit dem zweiten digitalen Bild, um ein drittes digitales Bild mit einer Vergrößerung zwischen der ersten Vergrößerung und der zweiten Vergrößerung zu erstellen.
  11. Computerprogramm-Produkt nach Anspruch 10, wobei der Vergrößerungsgradient des zweiten Objektivs linear ist.
  12. Computerprogramm-Produkt nach Anspruch 11, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt.
  13. Computerprogramm-Produkt nach Anspruch 10, wobei der Vergrößerungsgradient des zweiten Objektivs nichtlinear ist.
  14. Computerprogramm-Produkt nach Anspruch 13, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt.
  15. Computerprogramm-Produkt nach einem der Ansprüche 10 bis 14, wobei das erste Objektiv ein rektilineares Objektiv ist.
  16. Computerprogramm-Produkt nach einem der Ansprüche 10 bis 14, wobei das erste Objektiv ein nicht rektilineares Objektiv ist.
  17. Computerprogramm-Produkt nach Anspruch 16, wobei das erste Objektiv einen Vergrößerungsgradienten aufweist.
  18. Computerprogramm-Produkt nach einem der Ansprüche 10 bis 17, wobei die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer ist als die Vergrößerung am Rand des ersten Objektivs.
  19. Computerprogramm-Produkt nach einem der Ansprüche 10 bis 18 wobei der Prozess darüber hinaus das Anwenden einer Verzerrungskompensation auf das zweite digitale Bild, bevor es mit dem ersten digitalen Bild verschmolzen wird, um das dritte digitale Bild zu erstellen, umfasst.
  20. Vorrichtung nach einem der Ansprüche 1 bis 9, die darüber hinaus Mittel umfasst, die angepasst sind, um die Schritte in einem Prozess eines Computerprogramm-Produkts gemäß einem der Ansprüche 10 bis 19 auszuführen.
DE202017106567.7U 2017-03-20 2017-10-30 Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient Active DE202017106567U1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/464,099 US10051201B1 (en) 2017-03-20 2017-03-20 Camera system including lens with magnification gradient
US15/464,099 2017-03-20

Publications (1)

Publication Number Publication Date
DE202017106567U1 true DE202017106567U1 (de) 2018-06-26

Family

ID=60202478

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112017006779.0T Withdrawn DE112017006779T5 (de) 2017-03-20 2017-10-20 Kamerasystem einschliesslich objektiv mit vergrösserungsgradient
DE202017106567.7U Active DE202017106567U1 (de) 2017-03-20 2017-10-30 Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE112017006779.0T Withdrawn DE112017006779T5 (de) 2017-03-20 2017-10-20 Kamerasystem einschliesslich objektiv mit vergrösserungsgradient

Country Status (6)

Country Link
US (2) US10051201B1 (de)
EP (2) EP3832994A1 (de)
CN (2) CN110268698B (de)
DE (2) DE112017006779T5 (de)
GB (1) GB2572920B (de)
WO (1) WO2018174947A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10218830B1 (en) * 2017-08-28 2019-02-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Decoration component, housing component and mobile terminal having same
US11206321B2 (en) * 2019-02-19 2021-12-21 Lg Electronics Inc. Mobile terminal and electronic device including same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
WO2007120370A1 (en) 2006-04-10 2007-10-25 Alex Ning Ultra-wide angle objective lens
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
CN102016112B (zh) 2008-06-10 2012-08-08 Jx日矿日石金属株式会社 溅射用氧化物烧结体靶及其制造方法
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
US8547423B2 (en) 2009-09-24 2013-10-01 Alex Ning Imaging system and device
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
CN104755986B (zh) * 2012-10-30 2017-04-26 株式会社尼康 可变放大率光学系统、光学装置,和用于可变放大率光学系统的生产方法
US9086558B2 (en) * 2013-03-05 2015-07-21 Apple Inc. Small form factor high-resolution camera
GB2512621A (en) 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP6455474B2 (ja) * 2016-03-25 2019-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10362231B2 (en) * 2016-07-01 2019-07-23 Intel Corporation Head down warning system

Also Published As

Publication number Publication date
GB2572920A (en) 2019-10-16
CN208806870U (zh) 2019-04-30
EP3832994A1 (de) 2021-06-09
EP3580917A1 (de) 2019-12-18
CN110268698B (zh) 2020-09-25
US10051201B1 (en) 2018-08-14
US20180367743A1 (en) 2018-12-20
WO2018174947A1 (en) 2018-09-27
DE112017006779T5 (de) 2019-11-21
US10341579B2 (en) 2019-07-02
GB2572920B (en) 2020-02-26
GB201910560D0 (en) 2019-09-04
CN110268698A (zh) 2019-09-20
EP3580917B1 (de) 2021-03-03

Similar Documents

Publication Publication Date Title
DE102012005152B4 (de) Bildaufnahmevorrichtung und bildaufnahmeoptik
DE102011103233B4 (de) Kalibriermuster für eine Abbildungsvorrichtung
DE112016002229B4 (de) Bildverarbeitungsvorrichtung, bildaufnahmevorrichtung, bildverarbeitungsverfahren und speichermedium
DE102015116599A1 (de) Elektronische Vorrichtung und Verfahren zum Steuern ihrer Kameras
DE112015001902B4 (de) Elektronenmikroskopvorrichtung und sie verwendendes Abbildungsverfahren
DE112011102647T5 (de) Verfahren zur Herstellung von super-auflösenden Bildern und nicht-linearer Filter zu dessen Implementierung
DE102015101656A1 (de) Optisches modul und elektronische vorrichtung
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
DE202017106567U1 (de) Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient
DE102013201980B4 (de) Verfahren zur Fokuseinstellung und entsprechendes Bilderfassungsgerät
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102015205505A1 (de) Verfahren und Vorrichtung zum Detektieren elliptischer Strukturen in einem Bild
DE102015110026B4 (de) Bildverarbeitungsvorrichtung, zugehöriges steuerverfahren und speichermedium
DE102010015936B4 (de) Verfahren und Vorrichtungen zur Durchführung einer Multi-Fokalebenen-Bildakquisition und -Komprimierung
DE102011118697A1 (de) Bilderfassungssystem
DE102015120967A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
DE202016107422U1 (de) Systeme zum Schätzen der Modulationsübertragungsfunktion in einem Optiksystem
DE112008000263T5 (de) Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik
DE102013005658A1 (de) Erfassung eines dokuments
EP3635677A1 (de) Verfahren und vorrichtung zur bildkorrektur
EP3391329B1 (de) Bestimmung von helligkeitswerten virtueller pixel
DE102013004120B4 (de) Elektronische Vorrichtung und Fokuseinstellungsverfahren von dieser
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
DE102013111861B4 (de) Verfahren und Vorrichtungen zur Bildoptimierung
DE19500507C2 (de) Kamera mit Objektiv- und Bildträgereinstellvorrichtung und Scharfstellverfahren

Legal Events

Date Code Title Description
R207 Utility model specification
R150 Utility model maintained after payment of first maintenance fee after three years
R151 Utility model maintained after payment of second maintenance fee after six years