DE112017006779T5 - Kamerasystem einschliesslich objektiv mit vergrösserungsgradient - Google Patents

Kamerasystem einschliesslich objektiv mit vergrösserungsgradient Download PDF

Info

Publication number
DE112017006779T5
DE112017006779T5 DE112017006779.0T DE112017006779T DE112017006779T5 DE 112017006779 T5 DE112017006779 T5 DE 112017006779T5 DE 112017006779 T DE112017006779 T DE 112017006779T DE 112017006779 T5 DE112017006779 T5 DE 112017006779T5
Authority
DE
Germany
Prior art keywords
lens
magnification
rectilinear
gradient
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017006779.0T
Other languages
English (en)
Inventor
Li-Ping Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE112017006779T5 publication Critical patent/DE112017006779T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/02Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

Vorrichtung mit einer ersten Digitalkamera mit einem Bildsensor, der optisch mit einem ersten Objektiv gekoppelt ist, wobei das erste Objektiv eine erste Vergrößerung aufweist, und einer zweiten Digitalkamera mit einem Bildsensor, der optisch mit einem zweiten Objektiv gekoppelt ist. Das zweite Objektiv hat eine Vergrößerung, die größer als die Vergrößerung des ersten Objektivs ist, und das zweite Objektiv ist ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten, bei dem die Vergrößerung in der Mitte des zweiten Objektivs am höchsten und an den Rändern am niedrigsten ist.

Description

  • TECHNISCHES GEBIET
  • Die offengelegten Ausführungsformen betreffen im Allgemeinen Kameras und insbesondere, aber nicht ausschließlich, Multikamerasysteme, die ein Objektiv mit einem Vergrößerungsgradienten enthalten.
  • HINTERGRUND
  • Zweikamerasysteme der Art, die in den neuesten Smartphones zu finden ist, verfügen über ein Paar Digitalkameras, die in dieselbe Richtung zeigen. Jede Kamera hat ein unterschiedliches Objektiv: eine Kamera hat ein Objektiv mit einer kurzen Brennweite, die andere ein Objektiv mit einer langen Brennweite. Beispielsweise kann bei einigen Zweikameraanordnungen das Kurzbrennweitenobjektiv ein Normal- oder Weitwinkelobjektiv und das Langbrennweitenobjektiv ein Teleobjektiv mit einer 3fach-Vergrößerung im Vergleich zum Weitwinkelobjektiv sein (d. h., wenn wir die Vergrößerung des Normal- oder Weitwinkelobjektivs mit 1fach bezeichnen, hat das Teleobjektiv insgesamt die dreifache oder 3fach-Vergrößerung).
  • Für sich selbst erlauben diese Zweikameraanordnungen einem Nutzer, nur ein Weitwinkel (1X)-Bild oder ein Teleobjektiv (3X)-Bild aufzunehmen, aber nichts dazwischen. Aber was geschieht, wenn der Nutzer ein Bild in einer zwischenliegenden Vergrößerung aufnehmen möchte, die zwischen den beiden Objektivvergrößerungen liegt - sagen wir ein 2fach-Bild in einem System mit 1fach- und 3fach-Objektiv? Die Brennweiten der beiden Objektive sind fix und können nicht geändert werden und deshalb kann kein wahrer optischer Zoom implementiert werden, um das 2fach-Bild zu erstellen. Um trotzdem einen optischen Zoom zu simulieren, können Bilder sowohl mitdem 1fach- als auch dem 3fach-Objektiv aufgenommen werden und die aufgenommenen digitalen Bilder über bekannte Softwareverfahren verschmolzen werden, um ein Bild zu erstellen, das im Wesentlichen so ist, wie es sich ergeben würde, wenn es tatsächlich möglich wäre, die Vergrößerung eines der Objektive auf 2fach einzustellen.
  • Probleme ergeben sich bei diesem simulierten optischen Zoom, wenn die Differenz in der Brennweite zwischen dem Kurzbrennweitenobjektiv und dem Langbrennweitenobjektiv zu groß ist In diesen Situationen haben es die Algorithmen, die die Bilder mit verschiedenen Vergrößerungen verschmelzen, um ein Bild mit einer gewünschten zwischenliegenden Vergrößerung zu erstellen, schwer, ein gutes Bild in diesen zwischenliegenden Vergrößerungen zu erstellen.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Gemäß einem ersten Aspekt soll hier eine Vorrichtung bereitgestellt werden, umfassend: eine erste Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor beinhaltet, wobei das erste Objektiv eine erste Vergrößerung hat, eine zweite Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor beinhaltet, wobei das zweite Objektiv ein nicht rektilineares Objektiv ist, das einen Vergrößerungsgradienten hat, dessen Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am kleinsten ist, und wobei das zweite Objektiv eine Vergrößerung hat, die größer ist als die Vergrößerung des ersten Objektivs. Dadurch kann ein verbessertes Bild insbesondere bei zwischenliegenden Vergrößerungen oder Brennweiten (zwischen den beiden oder mehreren Objektiven) bereitgestellt werden.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs linear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs nichtlinear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist das erste Objektiv ein rektilineares Objektiv.
  • Optional ist das erste Objektiv ein nicht rektilineares Objektiv.
  • Optional hat das erste Objektiv einen Vergrößerungsgradienten.
  • Optional ist die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer als die Vergrößerung am Rand des ersten Objektivs.
  • Gemäß einem zweiten Aspekt wird hierin ein Prozess bereitgestellt, der die folgenden Schritte umfasst: ein erstes digitales Bild mit einer ersten Digitalkamera aufzunehmen, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor enthält, wobei das erste Objektiv eine erste Vergrößerung hat; ein zweites digitales Bild mit einer zweiten Digitalkamera aufzunehmen, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor enthält, wobei das zweite Objektiv eine zweite Vergrößerung hat, die größer ist als die erste Vergrößerung, wobei das zweite Objektiv ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten ist, bei dem die Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am geringsten ist; das erste digitale Bild mit dem zweiten digitalen Bild zu verschmelzen, um ein drittes digitales Bild mit einer Vergrößerung zwischen der ersten Vergrößerung und der zweiten Vergrößerung zu erstellen.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs linear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Optional ist der Vergrößerungsgradient des zweiten Objektivs nichtlinear.
  • Optional verringert sich die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern.
  • Wobei optional das erste Objektiv ein rektilineares Objektiv ist.
  • Optional ist das erste Objektiv ein nicht rektilineares Objektiv.
  • Optional hat das erste Objektiv einen Vergrößerungsgradienten.
  • Optional ist die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer als die Vergrößerung am Rand des ersten Objektivs.
  • Optional kann der Prozess darüber hinaus umfassen, eine Verzerrungskompensation auf das zweite digitale Bild anzuwenden, bevor es mit dem ersten digitalen Bild verschmolzen ist, um das dritte digitale Bild zu erstellen.
  • Gemäß einem weiteren Aspekt soll hier eine Vorrichtung bereitgestellt werden, die darüber hinaus Mittel umfasst, die angepasst sind, um die Schritte des beschriebenen Prozesses auszuführen.
  • Gemäß einem weiteren Aspekt soll hier ein Computerprogramm bereitgestellt werden, das Anweisungen enthält, um die Vorrichtung zu veranlassen, die Schritte des Prozesses auszuführen. Beispielsweise kann die Vorrichtung eine mobile Vorrichtung (z. B. ein Smartphone] sein,
  • Es ist zu beachten, dass jede oben beschriebene Funktion mit jedem Aspekt oder jeder Ausführungsform dieser Erfindung verwendet werden kann.
  • Figurenliste
  • Nicht begrenzende und nicht erschöpfende Ausführungsformen der vorliegenden Erfindung werden unter Bezugnahme auf die folgenden Figuren beschrieben, wobei gleiche Bezugsnummern gleiche Teile überall in den verschiedenen Ansichten bezeichnen, sofern es nicht anders angegeben ist
    • 1A ist eine Grundriss-Ansicht der Rückseite einer Ausführungsform eines Smartphones, das ein Zweikamerasystem umfasst
    • 1B ist ein Blockdiagramm einer Ausführungsform eines Zweikamerasystems, das mit einem Smartphone, wie in 1A gezeigt, verwendet werden kann.
    • 2A ist eine Draufsicht einer Ausführungsform eines Zweikamerasystems, das das Sichtfeld der Objektive und ihr Aufnehmen einer Szene veranschaulicht
    • 2B-2C sind Ansichten einer Bilderfassung in den Vergrößerungen der beiden Objektive in einem Multikamerasystem und ein Bild in einer zwischenliegenden Vergrößerung.
    • 3A ist eine Grafik, die eine Ausführungsform einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist
    • 3B ist eine Ansicht eines Bildes, das die Vergrößerungskonturen für ein nicht rektilineares Objektiv in einer Ausführungsform einer Vergrößerungsverteilung, wie in 3A gezeigt, darstellt
    • 3C-3D sind Grafiken, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist
    • 4 ist eine Grafik, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem eines der beiden Objektive rektilinear ist und das andere Objektiv nicht rektilinear ist
    • 5 ist eine Grafik, die weitere Ausführungsformen einer Vergrößerungsverteilung in einem Zweikamerasystem zeigt, in dem die beiden Objektive nicht rektilinear sind.
    • 6 ist ein Flussdiagramm einer Ausführungsform für einen Prozess zur Herstellung verschmolzener Bilder mit einem Zweikamerasystem in einer zwischenliegenden Vergrößerung zwischen der Vergrößerung eines ersten Objektivs und der Vergrößerung eines zweiten Objektivs.
  • AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Es werden Ausführungsformen einer Vorrichtung, eines Systems und Verfahrens für Multikamerasysteme, die ein Objektiv mit einem Vergrößerungsgradienten enthalten, beschrieben. Es werden spezifische Details beschrieben, um ein Verständnis der Ausführungsformen zu schaffen, aber ein Fachmann wird erkennen, dass in einigen Fällen die Erfindung ohne eine oder mehrere der beschriebenen Einzelheiten ausgeführt werden kann und in anderen Fällen die Erfindung mit anderen Verfahren, Komponenten, Materialien usw. ausgeführt werden kann. In einigen Fällen werden allgemein bekannte Strukturen, Materialien oder Vorgänge nicht detailliert dargestellt oder beschrieben, liegen aber trotzdem im Umfang der Erfindung.
  • Bezugnahme in dieser Spezifikation auf „eine Ausführungsform“ oder „irgendeine Ausführungsform“ bedeutet, dass eine beschriebene Funktion, Struktur oder Eigenschaft in mindestens einer beschriebenen Ausführungsform enthalten sein kann, so dass die Erscheinungen „in einer Ausführungsform“ oder „in irgendeiner Ausführungsform“ nicht notwendigerweise immer auf dieselbe Ausführungsform bezogen sind. Des Weiteren können die bestimmten Merkmale, Strukturen oder Charakteristiken in jeder geeigneten Weise bei einer oder mehreren Ausführungsformen kombiniert werden.
  • 1A veranschaulicht eine Ausführungsform eines Multikamerasystems in einem Smartphone 100. Das Smartphone 100 beinhaltet zwei in dieselbe Richtung zeigende Digitalkameras, so dass beide gleichzeitig Bilder derselben Szene aufnehmen können. Die veranschaulichte Ausführungsform enthält zwei Kameras - eine erste Kamera A und eine zweite Kamera B - andere Ausführungsformen können aber auch mehr als zwei Kameras umfassen. Die Kameras A und B sind nebeneinander in Smartphone 100 eingebaut, aber sie könnten in weiteren Ausführungsformen auch anders positioniert sein. Darüber hinaus, in noch weiteren Ausführungsformen, können die mehreren Kameras in einem Gerät enthalten sein, das kein Smartphone ist, beispielsweise eine dedizierte Digitalkamera, und können mehr als zwei Kameras enthalten.
  • 1B veranschaulicht in Form eines Blockdiagramms eine Ausführungsform eines Zweikamerasystems 150, das in einem Multikamerasystem, wie dem Smartphone 100, verwendet werden kann. Kamera A beinhaltet ein erstes Objektiv 152 und einen ersten Bildsensor 156, während Kamera B ein zweites Objektiv 154 und einen zweiten Bildsensor 158 beinhaltet Das Objektiv 152 wird manchmal auch als Objektiv A bezeichnet, da es zu Kamera A gehört, und Objektiv 154 wird gleichermaßen manchmal auch als Objektiv B bezeichnet, da es zu Kamera B gehört Die Objektive 152 und 154 haben unterschiedliche Brennweiten, dies bedeutet, dass sie unterschiedliche Vergrößerungen haben, da die Vergrößerung mit der Brennweite verbunden ist, wie es im Folgenden für ein einzelnes Objektiv dargestellt ist: M = f f d o
    Figure DE112017006779T5_0001
    Wobei M die Vergrößerung, f die Brennweite und do die Objektentfernung ist In einer Ausführungsform kann das Objektiv 152 ein Normal- oder Weitwinkelobjektiv und das Objektiv 154 ein Teleobjektiv sein. Im Allgemeinen ist die Vergrößerung des ersten Objektivs 152 geringer als die Vergrößerung des zweiten Objektivs 154 oder, anders ausgedrückt, die Brennweite des Objektivs 152 ist kürzer als die Brennweite des zweiten Objektivs 154. Beispielsweise kann in einer bestimmten Ausführungsform das Objektiv 152 ein 1fach-Objektiv und das Objektiv 154 ein 3fach-Objektiv sein. Aber in anderen Ausführungsformen kann das Objektiv 152 eine Vergrößerung zwischen 1fach und 5fach und das Objektiv 154 eine Vergrößerung zwischen 2fach und 10fach oder größer haben.
  • Das Zweikamerasystem 150 umfasst auch einen Prozessor 160 und einen Speicher 162. In der veranschaulichten Ausführungsform teilen Kamera A und B einen einzelnen Prozessor und Speicher. In weiteren Ausführungsformen können Kamera A und B separate Prozessoren haben, die einen Speicher teilen, oder separate Prozessoren mit separaten Speichern, obwohl in diesen Ausführungsformen die Prozessoren, die Speicher oder beides, kommunikativ miteinander verbunden sein könnten, um es einem oder beiden Prozessoren zu erlauben, die von den Kameras mit den allgemein bekannten Bildfusionsverfahren aufgenommenen Bilder zu verschmelzen (z. B. Hochpassfilterungstechnik; auf IHS-Transformation basierende Bildfusion; PCA-basierte Bildfusion; Wavelet-Transformations-Bildfusion; und paarweise Raumfrequenz-Abstimmung).
  • 2A veranschaulicht die Nutzung der ersten Kamera A und der zweiten Kamera B, um Bilder einer Szene 190 aufzunehmen. Kamera A, deren Objektiv eine geringere Vergrößerung hat und deshalb ein weiteres Sichtfeld (ungefähr 90° in einer Ausführungsform), nimmt die ganze Szene 190 auf. Kamera B, deren Objektiv 154 eine höhere Vergrößerung und deshalb ein engeres Sichtfeld hat (ungefähr 30° für eine 3fach-Ausführungsform; ungefähr 9° für eine 10fach-Ausführungsform, und so weiter), nimmt nur einen Teil der Szene 106 aber in einer höheren Vergrößerung auf als Kamera A. Die von beiden Kameras erzeugten digitalen Bilder haben im Wesentlichen nach Bildgröße und Pixelzahl gemessen dieselbe Größe, aber da Kamera B einen kleineren Teil der Szene aufnimmt, hat es eine größere räumliche Auflösung.
  • 2B-2C veranschaulichen von Kamera 150 aufgenommene Bilder. Noch spezifischer veranschaulichen sie die Szenenabdeckungsbereiche von Kamera A und B. 2B zeigt die Szenenabdeckung mit einem Satz von Vergrößerungen für Kamera A und B - beispielsweise 1fach für Kamera A und 3fach für Kamera B. Die erste Kamera A nimmt die gesamte Szene bei 1fach-Vergrößerung auf, aber da die zweite Kamera B eine höhere Vergrößerung hat, nimmt sie einen kleineren Teil der Szene auf.
  • 2C veranschaulicht die Szenenabdeckung von Kamera A und B, wenn die Vergrößerung von Objektiv B im Vergleich zu 2B erhöht wird. Wenn 2B Kamera B mit einem 3fach-Objektiv zeigt, kann 2C Kamera B mit einem 5fach- oder 10fach-Objektiv zeigen. Das Nettoergebnis ist, dass die Szenenabdeckung von Kamera B im Wesentlichen geringer ist Diese Lücke oder dieses Delta in der Szenenabdeckung - und, im weiteren Sinne, die Bildauflösung - machen es schwieriger, ein Bild mit zwischenliegender Vergrößerung C zu erstellen, und je größer das Delta in der Szenenabdeckung ist desto schwieriger wird es. Sowohl in 2B als auch 2C können die digitalen Bilder A und B mit bekannten Techniken verschmolzen werden, um ein digitales Bild in einer zwischenliegenden Vergrößerung C zwischen A und B zu erstellen. Aber wenn die Differenz in der Vergrößerung zwischen den Objektiven A und B größer wird, wird auch die räumliche Auflösung der beiden Bilder entsprechend größer. Infolgedessen wird es schwieriger, die beiden Bilder zu verschmelzen, um das Bild C mit einer zwischenliegenden Vergrößerung zu erstellen. Je höher das M zwischen Kamera A und B ist, desto unzufriedenstellender wird das Bild in einer zwischenliegenden Kartenvergrößerung C.
  • 3A veranschaulicht die Verteilung der Vergrößerung in einer Ausführungsform eines Multikamerasystems. Die Grafik plottet die Vergrößerung M entlang der vertikalen Achse gegen den normierten Radius (r/R) entlang der horizontalen Achse. In der veranschaulichten Ausführungsform hat Kamera A ein rektilineares Objektiv und Kamera B hat ein nicht rektilineares Objektiv. Rektilineare Objektive sind Objektive, die dieselbe Menge über den gesamten Objektivbereich vergrößern und demnach keine radiale Verzerrung erzeugen. In der veranschaulichten Ausführungsform ist Objektiv A rektilinear, damit ist seine Vergrößerung im Radius konstant Aber Objektiv B ist nicht rektilinear, dies bedeutet, dass seine Vergrößerung mit dem Radius variiert oder, anders ausgedrückt, Objektiv B hat einen Vergrößerungsgradienten zwischen seiner Mitte und seinen Rändern. Da der Vergrößerungsgradient von Objektiv B eine optische Verzerrung schafft, kann diese Vergrößerung auf andere Weise so beschrieben werden, dass Objektiv B eine Vorverzerrung aufweist.
  • In der veranschaulichten Ausführungsform hat Objektiv B seine größte Vergrößerung in der Mitte und die Vergrößerung verringert sich nichtlinear und monoton fallend von der Mitte zu den Rändern des Objektivs, aber in anderen Ausführungsformen muss der Vergrößerungsgradient nicht nichtlinear oder monoton fallend sein. Zum Vergleich zeigt die Grafik auch die Vergrößerung einer rektilinearen Version von Objektiv B mit einer Vergrößerung, die der größten Vergrößerung der nicht rektilinearen Version gleich ist Im Allgemeinen ist die Vergrößerung von Objektiv A geringer als die durchschnittliche Vergrößerung von Objektiv B oder, anders ausgedrückt, die Brennweite von Objektiv A ist kürzer als die durchschnittliche Brennweite von Objektiv B. Wie in der Grafik ersichtlich ist: wenn Objektiv B einen Vergrößerungsgradienten aufweist, auch mit einer größten Vergrößerung in der Mitte, ist das durchschnittliche ΔM zwischen Objektiv A und B geringer, als wenn beide Objektive rektilinear mit Objektiv B am höchsten ΔM wären. Das ΔM an den Rändern der Objektive - und damit der Rand des sich ergebenden Bildes - ist auch im Wesentlichen kleiner. Beide Eigenschaften machen es einfacher, ein zufriedenstellendes Bild in einer zwischenliegenden Vergrößerung unter Verwendung der bekannten Bildfusionstechniken zu erreichen. Die exakte Vergrößerungsverteilung von Objektiv B kann experimentell oder numerisch bestimmt und ausgewählt werden, um die Leistung von bekannten Bildfusionsverfahren zu optimieren.
  • 3B veranschaulicht eine Ausführungsform von Vergrößerungskonturen über einem Bilderfassungsbereich von Objektiv B. In der veranschaulichten Ausführungsform können die Vergrößerungskonturen des Bilderfassungsbereichs zu der in 3A gezeigten Vergrößerungsverteilung gehören. Der Vergrößerungsgradient führt zu einer Bildverzerrung, da das Objektiv nicht rektilinear ist, aber die Verzerrungen können mit Software-Techniken aus dem sich ergebenden Bild herausgenommen werden.
  • 3C-3D veranschaulichen weitere mögliche Kombinationen von Vergrößerungsverteilungen. Wie in 3A plotten beide Grafiken die Vergrößerung M entlang der vertikalen Achse gegen den normierten Radius (r/R) entlang der horizontalen Achse, und wobei auch wie in 3A das Objektiv A rektilinear ist und Objektiv B nicht rektilinear ist Die primäre Differenz zwischen 3C-3D und 3A ist, dass die Vergrößerungsverteilung von Objektiv B nach unten verschoben wird, um mit der Vergrößerung von Objektiv A an oder in der Nähe der Ränder übereinzustimmen oder diese zu überlappen. 3C zeigt den Fall, in dem die Vergrößerungen an den Rändern übereinstimmen - das heißt, wo ΔM=0 an den Rändern des Objektivs ist 3D zeigt den Fall, in dem sich die Vergrößerungen an den Rändern überlappen - das heißt, wo ΔM < 0 an den Rändern des Objektivs ist.
  • 4 veranschaulicht weitere Ausführungsformen der Vergrößerungsverteilung für Objektiv B. Die Vergrößerungsverteilung B1 schließt einen Mittelabschnitt der konstanten Vergrößerung in dem Bereich um die Mitte des Objektivs ein (d. h., auf der optischen Achse des Objektivs zentriert), mit einer linearen und monoton fallenden Abnahme der Vergrößerung zwischen dem Mittelabschnitt der konstanten Vergrößerung und den Rändern des Objektivs. Die Vergrößerungsverteilung B2 hat eine maximale Vergrößerung in der Mitte des Objektivs; die Vergrößerung nimmt dann linear und monoton fallend zu den Rändern des Objektivs ab.
  • 5 veranschaulicht noch eine weitere Ausführungsform der Vergrößerungsverteilung in einem Zweikamerasystem. In den zuvor diskutierten Zweikamerasystemen ist eines der Objektive rektilinear und das andere Objektiv nicht - d. h., eines hat eine konstante Vergrößerung und das andere hat einen Vergrößerungsgradienten. Aber dies muss nicht die Anordnung in jeder Ausführungsform sein. 5 veranschaulicht beispielsweise die Vergrößerungsverteilungen für die Objektive in einem Zweikamerasystem, bei dem beide Objektive nicht rektilinear sind. In der veranschaulichten Ausführungsform haben beide Objektive A und B ähnlich geformte Vergrößerungsverteilungen, aber das muss nicht in jeder Ausführungsform der Fall sein. In einer anderen Ausführungsform kann beispielsweise Objektiv B die gezeigte Vergrößerungsverteilung haben, während Objektiv A eine lineare Vergrößerungsverteilung, wie die in 4 gezeigten Verteilungen B1 oder B2, haben kann. Ihre jeweiligen Vergrößerungsgradienten können ausgewählt werden, um die Bilder erfolgreich verschmelzen und eine zwischenliegende Vergrößerung simulieren zu können.
  • 6 veranschaulicht eine Ausführungsform eines Prozesses zum Erfassen und Verschmelzen eines Bilderpaares, das von einem Zweikamerasystem erfasst ist, einschließlich Kamera A mit einem rektilinearen Objektiv A und Kamera B, die ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten zwischen seiner Mitte und seinen Rändern beinhaltet.
  • Der Prozess startet einen Block 602. An Block 604 wird die gewünschte Vergrößerung eingegeben. Wenn beispielsweise eines der Objektive im Zweikamerasystem ein 1fach-Objektiv ist und das andere ein 10fach-Objektiv ist, aber der Nutzer ein 5fach-Bild benötigt oder wünscht, wird das 5fache von dem Nutzer an Block 604 festgelegt An Block 606 wird Bild A von Kamera A aufgenommen und an Block 608 wird Bild B von Kamera B aufgenommen.
  • An Block 610, der optional ist, wie anhand der gestrichelten Umrisslinie dargestellt, kann eine Verzerrungskompensation an Bild B vorgenommen werden, um die von dem Vergrößerungsgradienten erzeugte Bildverzerrung zu berücksichtigen. An Block 612 wird Bild B - mit Verzerrungskompensation, wenn diese an Block 610 angewendet wird, ohne Verzerrungskompensation, falls nicht - mit Bild A in der gewünschten Eingabevergrößerung mithilfe bekannter Bildfusionsverfahren verschmolzen. An Block 614 wird das verschmolzene Bild ausgegeben und an Block 616 endet der Prozess.
  • Die vorstehende Beschreibung der Ausführungsformen, einschließlich dessen, was in der Zusammenfassung beschrieben ist, soll nicht vollständig sein oder die Erfindung auf die beschriebenen Formen beschränken. Spezifische Ausführungsformen und Beispiele der Erfindung sind hierin zur Veranschaulichung beschrieben, aber es sind, wie der Fachmann angesichts der vorstehenden ausführlichen Beschreibung erkennen wird, verschiedene Modifikationen innerhalb des Anwendungsbereichs der Erfindung möglich.
  • Die in den folgenden Ansprüchen verwendeten Begriffe sollten nicht derart ausgelegt werden, dass sie die Erfindung auf die spezifischen Ausführungsformen beschränken, die in der Spezifikation und den Ansprüchen offengelegt sind. Es sollte vielmehr der Umfang der Erfindung vollständig durch die folgenden Ansprüche bestimmt werden, die in Übereinstimmung mit etablierten Lehren der Anspruchsinterpretation auszulegen sind.

Claims (21)

  1. Vorrichtung, umfassend: eine erste Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor einschließt, wobei das erste Objektiv eine erste Vergrößerung aufweist; eine zweite Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor einschließt, wobei das zweite Objektiv ein nicht rektilineares Objektiv ist, das einen Vergrößerungsgradienten aufweist, dessen Vergrößerung in der Mitte des zweiten Objektivs am größten und an den Rändern des zweiten Objektivs am kleinsten ist, und wobei das zweite Objektiv eine Vergrößerung hat, die größer ist als die Vergrößerung des ersten Objektivs.
  2. Vorrichtung nach Anspruch 1, wobei der Vergrößerungsgradient des zweiten Objektivs linear ist
  3. Vorrichtung nach Anspruch 2, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt
  4. Vorrichtung nach Anspruch 1, wobei der Vergrößerungsgradient des zweiten Objektivs nichtlinear ist
  5. Vorrichtung nach Anspruch 4, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das erste Objektiv ein rektilineares Objektiv ist
  7. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei das erste Objektiv ein nicht rektilineares Objektiv ist
  8. Vorrichtung nach Anspruch 7, wobei das erste Objektiv einen Vergrößerungsgradienten aufweist
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer ist als die Vergrößerung am Rand des ersten Objektivs.
  10. Prozess, umfassend: Erfassen eines ersten digitalen Bildes mit einer ersten Digitalkamera, die einen optisch mit einem ersten Objektiv gekoppelten Bildsensor einschließt, wobei das erste Objektiv eine erste Vergrößerung aufweist; Erfassen eines zweiten digitalen Bildes mit einer zweiten Digitalkamera, die einen optisch mit einem zweiten Objektiv gekoppelten Bildsensor einschließt, wobei das zweite Objektiv eine zweite Vergrößerung aufweist, die größer ist als die erste Vergrößerung, wobei das zweite Objektiv ein nicht rektilineares Objektiv mit einem Vergrößerungsgradienten ist, bei dem die Vergrößerung in der Mitte des zweiten Objektivs am höchsten und an den Rändern des zweiten Objektivs am geringsten ist; Verschmelzen des ersten digitalen Bildes mit dem zweiten digitalen Bild, um ein drittes digitales Bild mit einer Vergrößerung zwischen der ersten Vergrößerung und der zweiten Vergrößerung zu erstellen.
  11. Prozess nach Anspruch 10, wobei der Vergrößerungsgradient des zweiten Objektivs linear ist
  12. Prozess nach Anspruch 11, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt
  13. Prozess nach Anspruch 10, wobei der Vergrößerungsgradient des zweiten Objektivs nichtlinear ist
  14. Prozess nach Anspruch 13, wobei die Vergrößerung monoton fallend von der Mitte des zweiten Objektivs zu seinen Rändern abnimmt
  15. Prozess nach einem der Ansprüche 10 bis 14, wobei das erste Objektiv ein rektilineares Objektiv ist
  16. Prozess nach einem der Ansprüche 10 bis 14, wobei das erste Objektiv ein nicht rektilineares Objektiv ist
  17. Prozess nach Anspruch 16, wobei das erste Objektiv einen Vergrößerungsgradienten hat
  18. Prozess nach einem der Ansprüche 10 bis 17, wobei die Vergrößerung am Rand des zweiten Objektivs gleich oder geringer ist als die Vergrößerung am Rand des ersten Objektivs.
  19. Prozess nach einem der Ansprüche 10 bis 18, weiter umfassend das Anwenden einer Verzerrungskompensation auf das zweite digitale Bild, bevor es mit dem ersten digitalen Bild verschmolzen wird, um das dritte digitale Bild zu erstellen.
  20. Vorrichtung nach einem der Ansprüche 1 bis 9, die darüber hinaus Mittel umfasst, die angepasst sind, um die Schritte des Prozesses nach einem der Ansprüche 10 bis 19 auszuführen.
  21. Computerprogramm, das Befehle umfasst um die Vorrichtung nach Anspruch 20 zu veranlassen, die Schritte des Prozesses nach einem der Ansprüche 10 bis 19 auszuführen.
DE112017006779.0T 2017-03-20 2017-10-20 Kamerasystem einschliesslich objektiv mit vergrösserungsgradient Withdrawn DE112017006779T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/464,099 US10051201B1 (en) 2017-03-20 2017-03-20 Camera system including lens with magnification gradient
US15/464,099 2017-03-20
PCT/US2017/057500 WO2018174947A1 (en) 2017-03-20 2017-10-20 Camera system including lens with magnification gradient

Publications (1)

Publication Number Publication Date
DE112017006779T5 true DE112017006779T5 (de) 2019-11-21

Family

ID=60202478

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112017006779.0T Withdrawn DE112017006779T5 (de) 2017-03-20 2017-10-20 Kamerasystem einschliesslich objektiv mit vergrösserungsgradient
DE202017106567.7U Active DE202017106567U1 (de) 2017-03-20 2017-10-30 Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE202017106567.7U Active DE202017106567U1 (de) 2017-03-20 2017-10-30 Kamerasystem einschliesslich Objektiv mit Vergrösserungsgradient

Country Status (6)

Country Link
US (2) US10051201B1 (de)
EP (2) EP3832994A1 (de)
CN (2) CN110268698B (de)
DE (2) DE112017006779T5 (de)
GB (1) GB2572920B (de)
WO (1) WO2018174947A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10218830B1 (en) * 2017-08-28 2019-02-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Decoration component, housing component and mobile terminal having same
EP3930298A4 (de) * 2019-02-19 2022-11-23 LG Electronics Inc. Mobiles endgerät und elektronische vorrichtung mit mobilem endgerät
DE112020003269T5 (de) * 2019-07-09 2022-05-19 Immervision Inc. Verfahren zum Entwerfen von Miniaturobjektiven mit zweckmäßiger Verzerrung

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
EP2005234A1 (de) 2006-04-10 2008-12-24 Alex Ning Ultraweitwinkelobjektiv
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
EP2289235A4 (de) 2008-05-20 2011-12-28 Pelican Imaging Corp Aufnahme und verarbeitung von bildern mittels monolithischer kamera anordnung mit heterogenem bildwandler
KR101224769B1 (ko) 2008-06-10 2013-01-21 제이엑스 닛코 닛세키 킨조쿠 가부시키가이샤 스퍼터링용 산화물 소결체 타겟 및 그 제조 방법
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
US8547423B2 (en) 2009-09-24 2013-10-01 Alex Ning Imaging system and device
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
WO2014069448A1 (ja) * 2012-10-30 2014-05-08 株式会社ニコン 変倍光学系、光学装置、変倍光学系の製造方法
US9086558B2 (en) * 2013-03-05 2015-07-21 Apple Inc. Small form factor high-resolution camera
GB2512621A (en) 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP6455474B2 (ja) * 2016-03-25 2019-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10362231B2 (en) * 2016-07-01 2019-07-23 Intel Corporation Head down warning system

Also Published As

Publication number Publication date
US10341579B2 (en) 2019-07-02
US10051201B1 (en) 2018-08-14
GB2572920A (en) 2019-10-16
EP3580917B1 (de) 2021-03-03
EP3580917A1 (de) 2019-12-18
DE202017106567U1 (de) 2018-06-26
GB2572920B (en) 2020-02-26
US20180367743A1 (en) 2018-12-20
CN110268698B (zh) 2020-09-25
CN208806870U (zh) 2019-04-30
EP3832994A1 (de) 2021-06-09
CN110268698A (zh) 2019-09-20
WO2018174947A1 (en) 2018-09-27
GB201910560D0 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
DE102012005152B4 (de) Bildaufnahmevorrichtung und bildaufnahmeoptik
DE112016002229B4 (de) Bildverarbeitungsvorrichtung, bildaufnahmevorrichtung, bildverarbeitungsverfahren und speichermedium
DE112017006779T5 (de) Kamerasystem einschliesslich objektiv mit vergrösserungsgradient
DE102015116599A1 (de) Elektronische Vorrichtung und Verfahren zum Steuern ihrer Kameras
EP3178036B1 (de) Fahrerassistenzsystem
DE102011103233A1 (de) Kalibriermister für Abbildungsvorrichtung
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE102015101656A1 (de) Optisches modul und elektronische vorrichtung
DE112006000358T5 (de) Verfahren und Vorrichtung zur Erstellung eines Panoramabildes
DE102013201980B4 (de) Verfahren zur Fokuseinstellung und entsprechendes Bilderfassungsgerät
DE102016105818B4 (de) Bilderfassungsgerät und elektronisches Gerät
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102015205505A1 (de) Verfahren und Vorrichtung zum Detektieren elliptischer Strukturen in einem Bild
DE102010015936B4 (de) Verfahren und Vorrichtungen zur Durchführung einer Multi-Fokalebenen-Bildakquisition und -Komprimierung
WO2017093227A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102016125758A1 (de) Systeme und Verfahren zum Schätzen der Modulationsübertragungsfunktion in einem Optiksystem
DE112008000263T5 (de) Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik
WO2018224444A1 (de) Verfahren und vorrichtung zur bildkorrektur
EP3391329B1 (de) Bestimmung von helligkeitswerten virtueller pixel
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
DE102014209623A1 (de) Bildverarbeitungsvorrichtung, Steuerverfahren, und Programm
WO2020057849A1 (de) Computerimplementiertes verfahren zur komprimierung von messdaten aus einer messung eines messvolumens
DE102013004120A1 (de) Elektronische Vorrichtung und Fokuseinstellungsverfahren von dieser
EP3756157B1 (de) Verfahren zum erstellen von panoramabildern, zugehöriges computerprogrammprodukt, steuergerät und fahrzeug
DE19500507C2 (de) Kamera mit Objektiv- und Bildträgereinstellvorrichtung und Scharfstellverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: PROCK, THOMAS, DR., GB

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee