DE112019004845T5 - Fokusgraddetektionseinrichtung, tiefenkartenerzeugungseinrichtung und elektronische vorrichtung - Google Patents

Fokusgraddetektionseinrichtung, tiefenkartenerzeugungseinrichtung und elektronische vorrichtung Download PDF

Info

Publication number
DE112019004845T5
DE112019004845T5 DE112019004845.7T DE112019004845T DE112019004845T5 DE 112019004845 T5 DE112019004845 T5 DE 112019004845T5 DE 112019004845 T DE112019004845 T DE 112019004845T DE 112019004845 T5 DE112019004845 T5 DE 112019004845T5
Authority
DE
Germany
Prior art keywords
focus
image
image pickup
phase difference
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112019004845.7T
Other languages
English (en)
Inventor
Sachiya TANAKA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112019004845T5 publication Critical patent/DE112019004845T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

Diese Fokusgraddetektionseinrichtung enthält ein optisches Bildaufnahmesystem zum Aufnehmen von Bildlicht eines Gegenstands, eine Pixelanordnungseinheit, in der Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds auf der Basis von Lichtstrahlen, die einen ersten Pupillenbereich und einen zweiten Pupillenbereich des optischen Bildaufnahmesystems durchlaufen haben, in einer zweidimensionalen Anordnung angeordnet sind, und eine Detektionseinheit zum, für jedes von mehreren fokussierten Bildern, die an unterschiedlichen Abständen fotografiert sind, Detektieren von Phasendifferenzdetektionspixeln, wo die Helligkeitsdifferenz zwischen dem ersten Bild und dem zweiten Bild kleiner als ein oder gleich einem vorgegebenen Wert ist.

Description

  • [Technisches Gebiet]
  • Die vorliegende Offenbarung bezieht sich auf eine Fokusgraddetektionseinrichtung, eine Tiefenkartenerzeugungseinrichtung und eine elektronische Ausrüstung.
  • [Stand der Technik]
  • In den letzten Jahren wird eine Technik zum Messen einer dreidimensionalen Form in elektronischer Ausrüstung wie z. B. einem Smartphone verwendet. Ein aktives Messverfahren und ein passives Messverfahren sind als Messverfahren für dreidimensionalen Formen bekannt. In dem aktiven Messverfahren wie z. B. Lasermessung und TOF (Flugzeit) tendiert die verwendete Einrichtung allgemein dazu, größer zu sein als in dem passiven Messverfahren, und der Preis tendiert dazu, höher zu sein.
  • Ein Beispiel für das Messverfahren für die dreidimensionale Form, das zu dem passiven Messverfahren gehört, enthält ein Verfahren, das im Allgemeinen als ein SFF/SDF-Verfahren („Form aus Fokussieren/Defokussieren“-Verfahren) bezeichnet wird, unter Verwendung einer Bildgruppe eines zu messenden Objekts, die fotografiert wird, während der Fokus geändert wird (das heißt eine multifokale Bildgruppe), um den Wert der Tiefe für jeden Punkt auf der Oberfläche des Objekts zu schätzen. Eine Technik zum Verwenden von Positionsinformationen von Phasendifferenzdetektionspixeln, um eine Tiefenkarte zu erzeugen, wird herkömmlicherweise als eines der SFF/SDF-Verfahren vorgeschlagen (siehe Beispielsweise PTL 1).
  • In der herkömmlichen Technik werden die Positionsinformationen der Phasendifferenzdetektionspixel verwendet, um erste Phasendifferenzdetektionspixeldaten und zweite Phasendifferenzdetektionspixeldaten aus Bilddaten zu extrahieren, und ein Berechnungsprozess wird durch Berechnen eines ersten Phasengraphen und eines zweiten Phasengraphen aus den ersten Phasendifferenzdetektionspixeldaten und den zweiten Phasendifferenzdetektionspixeldaten basierend auf der Bewegung eines ersten Fensters und eines zweiten Fensters ausgeführt. Ferner wird ein Berechnungsprozess unter Verwendung des ersten Phasengraphen und des zweiten Phasengraphen ausgeführt, um eine Abweichung der Phasendifferenz zu berechnen, und eine Tiefenkarte wird basierend auf der Abweichung der Phasendifferenz, die durch die Berechnung erhalten wird, erzeugt.
  • [Entgegenhaltungsliste]
  • [Patentliteratur]
  • [PTL 1]
    US 2016/0267666 A1
  • [Zusammenfassung]
  • [Technische Aufgabe]
  • In der herkömmlichen Technik, die in PTL 1 beschrieben ist, werden die Positionsinformationen der Phasendifferenzdetektionspixel verwendet, und der Berechnungsprozess wird basierend auf den Bilddaten ausgeführt, um Tiefeninformationen (Tiefenwert) als eine Basis zur Erzeugung der Tiefenkarte zu erfassen. Deshalb ist die Reaktionsfähigkeit schlecht und ist die Schaltung für den Berechnungsprozess groß.
  • Deshalb ist es eine Aufgabe der vorliegenden Offenbarung, eine Fokusgraddetektionseinrichtung, die die Erfassung von Tiefeninformationen in einer kurzen Verarbeitungszeit mit einer kleinen Schaltung realisieren kann, eine Tiefenkartenerzeugungseinrichtung, die die Erzeugung einer Tiefenkarte in einer kurzen Verarbeitungszeit realisieren kann, und eine elektronische Ausrüstung, die mit der Tiefenkartenerzeugungseinrichtung ausgestattet ist, bereitzustellen.
  • [Lösung der Aufgabe]
  • Die vorliegende Offenbarung stellt zur Lösung der Aufgabe eine Fokusgraddetektionseinrichtung bereit, die Folgendes enthält:
    • ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt,
    • eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel enthält, zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind, und
    • eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert.
  • Zusätzlich stellt die vorliegende Offenbarung zum Erreichen des Ziels eine Tiefenkartenerzeugungseinrichtung bereit, die Folgendes enthält:
    • ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt,
    • eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel enthält, zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind,
    • eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert,
    • eine erste Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen, und
    • eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen Gegenstand im Fokus ist, in jedem der mehreren Bilder geschätzt sind, und basierend auf zweidimensionalen Fokusgradkarten erzeugt.
  • Zusätzlich stellt die vorliegende Offenbarung zu Erreichen des Ziels eine elektronische Ausrüstung, die mit der Tiefenkartenerzeugungseinrichtung mit der vorstehend beschriebenen Konfiguration ausgestattet ist, bereit.
  • Figurenliste
    • [1] 1 ist ein Systemkonfigurationsdiagramm, das einen Überblick einer Konfiguration eines Bildaufnahmesystems gemäß einer ersten Ausführungsform der vorliegenden Offenbarung darstellt.
    • [2] 2 ist ein schematisches Konfigurationsdiagramm, das ein Beispiel für eine Konfiguration einer Bildaufnahmeeinheit und Phasendifferenzdetektionspixel darstellt.
    • [3] 3 ist ein Diagramm, das konzeptionell eine Aufteilungsrichtung einer Austrittspupille und Austrittspupillenflächen des optischen Bildaufnahmesystems darstellt.
    • [4] 4 ist ein Prinzipdiagramm der Fokusgraddetektion zum Verwenden der Phasendifferenzdetektionspixel, um einen Fokusgrad zu detektieren.
    • [5] 5 ist ein funktionales Blockdiagramm einer Berechnungseinheit mit Funktionen, die eine Detektionseinheit, die die Phasendifferenzdetektionspixel in einem fokussierten Zustand detektiert, eine erste Kartenerzeugungseinheit, die zweidimensionale Fokusgradkarten eines Gegenstands erzeugt, und eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte erzeugt, enthält.
    • [6] 6 ist ein Diagramm, das ein spezifisches Beispiel zum Erzeugen der zweidimensionalen Fokusgradkarten und der Tiefenkarte in dem Bildaufnahmesystem gemäß der ersten Ausführungsform beschreibt.
    • [7] 7 ist ein Ablaufplan, der ein Beispiel eines Prozesses zum Erfassen von Fokusinformationen der Phasendifferenzdetektionspixel in dem Bildaufnahmesystem gemäß der ersten Ausführungsform darstellt.
    • [8] 8 ist ein Systemkonfigurationsdiagramm, das einen Überblick einer Konfiguration ersten Bildaufnahmesystems gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung darstellt.
    • [9] 9 ist ein Diagramm, das ein spezifisches Beispiel zum Erzeugen der zweidimensionalen Fokusgradkarten und der Tiefenkarte in dem Bildaufnahmesystem gemäß der zweiten Ausführungsform beschreibt.
    • [10] 10 ist ein Ablaufplan, der ein Beispiel eines Prozesses zum Erfassen von Fokusinformationen der Phasendifferenzdetektionspixel in dem Bildaufnahmesystem gemäß der zweiten Ausführungsform darstellt.
    • [11] 11 ist ein Ablaufplan, der ein weiteres Beispiel des Prozesses zum Erfassen von Fokusinformationen der Phasendifferenzdetektionspixel in dem Bildaufnahmesystem gemäß der zweiten Ausführungsform darstellt.
    • [12] 12A ist eine Außenansicht eines Smartphones gesehen von der Vorderseite, und 12B ist eine Außenansicht des Smartphones gesehen von der Rückseite gemäß einem spezifischen Beispiel für eine elektronische Ausrüstung der vorliegenden Offenbarung.
  • [Beschreibung von Ausführungsformen]
  • Nachstehend werden Art und Weisen (nachstehend als „Ausführungsformen“ bezeichnet) zum Ausführen der Technik der vorliegenden Offenbarung mit Bezug auf die Zeichnungen genau beschrieben. Die Technik der vorliegenden Offenbarung ist nicht auf die Ausführungsformen eingeschränkt. In der folgenden Beschreibung werden die gleichen Bezugszeichen für die gleichen Elemente oder Elemente mit den gleichen Funktionen verwendet, und die Beschreibung wird nicht wiederholt. Es wird darauf hingewiesen, dass die Ausführungsformen in der folgenden Reihenfolge beschrieben werden.
    1. 1. Allgemeine Beschreibung der Fokusgraddetektionseinrichtung, der Tiefenkartenerzeugungseinrichtung und der elektronischen Ausrüstung der vorliegenden Offenbarung
    2. 2. Erste Ausführungsform (Beispiel einer monokularen Systemkonfiguration)
      • 2-1. Systemkonfiguration
      • 2-2. Prinzip der Fokusgraddetektion
      • 2-3. Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte
      • 2-4. Erfassung von Fokusinformationen von Phasendifferenzdetektionspixeln im fokussierten Zustand
    3. 3. Zweite Ausführungsform (Beispiel einer Facettenaugen-Systemkonfiguration)
      • 3-1. Systemkonfiguration
      • 3-2. Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte
      • 3-3. Erfassung von Fokusinformationen von Phasendifferenzdetektionspixeln im fokussierten Zustand
    4. 4. Modifikation
    5. 5. Elektronische Ausrüstung der vorliegenden Offenbarung
    6. 6. Mögliche Konfigurationen der vorliegenden Offenbarung
  • <Allgemeine Beschreibung der Fokusgraddetektionseinrichtung, der Tiefenkartenerzeugungseinrichtung und der elektronischen Ausrüstung der vorliegenden Offenbarung>
  • Eine Fokusgraddetektionseinrichtung, eine Tiefenkartenerzeugungseinrichtung und eine elektronische Ausrüstung der vorliegenden Offenbarung können eine Kartenerzeugungseinheit (erste Kartenerzeugungseinheit) enthalten, die in einer zweidimensionalen Anordnung Positionsinformationen von Phasendifferenzdetektionspixeln, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen ein Gegenstand im Fokus ist, fotografiert sind, abbildet, um dadurch eine zweidimensionale Fokusgradkarte des Gegenstands zu erzeugen.
  • In der Fokusgraddetektionseinrichtung, der Tiefenkartenerzeugungseinrichtung und der elektronischen Ausrüstung der vorliegenden Offenbarung mit der vorstehend beschriebenen bevorzugten Konfiguration kann jedes der Phasendifferenzdetektionspixel ein Paar von Lichtempfangselementen enthalten. Ferner kann das Paar von Lichtempfangselementen nebeneinander in einer ersten Richtung, einer zweiten Richtung orthogonal zu der ersten Richtung oder sowohl in der ersten Richtung als auch in der zweiten Richtung in einem einzelnen Pixel angeordnet sein.
  • Darüber hinaus kann in der Fokusgraddetektionseinrichtung, der Tiefenkartenerzeugungseinrichtung und der elektronischen Ausrüstung der vorliegenden Offenbarung mit der vorstehend beschriebenen bevorzugten Konfiguration ein optisches Bildaufnahmesystem ein einzelnes Bildaufnahmeobjektiv, in dem die Position in einer Richtung der optischen Achse angepasst werden kann, enthalten, und das optische Bildaufnahmesystem kann mehrfaches Fotografieren an unterschiedlichen Positionen des einzelnen Bildaufnahmeobjektivs ausführen, um mehrere Bilder zu erhalten, die an unterschieden Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind.
  • Alternativ kann in der Fokusgraddetektionseinrichtung, der Tiefenkartenerzeugungseinrichtung und der elektronischen Ausrüstung der vorliegenden Offenbarung mit der vorstehend beschriebenen bevorzugten Konfiguration das optische Bildaufnahmesystem mehrere Bildaufnahmeobjektive mit unterschiedlichen Fokuspositionen enthalten, und das optische Bildaufnahmesystem kann die mehreren Bildaufnahmeobjektive verwenden, um einmaliges Fotografieren auszuführen, um mehrere Bilder zu erhalten, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind.
  • <Erste Ausführungsform>
  • 1 ist ein Systemkonfigurationsdiagramm, das einen Überblick einer Konfiguration eines Bildaufnahmesystems gemäß einer ersten Ausführungsform der vorliegenden Offenbarung darstellt. Ein Bildaufnahmesystem 10A gemäß der ersten Ausführungsform weist sowohl eine Funktion für normales Fotografieren (Standard-Fotografieren) als auch Funktionen für Fokusgraddetektion und Tiefenkartenerzeugung basierend auf der Fokusgraddetektion auf.
  • [Systemkonfiguration]
  • Das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform weist eine Systemkonfiguration auf, die ein optisches Bildaufnahmesystem 11, eine Objektiv- und Blendenantriebseinheit 12, eine Bildaufnahmeeinrichtung 13, eine Bedieneinheit 14, eine Berechnungseinheit 15, eine Speichereinheit 16, eine Anzeigeeinheit 17 und eine Systemsteuereinheit 18 enthält. In dieser Systemkonfiguration sind die Bildaufnahmeeinrichtung, die Berechnungseinheit 15, die Speichereinheit 16, die Anzeigeeinheit 17 und die Systemsteuereinheit 18 über eine Steuerbusleitung 19A miteinander verbunden. Zusätzlich sind die Bildaufnahmeeinrichtung 13, die Berechnungseinheit 15, die Speichereinheit 16 und die Anzeigeeinheit 17 über eine Datenbusleitung 19B miteinander verbunden.
  • Das optische Bildaufnahmesystem 11 enthält ein Bildaufnahmeobjektiv 111 und eine Blende 112 und ist konfiguriert, Bildlicht von dem Gegenstand (Licht des Bilds, das von dem Gegenstand eingetreten ist) aufzunehmen, um ein Bild auf einer Bildaufnahmeoberfläche der Bildaufnahmeeinrichtung 13 zu bilden. Das Bildaufnahmeobjektiv 111 wird durch die Objektiv- und Blendenantriebseinheit 12 angetrieben, und die Position in der Richtung einer optischen Achse O kann angepasst werden. Das heißt, das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform weist eine Konfiguration auf, die das ist, was als ein monokulares System bezeichnet wird, das das Bildaufnahmeobjektiv 111, in dem die Position in Richtung der optischen Achse angepasst werden kann, enthält.
  • In Betriebsarten für Fokusgraddetektion und Tiefenkartenerzeugung, die der Fokusgraddetektion zugeordnet ist, kann das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration die Objektiv- und Blendenantriebseinheit 12 unter der Steuerung der Systemsteuereinheit 18 antreiben, um mehrere Fotografierpositionen als Positionen des Bildaufnahmeobjektivs 111 in der Richtung der optischen Achse einzustellen. Ferner kann Fotografieren mehrfach an unterschiedlichen Positionen des Bildaufnahmeobjektivs 111 ausgeführt werden, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erfassen.
  • Die Bildaufnahmeeinrichtung 13 enthält eine Bildaufnahmeeinheit 131, eine Analogsignalverarbeitungseinheit 132, eine A/D-Umsetzungseinheit (Analog/Digital-Umsetzungseinheit) 133, eine Digitalbildsignalverarbeitungseinheit 134 und eine Steuereinheit 135.
  • Die Bildaufnahmeeinheit 131 enthält Phasendifferenzdetektionspixel zum Detektieren der Phasendifferenz zwischen einem Paar von Bildern basierend auf dem Bildlicht von dem Gegenstand, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind. Insbesondere enthält, wie in 2 dargestellt, die Bildaufnahmeeinheit 131 einen CMOS-Sensor. Der CMOS-Sensor enthält eine Pixelanordnungseinheit 1311, die Phasendifferenzdetektionspixel 20 enthält, die in einer zweidimensionalen Anordnung angeordnet sind, eine Zeilenauswahleinheit 1312, die die Pixel (Phasendifferenzdetektionspixel 20) der Pixelanordnungseinheit 1311 auf der Basis von Zeilenpixeln auswählt und abtastet, und eine Spaltenauswahleinheit 1313, die die Pixel auf der Basis von Pixelspalten auswählt und abtastet. Die Bildaufnahmeeinheit 131 ist jedoch nicht auf den CMOS-Sensor beschränkt, und die Bildaufnahmeeinheit 131 kann einen CCD-Sensor enthalten.
  • Das Phasendifferenzdetektionspixel 20 erfasst ein erstes Bild basierend auf einem ersten Lichtstrom, der einen ersten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems 11 enthalten ist, durchläuft, und ein zweites Bild basierend auf einem zweiten Lichtstrom, der einen zweiten Pupillenbereich, der in der Austrittspupille des optischen Bildaufnahmesystems 11 enthalten ist, durchläuft. Ferner kann ein Fokusgrad des optischen Bildaufnahmesystems 11 aus einer Leuchtdichtendifferenz zwischen einem Paar von Bildern, das heißt einer Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild, detektiert werden. Einzelheiten der Fokusgraddetektion (Fokusdetektion) werden später beschrieben.
  • Die Analogsignalverarbeitungseinheit 132 wendet beispielsweise Signalverarbeitung, wie z. B. Abtasten und Halten, auf Pixelsignale an, die auf der Basis von Pixelspalten aus den Pixeln (Phasendifferenzdetektionspixeln 20) der Pixelanordnungseinheit 1311 ausgegeben werden.
  • Die A/D-Umsetzungseinheit 133 enthält eine Gruppe aus mehreren Analog/Digital-Umsetzern, die entsprechend den Pixelspalten der Pixelanordnungseinheit 1311 vorgesehen sind, und setzt analoge Pixelsignale, die aus der Analogsignalverarbeitungseinheit 132 ausgegeben werden, in digitale Signale um. Bekannte Analog/DigitalUmsetzer können als die Analog/Digital-Umsetzer der A/D-Umsetzungseinheit 133 verwendet sein. Beispiele für bekannte Analog/Digital-Umsetzer enthalten Einflanken-Analog/Digital-Umsetzer, Analog/Digital-Umsetzer mit sukzessiver Approximation und Delta-Sigma- (ΔΣ-) Analog/Digital-Umsetzer. Die Analog/Digital-Umsetzer sind jedoch nicht darauf beschränkt.
  • Die Digitalbildsignalverarbeitungseinheit 134 liest auf der Basis von Pixelspalten die digitalen Pixelsignale nach der A/D-Umsetzung durch die A/D-Umsetzungseinheit 133 und führt beispielsweise verschiedene Typen von Signalverarbeitung aus, wie z. B. einen Verstärkungsprozess und einen Berechnungsprozess, um die Signale als Bildaufnahmesignale der Bildaufnahmeeinrichtung 13 zu der Datenbusleitung 19B auszugeben.
  • Die Steuereinheit 135 erzeugt verschiedene Zeitsignale, Taktsignale, Steuersignale und dergleichen unter der Steuerung der Systemsteuereinheit 18, um die Zeilenauswahleinheit 1312 der Bildaufnahmeeinheit 131, die Analogsignalverarbeitungseinheit 132, die A/D-Umsetzungseinheit 133, die Digitalbildsignalverarbeitungseinheit 134 und dergleichen basierend auf den erzeugten Signalen anzusteuern und zu steuern.
  • Die Bedieneinheit 14 gibt Bedienbefehle, die verschiedene Funktionen der Bildaufnahmeeinrichtung 13 betreffen, zu der Systemsteuereinheit 18 basierend auf der Bedienung des Anwenders aus. Die Berechnungseinheit 15 führt einen Berechnungsprozess für allgemeine Kameraverarbeitung wie z. B. einen Weißabgleichsprozess, einen Demosaicing-Prozess und einen Gammakorrekturprozess aus. Die Speichereinheit 16 wird zweckmäßigerweise zum Speichern von Daten im Verlauf des Berechnungsprozesses der Berechnungseinheit 15 verwendet. Die Anzeigeeinheit 17 enthält eine Anzeigevorrichtung vom Tafeltyp, wie z. B. eine Flüssigkristallanzeigevorrichtung und eine organische EL-Anzeigevorrichtung, und zeigt Bewegtbilder oder Standbilder, die durch die Bildaufnahmeeinrichtung 13 aufgenommen sind, an.
  • Die Systemsteuereinheit 18 enthält beispielsweise einen Mikrocomputer und ist konfiguriert, die Objektiv- und Blendenantriebseinheit 12 zu steuern, die Bildaufnahmeeinrichtung 13 zu steuern und ferner die Berechnungseinheit 15, die Speichereinheit 16 und die Anzeigeeinheit 17 über die Steuerbusleitung 19A basierend auf Bedienbefehlen des Anwenders aus der Bedieneinheit 14 zu steuern.
  • [Prinzip der Fokusgraddetektion]
  • Hier werden Einzelheiten der Fokusgraddetektion (Fokusdetektion) beschrieben. In einem Bildaufnahmesystem wie z. B. einer Digitalkamera ist Bildebenenphasendifferenz-AF als eines von AF-(Autofokus-) Systemen zum automatischen Anpassen des Fokus (des Fokalpunkts) der Kamera bekannt. Ferner werden die Phasendifferenzdetektionspixel 20 verwendet, um den Bildebenenphasendifferenz-AF zu verwirklichen. Zusätzlich können die Phasendifferenzdetektionspixel 20 verwendet werden, um den Fokusgrad (Fokus) des optischen Bildaufnahmesystems 11 zu detektieren, wie später beschrieben ist.
  • Wie in 2 dargestellt enthält jedes der Phasendifferenzdetektionspixel 20 beispielsweise ein Paar aus Lichtempfangselementen (beispielsweise Fotodioden) 20A und 20B, die in einem einzelnen Pixel vorgesehen sind. 3 stellt konzeptionell die Aufteilungsrichtung und die Abstandsmesspupillenfläche von Abstandsmesspupillen der Phasendifferenzdetektionspixel 20 dar. 3 ist ein Diagramm des Bildaufnahmesystems (Kamera), diagonal von vorne gesehen. Die Abstandsmesspupillen des Phasendifferenzdetektionspixels 20 sind in einer ersten Richtung (Zeilenrichtung/Linksrechts-Richtung) unterteilt, und jede der Abstandsmesspupillen weist eine Größe auf, die einen der links und rechts unterteilten Bereiche der Austrittspupille des optischen Bildaufnahmesystems 11 abdeckt.
  • Wie in 3 dargestellt enthält das Phasendifferenzdetektionspixel 20 ein On-Chip-Mikroobjektiv 21 auf der Seite der Lichtempfangsoberfläche (der Seite des optischen Bildaufnahmesystems 11) des Paars von Lichtempfangselementen 20A und 20B. Ferner setzt, um den Bildaufnahme-Lichtstrom des optischen Bildaufnahmesystems 11 effizient zu nutzen, das On-Chip-Mikroobjektiv 21 die Austrittspupille des optischen Bildaufnahmesystems 11 und das Paar von Lichtempfangselementen 20A und 20B in eine konjugierte Beziehung. Diese Konfiguration stellt eine Pupillenaufteilungsfunktion für die Phasendifferenzdetektionspixel 20 bereit.
  • Der Lichtstrom, der die rechte Hälfte des optischen Bildaufnahmesystems 11 durchläuft, wird zu einem Lichtempfangselement 20A gelenkt, und der Lichtstrom, der die linke Hälfte des optischen Bildaufnahmesystems 11 durchläuft, wird zu dem anderen Lichtempfangselement 20B in dem Phasendifferenzdetektionspixel 20 gelenkt. Ferner wird ein Bild, das durch mehrere Lichtempfangselemente 20A aufgenommen ist, als ein erstes Bild A eingestellt, und ein Bild, das durch mehrere Lichtempfangselemente 20B aufgenommen ist, wird als ein zweites Bild B eingestellt. Der Grad der Überlappung des ersten Bilds A und des zweiten Bilds B kann detektiert werden, um den Fokusgrad des optischen Bildaufnahmesystems 11 zu detektieren. Ein Teil der Fokusgraddetektionsfunktion kann auch in der Autofokusfunktion enthalten sein.
  • In dem in den 2 und 3 dargestellten Beispiel ist das Paar der Lichtempfangselemente 20A und 20B des Phasendifferenzdetektionspixels 20 nebeneinander in der ersten Richtung (Zeilenrichtung/Links-Rechts-Richtung) angeordnet. Das Paar der Lichtempfangselemente 20A und 20B kann jedoch nebeneinander in einer zweiten Richtung (Spaltenrichtung/Oben-Unten-Richtung) orthogonal zu der ersten Richtung angeordnet sein oder kann nebeneinander sowohl in der ersten Richtung als auch der zweiten Richtung angeordnet sein. Zusätzlich ist die Anordnung des Paars der Lichtempfangselemente 20A und 20B nicht auf die Anordnung innerhalb eines einzigen Pixels beschränkt, und das Paar von Lichtempfangselementen 20A und 20B kann über mehrere Pixel, in denen eine Hälfte jedes Pixels maskiert ist, angeordnet sein.
  • 4 stellt ein Prinzipdiagramm der Fokusgraddetektion zum Verwenden des Phasendifferenzdetektionspixels 20, um den Fokusgrad zu detektieren, dar. 4 stellt einen fokussierten Zustand, einen Zustand mit vorne gelegenem Fokus und einen Zustand mit hinten gelegenen Fokus in dem optischen Bildaufnahmesystem 11 dar. Hier bezeichnet der „fokussierte Zustand“ einen Zustand, in dem der Fokalpunkt (Fokus) auf der Bildaufnahmeoberfläche der Bildaufnahmeeinheit 131 ist. Der „Zustand mit vorne gelegenem Fokus“ bezeichnet einen Zustand, in dem die Fokalpunktposition zu der Vorderseite (Seite des optischen Bildaufnahmesystems 11) in Bezug auf die Bildaufnahmeoberfläche der Bildaufnahmeeinheit 131 verschoben ist. Der „Zustand mit hinten gelegenem Fokus“ bezeichnet einen Zustand, in dem die Fokalpunktposition zu der Rückseite in Bezug auf die Bildaufnahmeoberfläche der Bildaufnahmeeinheit 131 verschoben ist.
  • In dem fokussierten Zustand überlappen der erste Lichtstrom, der den ersten Pupillenbereich, der in der Austrittspupille des optischen Bildaufnahmesystems 11 enthalten ist, durchläuft, und der zweite Lichtstrom, der den zweiten Pupillenbereich, der in der Austrittspupille des optischen Bildaufnahmesystems 11 enthalten ist, durchläuft, größtenteils, und die Leuchtdichte der Bilder basierend auf dem ersten Lichtstrom und dem zweiten Lichtstrom, die durch das Paar von Lichtempfangselementen 20A und 20B des Phasendifferenzdetektionspixels 20 erfasst wird, ist maximal.
  • Zusätzlich stimmen der Schwerpunkt des ersten Pupillenbereichs und der Schwerpunkt des zweiten Pupillenbereichs in dem fokussierten Zustand überein, und die Leuchtdichte des ersten Bilds A, die durch ein Lichtempfangselement 20A erfasst wird, und die Leuchtdichte des zweiten Bilds B, die durch das andere Lichtempfangselement 20B erfasst wird, sind gleich. Hier bezeichnet „gleich“ einen Fall, in dem die Leuchtdichte des ersten Bilds A und die Leuchtdichte des zweiten Bilds B genau gleich sind, und bezeichnet auch einen Fall, in dem die Leuchtdichte des ersten Bilds A und die Leuchtdichte des zweiten Bilds B im Wesentlichen gleich sind. Verschiedene Variationen des Designs oder der Herstellung sind erlaubt.
  • Es wird darauf hingewiesen, dass, obwohl der fokussierte Zustand idealerweise ein Zustand ist, in dem die Leuchtdichtendifferenz zwischen dem ersten Bild A und dem zweiten Bild B null ist, ein Zustand, in dem die Leuchtdichtendifferenz zwischen dem ersten Bild A und dem zweiten Bild B gleich einem oder kleiner als ein vorbestimmter Wert nahe null ist, hier als auch fokussierter Zustand bezeichnet wird.
  • Im Übrigen stimmen in dem Zustand mit vorne gelegenem Fokus und dem Zustand mit hinten gelegenem Fokus der Schwerpunkt des ersten Pupillenbereichs und der Schwerpunkt des zweiten Pupillenbereichs nicht überein und sind an unterschiedlichen Positionen. Ferner ist in dem Zustand mit vorne gelegenem Fokus das erste Bild A, das durch die mehreren Lichtempfangselemente 20A erfasst ist, nach links von der optischen Mitte O separiert, und das zweite Bild B, das durch die mehreren Lichtempfangselemente 20B erfasst ist, ist nach rechts von der optischen Mitte O separiert. Darüber hinaus ist in dem Zustand mit hinten gelegenem Fokus das zweite Bild B, das durch die mehreren Lichtempfangselemente 20B erfasst ist, nach links von der optischen Mitte O separiert, und das erste Bild A, das durch die mehreren Lichtempfangselemente 20A erfasst ist, ist nach rechts von der optischen Mitte O separiert. In einem solchen Zustand ist eine Differenz zwischen der Ausgabe des Lichtempfangselements 20A und der Ausgabe des Lichtempfangselements 20B vorhanden.
  • Der Detektionsprozess des Fokusgrads (Fokus) der optischen Bildaufnahmesystems 11 basierend auf den Ausgangssignalen des Paars von Lichtempfangselementen 20A und 20B des Phasendifferenzdetektionspixels 20 wird beispielsweise durch die Berechnungseinheit 15 (siehe 1) ausgeführt. Das heißt, die Berechnungseinheit 15 weist eine Funktion einer Detektionseinheit auf, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen die Leuchtdichtendifferenz zwischen dem ersten Bild A und dem zweiten Bild B gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert.
  • Beim Detektieren des Fokusgrads passt das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration die Position des Bildaufnahmeobjektivs 111 in der Richtung der optischen Achse an und führt Fotografieren an unterschiedlichen Positionen des Bildaufnahmeobjektivs 11, das heißt an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, aus, um mehrere Bilder zu erfassen. In diesem Fall detektiert die Berechnungseinheit 15 für jedes der mehreren an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografierten Bilder Phasendifferenzdetektionspixel, in denen die Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild A und dem zweiten Bild B gleich einem oder kleiner als ein vorbestimmter Wert ist, das heißt Phasendifferenzdetektionspixel in dem fokussierten Zustand, unter der Steuerung der Systemsteuereinheit 18. Ferner werden beispielsweise Positionsinformationen, die die Positionen in einem Bild spezifizieren, als Fokusinformationen der Phasendifferenzdetektionspixel in dem fokussierten Zustand ausgegeben.
  • Es wird darauf hingewiesen, dass, obwohl hier die Berechnungseinheit 15, die außerhalb der Bildaufnahmeeinrichtung 13 vorgesehen ist, die Funktion der Detektionseinheit, die die Phasendifferenzdetektionspixel in dem fokussierten Zustand detektiert, aufweist, die Detektionseinheit als Teil der Funktionseinheit der Bildaufnahmeeinrichtung 13, die einen CMOS-Sensor oder einen CCD-Sensor enthält, integriert sein kann.
  • Zusätzlich zu der Funktion der Detektionseinheit, die die Phasendifferenzdetektionspixel in dem fokussierten Zustand detektiert, besitzt die Berechnungseinheit 15 eine Funktion einer ersten Kartenerzeugungseinheit, die eine zweidimensionale Fokusgradkarte des Gegenstands durch Abbilden in einer zweidimensionalen Anordnung der Positionsinformationen der Phasendifferenzdetektionspixel in dem fokussierten Zustand, die für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, detektiert werden. In der Berechnungseinheit 15 wird die Funktion der ersten Kartenerzeugungseinheit unter der Steuerung der Systemsteuereinheit 18 ausgeführt.
  • Tiefeninformationen (Tiefenwert) der dreidimensionalen Form des Gegenstands können aus den Abständen, an denen der Gegenstand in jedem der mehreren Bilder im Fokus ist, geschätzt werden. Ferner besitzt die Berechnungseinheit 15 zusätzlich zu der Funktion der Detektionseinheit und der Funktion der ersten Kartenerzeugungseinheit eine Funktion einer zweiten Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen der Gegenstand im Fokus ist, in jedem dem mehreren Bilder geschätzt sind, und basierend auf den zweidimensionalen Fokusgradkarten erzeugt. In der Berechnungseinheit 15 wird die Funktion der zweiten Kartenerzeugungseinheit unter der Steuerung der Systemsteuereinheit 18 ausgeführt.
  • 5 stellt ein funktionales Blockdiagramm der Berechnungseinheit 15 dar. Wie in 5 dargestellt weist die Berechnungseinheit Funktionen auf, die eine Detektionseinheit 151, die Phasendifferenzdetektionspixel in dem fokussierten Zustand detektiert, eine erste Kartenerzeugungseinheit 152, die eine zweidimensionale Fokusgradkarte des Gegenstands erzeugt, und eine zweite Kartenerzeugungseinheit 153, die eine Tiefenkarte erzeugt, enthalten.
  • [Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte]
  • Hier wird ein Beispiel für das Erzeugen der zweidimensionalen Fokusgradkarte und der Tiefenkarte beschrieben. In dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration muss die Position des Bildaufnahmeobjektivs 111 in Richtung der optischen Achse angepasst werden, um mehrere Bilder an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, zu fotografieren (zu erfassen).
  • In dem Beispiel hier ist angenommen, dass die Position des Bildaufnahmeobjektivs 111 in Richtung der optischen Achse auf vier Arten eingestellt werden kann, die eine Position P1 am weitesten von der Bildaufnahmeoberfläche der Bildaufnahmeeinheit 131 entfernt, eine Position P2 und eine Position P3 in absteigender Reihenfolge des Abstands zu der Bildaufnahmeoberfläche und eine Position P4 am nächsten zu der Bildaufnahmeoberfläche enthalten. Ferner ist der Abstand, an dem der Gegenstand im Fokus ist, wenn der Gegenstand an einer Position P1 fotografiert wird, als f1 bezeichnet. Der Abstand, an dem der Gegenstand im Fokus ist, wenn der Gegenstand an einer Position P2 fotografiert wird, ist als f2 bezeichnet. Der Abstand, an dem der Gegenstand im Fokus ist, wenn der Gegenstand an einer Position P3 fotografiert wird, ist als f3 bezeichnet. Der Abstand, an dem der Gegenstand im Fokus ist, wenn der Gegenstand an einer Position P4 fotografiert wird, ist als f4 bezeichnet.
  • Wenn der Gegenstand an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert wird, variieren die Positionen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand gemäß der dreidimensionalen Form des Gegenstands in der Pixelanordnungseinheit 1311 (siehe 2), die die Phasendifferenzdetektionspixel 20 in einer zweidimensionalen Anordnung angeordnet enthält. Hier wird ein Beispiel eines Falls, in dem die Pixelanordnung der Pixelanordnungseinheit 1311 vier horizontale Pixel × vier vertikale Pixel enthält, dargestellt, um die Zeichnung zu vereinfachen, und die Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte wird mit Bezug auf 6 beschrieben.
  • Beispielsweise ist angenommen, dass dann, wenn der Gegenstand an einem Abstand f1, an dem der Gegenstand im Fokus ist, fotografiert wird, die Phasendifferenzdetektionspixel 20 an zwei Orten, die die Position der ersten Zeile, ersten Spalte und die Position der vierten Zeile, vierten Spalte enthalten, in dem fokussierten Zustand gemäß der dreidimensionalen Form des Gegenstands sind. Es ist angenommen, dass dann, wenn der Gegenstand an dem Abstand f2, an dem der Gegenstand im Fokus ist, fotografiert wird, die Phasendifferenzdetektionspixel 20 an vier Orten, die die Position der zweiten Zeile, ersten Spalte, die Position der ersten Zeile, zweiten Spalte, die Position der vierten Zeile, dritten Spalte und die Position der dritten Zeile, vierten Spalte enthalten, in dem fokussierten Zustand gemäß der dreidimensionalen Form des Gegenstands sind.
  • Es ist angenommen, dass dann, wenn der Gegenstand an dem Abstand f3, an dem der Gegenstand im Fokus ist, fotografiert wird, die Phasendifferenzdetektionspixel 20 an sechs Orten, die die Position der dritten Zeile, ersten Spalte, die Position der zweiten Zeile, zweiten Spalte, die Position der vierten Zeile, zweiten Spalte, die Position der ersten Zeile, dritten Spalte, die Position der dritten Zeile, dritten Spalte und die Position der zweiten Zeile, vierten Spalte enthalten, in dem fokussierten Zustand gemäß der dreidimensionalen Form des Gegenstands sind. Es ist angenommen, dass dann, wenn der Gegenstand an dem Abstand f4, an dem der Gegenstand im Fokus ist, fotografiert wird, die Phasendifferenzdetektionspixel 20 an vier Orten, die die Position der vierten Zeile, ersten Spalte, die Position der dritten Zeile, zweiten Spalte, die Position der zweiten Zeile, dritten Spalte und die Position der ersten Zeile, vierten Spalte enthalten, in dem fokussierten Zustand gemäß der dreidimensionalen Form des Gegenstands sind.
  • Auf eine solche Weise kann die Funktion der ersten Kartenerzeugungseinheit der Berechnungseinheit 15 verwendet werden, um die Positionsinformationen der Phasendifferenzdetektionspixel 20, die für jedes von vier Bildern detektiert sind, die in vier Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, fotografiert werden, in einer zweidimensionalen Anordnung abzubilden, um dadurch die zweidimensionale Fokusgradkarte des Gegenstands für jedes der Bilder in den Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, zu erzeugen. Ferner kann die Funktion der zweiten Kartenerzeugungseinheit der Berechnungseinheit 15 verwendet werden, um die Tiefenkarte basierend auf Tiefeninformationen D1 bis D4 der dreidimensionalen Form des Gegenstands, die aus den Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, geschätzt sind, und basierend auf den zweidimensionalen Fokusgradkarten, die vorstehend beschrieben sind, zu erzeugen.
  • Es wird darauf hingewiesen, dass das spezifische Beispiel für den Erzeugungsalgorithmus der Tiefenkarte ein Beispiel ist und der Erzeugungsalgorithmus nicht darauf beschränkt ist. Existierende Erzeugungsalgorithmen können verwendet werden.
  • Wie vorstehend beschrieben muss die Berechnungseinheit 15 in dem Bildaufnahmesystem 10A gemäß der vorliegenden Ausführungsform nur einen Prozess zum Verwenden der Phasendifferenzdetektionspixel 20, um den Fokusgrad zu detektieren, und in Erzeugen der Tiefenkarte der dreidimensionalen Form des Gegenstands (beispielsweise eines Gesichts, das erkannt werden soll), Detektieren der Phasendifferenzdetektionspixel, in denen die Leuchtdichtendifferenz zwischen dem ersten Bild A und dem zweiten Bild B gleich dem oder kleiner als der vorbestimmte Wert ist, ausführen. Das heißt, die Berechnungseinheit 15 kann die Tiefenkarte nur durch einfaches Ausführen des Prozesses zum Detektieren der Phasendifferenzdetektionspixel in dem fokussierten Zustand für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, erzeugen, ohne das Ausführen eines Berechnungsprozesses, um aus Bilddaten die Tiefeninformationen als eine Basis zum Erzeugen der Tiefenkarte zu erfassen. Deshalb kann die Erfassung der Tiefeninformationen und die Erzeugung der Tiefenkarte in einer kurzen Verarbeitungszeit mit einer kleinen Schaltung verwirklicht werden.
  • [Erfassung von Fokusinformationen von Phasendifferenzdetektionspixeln im fokussierten Zustand]
  • Als Nächstes wird ein Prozess zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand, die zum Erzeugen der zweidimensionalen Fokusgradkarten in dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration verwendet werden, mit Bezug auf einen Ablaufplan von 7 beschrieben. 7 ist ein Ablaufplan, der ein Beispiel des Prozesses zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform darstellt.
  • Es ist angenommen, dass die Position des Bildaufnahmeobjektivs 111 in Richtung der optischen Achse auf vier Arten, die die Positionen P1 bis P4 in dem Fall des vorstehend beschriebenen Beispiels enthalten, eingestellt werden kann. Ferner ist angenommen, dass die Positionsnummern N der Positionen P1 bis P4 entsprechend 1 bis 4 sind. Zusätzlich werden die Koordinaten der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand als PD (m, n) bezeichnet. Der Erfassungsprozess der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand ist Teil des Prozesses zum Erzeugen der zweidimensionalen Fokusgradkarte, und deshalb wird der Prozess durch die Berechnungseinheit 15 unter der Steuerung der Systemsteuereinheit 18 ausgeführt.
  • Zuerst stellt die Systemsteuereinheit 18 die Positionsnummer N des Bildaufnahmeobjektivs 111 in Richtung der optischen Achse, die Koordinatenposition m in der horizontalen Richtung (Zeilenrichtung) und die Koordinatenposition n in der vertikalen Richtung (Spaltenrichtung) auf 1 ein (Schritt S11) und treibt dann das Bildaufnahmeobjektiv 111 an der vorbestimmten Position an, das heißt an der Position P1, wo N=1 ist (Schritt S12). Als Nächstes erfasst die Systemsteuereinheit 18 das Bild, das an dem Abstand f1, an dem der Gegenstand im Fokus ist, an der Position P1 fotografiert ist (Schritt S13).
  • Als Nächstes liest die Systemsteuereinheit 18 das erste Bild A und das zweite Bild B, die durch die Phasendifferenzdetektionspixel 20 an den Koordinaten PD(1,1) aufgenommen wurden, als der Gegenstand an der Position P1 fotografiert wurde, (Schritt S14) und bestimmt dann, ob die Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild A und dem zweiten Bild B gleich einem oder kleiner als ein vorbestimmter Wert Δa ist oder nicht (Schritt S15).
  • Ferner bestimmt die Systemsteuereinheit 18, falls die Leuchtdichtendifferenz |A-B| gleich |A-B|≤Δa ist (Ja in S15), dass das Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand ist, und gibt beispielsweise den Fokusgrad basierend auf der Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild und dem zweiten Bild als Fokusinformationen aus (Schritt S16). Der Fokusgrad, der als Fokusinformationen ausgegeben wird, ist ein Signal, das die Nähe zwischen der Leuchtdichte des ersten Bild und der Leuchtdichte des zweiten Bilds angibt. Es wird darauf hingewiesen, dass die Systemsteuereinheit 18 in einem Fall der Leuchtdichtendifferenz |A-B|>Δa (Nein in S15) unmittelbar zu Schritt S17 weiter geht.
  • Als Nächstes bestimmt die Systemsteuereinheit 18, ob die Koordinatenposition m in der horizontalen Richtung einen Maximalwert mmax übersteigt oder nicht (in dem vorliegenden Beispiel ist mmax=4) (Schritt S17). Falls die Koordinatenposition m den Maximalwert mmax nicht übersteigt (Nein in S17), inkrementiert die Systemsteuereinheit 18 die Koordinatenposition m in der horizontalen Richtung (Schritt S18). Danach kehrt die Systemsteuereinheit 18 zu Schritt S14 zurück und führt den Prozess von Schritt S14 bis Schritt S17 wiederholt aus, bis die Koordinatenposition m in der horizontalen Richtung den Maximalwert mmax erreicht.
  • Falls die Koordinatenposition m von mmax den Maximalwert mmax übersteigt (Ja in S17), bestimmt die Systemsteuereinheit 18, ob die Koordinatenposition n in der vertikalen Richtung einen Maximalwert nmax übersteigt oder nicht (in dem vorliegenden Beispiel ist nmax=4) (Schritt S19). Ferner inkrementiert die Systemsteuereinheit 18, falls die Koordinatenposition n den Maximalwert nmax nicht übersteigt (Nein in Schritt S19), die Koordinatenposition n in der vertikalen Richtung und stellt die Koordinatenposition m in der horizontalen Richtung auf den Initialwert 1 sein (Schritt S20). Danach kehrt die Systemsteuereinheit 18 zu Schritt S14 zurück und führt den Prozess von Schritt S14 bis Schritt S19 wiederholt aus, bis die Koordinatenposition n in der vertikalen Richtung den Maximalwert nmax erreicht.
  • Falls die Koordinatenposition n in der vertikalen Richtung den Maximalwert nmax übersteigt (Ja in S19), bestimmt die Systemsteuereinheit 18, ob die Positionsnummer N einen Maximalwert Nmax übersteigt oder nicht (in dem vorliegenden beispielhaft ist Nmax=4) (Schritt S21). Ferner beendet die Systemsteuereinheit 18, falls die Positionsnummer N den Maximalwert Nmax übersteigt (Ja in S21) die Reihe von Prozessen zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20.
  • Zusätzlich inkrementiert die Systemsteuereinheit 18, falls die Positionsnummer N den Maximalwert Nmax nicht übersteigt (Nein in S18) die Positionsnummer N und stellt die Koordinatenpositionen m und n in der horizontalen Richtung und der vertikalen Richtung auf den Initialwert 1 ein (Schritt S22). Als Nächstes treibt die Systemsteuereinheit 18 das Bildaufnahmeobjektiv 11 um eine vorbestimmte Größe zu der nächsten Position an (Schritt S23) und kehrt dann zu Schritt S13 zurück. Ferner führt die Systemsteuereinheit 18 wiederholt den Prozess von Schritt S13 bis Schritt S21 aus, bis eine Positionsnummer N den Maximalwert Nmax übersteigt.
  • Als ein Ergebnis der vorstehend beschriebenen Reihe von Prozessen kann das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration den Fokusgrad als Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand, die zum Erzeugen der zweidimensionalen Fokusgradkarte verwendet werden, erfassen und kann die Positionen der Phasendifferenzdetektionspixel 20 in dem Bild (Pixelanordnungseinheit) spezifizieren. Ferner können die Positionsinformationen der Phasendifferenzdetektionspixel 20 des fokussierten Zustands in einer zweidimensionalen Anordnung abgebildet werden, um die zweidimensionale Fokusgradkarte des Gegenstands für jedes der an den Positionen von N=1 bis N=Nmax fotografierten Bildern zu erzeugen, und die Tiefenkarte kann basierend auf der zweidimensionalen Fokusgradkarte erzeugt werden.
  • Es wird darauf hingewiesen, dass, obwohl der Fokusgrad basierend auf der Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild und dem zweiten Bild (das heißt dem Signal, das die Nähe zwischen der Leuchtdichte des ersten Bilds A und der Leuchtdichte des zweiten Bilds B angibt) als Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand in dem Beispiel von 7 ausgegeben wird, anstelle des Fokusgrads Positionsinformationen (Adresse) ausgegeben werden können. Zusätzlich können die Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand unverändert ausgegeben werden oder können komprimiert und ausgegeben werden.
  • <Zweite Ausführungsform>
  • 8 ist ein Systemkonfigurationsdiagramm, das einen Überblick einer Konfiguration eines ersten Bildaufnahmesystems gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung darstellt. Ein Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform weist sowohl die Funktion für normales Fotografieren (Standardfotografieren) als auch die Funktionen für Fokusgraddetektion und Tiefenkartenerzeugung basierend auf der Fokusgraddetektion wie in dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform auf.
  • [Systemkonfiguration]
  • Das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform weist eine Systemkonfiguration auf, die das optische Bildaufnahmesystem 11, die Bildaufnahmeeinrichtung 13, die Bedieneinheit 14, die Berechnungseinheit 15, die Speichereinheit 16, die Anzeigeeinheit 17 und die Systemsteuereinheit 18 enthält. In dieser Systemkonfiguration sind die Bildaufnahmeeinrichtung, die Berechnungseinheit 15, die Speichereinheit 16, die Anzeigeeinheit 17 und die Systemsteuereinheit 18 über die Steuerbusleitung 19A miteinander verbunden. Zusätzlich sind die Bildaufnahmeeinrichtung 13, die Berechnungseinheit 15, die Speichereinheit 16 und die Anzeigeeinheit 17 über die Datenbusleitung 19B miteinander verbunden.
  • Das optische Bildaufnahmesystem 11 weist eine Konfiguration damit auf, was als ein Facettenaugen-System bezeichnet ist, die mehrere Bildaufnahmeobjektive 111 (Mehraugenobjektiv) mit unterschiedlichen Fokuspositionen (Fokustiefen), die um die optische Achse O angeordnet sind, enthält. Das Facettenaugen-System kann auch als ein Mehraugensystem bezeichnet sein. Gemäß dem Bildaufnahmesystem 11 mit der Facettenaugen-Systemkonfiguration (Mehraugen-Systemkonfiguration) können die mehreren Bildaufnahmeobjektive 111 mit unterschiedlichen Fokuspositionen einmaliges Fotografieren ausführen, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erfassen.
  • Die Konfigurationen und Funktionen der Bildaufnahmeeinrichtung 13, der Bedieneinheit 14, der Berechnungseinheit 15, der Speichereinheit 16, der Anzeigeeinheit 17 und der Systemsteuereinheit 18 sind grundsätzlich gleich denjenigen der entsprechenden Bestandteile in dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform. Zusätzlich ist auch das Prinzip der Fokusgraddetektion basierend auf dem ersten Bild A und dem zweiten Bild B, die durch die Phasendifferenzdetektionspixel 20 erfasst sind, die in einer zweidimensionalen Anordnung angeordnet sind, in der Bildaufnahmeeinheit 131 der Bildaufnahmeeinrichtung 13 wie in der ersten Ausführungsform beschrieben.
  • [Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte]
  • Bei der Erzeugung der zweidimensionalen Fokusgradkarte und der Tiefenkarte weist das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform eine monokulare Systemkonfiguration auf, und deshalb muss die Position des Bildaufnahmeobjektivs 111 in der Richtung der optischen Achse angepasst werden, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erfassen.
  • Andererseits kann, da das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform eine Facettenaugen-Systemkonfiguration aufweist, die mehrere Bildaufnahmeobjektive 111 mit unterschiedlichen Fokuspositionen enthält, das Fotografieren einmal ausgeführt werden, um mehrere Bilder in unterschiedlichem Abstand, an dem der Gegenstand im Fokus ist, zu erfassen. Deshalb ist das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform gegenüber dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform vorteilhaft in Bezug auf die Zeit, die erforderlich ist, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert werden, zu erfassen. Zusätzlich kann, da in dem Fall des Bildaufnahmesystems 10B gemäß der zweiten Ausführungsform kein Mechanismus zum Bewegen des Bildaufnahmeobjektivs 111 in der Richtung der optischen Achse O vorhanden ist, die Größe in der Richtung der optischen Achse 0 kleiner sein als diejenige des Bildaufnahmesystems 10A gemäß der ersten Ausführungsform.
  • 9 stellt ein Spezifikationsbeispiel zum Erzeugen der zweidimensionalen Fokusgradkarte und der Tiefenkarte in dem Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform dar. AD-Umsetzung wird der Reihe nach auf die Signale aus den Phasendifferenzdetektionspixeln 20 in einer zweidimensionalen Anordnung ausgeführt. Die Leuchtdichte des Paars aus dem ersten Bild A und dem zweiten Bild B wird verglichen, und der Fokusgrad, der die Nähe der Leuchtdichte angibt, wird ausgegeben. Ferner können die Positionsinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand in eine zweidimensionale Anordnung abgebildet werden, um die zweidimensionale Fokusgradkarte des Gegenstands für jedes der Bilder an den Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, zu erzeugen. Zusätzlich kann die Tiefenkarte basierend auf den Tiefeninformationen D1 bis D4 der dreidimensionalen Form des Gegenstands, die aus den Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, geschätzt sind, und basierend auf der zweidimensionalen Fokusgradkarten, die vorstehend beschrieben sind, erzeugt werden.
  • [Erfassung von Fokusinformationen von Phasendifferenzdetektionspixeln im fokussierten Zustand]
  • Als Nächstes wird ein Prozess zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand, die zum Erzeugen der zweidimensionalen Fokusgradkarten in dem Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform mit der Facettenaugen-Systemkonfiguration verwendet werden, mit Bezug auf einen Ablaufplan von 10 beschrieben. 10 ist ein Ablaufplan, der ein Beispiel des Prozesses zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform darstellt.
  • In dem Beispiel des Bildaufnahmesystems 10A gemäß der ersten Ausführungsform mit der monokularen Systemkonfiguration werden vier Bilder durch Fotografieren des Gegenstands an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, erfasst, und die Abstände, an denen das Bild im Fokus ist, werden gemäß den Bewegungspositionen P1 bis P4 des Bildaufnahmeobjektivs 111 entsprechend als f1 bis f4 eingestellt. Dementsprechend sind vier Bildaufnahmeobjektive 111 um die optische Achse O in dem optischen Bildaufnahmesystem 11 des Bildaufnahmesystems 10B gemäß der zweiten Ausführungsform angeordnet, und die Abstände, an denen die vier Bildaufnahmeobjektive 111 den Gegenstand fokussieren, sind Dementsprechend als f1 bis f4 eingestellt.
  • Der Erfassungsprozess der Fokusinformationen der Phasendifferenzdetektionspixel 20 ist Teil des Prozesses zum Erzeugen der zweidimensionalen Fokusgradkarten. Deshalb wird, wie in dem Fall des Bildaufnahmesystems 10A gemäß der ersten Ausführungsform der Erfassungsprozess der Fokusinformationen der Phasendifferenzdetektionspixel 20 durch die Berechnungseinheit 15 unter der Steuerung der Systemsteuereinheit 18 ausgeführt.
  • Das vorliegende Prozessbeispiel ist ein Prozess zum Lesen aller vier Bilder, die bei einmaligem Fotografieren erfasst werden, und dann Lesen und Kombinieren der zweidimensionalen Karten unterschiedlicher Bereiche an unterschiedlichen Abständen, an denen die Facetten den Gegenstand fokussieren. Ferner ist in dem vorliegenden Prozessbeispiel der Maximalwert mmax der Koordinatenposition m in der horizontalen Richtung (Zeilenrichtung) auf mmax=16 eingestellt, und der Maximalwert nmax der Koordinatenposition n in der vertikalen Richtung (Spaltenrichtung) ist beispielsweise auf nmax=16 eingestellt.
  • Die Systemsteuereinheit 18 stellt die Koordinatenposition m in der horizontalen Richtung (Zeilenrichtung) und die Koordinatenposition n in der vertikalen Richtung (Spaltenrichtung) auf 1 ein (Schritt S31). Als Nächstes erfasst die Systemsteuereinheit 18 vier fotografierte Bilder (Schritt S32) und liest dann das erste Bild A und das zweite Bild B, die durch die Phasendifferenzdetektionspixel 20 der erfassten Bilder aufgenommen sind (Schritt S33).
  • Als Nächstes bestimmt die Systemsteuereinheit 18, ob die Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild A und dem zweiten Bild B gleich dem oder kleiner als der vorbestimmte Wert Δa ist oder nicht (Schritt S34). In einem Fall von |A-B|≤Aa (Ja in S34) bestimmt die Systemsteuereinheit 18, dass das Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand ist, und gibt beispielsweise den Fokusgrad basierend auf der Leuchtdichtendifferenz JA-BI zwischen dem ersten Bild und dem zweiten Bild als Fokusinformationen aus (Schritt S35).
  • Als Nächstes bestimmt die Systemsteuereinheit 18, ob die Koordinatenposition m in der horizontalen Richtung den Maximalwert mmax übersteigt oder nicht (in dem vorliegenden Beispiel ist mmax=16) (Schritt S36). Falls die Koordinatenposition m den Maximalwert mmax nicht übersteigt (Nein in S36), inkrementiert die Systemsteuereinheit 18 die Koordinatenposition m in der horizontalen Richtung (Schritt S37). Danach kehrt die Systemsteuereinheit 18 zu Schritt S33 zurück und führt den Prozess von Schritt S33 bis Schritt S36 wiederholt aus, bis die Koordinatenposition m in der horizontalen Richtung den Maximalwert mmax erreicht.
  • Falls die Koordinatenposition m von mmax den Maximalwert mmax übersteigt (Ja in S36), bestimmt die Systemsteuereinheit 18, ob die Koordinatenposition n in der vertikalen Richtung den Maximalwert nmax übersteigt oder nicht (in dem vorliegenden Beispiel ist nmax=16) (Schritt S38). Ferner stellt die Systemsteuereinheit 18, falls die Koordinatenposition n den Maximalwert nmax nicht übersteigt (Nein in S38), die Koordinatenposition m in der horizontalen Richtung auf m=1 ein und inkrementiert die Koordinatenposition n in der vertikalen Richtung (Schritt S39). Danach kehrt die Systemsteuereinheit 18 zu Schritt S33 zurück und führt den Prozess von Schritt S33 bis Schritt S38 wiederholt aus, bis die Koordinatenposition n in der vertikalen Richtung den Maximalwert nmax erreicht. Falls die Koordinatenposition n den Maximalwert nmax übersteigt (Ja in S38), beendet die Systemsteuereinheit 18 die Reihe von Prozessen zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20.
  • Als ein Ergebnis der vorstehend beschriebenen Reihe von Prozessen kann das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform mit der Facettenaugen-Systemkonfiguration den Fokusgrad als Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand, der zum Erzeugen der zweidimensionalen Fokusgradkarte verwendet wird, erfassen und kann die Positionen der Phasendifferenzdetektionspixel 20 in dem Bild (Pixelanordnungseinheit) spezifizieren. Ferner können die Positionsinformationen der Phasendifferenzdetektionspixel 20 des fokussierten Zustands in einer zweidimensionalen Anordnung abgebildet werden, um die zweidimensionale Fokusgradkarte des Gegenstands für jedes der Bilder von M=1 bis M=Mmax zu erzeugen, und die Tiefenkarte kann basierend auf der zweidimensionalen Fokusgradkarte erzeugt werden.
  • 11 stellt ein weiteres Beispiel des Prozesses zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform dar.
  • In dem vorliegenden Prozessbeispiel sind die Bildnummern M der Bilder, die an den Abständen f1 bis f4, an denen der Gegenstand im Fokus ist, fotografiert sind, gleich 1 bis 4. Zusätzlich ist beispielsweise der Maximalwert mmax der Koordinatenposition m in der horizontalen Richtung mmax=4, und der Maximalwert nmax der Koordinatenposition n in der vertikalen Richtung ist nmax=4. Ferner ist das vorliegende Prozessbeispiel ein Prozess zum Lesen und Kombinieren der zweidimensionalen Karten unterschiedlicher Bereiche in unterschiedlichen Abständen, an denen die Facettenaugen den Gegenstand fokussieren. Ferner ist in dem vorliegenden Prozessbeispiel der Maximalwert mmax der Koordinatenposition m in der horizontalen Richtung (Zeilenrichtung) mmax=16, und der Maximalwert nmax der Koordinatenposition n in der vertikalen Richtung (Spaltenrichtung) ist beispielsweise nmax=16.
  • In dem Ablaufplan von 11 ist der Prozess von Schritt S31 bis Schritt S39 gleich wie in dem Fall des in 10 dargestellten Prozessbeispiels. Ferner bestimmt in einem Fall, in dem die Systemsteuereinheit 18 in dem Prozess von Schritt S38 bestimmt, dass die Koordinatenposition n in der vertikalen Richtung den Maximalwert nmax übersteigt, die Systemsteuereinheit 18, ob die Bildnummer M den Maximalwert Mmax übersteigt oder nicht (in dem vorliegenden Beispiel ist Mmax=4) (Schritt S40) .
  • Darüber hinaus inkrementiert, falls die Bildnummer M den Maximalwert Mmax nicht überstiegt (Nein in S40), die Systemsteuereinheit 18 die Bildnummer M (Schritt S41). Danach kehrt die Systemsteuereinheit 18 zu Schritt S33 zurück und führt den Prozess von Schritt S34 bis Schritt S41 wiederholt aus, bis die Bildnummer M den Maximalwert Mmax übersteigt. Falls die Bildnummer den Maximalwert Mmax übersteigt (Ja in S40), beendet die Systemsteuereinheit 18 die Reihe von Prozessen zum Erfassen der Fokusinformationen der Phasendifferenzdetektionspixel 20.
  • Gemäß der Reihe von Prozessen, die vorstehend beschrieben sind, kann der Fokusgrad auch als Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand erfasst werden, wie in dem Fall des Prozessbeispiels in 10. Die Positionsinformationen der Phasendifferenzdetektionspixel 20 können in einer zweidimensionalen Anordnung abgebildet werden, um die zweidimensionale Fokusgradkarte des Gegenstands für jedes der Bilder mit M=1 bis M=Mmax zu erzeugen, und die Tiefenkarte kann basierend auf der zweidimensionalen Fokusgradkarte erzeugt werden.
  • Es wird darauf hingewiesen, dass, obwohl der Fokusgrad basierend auf der Leuchtdichtendifferenz |A-B| zwischen dem ersten Bild und dem zweiten Bild (das heißt dem Signal, das die Nähe zwischen der Leuchtdichte des ersten Bilds A und der Leuchtdichte des zweiten Bilds B angibt) als Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand in dem Beispiel der 10 und 11 ausgegeben wird, anstelle des Fokusgrads Positionsinformationen (Adresse) ausgegeben werden können. Zusätzlich können die Fokusinformationen der Phasendifferenzdetektionspixel 20 in dem fokussierten Zustand unverändert ausgegeben werden oder können komprimiert und ausgegeben werden.
  • <Modifikation>
  • Obwohl die Technik der vorliegenden Offenbarung basierend auf den bevorzugten Ausführungsformen beschrieben worden ist, ist die Technik der vorliegenden Offenbarung ist nicht auf die Ausführungsformen eingeschränkt. Die Konfiguration und die Struktur des in jeder der Ausführungsformen beschriebenen Bildaufnahmesystems sind Beispiele und können auf geeignete Weise geändert werden. Beispielsweise kann, anders als das einzelne Bildaufnahmesystem gemäß der ersten Ausführungsform und das einzelne Bildaufnahmesystem gemäß der zweiten Ausführungsform, die vorstehend beschrieben sind, ein Hybridsystem bereitgestellt werden, das ein Hybrid aus einem Tiefenerfassungssystem basierend auf einem Mehraugen-Objektiv mit unterschiedlichen Fokustiefen und einem monokularen System für normales Fotografieren ist.
  • Ferner können in den monokularen System und dem Hybridsystem die Auflösungsleistung für das Lesen von Pixeln und die Auflösungsleistung für die Fokusbestimmung geändert werden. Die Position des Bildaufnahmeobjektivs in der Richtung der optischen Achse kann gesteuert werden, um die Auflösungsleistung in der tiefen (Tiefen-) Richtung zu steuern und anzupassen. Die Reaktionsgeschwindigkeit der Positionssteuerung des Bildaufnahmeobjektivs kann berücksichtigt werden, um Bildaufnahme, Detektion und Lesen auszuführen.
  • <Elektronische Ausrüstung der vorliegenden Offenbarung>
  • Das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform oder das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform, das die Fokusgraddetektionseinrichtung und die Tiefenkartenerzeugungseinrichtung der vorliegenden Offenbarung, die vorstehend beschrieben sind, enthält, kann als eine Bildaufnahmeeinheit (Bildaufnahmeeinrichtung) verwendet werden, die auf verschiedene Typen elektronischer Ausrüstung mit Kamerafunktion (Bildaufnahmefunktion) montiert ist. Beispiele für die elektronische Ausrüstung mit Kamerafunktion enthalten mobile Vorrichtungen, wie z. B. ein Smartphone, eine Digitalkamera, ein Tablet und einen Personalcomputer. Die elektronische Ausrüstung, in der das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform oder das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform verwendet werden kann, ist jedoch nicht auf die mobilen Vorrichtungen eingeschränkt.
  • Hier wird ein Smartphone als ein spezifisches Beispiel für die elektronische Ausrüstung der vorliegenden Offenbarung, in der das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform oder das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform verwendet sein kann, dargestellt. 12A stellt eine Außenansicht des Smartphones gesehen von der Vorderseite dar, und 12B stellt eine Außenansicht des Smartphones gesehen von der Rückseite gemäß dem spezifischen Beispiel für die elektronische Ausrüstung der vorliegenden Offenbarung dar.
  • Ein Smartphone 100 gemäß dem vorliegenden spezifischen Beispiel enthält eine Anzeigeeinheit 120 auf der Vorderseite eines Gehäuses 110. Zusätzlich enthält das Smartphone 100 Bildaufnahmeeinheiten (Kameras) 130 und 140 auf einem oberen Teil der Vorderseite und einem oberen Teil der Rückseite des Gehäuses 110.
  • In dem Smartphone 100 als ein Beispiel für die mobile Vorrichtung mit der vorstehend beschriebenen Konfiguration kann das Bildaufnahmesystem 10A gemäß der ersten Ausführungsform oder das Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform, das die Fokusgraddetektionseinrichtung und die Tiefenkartenerzeugungseinrichtung der vorliegenden Offenbarung, die vorstehend beschrieben sind, enthält, als die Bildaufnahmeeinheiten 130 und 140 verwendet sein. Das heißt, das Smartphone 100 gemäß dem vorliegenden spezifischen Beispiel wird unter Verwendung des Bildaufnahmesystems 10A gemäß der ersten Ausführungsform oder des Bildaufnahmesystems 10B gemäß der zweiten Ausführungsform als die Bildaufnahmeeinheiten 130 und 140 erzeugt.
  • Ferner ist das Smartphone 100 gemäß dem vorliegenden spezifischen Beispiel mit dem Bildaufnahmesystem 10A gemäß der ersten Ausführungsform oder dem Bildaufnahmesystem 10B gemäß der zweiten Ausführungsform als die Bildaufnahmeeinheiten 130 und 140 ausgestattet und kann die Funktionen der Fokusgraddetektionseinrichtung und der Tiefenkartenerzeugungseinrichtung der vorliegenden Offenbarung, die vorstehend beschrieben sind, verwenden, um eine Funktionen zum Erkennen der dreidimensionalen Form des Gegenstands, wie z. B. eine Funktion zur Gesichtserkennung, bereitzustellen.
  • <Mögliche Konfigurationen der vorliegenden Offenbarung>
  • Es wird darauf hingewiesen, dass die vorliegende Offenbarung auch wie folgt konfiguriert sein kann.
  • «A. Fokusgraddetektionseinrichtung»
    • [A-1] Fokusgraddetektionseinrichtung, die Folgendes enthält:
      • ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt;
      • eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind; und
      • eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert.
    • [A-2] [Fokusgraddetektionseinrichtung nach [A-1], die ferner Folgendes enthält:
      • eine Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen.
    • [A-3] Fokusgraddetektionseinrichtung nach [A-1] oder [A-2], wobei jedes der Phasendifferenzdetektionspixel ein Paar von Lichtempfangselementen enthält.
    • [A-4] Fokusgraddetektionseinrichtung nach [A-3], wobei das Paar von Lichtempfangselementen nebeneinander in einer ersten Richtung, einer zweiten Richtung orthogonal zu der ersten Richtung oder sowohl in der ersten Richtung als auch in der zweiten Richtung in einem einzelnen Pixel angeordnet ist.
    • [A-5] Fokusgraddetektionseinrichtung nach einem aus [A-1] bis [A-4], wobei das optische Bildaufnahmesystem ein einzelnes Bildaufnahmeobjektiv enthält, in dem eine Position in einer Richtung der optischen Achse angepasst werden kann, und mehrmaliges Fotografieren an unterschiedlichen Positionen des einzelnen Bildaufnahmeobjektivs ausführt, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erhalten.
    • [A-6] Fokusgraddetektionseinrichtung nach einem aus [A-1] bis [A-4], wobei das optische Bildaufnahmesystem mehrere Bildaufnahmeobjektive mit unterschiedlichen Fokuspositionen enthält und die mehreren Bildaufnahmeobjektive verwendet, um einmaliges Fotografieren auszuführen, um mehrere Bilder zu erhalten, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind.
  • «B. Tiefenkartenerzeugungseinrichtung»
    • [B-1] Tiefenkartenerzeugungseinrichtung, die Folgendes enthält:
      • ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt;
      • eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind;
      • eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert;
      • eine erste Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen; und
      • eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen der Gegenstand im Fokus ist, in jedem der mehreren Bilder geschätzt sind, und basierend auf zweidimensionalen Fokusgradkarten erzeugt.
    • [B-2] Tiefenkartenerzeugungseinrichtung nach [B-1], wobei jedes der Phasendifferenzdetektionspixel ein Paar von Lichtempfangselementen enthält.
    • [B-3] Tiefenkartenerzeugungseinrichtung nach [B-2], wobei das Paar von Lichtempfangselementen nebeneinander in einer ersten Richtung, einer zweiten Richtung orthogonal zu der ersten Richtung oder sowohl in der ersten Richtung als auch in der zweiten Richtung in einem einzelnen Pixel angeordnet ist.
    • [B-4] Tiefenkartenerzeugungseinrichtung nach einem aus [B-1] bis [B-3], wobei das optische Bildaufnahmesystem ein einzelnes Bildaufnahmeobjektiv enthält, in dem eine Position in einer Richtung der optischen Achse angepasst werden kann, und mehrmaliges Fotografieren an unterschiedlichen Positionen des einzelnen Bildaufnahmeobjektivs ausführt, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erhalten.
    • [B-5] Tiefenkartenerzeugungseinrichtung nach einem aus [B-1] bis [B-3], wobei das optische Bildaufnahmesystem mehrere Bildaufnahmeobjektive mit unterschiedlichen Fokuspositionen enthält und die mehreren Bildaufnahmeobjektive verwendet, um einmal zu fotografieren, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erhalten.
  • <<C. Elektronisch Ausrüstung»
    • [C-1] Elektronische Ausrüstung, die mit einer Tiefenkartenerzeugungseinrichtung ausgestattet ist, wobei die Tiefenkartenerzeugungseinrichtung Folgendes enthält:
      • ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt,
      • eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind,
      • eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert,
      • eine erste Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen, und
      • eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen der Gegenstand im Fokus ist, in jedem der mehreren Bilder geschätzt sind, und basierend auf zweidimensionalen Fokusgradkarten erzeugt.
    • [C-2] Elektronische Ausrüstung nach [C-1], wobei jedes der Phasendifferenzdetektionspixel ein Paar von Lichtempfangselementen enthält.
    • [C-3] Elektronische Ausrüstung nach [C-2], wobei das Paar von Lichtempfangselementen nebeneinander in einer ersten Richtung, einer zweiten Richtung orthogonal zu der ersten Richtung oder sowohl in der ersten Richtung als auch in der zweiten Richtung in einem einzelnen Pixel angeordnet ist.
    • [C-4] Elektronische Ausrüstung nach einem aus [C-1] bis [C-3], wobei das optische Bildaufnahmesystem ein einzelnes Bildaufnahmeobjektiv, in dem eine Position in einer Richtung der optischen Achse angepasst werden kann, enthält und mehrmaliges Fotografieren an unterschiedlichen Positionen des einzelnen Bildaufnahmeobjektivs ausführt, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erhalten.
    • [C-5] Elektronische Ausrüstung nach einem aus [C-1] bis [C-3], wobei das optische Bildaufnahmesystem mehrere Bildaufnahmeobjektive mit unterschiedlichen Fokuspositionen enthält und die mehreren Bildaufnahmeobjektive verwendet, um einmaliges Fotografieren auszuführen, um mehrere Bilder zu erhalten, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind.
  • Bezugszeichenliste
    • 10A:
    Bildaufnahmesystem gemäß der ersten Ausführungsform
    10B:
    Bildaufnahmesystem gemäß der zweiten Ausführungsform
    11:
    Optisches Bildaufnahmesystem
    12:
    Objektiv- und Blendenantriebseinheit
    13:
    Bildaufnahmeeinrichtung
    14:
    Bedieneinheit
    15:
    Berechnungseinheit
    16:
    Speichereinheit
    17:
    Anzeigeeinheit
    18:
    Systemsteuereinheit
    19A:
    Steuerbusleitung
    19B:
    Datenbusleitung
    20:
    Phasendifferenzdetektionspixel
    20A, 20B:
    Paar von Lichtempfangselementen
    21:
    On-Chip-Mikroobjektiv
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2016/0267666 A1 [0005]

Claims (8)

  1. Fokusgraddetektionseinrichtung, die Folgendes umfasst: ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt; eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind; und eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert.
  2. Fokusgraddetektionseinrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen.
  3. Fokusgraddetektionseinrichtung nach Anspruch 1, wobei jedes der Phasendifferenzdetektionspixel ein Paar von Lichtempfangselementen enthält.
  4. Fokusgraddetektionseinrichtung nach Anspruch 3, wobei das Paar von Lichtempfangselementen nebeneinander in einer ersten Richtung, einer zweiten Richtung orthogonal zu der ersten Richtung oder sowohl in der ersten Richtung als auch in der zweiten Richtung in einem einzelnen Pixel angeordnet ist.
  5. Fokusgraddetektionseinrichtung nach Anspruch 1, wobei das optische Bildaufnahmesystem ein einzelnes Bildaufnahmeobjektiv enthält, in dem eine Position in einer Richtung der optischen Achse angepasst werden kann, und mehrmaliges Fotografieren an unterschiedlichen Positionen des einzelnen Bildaufnahmeobjektivs ausführt, um mehrere Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erhalten.
  6. Fokusgraddetektionseinrichtung nach Anspruch 1, wobei das optische Bildaufnahmesystem mehrere Bildaufnahmeobjektive mit unterschiedlichen Fokuspositionen enthält und die mehreren Bildaufnahmeobjektive verwendet, um einmaliges Fotografieren auszuführen, um mehrere Bilder zu erhalten, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind.
  7. Tiefenkartenerzeugungseinrichtung, die Folgendes umfasst: ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt; eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind; eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert; eine erste Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen; und eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen der Gegenstand im Fokus ist, in jedem der mehreren Bilder geschätzt sind, und basierend auf zweidimensionalen Fokusgradkarten erzeugt.
  8. Elektronische Ausrüstung, die mit einer Tiefenkartenerzeugungseinrichtung ausgestattet ist, wobei die Tiefenkartenerzeugungseinrichtung Folgendes enthält: ein optisches Bildaufnahmesystem, das Bildlicht von einem Gegenstand aufnimmt, eine Bildaufnahmeeinheit, die Phasendifferenzdetektionspixel zum Erhalten eines ersten Bilds und eines zweiten Bilds basierend auf einem Lichtstrom, der einen ersten Pupillenbereich durchläuft, und einem Lichtstrom, der einen zweiten Pupillenbereich, der in einer Austrittspupille des optischen Bildaufnahmesystems enthalten ist, durchläuft, enthält, wobei die Phasendifferenzdetektionspixel in einer zweidimensionalen Anordnung angeordnet sind, eine Detektionseinheit, die für jedes von mehreren Bildern, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, Phasendifferenzdetektionspixel, in denen eine Leuchtdichtendifferenz zwischen dem ersten Bild und dem zweiten Bild gleich einem oder kleiner als ein vorbestimmter Wert ist, detektiert, eine erste Kartenerzeugungseinheit, die in einer zweidimensionalen Anordnung Positionsinformationen der Phasendifferenzdetektionspixel, die durch die Detektionseinheit detektiert werden, abbildet, um eine zweidimensionale Fokusgradkarte des Gegenstands für jedes der mehreren Bilder, die an unterschiedlichen Abständen, an denen der Gegenstand im Fokus ist, fotografiert sind, zu erzeugen, und eine zweite Kartenerzeugungseinheit, die eine Tiefenkarte basierend auf den Tiefeninformationen des Gegenstands, die aus den Abständen, an denen der Gegenstand im Fokus ist, in jedem der mehreren Bilder geschätzt sind, und basierend auf zweidimensionalen Fokusgradkarten erzeugt.
DE112019004845.7T 2018-09-28 2019-08-09 Fokusgraddetektionseinrichtung, tiefenkartenerzeugungseinrichtung und elektronische vorrichtung Withdrawn DE112019004845T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018184005 2018-09-28
JP2018-184005 2018-09-28
PCT/JP2019/031620 WO2020066341A1 (ja) 2018-09-28 2019-08-09 合焦度検出装置、深度マップ生成装置、及び、電子機器

Publications (1)

Publication Number Publication Date
DE112019004845T5 true DE112019004845T5 (de) 2021-07-15

Family

ID=69950435

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019004845.7T Withdrawn DE112019004845T5 (de) 2018-09-28 2019-08-09 Fokusgraddetektionseinrichtung, tiefenkartenerzeugungseinrichtung und elektronische vorrichtung

Country Status (3)

Country Link
KR (1) KR20210065939A (de)
DE (1) DE112019004845T5 (de)
WO (1) WO2020066341A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267666A1 (en) 2015-03-09 2016-09-15 Samsung Electronics Co., Ltd. Image signal processor for generating depth map from phase detection pixels and device having the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016670A (ja) * 2012-07-05 2014-01-30 Nikon Corp 画像処理装置及び画像処理プログラム
JP6548372B2 (ja) * 2014-01-28 2019-07-24 キヤノン株式会社 固体撮像素子およびそれを用いた測距装置、撮像装置
JP2016192621A (ja) * 2015-03-31 2016-11-10 キヤノン株式会社 撮像装置、画像処理演算装置、及び画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267666A1 (en) 2015-03-09 2016-09-15 Samsung Electronics Co., Ltd. Image signal processor for generating depth map from phase detection pixels and device having the same

Also Published As

Publication number Publication date
KR20210065939A (ko) 2021-06-04
WO2020066341A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
DE102012217165B4 (de) Bildaufnahmevorrichtung und Brennpunkterfassungsverfahren
DE112013002286B4 (de) Bildaufnahmevorrichtung und Verfahren zur Fokussierungssteuerung
CN107465866B (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
JP6509027B2 (ja) 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
JP7052850B2 (ja) 撮像装置
CN103986854B (zh) 图像处理设备、摄像设备和控制方法
DE112013006817B4 (de) Bildaufnahmevorrichtung, Signalverarbeitungsverfahren und Signalverarbeitungsprogramm
DE102014218166B4 (de) Bildverarbeitungsvorrichtung und zugehöriges steuerverfahren
CN103516976B (zh) 图像摄取装置及其控制方法
KR20130020579A (ko) 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법
DE102016120954A1 (de) Abbildungseinrichtung und Abbildungsverfahren
CN103370943A (zh) 成像装置和成像方法
CN105245867A (zh) 图像拾取装置、系统和控制方法以及图像处理装置
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
DE102015102681A1 (de) All-in-focus - implementierung
CN108805921B (zh) 图像获取系统及方法
CN106060376A (zh) 显示控制设备、显示控制方法和摄像设备
JP2017220724A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
DE102012202386A1 (de) Bildaufnahmevorrichtung und bildsignalverarbeitungsvorrichtung
JP2018040929A (ja) 撮像制御装置および撮像制御方法
DE102016113921A1 (de) Bildaufnahmevorrichtung und Verfahren zur Steuerung der Bildaufnahmevorrichtung
DE112019004845T5 (de) Fokusgraddetektionseinrichtung, tiefenkartenerzeugungseinrichtung und elektronische vorrichtung
JP2019129374A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
DE102017100796A1 (de) Abbildungsvorrichtung und Steuerungsverfahren von dieser
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee