DE102016110123A1 - Bildgebungselement, Bildaufnahmevorrichtung, Verfahren zur Steuerung eines Bildgebungselements, Programm und Speichermedium - Google Patents

Bildgebungselement, Bildaufnahmevorrichtung, Verfahren zur Steuerung eines Bildgebungselements, Programm und Speichermedium Download PDF

Info

Publication number
DE102016110123A1
DE102016110123A1 DE102016110123.0A DE102016110123A DE102016110123A1 DE 102016110123 A1 DE102016110123 A1 DE 102016110123A1 DE 102016110123 A DE102016110123 A DE 102016110123A DE 102016110123 A1 DE102016110123 A1 DE 102016110123A1
Authority
DE
Germany
Prior art keywords
signal
unit
imaging
photoelectric conversion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016110123.0A
Other languages
English (en)
Inventor
Hiroyasu Katagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of DE102016110123A1 publication Critical patent/DE102016110123A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Ein Bildgebungselement enthält eine Bildelementeinheit zum Aufnehmen von einfallendem Licht, die eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung durchführt. Das Bildgebungselement führt einen Kompressionsprozess bei einem ersten Signal durch, das ein aus der Bildelementeinheit ausgegebenes Bildgebungssignal ist. Das Bildgebungselement führt einen von dem Kompressionsprozess verschiedenen Prozess bei einem zweiten Signal durch, das eine von dem ersten Signal verschiedene Verwendung aufweist, das aus der Bildelementeinheit ausgegeben wird, sodass sich das zweite Signal nicht verschlechtert.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Bildgebungselement, eine Bildaufnahmevorrichtung, ein Verfahren zur Steuerung des Bildgebungselements, ein Programm und ein Speichermedium.
  • Beschreibung der verwandten Technik
  • Zum Realisieren von Bildaufnahmevorrichtungen, die Fähigkeiten einer hohen Auflösung, einer aufeinanderfolgenden Hochgeschwindigkeitsfotografie und von hohen Bewegtbildfrequenzen aufweisen, müssen verglichen mit der verwandten Technik in den Bildaufnahmevorrichtungen große Datenmengen mit hohen Geschwindigkeiten verarbeitet werden. Werden aber die Bandbreiten von Übertragungswegen zum Übertragen großer Datenmengen erhöht, erhöhen sich die Kosten mit Erhöhung der Bandbreite. Die japanische Patentoffenlegung Nr. 2014-103543 offenbart eine Bildaufnahmevorrichtung, die ein Bildgebungselement mit einer Kompressionseinheit zum Komprimieren von Daten enthält, und eine große Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges durch Durchführen eines Dekompressionsprozesses bei komprimierten Bilddaten übertragen kann.
  • Eine Bildelementeinheit mit einer in dem Bildgebungselement vorgesehenen fotoelektrischen Umwandlungseinheit kann in Betracht gezogen werden, das ein Bildgebungsbildelement, das ein Abbildungssignal ausgibt, und ein Funktionsbildelement enthält, das ein Signal mit unterschiedlicher Verwendung bzgl. des Abbildungssignals ausgibt, wie ein Fokuserfassungssignal oder Dunkelstromerfassungssignal. Wenn bei einem Ausgangssignal der Funktionsbildelemente unter Verwendung des Bildgebungselements derselbe Kompressionsprozess wie für das Abbildungssignal durchgeführt wird, tritt aufgrund des Kompressionsprozesses Rauschen oder eine Verzerrung auf, und somit tritt eine Verschlechterung in einem Signal auf.
  • KURZZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung stellt ein Bildgebungselement bereit, das eine Ausgabe aus einer in einer Bildelementeinheit enthaltenen fotoelektrischen Umwandlungseinheit komprimiert und ausgibt und verhindern kann, dass sich ein Signal aufgrund einer Kompression beruhend auf einer Verwendung eines Ausgangssignals der Bildelementeinheit verschlechtert, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges ermöglicht wird.
  • Gemäß einem Ausführungsbeispiel der Erfindung ist ein Bildgebungselement bereitgestellt, das eine Bildelementeinheit, die einfallendes Licht empfängt, und eine fotoelektrische Umwandlungseinheit zur Durchführung einer fotoelektrischen Umwandlung des einfallenden Lichts zur Erzeugung eines Abbildungssignals enthält, eine Kompressionseinheit zur Durchführung eines Kompressionsprozesses bei einem ersten Signal, das ein aus der Bildelementeinheit ausgegebenes Abbildungssignal ist, und eine Steuereinheit zur Durchführung eines von dem bei dem ersten Signal durchgeführten Kompressionsprozesses verschiedenen Prozesses bei einem zweiten Signal enthält, sodass das zweite Signal sich nicht verschlechtert, wobei das zweite Signal für eine andere Verwendung als das erste Signal gedacht ist.
  • Erfindungsgemäß kann ein Bildgebungselement verhindern, dass sich ein Signal aufgrund einer Kompression gemäß einer Verwendung eines Ausgangssignals der Bildelementeinheit verschlechtert, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges ermöglicht wird.
  • Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel.
  • 2 zeigt ein Beispiel einer Schnittansicht, die Bildelement eines Bildgebungselements veranschaulicht.
  • 3 zeigt eine Darstellung einer Lichtaufnahmeoberfläche des Bildgebungselements.
  • 4 zeigt eine Darstellung einer Lesezeitvorgabe eines Signals von dem Bildgebungselement.
  • 5 zeigt eine Darstellung eines Beispiels des Aufbaus einer in dem Bildgebungselement enthaltenen Kompressionseinheit.
  • 6 zeigt ein Ablaufdiagramm eines durch die Kompressionseinheit durchgeführten Prozesses.
  • 7 zeigt eine Darstellung einer internen Schaltung einer Trenneinheit und Eingangs- und Ausgangssignale.
  • 8 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel
  • 9 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
  • 10 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
  • 11 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
  • Die 12A und 12B zeigen Darstellungen von Änderungsausmaßen von Bildelementwerten, wenn ein Hauptsubjekt im Brennpunkt und nicht im Brennpunkt ist.
  • 13 zeigt eine Darstellung eines Neufokussierprozesses.
  • 14 zeigt eine Darstellung eines neufokussierbaren Bereichs.
  • BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • Nachstehend wird eine Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
  • (Erstes Ausführungsbeispiel)
  • 1 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel. Die in 1 dargestellte Bildaufnahmevorrichtung enthält ein optisches Bildgebungssystem 101 bis zu einer Linsenansteuerungseinheit 117. Das optische Bildgebungssystem 101 empfängt Licht von einem Subjekt und führt einen Lichtfluss über eine Vielzahl von Linsengruppen und eine Blende (die nicht dargestellt sind) zu einem Bildgebungselement 102. Der durch das optische Bildgebungssystem 101 gehende Lichtfluss wird auf dem Bildgebungselement 102 als optisches Bild erzeugt. Das optische Bildgebungssystem 101 enthält eine Fokussierlinse. Die Fokussierlinse wird in einer optischen Achsenrichtung durch einen Ansteuerungsbefehl von der Linsenansteuerungseinheit 117 oder eine manuelle Anpassung unter Verwendung eines Fokussierrings (nicht gezeigt) angesteuert.
  • Das Bildgebungselement 102 enthält Bildelementeinheiten, die einfallendes Licht aufnehmen und fotoelektrische Umwandlungseinheiten 103 enthalten, die eine fotoelektrische Umwandlung durchführen. Das Bildgebungselement 102 enthält eine A/D-Umwandlungseinheit 104, eine Datenschalteinheit 105, eine erste Kompressionseinheit 106, eine zweite Kompressionseinheit 107 und eine Ausgabeeinheit 108. Die Ausgabeeinheit 108 enthält bspw. eine I/O-Zelle oder einen I/O-Anschluss und gibt kodierte Daten, die von der ersten Kompressionseinheit 106 oder der zweiten Kompressionseinheit 107 zugeführt werden, zur Außenseite des Bildgebungselements 102 aus. Die durch die Ausgabeeinheit 108 ausgegebenen kodierten Daten werden über einen Bus 109 einer Eingabeeinheit 111 der Bildverarbeitungseinheit 110 zugeführt. Mit Erhöhung der Anzahl der Bildelemente (der Anzahl der fotoelektrischen Umwandlungseinheiten) gibt es Bedenken, dass eine Kommunikationsbandbreite einer Schnittstelle zwischen dem Bildgebungselement 102 und der Bildverarbeitungseinheit 111 ungenügend ist. Demnach enthält das Bildgebungselement 102 bei diesem Ausführungsbeispiel wie vorstehend beschrieben eine Kompressionseinheit zur Durchführung einer Kompression, sodass eine Übertragungsmenge verringert wird, selbst wenn die fotoelektrischen Umwandlungseinheiten mit einer größeren Anzahl an Bildelementen enthalten sind. Somit können der hohen Anzahl an Bildelementen entsprechende Daten übertragen werden.
  • Die Bildverarbeitungseinrichtung 110 enthält eine Eingabeeinheit 111, eine Dekompressionseinheit 112, eine Trenneinheit 113, eine Bildverarbeitungsschaltungsgruppe 114, eine Aufzeichnungseinheit 115 und eine AF-Berechnungseinheit 116. Die Eingabeeinheit 111 empfängt von der Ausgabeeinheit 108 des Bildgebungselements 102 gesendete kodierte Daten über den Bus 109. Die Eingabeeinheit 111 führt die beschafften kodierten Daten der Dekompressionseinheit 112 zu. Die Dekompressionseinheit 112 dekomprimiert die von der Eingabeeinheit 111 zugeführten kodierten Daten gemäß einem Verfahren, das dem Kompressionsverfahren der ersten Kompressionseinheit 106 oder der zweiten Kompressionseinheit 107 entspricht, zum Wiederherstellen der Daten, und gibt dann das Signal aus. Die Trenneinheit 113 führt einen Prozess eines Trennens des aus der Dekompressionseinheit 112 ausgegebenen Signals durch und gibt die getrennten Signale in die Bildverarbeitungsschaltungsgruppe 114 und die AF-Berechnungseinheit 116 ein. Bei diesem Beispiel gibt die Trenneinheit 113 ein Bildsignal (Abbildungssignal) zur Bildgebung, d. h., Betrachtung, in die Bildverarbeitungsschaltungsgruppe 114 ein. Die Trenneinheit 113 gibt ein Fokuserfassungssignal zu der AF-Berechnungseinheit 118 aus. Die Bildverarbeitungsschaltungsgruppe 114 führt eine Bildverarbeitung beruhend auf dem eingegebenen Signal durch.
  • Die Aufzeichnungseinheit 115 erzeugt digitale Aufzeichnungsdaten und zeichnet diese aus, indem sie bspw. einen Kompressionsprozess wie JPEG bei den Daten durchführt, die verschiedenen Arten von Bildverarbeitung unterzogen sind. Die AF-Berechnungseinheit 116 führt eine Berechnung bzgl. einer Fokuserfassung beruhend auf dem von der Trenneinheit eingegebenen Fokuserfassungssignal durch und gibt einen Linsenansteuerbefehl beruhend auf einem Berechnungsergebnis aus. Die Linsenansteuerungseinheit 117 steuert die in dem optischen Bildgebungssystem 101 enthaltene Fokussierlinse beruhend auf dem aus der AF-Berechnungseinheit 116 ausgegebenen Linsenansteuerbefehl an.
  • Als Nächstes werden Einzelheiten des Bildgebungselements 102 beschrieben. In der Bildaufnahmevorrichtung sind die Bildelementeinheiten zweidimensional angeordnet. Die in den Bildelementeinheiten enthaltene Bildelemente führen eine fotoelektrische Umwandlung bei dem empfangenen Licht durch die fotoelektrischen Umwandlungseinheiten 103 durch und geben über die fotoelektrische Umwandlung erhaltene analoge Signale als Rohdaten zu der A/D-Umwandlungseinheit 104 aus. Die aus der A/D-Umwandlungseinheit 104 ausgegebenen Rohdaten werden in die Datenschalteinheit 105 eingegeben. Bei diesem Beispiel ist eine Mikrolinse 204 zum Entsprechen jeder Bildelementeinheit angeordnet, sodass eine Austrittspupille des optischen Bildgebungssystems unterteilt ist, und die Bildelementeinheit somit die erste fotoelektrische Umwandlungseinheit 201 und eine zweite fotoelektrische Umwandlungseinheit 202 enthält, die eine fotoelektrische Umwandlung bei Lichtflüssen anwenden, die durch wechselseitig verschiedene Pupillenregionen gehen. Beispielsweise wird ein Bild A aus der fotoelektrischen Umwandlungseinheit 201 ausgegeben, und ein Bild B wird aus der fotoelektrischen Umwandlungseinheit 202 ausgegeben. Bei diesem Beispiel sind die den fotoelektrischen Umwandlungseinheiten 201 und 202 entsprechenden Bildelemente als effektive Bildelemente eingestellt, d. h., Bildgebungsbildelemente, die Abbildungssignale ausgeben. Ein Abbildungssignal (Bild A + B) wird aus den effektiven Bildelementen ausgegeben. Das Bild A + B entspricht einem addierten Signal der Bilder A + B. Das heißt, das Bildgebungselement gemäß diesem Ausführungsbeispiel weist eine Funktion eines Lesens lediglich des Bildes A auf zerstörungsfreie Weise und eine Funktion eines Addierens von Ladungen der fotoelektrischen Umwandlungseinheiten 201 und 202 und Lesen der Ladungen als das Bild A + B auf.
  • Die Datenschalteinheit 105 gibt ein Abbildungssignal, das ein erstes Signal darstellt, in die erste Kompressionseinheit 106 ein, und gibt ein zweites Signal (Bild A) für eine andere Verwendung als das erste Signal zu der zweiten Kompressionseinheit 107 aus. Die durch die Datenschalteinheit 105 geschalteten Rohdaten werden in vorbestimmten Einheiten von Kodierblöcken ausgegeben, und werden in die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 eingegeben. Die Kodierblöcke beziehen sich bspw. auf Einheiten wie 8 × 8 Bildelemente, die bei einem allgemeinen Kompressionsalgorithmus der JPEG-Erzeugung verwendet werden. Bei diesem Ausführungsbeispiel werden zur Vereinfachung der Beschreibung Kodierblöcke in einer eindimensionalen Richtung angewendet. Die vorliegende Erfindung kann selbst dann leicht angewendet werden, wenn die Kodierblöcke in zweidimensionalen Richtungen entwickelt sind.
  • Anstelle des in 2 gezeigten Aufbaus kann die in dem Bildgebungselement angeordnete Bildelementeinheit einen beliebigen Aufbau aufweisen, der effektive Bildelemente, die einer Bildverarbeitung unterzogene Abbildungssignale ausgeben, und Funktionsbildelemente enthält, die Signale ausgeben, die einem anderen Prozess als der Bildverarbeitung durch eine Funktionsverarbeitungseinheit wie der AF-Berechnungseinheit 116 unterzogen werden. Wenn die Bildelementeinheit bspw. effektive Bildelemente und die Funktionsbildelemente enthält, die ein Fokuserfassungssignal ausgeben, gibt die Datenschalteinheit 105 eine Ausgabe der effektiven Bildelemente in die erste Kompressionseinheit 106 aus, und gibt eine Ausgabe der Fokuserfassungsbildelemente zu der zweiten Kompressionseinheit 107 aus. Wenn die Bildelementeinheit bspw. effektive Bildelemente und optische schwarze Bildelemente (OB-Bildelemente) enthält, die ein Dunkelstromerfassungssignal ausgeben, gibt die Datenschalteinheit 105 eine Ausgabe der effektiven Bildelemente zu der ersten Kompressionseinheit 106 aus, und gibt eine Ausgabe der OB-Bildelemente zu der zweiten Kompressionseinheit 107 aus.
  • Die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 empfangen Rohdaten in Einheiten von Kodierblöcken, die von der Datenschalteinheit 105 ausgegeben werden, und erzeugen kodierte Daten durch Durchführen eines vorbestimmten Kodierprozesses.
  • 2 zeigt ein Beispiel einer Bildelementschnittansicht, die das Bildgebungselement veranschaulicht. Eine Mikrolinse 204 ist für die Bildelementeinheit vorgesehen, die die fotoelektrischen Umwandlungseinheiten 201 und 202 enthält. Das Bezugszeichen 203 bezeichnet einen Farbfilter, und das Bezugszeichen 205 bezeichnet eine Verdrahtungsschicht. Durch Vorsehen von zwei fotoelektrischen Umwandlungseinheiten für eine Mikrolinse kann eine Pupillenteilung und Fokuserfassung unter Verwendung einer Phasendifferenz zwischen Bildern durchgeführt werden, die von den fotoelektrischen Umwandlungseinheiten erhalten werden. Durch Addieren von Ausgaben der fotoelektrischen Umwandlungseinheiten 201 und 202 kann ein Bild (Bild A + B) erhalten werden, in dem eine Pupille nicht geteilt ist. Das Farbfilter 203 enthält Rot(R)-, Grün(G)-, und Blau(B)-Filter in einem Bayerarray. Durch Addieren der Ausgaben der fotoelektrischen Umwandlungseinheiten 201 und 202 kann demnach ein Farbbild erhalten werden.
  • 3 zeigt eine Darstellung einer Lichtaufnahmeoberfläche des Bildgebungselements. Eine Breite 301 entspricht einem Bereich der effektiven Bildelemente des gesamten Bildgebungselements. Der Bereich ist ein Lesebereich des Bildes A + B. Die Breite 302 ist ein Bild A-lesbarer Bereich. Zum Verkürzen einer Lesezeit aus dem Bildgebungselement ist lediglich ein für die Fokuserfassung verwendeter Bereich als Bereich entworfen, aus dem das Bild A gelesen wird.
  • 4 zeigt eine Darstellung einer Lesezeitvorgabe eines Signals aus dem Bildgebungselement. Das Bezugszeichen 405 bezeichnet ein Lesesignal für eine horizontale Periode aus dem Bildgebungselement. Eine Periode 401 ist eine horizontale Austastperiode. Eine Periode 402 ist eine Leseperiode des Bildes A. Eine Periode 403 ist eine Leseperiode des Bildes A + B. Auf diese Weise kann nur das Bild A oder nur das Bild B in einer kürzeren horizontalen Periode als bei einer individuellen Leseperiode gelesen werden. Die Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel erhält das Bild B durch Subtrahieren des Bildes A von dem Bild A + B, das durch die in 1 gezeigte Trenneinheit 113 gelesen wird. Die Datenschalteinheit 105 gibt das Bild A während der Periode 402 zu der zweiten Kompressionseinheit 107 aus, und gibt das Bild A + B während der Periode 403 zu der ersten Kompressionseinheit 106 aus.
  • 5 zeigt eine Darstellung eines Beispiels des Aufbaus der in dem Bildgebungselement enthaltenen Kompressionseinheit. Die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 enthalten jeweils eine Quantisierungseinheit 501, eine Entropiekodiereinheit 205, eine kodierte Menge-Messeinheit 503 und eine kodierte Menge-Steuereinheit 504. Die Quantisierungseinheit 501 ist eine Schaltung, die einen Differenzwert der Rohdaten zwischen den Bildelementen (der nachstehend als Differenzwert bezeichnet wird) extrahiert und quantisierte Daten des Differenzwerts erzeugt. Die Entropiekodiereinheit 502 ist eine Schaltung, die jedem Stück quantisierter Daten beruhend auf der Häufigkeit der Erscheinung von Eingabedaten (eines Symbols) ein Vorzeichen zuweist und kodierte Daten erzeugt. Als Entropiekodierschema ist eine Golomb-Kodierung und Huffman-Kodierung bekannt. Die Erfindung ist nicht auf ein derartiges Kodierschema beschränkt. Die kodierte Menge-Messeinheit 503 ist eine Schaltung, die eine Kodierdatenmenge in Einheiten von Kodierblöcken misst. Die kodierte Menge-Steuereinheit 504 ist eine Schaltung, die eine kodierte Menge steuert und kodierte Daten beruhend auf der durch die kodierte Menge-Messeinheit 503 gemessenen Kodierdatenmenge kodiert.
  • 6 zeigt ein Ablaufdiagramm eines durch die Kompressionseinheit durchgeführten Prozesses. Wenn ein Kompressionsprozess beginnt, werden die Rohdaten in Einheiten von Kodierblöcken in die Quantisierungseinheit 501 eingegeben. In S601 berechnet die Quantisierungseinheit 501 einen Differenzwert zwischen angrenzenden Bildelementen in einem Kodierblock. Danach quantisiert die Quantisierungseinheit 501 in S602 den in S601 berechneten Differenzwert unter Verwendung eines vorbestimmten Wertes. Der vorbestimmte Wert ist ein Parameter zum Entscheiden eines Quantisierungsschritts und wird dynamisch durch die kodierte Menge-Steuereinheit 504 entschieden. Danach wird der vorbestimmte Wert als Quantisierungsparameter (QP) beschrieben. Der Differenzwert QP wird subtrahiert, und ein Dezimalteil des Subtraktionsergebnisses wird bei der Quantisierung abgerundet.
  • Als Nächstes weist die Entropiekodiereinheit 502 in S603 dem quantisierten Differenzwert ein Vorzeichen zu. In S604 bestimmt die kodierte Menge-Messeinheit 503, ob die kodierten Daten in eine Zieldatenmenge (Zielmenge kodierter Daten) fällt. Bei diesem Ausführungsbeispiel wird eine in die Bandbreite des Bus 109 fallende kodierte Datenmenge in der Zielmenge kodierter Daten eingestellt.
  • Hier wird ein zweites Signal (das Dunkelstromerfassungssignal aus dem Bild A oder die OB-Bildelemente oder das Fokuserfassungssignal aus den Fokuserfassungsbildelementen) mit einer geringeren Datenmenge als Ausgabedaten aus den effektiven Bildelementen in die zweite Kompressionseinheit 107 eingegeben. Wird ein derartiges Signal demselben Kompressionsprozess wie dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess unterzogen, kann sich das Signal verschlechtern, und somit gibt es Bedenken hinsichtlich einer Fokusgenauigkeitsverschlechterung oder Bildqualitätsverschlechterung der gesamten effektiven Bildelementregion. Demnach wird in der zweiten Kompressionseinheit 107 eine Zielmenge kodierter Daten eingestellt, die größer als die in der ersten Kompressionseinheit 106 eingestellte Zielmenge kodierter Daten ist, um eine Verschlechterung der Bildqualität zu verhindern. Zum Verhindern der bei dem Kompressionsprozess verursachten Verschlechterung der Bildqualität kann alternativ ein Nicht-Kompressionsprozess gewählt und ohne die Durchführung der Prozesse von S601 bis S604 durchgeführt werden. Das heißt, die zweite Kompressionseinheit 107 arbeitet als Steuereinheit, die einen Prozess durchführt, der von dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess verschieden ist, sodass sich das zweite Signal nicht verschlechtert. Die zweite Kompressionseinheit 107 führt bei dem zweiten Signal einen Nicht-Kompressionsprozess oder einen verlustlosen Kompressionsprozess oder einen nicht-verlustlosen Kompressionsprozess einer Zuweisung mehrerer Quantisierungsbits als in dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess durch.
  • Wird in Schritt S604 bestimmt, dass die kodierten Daten nicht in die Zielmenge kodierter Daten fallen, geht der Prozess zu S605. Dann steuert die kodierte Menge-Steuereinheit 504 die kodierte Menge derart, dass die kodierten Daten in die Zielmenge kodierter Daten fallen, indem QP gemäß einer Differenz zwischen der kodierten Datenmenge und der Zielmenge kodierter Daten erhöht oder verringert wird.
  • Wird in Schritt S604 bestimmt, dass die kodierten Daten in die Zielmenge kodierter Daten fallen, geht der Prozess zu S606 zur Ausgabe der kodierten Daten. Zur Zeit der Ausgabe wird der bei der Quantisierung jedes Kodierblocks verwendete QP oder werden Vorzeichenzuweisungsinformationen zur Zeit der Kodierung (was nachstehend auch als ”Kodierparameter” bezeichnet wird) in Verbindung mit Ausgabedaten zu der Ausgabeeinheit 108 ausgegeben.
  • Die Ausgabeeinheit 108 gibt die durch die erste Kompressionseinheit 106 komprimierten kodierten Daten und die durch die zweite Kompressionseinheit 107 komprimierten kodierten Daten sequenziell aus. Die Ausgabedaten in der Ausgabeeinheit 108 können unter Berücksichtigung einer Zeit umgeschaltet werden, die im Prozess durch die Kompressionseinheit bzgl. einer Schaltzeitvorgabe der vorstehend beschriebenen Datenschalteinheit 105 benötigt wird.
  • Als Nächstes werden Einzelheiten des durch die Dekompressionseinheit 112 durchgeführten Prozesses beschrieben. Wenn die kodierten Daten und der Kodierparameter von der Eingabeeinheit 111 in die Dekompressionseinheit 112 eingegeben werden, liest die Dekompressionseinheit 112 in dem Kompressionsprozess für den QP erforderliche Informationen aus dem Kodierparameter. Die Dekompressionseinheit 112 führt den Dekompressionsprozess für die kodierten Daten beruhend auf den im Dekompressionsprozess erforderlichen gelesenen Informationen durch.
  • 7 zeigt eine Darstellung einer internen Schaltung einer Trenneinheit und von Eingangs- und Ausgangssignalen. Einzelheiten des durch die Trenneinheit 113 durchgeführten Prozesses werden unter Bezugnahme auf 7 beschrieben. In dem in 7 gezeigten Beispiel liest die Trenneinheit 113 das durch die Dekompressionseinheit 112 dekomprimierte Bild A + B und das Bild A und erzeugt das Bild B durch Subtrahieren des Bildes A von dem Bild A + B. Werden rechte und linke Signale der Bilder A und B erzeugt, tritt eine Phasendifferenz in der horizontalen Richtung auf. Die Trenneinheit 113 gibt die Daten der Bilder A und B als die Fokuserfassungsdaten zu der AF-Berechnungseinheit 116 aus. Die AF-Berechnungseinheit 116 berechnet ein Defokussierausmaß durch Erhalten eines Abweichungsausmaßes der Bilder A und B.
  • Die Trenneinheit 113 gibt die Daten des Bildes A + B als die Abbildungsdaten zu der Bildverarbeitungsschaltungsgruppe 114 aus. Die Bildverarbeitungsschaltungsgruppe 114 erzeugt ein Aufzeichnungsvideosignal bspw. durch Durchführen einer bekannten Bildverarbeitung bei den Abbildungsdaten, wie einer Farbumwandlung, eines Weißabgleichs oder einer Gammakorrektur, eines Auflösungsumwandlungsprozesses oder eines Bildkompressionsprozesses, wie JPEG.
  • Die Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel führt einen vom ersten Kompressionsprozess verschiedenen Prozess bei dem zweiten Signal (dem Bild A, dem Fokuserfassungssignal oder dem Dunkelstromerfassungssignal) durch, das von dem ersten Signal verschieden ist, das aus den effektiven Bildelementen ausgegeben wird, und bei dem der erste Kompressionsprozess durchgeführt wird, sodass sich das zweite Signal nicht verschlechtert. Demnach kann die Verschlechterung des für die Fokuserfassung oder die Berechnung eines Dunkelstromwerts verwendeten Signals verringert werden, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite des Übertragungsweges ermöglicht wird.
  • (Zweites Ausführungsbeispiel)
  • Eine Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel verringert eine Verschlechterung eines Signals hinsichtlich eines Hauptsubjekts in effektiven Bildelementen. Daher steuert die Bildaufnahmevorrichtung eine Fokussierlinse innerhalb eines vorbestimmten Bereichs aus einer optimalen Fokussierposition an und passt eine Fokussierposition über einen Neufokussierprozess nach dem Fotografieren an.
  • 8 zeigt eine Darstellung des Aufbaus der Bildaufnahmevorrichtung gemäß dem zweiten Ausführungsbeispiel. Ein Bildgebungselement 802 ist dasselbe wie das in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel enthaltene Bildgebungselement 102, und somit wird auf seine Beschreibung verzichtet. Kodierte Daten eines Bildes A + B und eines Bildes A, die aus einer Ausgabeeinheit 808 ausgegeben werden, werden einer Eingabeeinheit 811 einer Bildverarbeitungseinheit 810 über einen Bus 809 zugeführt, damit sie einem Dekompressionsprozess durch eine Dekompressionseinheit 812 unterzogen werden. Eine Trenneinheit 813 erzeugt ein Signal eines Bildes B aus dem Bild A + B und dem Bild A, und gibt das Signal als Fokuserfassungsdaten zu einer AF-Berechnungseinheit 817 aus. Nachstehend werden Einzelheiten der AF-Berechnungseinheit 817 beschrieben. Die AF-Berechnungseinheit 817 ist ein Block, der hauptsächlich eine Korrelationsberechnung durchführt, und einen Fokusanpassungsprozess unter Verwendung der Bilder A + B entsprechend einem Phasendifferenzschema durchführt.
  • Die 9 bis 11 zeigen Darstellungen eines Beispiels eines Fokusanpassungsprozesses unter Verwendung von zwei aus dem Bildgebungselement gelesenen Bildern. Ein Prinzip des Fokusanpassungsprozesses wird beschrieben, bei dem eine Korrelationsberechnung (Summe absoluter Differenz: SAD) unter Verwendung der Bilder A und B vorgenommen wird. Bei dem in den 9 bis 11 veranschaulichten Bildgebungselement ist eine Vielzahl von Einheitsbildelementzellen P angeordnet, die separat unter einer Mikrolinse angeordnete Bildelemente a und b enthalten. Das Bildgebungselement ist das gleiche wie das unter Bezugnahme auf 2 beschriebene Bildgebungselement. Die Bildelemente a und b sind Bildelemente, für die die Mikrolinse in Pupillen als Austrittspupillen geteilt ist.
  • Die AF-Berechnungseinheit 817 kombiniert Bildelementausgaben für die Bilder A und B, die durch die Bildelemente a und b in der Reihenrichtung oder der Spaltenrichtung erzeugt werden, um die Bilder A und B als Ausgangssignale derselben Farbeinheitsbildelementzellgruppen zu erzeugen und zu digitalisieren, und um eine Abweichung jedes Entsprechungspunktes durch die SAD-Berechnung zu erhalten. Ein Ergebnis der SAD-Berechnung kann durch die folgende Formel (1) erhalten werden. C = |YAn – YBn| Formel (1)
  • Hier ist n die Anzahl horizontaler Mikrolinsen. Werte zur Zeit der Verschiebung von Entsprechungsbildelementen bzgl. YBn sind aufgetragen, und ein kleines Abweichungsausmaß des kleinsten Wertes ist eine Fokussierposition.
  • Da eine Position, an der ein optisches Fotografiesystem ein Bild zur Zeit der Fokussierung erzeugt, in der Zeichnung PD unter der Mikrolinse P7 ist, sind eine Bildelementgruppe für das Bild A und eine Bildelementgruppe für das Bild B im Wesentlichen identisch. Zu diesem Zeitpunkt ist ein Bildabweichungsausmaß d(a) wie in 9 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B, das über die Korrelationsberechnung erhalten wird, ungefähr 0. Zum Zeitpunkt der hinteren Fokussierung werden die Bildelemente für das Bild A die Bildelemente unter der Mikrolinse P5, und die Bildelemente für das Bild B werden die Bildelemente unter der Mikrolinse P9 als Positionen, an denen das optische Fotografiesystem ein Bild erzeugt. Zu diesem Zeitpunkt tritt ein Bildabweichungsausmaß d(b) wie in 10 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B auf, das durch die Korrelationsberechnung erhalten wird. Zum Zeitpunkt der vorderen Fokussierung werden die Bildelemente für das Bild A die Bildelemente unter der Mikrolinse P9, und die Bildelemente für das Bild B werden die Bildelemente unter der Mikrolinse P5 als Positionen, an denen das optische Fotografiesystem ein Bild erzeugt. Zu diesem Zeitpunkt ist ein Bildabweichungsausmaß wie in 11 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B, das durch die Korrelationsberechnung erhalten wird, ein Bildabweichungsausmaß d(c) in einer entgegengesetzten Richtung zu dem Bildabweichungsausmaß zur Zeit der hinteren Fokussierung. Das heißt, während in den Bildelementgruppen für die Bilder A und B dasselbe Subjekt zur Zeit der Fokussierung gesehen wird, wird ein Subjektsignal, in dem das Bildabweichungsausmaß d zwischen den Bildelementgruppen für die Bilder A und B abweicht, zur Zeit der hinteren Fokussierung und der vorderen Fokussierung ausgegeben. Ein aus einer Grundlinienlänge und dem Bildabweichungsausmaß d erhaltenes Defokussierausmaß, das der Minimumwert des addierten Werts der erhaltenen SAD-Werte anhand eines bekannten Verfahrens ist, wird zu der AF-Berechnungseinheit 817 ausgegeben. Eine Fokusanpassungssteuerung wird durch Bewegen des optischen Bildgebungssystems 801 über eine Linsenansteuerungseinheit 818 durchgeführt.
  • Die 12A und 12B zeigen Darstellungen von Änderungsausmaßen von Bildelementwerten, wenn ein Hauptsubjekt im Brennpunkt oder nicht im Brennpunkt ist. Zur Vereinfachung der Beschreibung stellt die horizontale Achse eine Bildelementposition und die vertikale Achse einen Bildelementwert dar. Von einem Subjekt wird angenommen, dass es auf der linken Seite dunkel und auf der rechten Seite hell ist. 12A zeigt eine Bildelementposition und einen Bildelementwert, wenn das Hauptsubjekt nicht im Brennpunkt ist. 12B zeigt eine Bildelementposition und einen Bildelementwert, wenn das Hauptsubjekt im Brennpunkt ist. Wenn das Hauptsubjekt nicht im Brennpunkt ist, ist ein Änderungsausmaß des Bildelementwerts gering. Wenn das Hauptsubjekt im Brennpunkt ist, ist das Änderungsausmaß des Bildelementwerts groß. Wenn das Hauptsubjekt demnach im Brennpunkt ist, erhöht sich der bei der Quantisierung des Differenzwerts durch die Quantisierungseinheit 501 verwendete QP. Wenn einem quantisierten Differenzwert ein Vorzeichen zugewiesen wird, fallen die kodierten Daten infolgedessen nicht in die Zielmenge kodierter Daten, und der QP kann derart zugewiesen werden, dass die kodierten Daten in die Zielmenge kodierter Daten fallen. Das heißt, dass eine Region, in der das Hauptsubjekt im Brennpunkt ist, eine Region ist, in dem sich ein Bild merklich verschlechtert. Das heißt, das Bild verschlechtert sich merklich für das Hauptsubjekt, und das Bild verschlechtert sich nicht merklich für einen vom Hauptsubjekt verschiedenen Abschnitt.
  • Als Nächstes wird ein Prozess einer Neufokussierverarbeitungseinheit 814 näher beschrieben. Die Neufokussierverarbeitungseinheit 814 erzeugt ein Neufokussierbild, das ein Bild darstellt, in dem eine Fokussieroberfläche virtuell durch Verschieben der erhaltenen Bilder A und B um eine vorbestimmte Anzahl von Bildelementen und Addieren der Bilder A und B bewegt wird.
  • 13 zeigt eine Darstellung eines Neufokussierprozesses. Eine Fokussieroberfläche 800 ist eine obere Fläche des Bildgebungselements, auf der ein Bild mit dem optischen Bildgebungssystem 801 erzeugt wird. In 13 bezeichnet i einen ganzzahligen Wert, und Ai und Bi geben jeweils schematisch ein Signal für das Bild A und ein Signal für das Bild B eines i-ten Bildelements in der Spaltenrichtung des Bildgebungselements an, das auf einer Bildgebungsoberfläche 800 angeordnet ist. Ai, das das Bildelement für das Bild A ist, ist ein Lichtaufnahmesignal eines auf das i-te Bildelement bei einem Hauptstrahlwinkel θa einfallenden Lichtflusses. Bi, das das Bildelement für das Bild B ist, ist ein Lichtaufnahmesignal eines auf das i-te Bildelement bei einem Hauptstrahlwinkel θb einfallenden Lichtstrahls.
  • Ai und Bi enthalten nicht nur Lichtintensitätsverteilungsinformationen, sondern auch Einfallswinkelinformationen. Demnach kann ein Neufokussierbild (Neufokussiersignal) auf einer virtuellen Brennpunktoberfläche 810 durch Heraufbewegen von Ai parallel zu der virtuellen Brennpunktoberfläche 810 entlang dem Winkel θa und paralleles Heraufbewegen von Bi entlang dem Winkel θb bis zu der virtuellen Brennpunktoberfläche 810 und Addieren von Ai und Bi erzeugt werden.
  • Die parallele Bewegung von Ai bis zu der virtuellen Brennpunktoberfläche 810 entlang dem Winkel θa entspricht einer +0,5-Bildelementverschiebung in der Spaltenrichtung. Die parallele Bewegung von Bi bis zu der virtuellen Bildgebungsoberfläche 810 entlang dem Winkel θb entspricht einer –0,5-Bildelementverschiebung in der Spaltenrichtung. Demnach kann das Fokussierbild auf der virtuellen Brennpunktoberfläche 810 durch Verschieben von Ai und Bi relativ zueinander um +1 Bildelement, Veranlassen von Ai und Bi + 1 zum einander Entsprechen und Addieren von Ai und Bi + 1 erzeugt werden. Ferner kann ein Neufokussierbild, das ein Verschiebungsadditionsbild ist, an jeder virtuellen Bildgebungsoberfläche gemäß einem ganzzahligen Verschiebungsausmaß durch Verschieben von Ai und Bi um eine ganze Zahl und Addieren von Ai und Bi erzeugt werden.
  • 14 zeigt eine Darstellung eines neufokussierbaren Bereichs. Wenn δ ein erlaubter Zerstreuungskreis und F ein Aperturwert eines optischen Bilderzeugungssystems ist, ist eine Tiefenschärfe an dem Aperturwert F ± Fδ. Andererseits ist ein effektiver Aperturwert F01 (F02) in der horizontalen Richtung der Pupillenregion 1201 (1202), die in zwei Regionen geteilt und begrenzt ist, F01 = 2F, der zu verdunkeln ist, wenn die Anzahl von Teilregionen 2 ist. Die effektive Tiefenschärfe der Bildelementgruppe für die Bilder A und B vertieft sich um das Zweifache zu ±2Fδ, und ein Fokussierbereich erweitert sich um das Zweifache. Innerhalb des Bereichs der effektiven Tiefenschärfe ±2Fδ wird ein in der Bildelementgruppe für die Bilder A und B fokussiertes Subjektbild beschafft. Demnach kann eine Brennpunktposition nach dem Fotografieren über einen Neufokussierprozess eines Bewegens der Bildelementgruppe für die Bilder A und B parallel entlang dem Hauptstrahlwinkel θa (θb) wie in 13 gezeigt neu angepasst (neu fokussiert) werden.
  • Ein Defokussierausmaß d von der Bildgebungsoberfläche, an der die Brennpunktposition nach dem Fotografieren neu fokussiert werden kann, ist beschränkt, und somit ist ein neu fokussierbarer Bereich des Defokussierausmaßes d ein im Allgemeinen durch die Formel (2) angegebener Bereich. |d| ≤ 2Fδ Formel (2)
  • Der erlaubte Zerstreuungskreis δ ist als δ = 2ΔX (was der Kehrwert einer Nyquist-Frequenz 1/(2ΔX) einer Bildelementperiode ΔX ist) oder dergleichen definiert. Wenn der Neufokussierprozess unter Verwendung der Bilder A und B, die in zwei Bilder in einer Mikrolinse getrennt sind, durchgeführt wird, wobei d kleiner oder gleich 2Fδ ist, kann eine Neufokussierung durchgeführt werden. Ist d kleiner als 1Fδ, befindet sich das Defokussierausmaß innerhalb des erlaubten Zerstreuungskreises.
  • Zur Verhinderung der Verschlechterung der Bildqualität aufgrund einer Kompression eines Hauptsubjekts im Bildgebungselement verringert die Bildaufnahmevorrichtung einen Differenzwert in dem Bildelementwert in dem Hauptsubjekt durch Ansteuern der Fokussierlinse innerhalb eines Bereichs, der Formel (3) erfüllt, aus einer optimalen Brennpunktposition, und veranlasst, dass die kodierten Daten in die Zielmenge kodierter Daten fallen. Dann verringert die Neufokussierverarbeitungseinheit 814 die Verschlechterung der Bildqualität durch die Durchführung des Neufokussierprozesses an der ursprünglichen optimalen Brennpunktposition. 1Fδ ≤ |d| ≤ 2Fδ Formel (3)
  • Das heißt, die Linsenansteuerungseinheit 818 arbeitet als Ansteuereinheit, die eine Ansteuerung bei der Fokussierlinse derart durchführt, dass eine Brennpunktoberfläche für die Bildgebung um eine vorbestimmte Entfernung aus einer Brennpunktoberfläche eines Zielobjekts verschoben wird.
  • Dem Neufokussierprozess durch die Neufokussierverarbeitungseinheit 114 unterzogene effektive Bilddaten werden zu der Bildverarbeitungsschaltungsgruppe 815 ausgegeben. Dann erzeugt die Bildverarbeitungsschaltungsgruppe 815 ein Aufzeichnungsvideosignal bspw. durch die Durchführung einer bekannten Bildverarbeitung bei den effektiven Bilddaten, wie einer Farbumwandlung, eines Weißabgleichs oder einer Gammakorrektur, eines Auflösungsumwandlungsprozesses oder eines Bildkompressionsprozesses wie JPEG.
  • Bei dem ersten und dem zweiten Ausführungsbeispiel sind zwei fotoelektrische Umwandlungseinheiten in einer Mikrolinse angeordnet. Selbst wenn vier oder mehr fotoelektrische Umwandlungseinheiten vorhanden sind, können dieselben Vorteile erhalten werden. Obwohl bevorzugte Ausführungsbeispiele der Erfindung beschrieben wurden, ist die Erfindung nicht auf die Ausführungsbeispiele beschränkt, und kann verschiedentlich innerhalb des Schutzbereichs der Erfindung modifiziert und verändert werden.
  • Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen all solcher Modifikationen und äquivalenten Strukturen und Funktionen zukommen.
  • Diese Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2015-112013 , eingereicht am 2. Juni 2015, die hiermit durch Bezugnahme vollständig aufgenommen ist.
  • Ein Bildgebungselement enthält eine Bildelementeinheit zum Aufnehmen von einfallendem Licht, die eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung durchführt. Das Bildgebungselement führt einen Kompressionsprozess bei einem ersten Signal durch, das ein aus der Bildelementeinheit ausgegebenes Bildgebungssignal ist. Das Bildgebungselement führt einen von dem Kompressionsprozess verschiedenen Prozess bei einem zweiten Signal durch, das eine von dem ersten Signal verschiedene Verwendung aufweist, das aus der Bildelementeinheit ausgegeben wird, sodass sich das zweite Signal nicht verschlechtert.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2014-103543 [0002]
    • JP 2015-112013 [0064]

Claims (10)

  1. Bildgebungselement mit einer Bildelementeinheit, die einfallendes Licht aufnimmt und eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung des einfallenden Lichts zur Erzeugung eines Abbildungssignals durchführt, einer Kompressionseinheit zur Durchführung eines Kompressionsprozesses bei einem ersten Signal, das ein aus der Bildelementeinheit ausgegebenes Bildgebungssignal ist, und einer Steuereinheit zur Durchführung eines Prozesses, der von dem bei dem ersten Signal durchgeführten Kompressionsprozess verschieden ist, bei einem zweiten Signal, sodass sich das zweite Signal nicht verschlechtert, wobei das zweite Signal für eine von dem ersten Signal verschiedene Verwendung bestimmt ist.
  2. Bildgebungselement nach Anspruch 1, wobei die Steuereinheit zur Durchführung eines Nicht-Kompressionsprozesses, eines verlustlosen Kompressionsprozesses oder eines nicht-verlustlosen Kompressionsprozesses bei dem zweiten Signal eingerichtet ist, bei dem mehr Quantisierungsbits verwendet werden als bei dem bei dem ersten Signal durchgeführten Kompressionsprozess.
  3. Bildgebungselement nach Anspruch 1, wobei die fotoelektrische Umwandlung eine erste fotoelektrische Umwandlungseinheit und eine zweite fotoelektrische Umwandlungseinheit enthält, die zur Durchführung einer fotoelektrischen Umwandlung bei dem durch jeweilige verschiedene Pupillenregionen eines optischen Bildgebungssystems laufenden einfallenden Licht eingerichtet ist, wobei das erste Signal ein aus der ersten und der zweiten fotoelektrischen Umwandlungseinheit ausgegebenes Signal ist, und wobei das zweite Signal ein aus der zweiten fotoelektrischen Umwandlungseinheit ausgegebene Signal ist.
  4. Bildgebungselement nach Anspruch 1, wobei die Bildelementeinheit ein Bildgebungsbildelement und ein Fokuserfassungsbildelement ist, wobei das erste Signal ein aus dem Bildgebungsbildelement ausgegebenes Abbildungssignal ist, und wobei das zweite Signal ein aus dem Fokuserfassungsbildelement ausgegebenes Fokuserfassungssignal ist.
  5. Bildgebungselement nach Anspruch 1, wobei die Bildelementeinheit ein Bildgebungsbildelement und ein optisches Schwarz-Bildelement enthält, wobei das erste Signal ein aus dem Bildgebungsbildelement ausgegebenes Abbildungssignal ist, und wobei das zweite Signal ein aus dem optischen Schwarz-Bildelement ausgegebenes Dunkelstromerfassungssignal ist.
  6. Bildgebungselement mit einer Bildelementeinheit, die einfallendes Licht aufnimmt und eine Vielzahl von Bildelementen mit einer fotoelektrischen Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung bei dem einfallenden Licht zur Erzeugung eines Ausgangssignals durchführt, einer Kompressionseinheit zur Durchführung eines Kompressionsprozesses bei einem ersten Signal, wobei das erste Signal ein Additionssignal von Ausgaben aus Bildelementen unter den in der Bildelementeinheit enthaltenen Bildelementen ist, für die Pupillenregionen eines optischen Bildgebungssystems verschieden sind, und einer Steuereinheit zur Durchführung eines Prozesses, der von dem bei dem ersten Signal durchgeführten Kompressionsprozess verschieden ist, bei einem zweiten Signal, sodass sich das zweite Signal nicht verschlechtert, wobei das zweite Signal eine von dem ersten Signal verschiedene Verwendung aufweist.
  7. Bildaufnahmevorrichtung mit dem Bildgebungselement nach Anspruch 1, einer Bildverarbeitungseinheit zur Durchführung einer Bildverarbeitung unter Verwendung des ersten Signals und einer Funktionsverarbeitungseinheit zur Durchführung eines von der Bildverarbeitung verschiedenen Prozesses unter Verwendung des zweiten Signals.
  8. Bildaufnahmevorrichtung mit dem Bildgebungselement nach Anspruch 1, einer Neufokussierverarbeitungseinheit zur Erzeugung eines Neufokussiersignals zur virtuellen Bewegung einer Brennpunktoberfläche beruhend auf dem ersten und dem zweiten Signal und einer Ansteuereinheit zur Durchführung einer Ansteuerung bei einer Fokussierlinse derart, dass eine Brennpunktoberfläche zur Bildgebung um eine vorbestimmte Entfernung aus einer Brennpunktoberfläche eines Zielobjekts verschoben wird.
  9. Verfahren zur Steuerung eines Bildgebungselements mit einer Bildelementeinheit, die einfallendes Licht aufnimmt und eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung des einfallenden Lichts zur Erzeugung eines Abbildungssignals durchführt, mit Durchführen eines Kompressionsprozesses bei einem ersten Signal, das das aus der Bildelementeinheit ausgegebene Abbildungssignal ist, und Durchführen eines Prozesses, der von dem bei dem ersten Signal durchgeführten Kompressionsprozess verschieden ist, bei einem zweiten Signal, sodass das zweite Signal sich nicht verschlechtert, wobei das zweite Signal eine vom ersten Signal verschiedene Verwendung hat.
  10. Nicht-flüchtiges Speichermedium, das ein Computerprogramm speichert, das einen Computer zum Durchführen eines Verfahrens zur Steuerung eines Bildgebungselements mit einer Bildelementeinheit veranlasst, die einfallendes Licht aufnimmt und eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung des einfallenden Lichts zur Erzeugung eines Abbildungssignals durchführt, mit Durchführen eines Kompressionsprozesses bei einem ersten Signal, das das aus der Bildelementeinheit ausgegebene Abbildungssignal ist, und Durchführen eines Prozesses, der von dem bei dem ersten Signal durchgeführten Kompressionsprozess verschieden ist, bei einem zweiten Signal, sodass sich das zweite Signal nicht verschlechtert, wobei das zweite Signal eine vom ersten Signal verschiedene Verwendung hat.
DE102016110123.0A 2015-06-02 2016-06-01 Bildgebungselement, Bildaufnahmevorrichtung, Verfahren zur Steuerung eines Bildgebungselements, Programm und Speichermedium Pending DE102016110123A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-112013 2015-06-02
JP2015112013A JP6355595B2 (ja) 2015-06-02 2015-06-02 撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体

Publications (1)

Publication Number Publication Date
DE102016110123A1 true DE102016110123A1 (de) 2016-12-08

Family

ID=56507961

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016110123.0A Pending DE102016110123A1 (de) 2015-06-02 2016-06-01 Bildgebungselement, Bildaufnahmevorrichtung, Verfahren zur Steuerung eines Bildgebungselements, Programm und Speichermedium

Country Status (5)

Country Link
US (1) US10567766B2 (de)
JP (1) JP6355595B2 (de)
CN (1) CN106231158B (de)
DE (1) DE102016110123A1 (de)
GB (2) GB2540856B (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013127867A1 (en) 2012-02-27 2013-09-06 Hunter Douglas Industries B.V. Blind tilt assembly and method of controlling tilt ladders
US10721426B2 (en) * 2017-08-31 2020-07-21 Canon Kabushiki Kaisha Solid-state image sensor, image capture apparatus and image capture method
CN108965665B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器及移动终端
JP7267719B2 (ja) * 2018-11-28 2023-05-02 キヤノン株式会社 光電変換装置、移動体、信号処理装置
JP2022028087A (ja) 2018-12-05 2022-02-15 ソニーグループ株式会社 画像処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103543A (ja) 2012-11-20 2014-06-05 Sony Corp 撮像素子、並びに、撮像装置および方法
JP2015112013A (ja) 2015-02-20 2015-06-18 日本電産コパル株式会社 振動アクチュエータ、および携帯情報端末

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119631A (ja) * 1999-10-20 2001-04-27 Mitsubishi Electric Corp 画像処理用ccd検出器
US7532760B2 (en) * 2002-08-27 2009-05-12 Aptina Imaging Corporation CMOS image sensor apparatus with on-chip real-time pipelined JPEG compression module
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7336817B2 (en) * 2005-06-20 2008-02-26 Microsoft Corporation Processing raw and pre-processed digital images
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
CN100585453C (zh) * 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP4337911B2 (ja) * 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
JP4858529B2 (ja) 2008-11-27 2012-01-18 株式会社ニコン 撮像素子および撮像装置
US8570427B2 (en) 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
JP5586861B2 (ja) * 2009-02-26 2014-09-10 キヤノン株式会社 眼科撮影システム及び眼科撮影装置
JP5385672B2 (ja) * 2009-04-27 2014-01-08 キヤノン株式会社 撮像装置
TWI408382B (zh) * 2009-11-13 2013-09-11 成像裝置的檢測方法及系統
JP5618943B2 (ja) 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5924943B2 (ja) 2012-01-06 2016-05-25 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP5893572B2 (ja) 2012-03-01 2016-03-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP2013219682A (ja) * 2012-04-11 2013-10-24 Canon Inc 撮像装置
KR101931631B1 (ko) * 2012-05-02 2018-12-21 삼성전자주식회사 카메라 장치의 이미지 부호화장치 및 방법
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置
WO2014006785A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
JP5620522B2 (ja) * 2013-01-07 2014-11-05 オリンパスイメージング株式会社 撮像装置及び撮像方法
JP6264616B2 (ja) * 2013-01-30 2018-01-24 パナソニックIpマネジメント株式会社 撮像装置及び固体撮像装置
US20160007026A1 (en) * 2013-03-08 2016-01-07 Jie Dong Techniques for image encoding based on region of interest
JP2014192273A (ja) * 2013-03-27 2014-10-06 Sony Corp 撮像素子、撮像装置、製造装置および方法、並びに、半導体素子
JP6234054B2 (ja) * 2013-04-25 2017-11-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2014241507A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 画像処理装置および方法、プログラム、並びに撮像装置
US20150002666A1 (en) 2013-06-27 2015-01-01 Center For Integrated Smart Sensors Foundation Apparatus for monitoring an image with low power
JP2015056806A (ja) * 2013-09-12 2015-03-23 株式会社東芝 固体撮像装置
JP6188531B2 (ja) * 2013-10-22 2017-08-30 キヤノン株式会社 撮像装置、その制御方法およびプログラム
KR20150096224A (ko) * 2014-02-14 2015-08-24 삼성전자주식회사 고체 촬상 소자, 전자기기 및 오토 포커싱 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103543A (ja) 2012-11-20 2014-06-05 Sony Corp 撮像素子、並びに、撮像装置および方法
JP2015112013A (ja) 2015-02-20 2015-06-18 日本電産コパル株式会社 振動アクチュエータ、および携帯情報端末

Also Published As

Publication number Publication date
GB201609648D0 (en) 2016-07-20
JP6355595B2 (ja) 2018-07-11
US10567766B2 (en) 2020-02-18
GB2540856B (en) 2019-10-23
CN106231158A (zh) 2016-12-14
GB2540856A (en) 2017-02-01
CN106231158B (zh) 2020-11-06
JP2016225897A (ja) 2016-12-28
GB201912757D0 (en) 2019-10-23
GB2574529A (en) 2019-12-11
GB2574529B (en) 2020-04-01
US20160360136A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
DE102016110123A1 (de) Bildgebungselement, Bildaufnahmevorrichtung, Verfahren zur Steuerung eines Bildgebungselements, Programm und Speichermedium
DE102012005152B4 (de) Bildaufnahmevorrichtung und bildaufnahmeoptik
DE3148129C2 (de) Bildverarbeitungsgerät
CN101685534B (zh) 图像处理设备和图像处理方法
DE60026201T2 (de) Abtastverfahren für einen Fotosensor mit mehreren verschieden großen Abtastflächen
DE102005040568B4 (de) Autofokussierende Vorrichtung und Verfahren unter Verwendung von diskreten Kosinustransformationskoeffizienten
DE102014218166B4 (de) Bildverarbeitungsvorrichtung und zugehöriges steuerverfahren
DE102012217165A1 (de) Bildaufnahmevorrichtung und Brennpunkterfassungsverfahren
DE112016004211T5 (de) Bildsensor und Bildaufnahmevorrichtung
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE112013004640T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm und Bildaufnahmevorrichtung mit der Bildverarbeitungsvorrichtung
DE3931934A1 (de) Bild-ein-/ausgabevorrichtung
DE112012003264T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm, und Bildaufnahmevorrichtung mit einer Bildverarbeitungsvorrichtung
DE3207085C2 (de)
DE3345637A1 (de) Farbfernsehkamera mit vierteiligem prisma
DE102021117548A1 (de) Bildsensormodul, bildverarbeitungssystem, und bildkomprimierungsverfahren
CN114189665A (zh) 图像生成装置及拍摄装置
DE102021117397A1 (de) Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
DE102017101169A1 (de) Bildsensor und bildaufnahmegerät
DE102016117950A1 (de) Bildsensor, Bildgebungsverfahren und Bildgebungsvorrichtung
DE102015105753A1 (de) Photoelektrische umwandlungsvorrichtung, bildaufnahmesystem, und ansteuerverfahren der photoelektrischen umwandlungsvorrichtung
DE102010030108A1 (de) Farbbildsensor
DE102012202386A1 (de) Bildaufnahmevorrichtung und bildsignalverarbeitungsvorrichtung
DE102011087051B4 (de) Festkörper-bildaufnahmevorrichtung, bildaufnahmesystem und verfahren der ansteuerung von festkörper-bildaufnahmevorrichtung
DE102016113921A1 (de) Bildaufnahmevorrichtung und Verfahren zur Steuerung der Bildaufnahmevorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005343000

Ipc: H04N0025420000