-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die vorliegende Erfindung bezieht sich auf ein Bildgebungselement, eine Bildaufnahmevorrichtung, ein Verfahren zur Steuerung des Bildgebungselements, ein Programm und ein Speichermedium.
-
Beschreibung der verwandten Technik
-
Zum Realisieren von Bildaufnahmevorrichtungen, die Fähigkeiten einer hohen Auflösung, einer aufeinanderfolgenden Hochgeschwindigkeitsfotografie und von hohen Bewegtbildfrequenzen aufweisen, müssen verglichen mit der verwandten Technik in den Bildaufnahmevorrichtungen große Datenmengen mit hohen Geschwindigkeiten verarbeitet werden. Werden aber die Bandbreiten von Übertragungswegen zum Übertragen großer Datenmengen erhöht, erhöhen sich die Kosten mit Erhöhung der Bandbreite. Die
japanische Patentoffenlegung Nr. 2014-103543 offenbart eine Bildaufnahmevorrichtung, die ein Bildgebungselement mit einer Kompressionseinheit zum Komprimieren von Daten enthält, und eine große Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges durch Durchführen eines Dekompressionsprozesses bei komprimierten Bilddaten übertragen kann.
-
Eine Bildelementeinheit mit einer in dem Bildgebungselement vorgesehenen fotoelektrischen Umwandlungseinheit kann in Betracht gezogen werden, das ein Bildgebungsbildelement, das ein Abbildungssignal ausgibt, und ein Funktionsbildelement enthält, das ein Signal mit unterschiedlicher Verwendung bzgl. des Abbildungssignals ausgibt, wie ein Fokuserfassungssignal oder Dunkelstromerfassungssignal. Wenn bei einem Ausgangssignal der Funktionsbildelemente unter Verwendung des Bildgebungselements derselbe Kompressionsprozess wie für das Abbildungssignal durchgeführt wird, tritt aufgrund des Kompressionsprozesses Rauschen oder eine Verzerrung auf, und somit tritt eine Verschlechterung in einem Signal auf.
-
KURZZUSAMMENFASSUNG DER ERFINDUNG
-
Die vorliegende Erfindung stellt ein Bildgebungselement bereit, das eine Ausgabe aus einer in einer Bildelementeinheit enthaltenen fotoelektrischen Umwandlungseinheit komprimiert und ausgibt und verhindern kann, dass sich ein Signal aufgrund einer Kompression beruhend auf einer Verwendung eines Ausgangssignals der Bildelementeinheit verschlechtert, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges ermöglicht wird.
-
Gemäß einem Ausführungsbeispiel der Erfindung ist ein Bildgebungselement bereitgestellt, das eine Bildelementeinheit, die einfallendes Licht empfängt, und eine fotoelektrische Umwandlungseinheit zur Durchführung einer fotoelektrischen Umwandlung des einfallenden Lichts zur Erzeugung eines Abbildungssignals enthält, eine Kompressionseinheit zur Durchführung eines Kompressionsprozesses bei einem ersten Signal, das ein aus der Bildelementeinheit ausgegebenes Abbildungssignal ist, und eine Steuereinheit zur Durchführung eines von dem bei dem ersten Signal durchgeführten Kompressionsprozesses verschiedenen Prozesses bei einem zweiten Signal enthält, sodass das zweite Signal sich nicht verschlechtert, wobei das zweite Signal für eine andere Verwendung als das erste Signal gedacht ist.
-
Erfindungsgemäß kann ein Bildgebungselement verhindern, dass sich ein Signal aufgrund einer Kompression gemäß einer Verwendung eines Ausgangssignals der Bildelementeinheit verschlechtert, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite eines Übertragungsweges ermöglicht wird.
-
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel.
-
2 zeigt ein Beispiel einer Schnittansicht, die Bildelement eines Bildgebungselements veranschaulicht.
-
3 zeigt eine Darstellung einer Lichtaufnahmeoberfläche des Bildgebungselements.
-
4 zeigt eine Darstellung einer Lesezeitvorgabe eines Signals von dem Bildgebungselement.
-
5 zeigt eine Darstellung eines Beispiels des Aufbaus einer in dem Bildgebungselement enthaltenen Kompressionseinheit.
-
6 zeigt ein Ablaufdiagramm eines durch die Kompressionseinheit durchgeführten Prozesses.
-
7 zeigt eine Darstellung einer internen Schaltung einer Trenneinheit und Eingangs- und Ausgangssignale.
-
8 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel
-
9 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
-
10 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
-
11 zeigt eine Darstellung eines Beispiels eines Fokusanpassungsprozesses.
-
Die 12A und 12B zeigen Darstellungen von Änderungsausmaßen von Bildelementwerten, wenn ein Hauptsubjekt im Brennpunkt und nicht im Brennpunkt ist.
-
13 zeigt eine Darstellung eines Neufokussierprozesses.
-
14 zeigt eine Darstellung eines neufokussierbaren Bereichs.
-
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
Nachstehend wird eine Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
-
(Erstes Ausführungsbeispiel)
-
1 zeigt eine Darstellung des Aufbaus einer Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel. Die in 1 dargestellte Bildaufnahmevorrichtung enthält ein optisches Bildgebungssystem 101 bis zu einer Linsenansteuerungseinheit 117. Das optische Bildgebungssystem 101 empfängt Licht von einem Subjekt und führt einen Lichtfluss über eine Vielzahl von Linsengruppen und eine Blende (die nicht dargestellt sind) zu einem Bildgebungselement 102. Der durch das optische Bildgebungssystem 101 gehende Lichtfluss wird auf dem Bildgebungselement 102 als optisches Bild erzeugt. Das optische Bildgebungssystem 101 enthält eine Fokussierlinse. Die Fokussierlinse wird in einer optischen Achsenrichtung durch einen Ansteuerungsbefehl von der Linsenansteuerungseinheit 117 oder eine manuelle Anpassung unter Verwendung eines Fokussierrings (nicht gezeigt) angesteuert.
-
Das Bildgebungselement 102 enthält Bildelementeinheiten, die einfallendes Licht aufnehmen und fotoelektrische Umwandlungseinheiten 103 enthalten, die eine fotoelektrische Umwandlung durchführen. Das Bildgebungselement 102 enthält eine A/D-Umwandlungseinheit 104, eine Datenschalteinheit 105, eine erste Kompressionseinheit 106, eine zweite Kompressionseinheit 107 und eine Ausgabeeinheit 108. Die Ausgabeeinheit 108 enthält bspw. eine I/O-Zelle oder einen I/O-Anschluss und gibt kodierte Daten, die von der ersten Kompressionseinheit 106 oder der zweiten Kompressionseinheit 107 zugeführt werden, zur Außenseite des Bildgebungselements 102 aus. Die durch die Ausgabeeinheit 108 ausgegebenen kodierten Daten werden über einen Bus 109 einer Eingabeeinheit 111 der Bildverarbeitungseinheit 110 zugeführt. Mit Erhöhung der Anzahl der Bildelemente (der Anzahl der fotoelektrischen Umwandlungseinheiten) gibt es Bedenken, dass eine Kommunikationsbandbreite einer Schnittstelle zwischen dem Bildgebungselement 102 und der Bildverarbeitungseinheit 111 ungenügend ist. Demnach enthält das Bildgebungselement 102 bei diesem Ausführungsbeispiel wie vorstehend beschrieben eine Kompressionseinheit zur Durchführung einer Kompression, sodass eine Übertragungsmenge verringert wird, selbst wenn die fotoelektrischen Umwandlungseinheiten mit einer größeren Anzahl an Bildelementen enthalten sind. Somit können der hohen Anzahl an Bildelementen entsprechende Daten übertragen werden.
-
Die Bildverarbeitungseinrichtung 110 enthält eine Eingabeeinheit 111, eine Dekompressionseinheit 112, eine Trenneinheit 113, eine Bildverarbeitungsschaltungsgruppe 114, eine Aufzeichnungseinheit 115 und eine AF-Berechnungseinheit 116. Die Eingabeeinheit 111 empfängt von der Ausgabeeinheit 108 des Bildgebungselements 102 gesendete kodierte Daten über den Bus 109. Die Eingabeeinheit 111 führt die beschafften kodierten Daten der Dekompressionseinheit 112 zu. Die Dekompressionseinheit 112 dekomprimiert die von der Eingabeeinheit 111 zugeführten kodierten Daten gemäß einem Verfahren, das dem Kompressionsverfahren der ersten Kompressionseinheit 106 oder der zweiten Kompressionseinheit 107 entspricht, zum Wiederherstellen der Daten, und gibt dann das Signal aus. Die Trenneinheit 113 führt einen Prozess eines Trennens des aus der Dekompressionseinheit 112 ausgegebenen Signals durch und gibt die getrennten Signale in die Bildverarbeitungsschaltungsgruppe 114 und die AF-Berechnungseinheit 116 ein. Bei diesem Beispiel gibt die Trenneinheit 113 ein Bildsignal (Abbildungssignal) zur Bildgebung, d. h., Betrachtung, in die Bildverarbeitungsschaltungsgruppe 114 ein. Die Trenneinheit 113 gibt ein Fokuserfassungssignal zu der AF-Berechnungseinheit 118 aus. Die Bildverarbeitungsschaltungsgruppe 114 führt eine Bildverarbeitung beruhend auf dem eingegebenen Signal durch.
-
Die Aufzeichnungseinheit 115 erzeugt digitale Aufzeichnungsdaten und zeichnet diese aus, indem sie bspw. einen Kompressionsprozess wie JPEG bei den Daten durchführt, die verschiedenen Arten von Bildverarbeitung unterzogen sind. Die AF-Berechnungseinheit 116 führt eine Berechnung bzgl. einer Fokuserfassung beruhend auf dem von der Trenneinheit eingegebenen Fokuserfassungssignal durch und gibt einen Linsenansteuerbefehl beruhend auf einem Berechnungsergebnis aus. Die Linsenansteuerungseinheit 117 steuert die in dem optischen Bildgebungssystem 101 enthaltene Fokussierlinse beruhend auf dem aus der AF-Berechnungseinheit 116 ausgegebenen Linsenansteuerbefehl an.
-
Als Nächstes werden Einzelheiten des Bildgebungselements 102 beschrieben. In der Bildaufnahmevorrichtung sind die Bildelementeinheiten zweidimensional angeordnet. Die in den Bildelementeinheiten enthaltene Bildelemente führen eine fotoelektrische Umwandlung bei dem empfangenen Licht durch die fotoelektrischen Umwandlungseinheiten 103 durch und geben über die fotoelektrische Umwandlung erhaltene analoge Signale als Rohdaten zu der A/D-Umwandlungseinheit 104 aus. Die aus der A/D-Umwandlungseinheit 104 ausgegebenen Rohdaten werden in die Datenschalteinheit 105 eingegeben. Bei diesem Beispiel ist eine Mikrolinse 204 zum Entsprechen jeder Bildelementeinheit angeordnet, sodass eine Austrittspupille des optischen Bildgebungssystems unterteilt ist, und die Bildelementeinheit somit die erste fotoelektrische Umwandlungseinheit 201 und eine zweite fotoelektrische Umwandlungseinheit 202 enthält, die eine fotoelektrische Umwandlung bei Lichtflüssen anwenden, die durch wechselseitig verschiedene Pupillenregionen gehen. Beispielsweise wird ein Bild A aus der fotoelektrischen Umwandlungseinheit 201 ausgegeben, und ein Bild B wird aus der fotoelektrischen Umwandlungseinheit 202 ausgegeben. Bei diesem Beispiel sind die den fotoelektrischen Umwandlungseinheiten 201 und 202 entsprechenden Bildelemente als effektive Bildelemente eingestellt, d. h., Bildgebungsbildelemente, die Abbildungssignale ausgeben. Ein Abbildungssignal (Bild A + B) wird aus den effektiven Bildelementen ausgegeben. Das Bild A + B entspricht einem addierten Signal der Bilder A + B. Das heißt, das Bildgebungselement gemäß diesem Ausführungsbeispiel weist eine Funktion eines Lesens lediglich des Bildes A auf zerstörungsfreie Weise und eine Funktion eines Addierens von Ladungen der fotoelektrischen Umwandlungseinheiten 201 und 202 und Lesen der Ladungen als das Bild A + B auf.
-
Die Datenschalteinheit 105 gibt ein Abbildungssignal, das ein erstes Signal darstellt, in die erste Kompressionseinheit 106 ein, und gibt ein zweites Signal (Bild A) für eine andere Verwendung als das erste Signal zu der zweiten Kompressionseinheit 107 aus. Die durch die Datenschalteinheit 105 geschalteten Rohdaten werden in vorbestimmten Einheiten von Kodierblöcken ausgegeben, und werden in die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 eingegeben. Die Kodierblöcke beziehen sich bspw. auf Einheiten wie 8 × 8 Bildelemente, die bei einem allgemeinen Kompressionsalgorithmus der JPEG-Erzeugung verwendet werden. Bei diesem Ausführungsbeispiel werden zur Vereinfachung der Beschreibung Kodierblöcke in einer eindimensionalen Richtung angewendet. Die vorliegende Erfindung kann selbst dann leicht angewendet werden, wenn die Kodierblöcke in zweidimensionalen Richtungen entwickelt sind.
-
Anstelle des in 2 gezeigten Aufbaus kann die in dem Bildgebungselement angeordnete Bildelementeinheit einen beliebigen Aufbau aufweisen, der effektive Bildelemente, die einer Bildverarbeitung unterzogene Abbildungssignale ausgeben, und Funktionsbildelemente enthält, die Signale ausgeben, die einem anderen Prozess als der Bildverarbeitung durch eine Funktionsverarbeitungseinheit wie der AF-Berechnungseinheit 116 unterzogen werden. Wenn die Bildelementeinheit bspw. effektive Bildelemente und die Funktionsbildelemente enthält, die ein Fokuserfassungssignal ausgeben, gibt die Datenschalteinheit 105 eine Ausgabe der effektiven Bildelemente in die erste Kompressionseinheit 106 aus, und gibt eine Ausgabe der Fokuserfassungsbildelemente zu der zweiten Kompressionseinheit 107 aus. Wenn die Bildelementeinheit bspw. effektive Bildelemente und optische schwarze Bildelemente (OB-Bildelemente) enthält, die ein Dunkelstromerfassungssignal ausgeben, gibt die Datenschalteinheit 105 eine Ausgabe der effektiven Bildelemente zu der ersten Kompressionseinheit 106 aus, und gibt eine Ausgabe der OB-Bildelemente zu der zweiten Kompressionseinheit 107 aus.
-
Die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 empfangen Rohdaten in Einheiten von Kodierblöcken, die von der Datenschalteinheit 105 ausgegeben werden, und erzeugen kodierte Daten durch Durchführen eines vorbestimmten Kodierprozesses.
-
2 zeigt ein Beispiel einer Bildelementschnittansicht, die das Bildgebungselement veranschaulicht. Eine Mikrolinse 204 ist für die Bildelementeinheit vorgesehen, die die fotoelektrischen Umwandlungseinheiten 201 und 202 enthält. Das Bezugszeichen 203 bezeichnet einen Farbfilter, und das Bezugszeichen 205 bezeichnet eine Verdrahtungsschicht. Durch Vorsehen von zwei fotoelektrischen Umwandlungseinheiten für eine Mikrolinse kann eine Pupillenteilung und Fokuserfassung unter Verwendung einer Phasendifferenz zwischen Bildern durchgeführt werden, die von den fotoelektrischen Umwandlungseinheiten erhalten werden. Durch Addieren von Ausgaben der fotoelektrischen Umwandlungseinheiten 201 und 202 kann ein Bild (Bild A + B) erhalten werden, in dem eine Pupille nicht geteilt ist. Das Farbfilter 203 enthält Rot(R)-, Grün(G)-, und Blau(B)-Filter in einem Bayerarray. Durch Addieren der Ausgaben der fotoelektrischen Umwandlungseinheiten 201 und 202 kann demnach ein Farbbild erhalten werden.
-
3 zeigt eine Darstellung einer Lichtaufnahmeoberfläche des Bildgebungselements. Eine Breite 301 entspricht einem Bereich der effektiven Bildelemente des gesamten Bildgebungselements. Der Bereich ist ein Lesebereich des Bildes A + B. Die Breite 302 ist ein Bild A-lesbarer Bereich. Zum Verkürzen einer Lesezeit aus dem Bildgebungselement ist lediglich ein für die Fokuserfassung verwendeter Bereich als Bereich entworfen, aus dem das Bild A gelesen wird.
-
4 zeigt eine Darstellung einer Lesezeitvorgabe eines Signals aus dem Bildgebungselement. Das Bezugszeichen 405 bezeichnet ein Lesesignal für eine horizontale Periode aus dem Bildgebungselement. Eine Periode 401 ist eine horizontale Austastperiode. Eine Periode 402 ist eine Leseperiode des Bildes A. Eine Periode 403 ist eine Leseperiode des Bildes A + B. Auf diese Weise kann nur das Bild A oder nur das Bild B in einer kürzeren horizontalen Periode als bei einer individuellen Leseperiode gelesen werden. Die Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel erhält das Bild B durch Subtrahieren des Bildes A von dem Bild A + B, das durch die in 1 gezeigte Trenneinheit 113 gelesen wird. Die Datenschalteinheit 105 gibt das Bild A während der Periode 402 zu der zweiten Kompressionseinheit 107 aus, und gibt das Bild A + B während der Periode 403 zu der ersten Kompressionseinheit 106 aus.
-
5 zeigt eine Darstellung eines Beispiels des Aufbaus der in dem Bildgebungselement enthaltenen Kompressionseinheit. Die erste Kompressionseinheit 106 und die zweite Kompressionseinheit 107 enthalten jeweils eine Quantisierungseinheit 501, eine Entropiekodiereinheit 205, eine kodierte Menge-Messeinheit 503 und eine kodierte Menge-Steuereinheit 504. Die Quantisierungseinheit 501 ist eine Schaltung, die einen Differenzwert der Rohdaten zwischen den Bildelementen (der nachstehend als Differenzwert bezeichnet wird) extrahiert und quantisierte Daten des Differenzwerts erzeugt. Die Entropiekodiereinheit 502 ist eine Schaltung, die jedem Stück quantisierter Daten beruhend auf der Häufigkeit der Erscheinung von Eingabedaten (eines Symbols) ein Vorzeichen zuweist und kodierte Daten erzeugt. Als Entropiekodierschema ist eine Golomb-Kodierung und Huffman-Kodierung bekannt. Die Erfindung ist nicht auf ein derartiges Kodierschema beschränkt. Die kodierte Menge-Messeinheit 503 ist eine Schaltung, die eine Kodierdatenmenge in Einheiten von Kodierblöcken misst. Die kodierte Menge-Steuereinheit 504 ist eine Schaltung, die eine kodierte Menge steuert und kodierte Daten beruhend auf der durch die kodierte Menge-Messeinheit 503 gemessenen Kodierdatenmenge kodiert.
-
6 zeigt ein Ablaufdiagramm eines durch die Kompressionseinheit durchgeführten Prozesses. Wenn ein Kompressionsprozess beginnt, werden die Rohdaten in Einheiten von Kodierblöcken in die Quantisierungseinheit 501 eingegeben. In S601 berechnet die Quantisierungseinheit 501 einen Differenzwert zwischen angrenzenden Bildelementen in einem Kodierblock. Danach quantisiert die Quantisierungseinheit 501 in S602 den in S601 berechneten Differenzwert unter Verwendung eines vorbestimmten Wertes. Der vorbestimmte Wert ist ein Parameter zum Entscheiden eines Quantisierungsschritts und wird dynamisch durch die kodierte Menge-Steuereinheit 504 entschieden. Danach wird der vorbestimmte Wert als Quantisierungsparameter (QP) beschrieben. Der Differenzwert QP wird subtrahiert, und ein Dezimalteil des Subtraktionsergebnisses wird bei der Quantisierung abgerundet.
-
Als Nächstes weist die Entropiekodiereinheit 502 in S603 dem quantisierten Differenzwert ein Vorzeichen zu. In S604 bestimmt die kodierte Menge-Messeinheit 503, ob die kodierten Daten in eine Zieldatenmenge (Zielmenge kodierter Daten) fällt. Bei diesem Ausführungsbeispiel wird eine in die Bandbreite des Bus 109 fallende kodierte Datenmenge in der Zielmenge kodierter Daten eingestellt.
-
Hier wird ein zweites Signal (das Dunkelstromerfassungssignal aus dem Bild A oder die OB-Bildelemente oder das Fokuserfassungssignal aus den Fokuserfassungsbildelementen) mit einer geringeren Datenmenge als Ausgabedaten aus den effektiven Bildelementen in die zweite Kompressionseinheit 107 eingegeben. Wird ein derartiges Signal demselben Kompressionsprozess wie dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess unterzogen, kann sich das Signal verschlechtern, und somit gibt es Bedenken hinsichtlich einer Fokusgenauigkeitsverschlechterung oder Bildqualitätsverschlechterung der gesamten effektiven Bildelementregion. Demnach wird in der zweiten Kompressionseinheit 107 eine Zielmenge kodierter Daten eingestellt, die größer als die in der ersten Kompressionseinheit 106 eingestellte Zielmenge kodierter Daten ist, um eine Verschlechterung der Bildqualität zu verhindern. Zum Verhindern der bei dem Kompressionsprozess verursachten Verschlechterung der Bildqualität kann alternativ ein Nicht-Kompressionsprozess gewählt und ohne die Durchführung der Prozesse von S601 bis S604 durchgeführt werden. Das heißt, die zweite Kompressionseinheit 107 arbeitet als Steuereinheit, die einen Prozess durchführt, der von dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess verschieden ist, sodass sich das zweite Signal nicht verschlechtert. Die zweite Kompressionseinheit 107 führt bei dem zweiten Signal einen Nicht-Kompressionsprozess oder einen verlustlosen Kompressionsprozess oder einen nicht-verlustlosen Kompressionsprozess einer Zuweisung mehrerer Quantisierungsbits als in dem durch die erste Kompressionseinheit 106 durchgeführten Kompressionsprozess durch.
-
Wird in Schritt S604 bestimmt, dass die kodierten Daten nicht in die Zielmenge kodierter Daten fallen, geht der Prozess zu S605. Dann steuert die kodierte Menge-Steuereinheit 504 die kodierte Menge derart, dass die kodierten Daten in die Zielmenge kodierter Daten fallen, indem QP gemäß einer Differenz zwischen der kodierten Datenmenge und der Zielmenge kodierter Daten erhöht oder verringert wird.
-
Wird in Schritt S604 bestimmt, dass die kodierten Daten in die Zielmenge kodierter Daten fallen, geht der Prozess zu S606 zur Ausgabe der kodierten Daten. Zur Zeit der Ausgabe wird der bei der Quantisierung jedes Kodierblocks verwendete QP oder werden Vorzeichenzuweisungsinformationen zur Zeit der Kodierung (was nachstehend auch als ”Kodierparameter” bezeichnet wird) in Verbindung mit Ausgabedaten zu der Ausgabeeinheit 108 ausgegeben.
-
Die Ausgabeeinheit 108 gibt die durch die erste Kompressionseinheit 106 komprimierten kodierten Daten und die durch die zweite Kompressionseinheit 107 komprimierten kodierten Daten sequenziell aus. Die Ausgabedaten in der Ausgabeeinheit 108 können unter Berücksichtigung einer Zeit umgeschaltet werden, die im Prozess durch die Kompressionseinheit bzgl. einer Schaltzeitvorgabe der vorstehend beschriebenen Datenschalteinheit 105 benötigt wird.
-
Als Nächstes werden Einzelheiten des durch die Dekompressionseinheit 112 durchgeführten Prozesses beschrieben. Wenn die kodierten Daten und der Kodierparameter von der Eingabeeinheit 111 in die Dekompressionseinheit 112 eingegeben werden, liest die Dekompressionseinheit 112 in dem Kompressionsprozess für den QP erforderliche Informationen aus dem Kodierparameter. Die Dekompressionseinheit 112 führt den Dekompressionsprozess für die kodierten Daten beruhend auf den im Dekompressionsprozess erforderlichen gelesenen Informationen durch.
-
7 zeigt eine Darstellung einer internen Schaltung einer Trenneinheit und von Eingangs- und Ausgangssignalen. Einzelheiten des durch die Trenneinheit 113 durchgeführten Prozesses werden unter Bezugnahme auf 7 beschrieben. In dem in 7 gezeigten Beispiel liest die Trenneinheit 113 das durch die Dekompressionseinheit 112 dekomprimierte Bild A + B und das Bild A und erzeugt das Bild B durch Subtrahieren des Bildes A von dem Bild A + B. Werden rechte und linke Signale der Bilder A und B erzeugt, tritt eine Phasendifferenz in der horizontalen Richtung auf. Die Trenneinheit 113 gibt die Daten der Bilder A und B als die Fokuserfassungsdaten zu der AF-Berechnungseinheit 116 aus. Die AF-Berechnungseinheit 116 berechnet ein Defokussierausmaß durch Erhalten eines Abweichungsausmaßes der Bilder A und B.
-
Die Trenneinheit 113 gibt die Daten des Bildes A + B als die Abbildungsdaten zu der Bildverarbeitungsschaltungsgruppe 114 aus. Die Bildverarbeitungsschaltungsgruppe 114 erzeugt ein Aufzeichnungsvideosignal bspw. durch Durchführen einer bekannten Bildverarbeitung bei den Abbildungsdaten, wie einer Farbumwandlung, eines Weißabgleichs oder einer Gammakorrektur, eines Auflösungsumwandlungsprozesses oder eines Bildkompressionsprozesses, wie JPEG.
-
Die Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel führt einen vom ersten Kompressionsprozess verschiedenen Prozess bei dem zweiten Signal (dem Bild A, dem Fokuserfassungssignal oder dem Dunkelstromerfassungssignal) durch, das von dem ersten Signal verschieden ist, das aus den effektiven Bildelementen ausgegeben wird, und bei dem der erste Kompressionsprozess durchgeführt wird, sodass sich das zweite Signal nicht verschlechtert. Demnach kann die Verschlechterung des für die Fokuserfassung oder die Berechnung eines Dunkelstromwerts verwendeten Signals verringert werden, während die Übertragung einer großen Datenmenge ohne Erhöhung der Bandbreite des Übertragungsweges ermöglicht wird.
-
(Zweites Ausführungsbeispiel)
-
Eine Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel verringert eine Verschlechterung eines Signals hinsichtlich eines Hauptsubjekts in effektiven Bildelementen. Daher steuert die Bildaufnahmevorrichtung eine Fokussierlinse innerhalb eines vorbestimmten Bereichs aus einer optimalen Fokussierposition an und passt eine Fokussierposition über einen Neufokussierprozess nach dem Fotografieren an.
-
8 zeigt eine Darstellung des Aufbaus der Bildaufnahmevorrichtung gemäß dem zweiten Ausführungsbeispiel. Ein Bildgebungselement 802 ist dasselbe wie das in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel enthaltene Bildgebungselement 102, und somit wird auf seine Beschreibung verzichtet. Kodierte Daten eines Bildes A + B und eines Bildes A, die aus einer Ausgabeeinheit 808 ausgegeben werden, werden einer Eingabeeinheit 811 einer Bildverarbeitungseinheit 810 über einen Bus 809 zugeführt, damit sie einem Dekompressionsprozess durch eine Dekompressionseinheit 812 unterzogen werden. Eine Trenneinheit 813 erzeugt ein Signal eines Bildes B aus dem Bild A + B und dem Bild A, und gibt das Signal als Fokuserfassungsdaten zu einer AF-Berechnungseinheit 817 aus. Nachstehend werden Einzelheiten der AF-Berechnungseinheit 817 beschrieben. Die AF-Berechnungseinheit 817 ist ein Block, der hauptsächlich eine Korrelationsberechnung durchführt, und einen Fokusanpassungsprozess unter Verwendung der Bilder A + B entsprechend einem Phasendifferenzschema durchführt.
-
Die 9 bis 11 zeigen Darstellungen eines Beispiels eines Fokusanpassungsprozesses unter Verwendung von zwei aus dem Bildgebungselement gelesenen Bildern. Ein Prinzip des Fokusanpassungsprozesses wird beschrieben, bei dem eine Korrelationsberechnung (Summe absoluter Differenz: SAD) unter Verwendung der Bilder A und B vorgenommen wird. Bei dem in den 9 bis 11 veranschaulichten Bildgebungselement ist eine Vielzahl von Einheitsbildelementzellen P angeordnet, die separat unter einer Mikrolinse angeordnete Bildelemente a und b enthalten. Das Bildgebungselement ist das gleiche wie das unter Bezugnahme auf 2 beschriebene Bildgebungselement. Die Bildelemente a und b sind Bildelemente, für die die Mikrolinse in Pupillen als Austrittspupillen geteilt ist.
-
Die AF-Berechnungseinheit 817 kombiniert Bildelementausgaben für die Bilder A und B, die durch die Bildelemente a und b in der Reihenrichtung oder der Spaltenrichtung erzeugt werden, um die Bilder A und B als Ausgangssignale derselben Farbeinheitsbildelementzellgruppen zu erzeugen und zu digitalisieren, und um eine Abweichung jedes Entsprechungspunktes durch die SAD-Berechnung zu erhalten. Ein Ergebnis der SAD-Berechnung kann durch die folgende Formel (1) erhalten werden. C = |YAn – YBn| Formel (1)
-
Hier ist n die Anzahl horizontaler Mikrolinsen. Werte zur Zeit der Verschiebung von Entsprechungsbildelementen bzgl. YBn sind aufgetragen, und ein kleines Abweichungsausmaß des kleinsten Wertes ist eine Fokussierposition.
-
Da eine Position, an der ein optisches Fotografiesystem ein Bild zur Zeit der Fokussierung erzeugt, in der Zeichnung PD unter der Mikrolinse P7 ist, sind eine Bildelementgruppe für das Bild A und eine Bildelementgruppe für das Bild B im Wesentlichen identisch. Zu diesem Zeitpunkt ist ein Bildabweichungsausmaß d(a) wie in 9 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B, das über die Korrelationsberechnung erhalten wird, ungefähr 0. Zum Zeitpunkt der hinteren Fokussierung werden die Bildelemente für das Bild A die Bildelemente unter der Mikrolinse P5, und die Bildelemente für das Bild B werden die Bildelemente unter der Mikrolinse P9 als Positionen, an denen das optische Fotografiesystem ein Bild erzeugt. Zu diesem Zeitpunkt tritt ein Bildabweichungsausmaß d(b) wie in 10 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B auf, das durch die Korrelationsberechnung erhalten wird. Zum Zeitpunkt der vorderen Fokussierung werden die Bildelemente für das Bild A die Bildelemente unter der Mikrolinse P9, und die Bildelemente für das Bild B werden die Bildelemente unter der Mikrolinse P5 als Positionen, an denen das optische Fotografiesystem ein Bild erzeugt. Zu diesem Zeitpunkt ist ein Bildabweichungsausmaß wie in 11 gezeigt zwischen der Bildelementgruppe für das Bild A und der Bildelementgruppe für das Bild B, das durch die Korrelationsberechnung erhalten wird, ein Bildabweichungsausmaß d(c) in einer entgegengesetzten Richtung zu dem Bildabweichungsausmaß zur Zeit der hinteren Fokussierung. Das heißt, während in den Bildelementgruppen für die Bilder A und B dasselbe Subjekt zur Zeit der Fokussierung gesehen wird, wird ein Subjektsignal, in dem das Bildabweichungsausmaß d zwischen den Bildelementgruppen für die Bilder A und B abweicht, zur Zeit der hinteren Fokussierung und der vorderen Fokussierung ausgegeben. Ein aus einer Grundlinienlänge und dem Bildabweichungsausmaß d erhaltenes Defokussierausmaß, das der Minimumwert des addierten Werts der erhaltenen SAD-Werte anhand eines bekannten Verfahrens ist, wird zu der AF-Berechnungseinheit 817 ausgegeben. Eine Fokusanpassungssteuerung wird durch Bewegen des optischen Bildgebungssystems 801 über eine Linsenansteuerungseinheit 818 durchgeführt.
-
Die 12A und 12B zeigen Darstellungen von Änderungsausmaßen von Bildelementwerten, wenn ein Hauptsubjekt im Brennpunkt oder nicht im Brennpunkt ist. Zur Vereinfachung der Beschreibung stellt die horizontale Achse eine Bildelementposition und die vertikale Achse einen Bildelementwert dar. Von einem Subjekt wird angenommen, dass es auf der linken Seite dunkel und auf der rechten Seite hell ist. 12A zeigt eine Bildelementposition und einen Bildelementwert, wenn das Hauptsubjekt nicht im Brennpunkt ist. 12B zeigt eine Bildelementposition und einen Bildelementwert, wenn das Hauptsubjekt im Brennpunkt ist. Wenn das Hauptsubjekt nicht im Brennpunkt ist, ist ein Änderungsausmaß des Bildelementwerts gering. Wenn das Hauptsubjekt im Brennpunkt ist, ist das Änderungsausmaß des Bildelementwerts groß. Wenn das Hauptsubjekt demnach im Brennpunkt ist, erhöht sich der bei der Quantisierung des Differenzwerts durch die Quantisierungseinheit 501 verwendete QP. Wenn einem quantisierten Differenzwert ein Vorzeichen zugewiesen wird, fallen die kodierten Daten infolgedessen nicht in die Zielmenge kodierter Daten, und der QP kann derart zugewiesen werden, dass die kodierten Daten in die Zielmenge kodierter Daten fallen. Das heißt, dass eine Region, in der das Hauptsubjekt im Brennpunkt ist, eine Region ist, in dem sich ein Bild merklich verschlechtert. Das heißt, das Bild verschlechtert sich merklich für das Hauptsubjekt, und das Bild verschlechtert sich nicht merklich für einen vom Hauptsubjekt verschiedenen Abschnitt.
-
Als Nächstes wird ein Prozess einer Neufokussierverarbeitungseinheit 814 näher beschrieben. Die Neufokussierverarbeitungseinheit 814 erzeugt ein Neufokussierbild, das ein Bild darstellt, in dem eine Fokussieroberfläche virtuell durch Verschieben der erhaltenen Bilder A und B um eine vorbestimmte Anzahl von Bildelementen und Addieren der Bilder A und B bewegt wird.
-
13 zeigt eine Darstellung eines Neufokussierprozesses. Eine Fokussieroberfläche 800 ist eine obere Fläche des Bildgebungselements, auf der ein Bild mit dem optischen Bildgebungssystem 801 erzeugt wird. In 13 bezeichnet i einen ganzzahligen Wert, und Ai und Bi geben jeweils schematisch ein Signal für das Bild A und ein Signal für das Bild B eines i-ten Bildelements in der Spaltenrichtung des Bildgebungselements an, das auf einer Bildgebungsoberfläche 800 angeordnet ist. Ai, das das Bildelement für das Bild A ist, ist ein Lichtaufnahmesignal eines auf das i-te Bildelement bei einem Hauptstrahlwinkel θa einfallenden Lichtflusses. Bi, das das Bildelement für das Bild B ist, ist ein Lichtaufnahmesignal eines auf das i-te Bildelement bei einem Hauptstrahlwinkel θb einfallenden Lichtstrahls.
-
Ai und Bi enthalten nicht nur Lichtintensitätsverteilungsinformationen, sondern auch Einfallswinkelinformationen. Demnach kann ein Neufokussierbild (Neufokussiersignal) auf einer virtuellen Brennpunktoberfläche 810 durch Heraufbewegen von Ai parallel zu der virtuellen Brennpunktoberfläche 810 entlang dem Winkel θa und paralleles Heraufbewegen von Bi entlang dem Winkel θb bis zu der virtuellen Brennpunktoberfläche 810 und Addieren von Ai und Bi erzeugt werden.
-
Die parallele Bewegung von Ai bis zu der virtuellen Brennpunktoberfläche 810 entlang dem Winkel θa entspricht einer +0,5-Bildelementverschiebung in der Spaltenrichtung. Die parallele Bewegung von Bi bis zu der virtuellen Bildgebungsoberfläche 810 entlang dem Winkel θb entspricht einer –0,5-Bildelementverschiebung in der Spaltenrichtung. Demnach kann das Fokussierbild auf der virtuellen Brennpunktoberfläche 810 durch Verschieben von Ai und Bi relativ zueinander um +1 Bildelement, Veranlassen von Ai und Bi + 1 zum einander Entsprechen und Addieren von Ai und Bi + 1 erzeugt werden. Ferner kann ein Neufokussierbild, das ein Verschiebungsadditionsbild ist, an jeder virtuellen Bildgebungsoberfläche gemäß einem ganzzahligen Verschiebungsausmaß durch Verschieben von Ai und Bi um eine ganze Zahl und Addieren von Ai und Bi erzeugt werden.
-
14 zeigt eine Darstellung eines neufokussierbaren Bereichs. Wenn δ ein erlaubter Zerstreuungskreis und F ein Aperturwert eines optischen Bilderzeugungssystems ist, ist eine Tiefenschärfe an dem Aperturwert F ± Fδ. Andererseits ist ein effektiver Aperturwert F01 (F02) in der horizontalen Richtung der Pupillenregion 1201 (1202), die in zwei Regionen geteilt und begrenzt ist, F01 = 2F, der zu verdunkeln ist, wenn die Anzahl von Teilregionen 2 ist. Die effektive Tiefenschärfe der Bildelementgruppe für die Bilder A und B vertieft sich um das Zweifache zu ±2Fδ, und ein Fokussierbereich erweitert sich um das Zweifache. Innerhalb des Bereichs der effektiven Tiefenschärfe ±2Fδ wird ein in der Bildelementgruppe für die Bilder A und B fokussiertes Subjektbild beschafft. Demnach kann eine Brennpunktposition nach dem Fotografieren über einen Neufokussierprozess eines Bewegens der Bildelementgruppe für die Bilder A und B parallel entlang dem Hauptstrahlwinkel θa (θb) wie in 13 gezeigt neu angepasst (neu fokussiert) werden.
-
Ein Defokussierausmaß d von der Bildgebungsoberfläche, an der die Brennpunktposition nach dem Fotografieren neu fokussiert werden kann, ist beschränkt, und somit ist ein neu fokussierbarer Bereich des Defokussierausmaßes d ein im Allgemeinen durch die Formel (2) angegebener Bereich. |d| ≤ 2Fδ Formel (2)
-
Der erlaubte Zerstreuungskreis δ ist als δ = 2ΔX (was der Kehrwert einer Nyquist-Frequenz 1/(2ΔX) einer Bildelementperiode ΔX ist) oder dergleichen definiert. Wenn der Neufokussierprozess unter Verwendung der Bilder A und B, die in zwei Bilder in einer Mikrolinse getrennt sind, durchgeführt wird, wobei d kleiner oder gleich 2Fδ ist, kann eine Neufokussierung durchgeführt werden. Ist d kleiner als 1Fδ, befindet sich das Defokussierausmaß innerhalb des erlaubten Zerstreuungskreises.
-
Zur Verhinderung der Verschlechterung der Bildqualität aufgrund einer Kompression eines Hauptsubjekts im Bildgebungselement verringert die Bildaufnahmevorrichtung einen Differenzwert in dem Bildelementwert in dem Hauptsubjekt durch Ansteuern der Fokussierlinse innerhalb eines Bereichs, der Formel (3) erfüllt, aus einer optimalen Brennpunktposition, und veranlasst, dass die kodierten Daten in die Zielmenge kodierter Daten fallen. Dann verringert die Neufokussierverarbeitungseinheit 814 die Verschlechterung der Bildqualität durch die Durchführung des Neufokussierprozesses an der ursprünglichen optimalen Brennpunktposition. 1Fδ ≤ |d| ≤ 2Fδ Formel (3)
-
Das heißt, die Linsenansteuerungseinheit 818 arbeitet als Ansteuereinheit, die eine Ansteuerung bei der Fokussierlinse derart durchführt, dass eine Brennpunktoberfläche für die Bildgebung um eine vorbestimmte Entfernung aus einer Brennpunktoberfläche eines Zielobjekts verschoben wird.
-
Dem Neufokussierprozess durch die Neufokussierverarbeitungseinheit 114 unterzogene effektive Bilddaten werden zu der Bildverarbeitungsschaltungsgruppe 815 ausgegeben. Dann erzeugt die Bildverarbeitungsschaltungsgruppe 815 ein Aufzeichnungsvideosignal bspw. durch die Durchführung einer bekannten Bildverarbeitung bei den effektiven Bilddaten, wie einer Farbumwandlung, eines Weißabgleichs oder einer Gammakorrektur, eines Auflösungsumwandlungsprozesses oder eines Bildkompressionsprozesses wie JPEG.
-
Bei dem ersten und dem zweiten Ausführungsbeispiel sind zwei fotoelektrische Umwandlungseinheiten in einer Mikrolinse angeordnet. Selbst wenn vier oder mehr fotoelektrische Umwandlungseinheiten vorhanden sind, können dieselben Vorteile erhalten werden. Obwohl bevorzugte Ausführungsbeispiele der Erfindung beschrieben wurden, ist die Erfindung nicht auf die Ausführungsbeispiele beschränkt, und kann verschiedentlich innerhalb des Schutzbereichs der Erfindung modifiziert und verändert werden.
-
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen all solcher Modifikationen und äquivalenten Strukturen und Funktionen zukommen.
-
Diese Anmeldung beansprucht die Priorität der
japanischen Patentanmeldung Nr. 2015-112013 , eingereicht am 2. Juni 2015, die hiermit durch Bezugnahme vollständig aufgenommen ist.
-
Ein Bildgebungselement enthält eine Bildelementeinheit zum Aufnehmen von einfallendem Licht, die eine fotoelektrische Umwandlungseinheit enthält, die eine fotoelektrische Umwandlung durchführt. Das Bildgebungselement führt einen Kompressionsprozess bei einem ersten Signal durch, das ein aus der Bildelementeinheit ausgegebenes Bildgebungssignal ist. Das Bildgebungselement führt einen von dem Kompressionsprozess verschiedenen Prozess bei einem zweiten Signal durch, das eine von dem ersten Signal verschiedene Verwendung aufweist, das aus der Bildelementeinheit ausgegeben wird, sodass sich das zweite Signal nicht verschlechtert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2014-103543 [0002]
- JP 2015-112013 [0064]