-
Hintergrund der Erfindung
-
Gebiet der Erfindung
-
Die vorliegende Erfindung bezieht sich auf eine Bildaufnahmevorrichtung, ein Bildaufnahmesystem und ein Steuerverfahren für die Bildaufnahmevorrichtung.
-
Beschreibung der einschlägigen Technik
-
Die Anzahl an Pixeln, die in Bildaufnahmevorrichtungen wie z. B. digitalen Videokameras aufgezeichnet werden kann, hat in den letzten Jahren zugenommen. Dies steht in enger Verbindung mit Standards von Monitoren zum Anzeigen von von Bildaufnahmevorrichtungen aufgezeichneten Videos. Insbesondere hat ein Übergang vom sogenannten SD-Standard (SD für engl. Standard Definition) zum sogenannten HD-Standard (HD für engl. High Definition) stattgefunden, und ein Übergang zu Monitoren mit noch höherer Auflösung ist für die Zukunft geplant.
-
Die HD-Auflösung ist hauptsächlich 1920 Pixel in der Horizontalen und 1080 Pixel in der Vertikalen (nachstehend als 1920×1080 Pixel bezeichnet), und die Auflösung von als nächste Generation angesehenen, sogenannten 4K2K-Monitoren ist 3840×2160 Pixel, was die vierfache Pixelanzahl im Vergleich zum HD-Standard ist. Zudem ist der für digitales Kino in Entwicklung befindliche Standard 4096×2160 Pixel, was eine größere Pixelanzahl als im 4K2K-Standard ist. Auch wird der sogenannte 8K4K-Standard als nächste Generation nach dem 4K2K-Standard angesehen, und dieser Standard weist 7680×4320 Pixel auf. Mit diesem Standard würde die Pixelanzahl für digitales Kino als 8K in der Horizontalen überschreitend angesehen werden.
-
Diese Änderung ist von einem Erfordernis für Bildaufnahmevorrichtungen begleitet, ebenfalls eine größere Pixelanzahl aufnehmen zu können. Zum Beispiel müssen, um kompatibel mit der Anzahl an Aufnahmepixeln in der vorgenannten Superhochauflösung (super high-vision) zu sein, Linsen, Bildsensoren, bildverarbeitende LSIs zur Durchführen einer digitalen Verarbeitung von Videosignalen, Videoausgabe-LSIs zum externen Ausgeben von Videosignalen und dergleichen kompatibel mit einer großen Pixelanzahl sein. Die Pixelzahl von Bildsensoren muss außerdem kompatibel mit der Pixelanzahl in der Superhochauflösung sein.
-
In den letzten Jahren hat es Fälle gegeben, wo als Bildsensoren in Bildaufnahmevorrichtungen verwendete CMOS-Bildsensoren aufgrund ihrer Struktur verschiedene Arten von Rauschen erzeugt haben. Spezifische Beispiele solchen Rauschens sind ein festes Rauschmuster (FPN für engl. fixed pattern noise) in der Vertikalen, von Sensitivitätsuneinheitlichkeit verursachtes Vertikallinienrauschen (PRNU) und von Dunkelstromuneinheitlichkeit verursachtes Rauschen (DSNU). Normalerweise wird eine FPN-Korrektur in den bildverarbeitenden LSIs in Bildaufnahmevorrichtungen und dergleichen in Echtzeit durchgeführt. Die FPN-Korrektur wird unter Verwendung von Daten durchgeführt, die von einem Bereich optisch schwarzer (OB für engl. optically black) Pixel des Bildsensors erfasst werden.
-
Da die Informationsmenge pro Einzelbild in einem Videosignal mit großer Pixelzahl jedoch groß ist, bringt deren Korrektur in Echtzeit eine große Rechenlast mit sich. Dies führt zum Problem einer Zunahme der Größe des bildverarbeitenden LSIs und einer Zunahme der Leistungsaufnahme.
-
Die Japanische Patentoffenlegungsschrift
JP 2007-300282 offenbart ein System, in dem Bilddaten von einem Bildsensor als der Bildverarbeitung nicht unterzogene Rohdaten (RAW data) aufgezeichnet werden und sodann die Bildverarbeitung zu einem späteren Zeitpunkt durchgeführt wird. Unter Verwendung der Methode aus der japanischen Patentoffenlegungsschrift
JP 2007-300282 können Bilddaten direkt als Rohdaten aufgezeichnet werden, ohne der Korrekturverarbeitung wie der FPN-Korrektur in Echtzeit unterzogen zu werden, wodurch es möglich ist, die Rechenlast während der Bildaufnahme zu reduzieren. Eine Entwicklungsverarbeitung kann auf den Rohdaten zu einem späteren Zeitpunkt ohne große Belastung des bildverarbeitenden LSIs durchgeführt werden.
-
Wenn die Methode aus der japanischen Patentoffenlegungsschrift
JP 2007-300282 verwendet wird, wird jedoch die Korrekturverarbeitung wie die FPN-Korrektur, die OB-Pixelbereichsdaten verwendet, zu einem späteren Zeitpunkt durchgeführt, und daher werden Ausgabebilder vom Bildsensor als Rohdaten aufgezeichnet, die den OB-Pixelbereich ebenfalls enthalten. Aus diesem Grunde haben die Rohdaten ein beträchtliche Größe, und die auf dem Aufzeichnungsmedium verbrauchte Menge an Speicherkapazität nimmt zu.
-
Zusammenfassung der Erfindung
-
Die vorliegende Erfindung ist im Lichte dieser Umstände gemacht worden, und stellt eine Methode zur Verfügung, um, im Falle, dass eine Korrekturverarbeitung unter Verwendung von OB-Pixelbereichsdaten nach der Bilddatenaufzeichnung durchgeführt wird, die Menge an aufgezeichneten OB-Pixelbereichsdaten zu reduzieren, und zugleich eine Qualitätsreduzierung in der Korrekturverarbeitung zu unterdrücken.
-
Nach einem Aspekt der vorliegenden Erfindung wird eine Bildaufnahmevorrichtung bereitgestellt, die umfasst: eine Bildaufnahmeeinrichtung, ausgebildet zum Enthalten eines einen Effektivpixelbereich und einen Referenzpixelbereich aufweisenden Bildsensors, der ein Referenzsignal zum Korrigieren eines Ausgabesignals des Effektivpixelbereichs ausgibt; eine Reduziereinrichtung, konfiguriert, um im Falle, dass eine vorbestimmte Bedingung erfüllt ist, eine Datenmenge von Referenzpixelbereichsdaten, die dem Referenzpixelbereich in von der Bildaufnahmeeinrichtung erhaltenen Bilddaten entsprechen, zu reduzieren; und eine Aufzeichnungseinrichtung, konfiguriert, um die Bilddaten nach der von der Reduziereinrichtung durchgeführten Verarbeitung aufzuzeichnen.
-
Nach einem anderen Aspekt der vorliegenden Erfindung wird ein Bildaufnahmesystem bereitgestellt, das umfasst: eine Bildaufnahmeeinrichtung, ausgebildet zum Enthalten eines einen Effektivpixelbereich und einen Referenzpixelbereich aufweisenden Bildsensors, der ein Referenzsignal zum Korrigieren eines Ausgabesignals des Effektivpixelbereichs ausgibt; eine Reduziereinrichtung, konfiguriert, um im Falle, dass eine vorbestimmte Bedingung erfüllt ist, eine Datenmenge von Referenzpixelbereichsdaten, die dem Referenzpixelbereich in von der Bildaufnahmeeinrichtung erhaltenen Bilddaten entsprechen, zu reduzieren; eine Aufzeichnungseinrichtung, konfiguriert, um die Bilddaten nach der von der Reduziereinrichtung durchgeführten Verarbeitung aufzuzeichnen; und eine Steuereinrichtung, konfiguriert, um die Bildaufnahmeeinrichtung, die Reduziereinrichtung und die Aufzeichnungseinrichtung zu steuern.
-
Nach einem weiteren Aspekt der vorliegenden Erfindung wird ein Steuerverfahren für eine Bildaufnahmevorrichtung bereitgestellt, die eine Bildaufnahmeeinrichtung umfasst, ausgebildet zum Enthalten eines einen Effektivpixelbereich und einen Referenzpixelbereich aufweisenden Bildsensors, der ein Referenzsignal zum Korrigieren eines Ausgabesignals des Effektivpixelbereichs ausgibt, wobei das Steuerverfahren umfasst: einen Reduzierschritt, um im Falle, dass eine vorbestimmte Bedingung erfüllt ist, eine Datenmenge von Referenzpixelbereichsdaten, die dem Referenzpixelbereich in von der Bildaufnahmeeinrichtung erhaltenen Bilddaten entsprechen, zu reduzieren; und einen Aufzeichnungsschritt, um die Bilddaten nach der im Reduzierschritt durchgeführten Verarbeitung aufzuzeichnen.
-
Weitere Merkmale der vorliegenden Erfindung werden anhand der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich.
-
Kurze Beschreibung der Zeichnungen
-
1 ist ein Diagramm, das Funktionsblöcke einer Bildaufnahmevorrichtung 100 gemäß einer ersten Ausführungsform darstellt.
-
2A ist ein Diagramm, das eine generelle Pixelkonfiguration eines Bildsensors 102 darstellt.
-
2B ist ein Diagramm, das ein Videosignal darstellt, das erhalten wird, indem das in 2A dargestellte Videosignal einer in 3A dargestellten Mittelungsverarbeitung bezüglich eines vertikalen Bereichs optisch schwarzer Pixel unterzogen wird.
-
2C ist ein Diagramm, das ein Videosignal darstellt, das erhalten wird, indem das in 2B dargestellte Videosignal außerdem einer Mittelungsverarbeitung bezüglich eines horizontalen Bereichs optisch schwarzer Pixel unterzogen wird.
-
3A ist ein Konzeptdiagramm einer Mittelungsverarbeitung, die auf einer Spalte in einem vertikalen Bereich optisch schwarzer Pixel durchgeführt wird.
-
3B ist ein Konzeptdiagramm einer Verarbeitung zum Reduzieren der Bitzahl von Pixeln eines Bereichs optisch schwarzer Pixel (OB-Pixelbereich).
-
4 ist ein Flussdiagramm, das einen Fluss einer OB-Pixelbereichskomprimierungsverarbeitung gemäß der ersten Ausführungsform darstellt.
-
5 ist ein Flussdiagramm, das einen Fluss einer OB-Pixelbereichskomprimierungsverarbeitung gemäß einer zweiten Ausführungsform darstellt.
-
Beschreibung der Ausführungsformen
-
Ausführungsformen der vorliegenden Erfindung sind nun unter Bezugnahme auf die angefügten Zeichnungen beschrieben. Es wird angemerkt, dass der Schutzbereich der vorliegenden Erfindung durch die Ansprüche definiert ist, und nicht durch irgendeines der nachstehend beschriebenen Ausführungsformen eingeschränkt wird. Weiter sind nicht alle der in den Ausführungsformen beschriebenen Merkmalskombinationen notwendigerweise für die Umsetzung der vorliegenden Erfindung erforderlich.
-
Erste Ausführungsform
-
1 ist ein Diagramm, das Funktionsblöcke einer Bildaufnahmevorrichtung 100 gemäß einer ersten Ausführungsform darstellt. In 1 fängt eine Optik 101 Licht von einem Objekt auf. Die Optik 101 weist typischerweise einen Fokusmechanismus zum Fokussieren, einen Blendenmechanismus zum Anpassen einer Lichtmenge und einer Tiefenschärfe, und einen Zoommechanismus zum Ändern der Brennweite auf. Es wird angemerkt, dass, falls die Optik eine Festbrennweitenoptik ist, der Zoommechanismus nicht vorgesehen ist. Ebenso ist, wenn die Optik eine Pan-Fokusoptik ist, der Fokus nur an einem Punkt im Unendlichen, so dass in diesem Falle der Fokusmechanismus nicht vorgesehen ist. Um die Kosten der Optik zu reduzieren gibt es Fälle, wo eine Blendenposition auf eine Position eingestellt wird und ein ND-Filter zum Anpassen der Lichtmenge als Ersatz verwendet wird. In der vorliegenden Ausführungsform kann jede Optik als die Optik 101 verwendet werden, solange sie Licht so transmittiert, dass ein Bild auf einem Bildsensor 102 gebildet wird.
-
Der Bildsensor 102 empfängt Licht, das auf eine Optik 101 auftrifft, konvertiert es in ein elektrisches Signal und gibt das elektrische Signal aus. Typische Beispiele des Bildsensors sind ein CCD-Bildsensor (CCD für engl. Charge Coupled Device) und ein CMOS-Bildsensor. Ein Bildsensor, der ein analoges Videosignal direkt ausgibt, kann als Bildsensor 102 verwendet werden. Alternativ ist es möglich, einen Bildsensor zu verwenden, der intern eine AD (analog-digital) – Umwandlungsverarbeitung durchführt und ein Videosignal in einem digitalen Datenformat wie LVDS (für engl. Low Voltage Differential Signaling) ausgibt.
-
Ein Temperatursensor 103 misst die Temperatur des Bildsensors 102 und übermittelt die gemessene Temperatur an einen Mikrocontroller 113. Ein Videosplitter 104 teilt das Videosignal vom Bildsensor 102 in mehrere Signale auf.
-
Eine Bitschiebe- und Vertikaladditionsschaltung 105 reduziert die Anzahl an Pixeln in einem geteilten Videosignal vom Videosplitter 104 durch Durchführen einer Verarbeitung wie Bitschieben, Mitteln oder Ausdünnen je nach Notwendigkeit auf insbesondere einem Bereich optisch schwarzer (OB) Pixel (OB-Pixelbereich). Das Mitteln wird durchgeführt, indem Pixel unter Verwendung eines Zeilenspeichers 106, der Zeilendaten temporär speichert, vertikal addiert werden.
-
Information, die die durch die Bitschiebe- und Vertikaladditionsschaltung 105 durchgeführte Signalkomprimierungsverarbeitung (Verarbeitung zum Reduzieren der Pixelanzahl) angibt, wird jedem Einzelbild als Metadaten von der Metadatenhinzufügeeinheit 107 angefügt. Auf diese Metadaten wird zugegriffen, wenn eine Korrekturverarbeitung unter Verwendung von OB-Pixelbereichsdaten (z. B. eine FPN-Korrektur) zu einem späteren Zeitpunkt durchgeführt wird.
-
Ein Aufzeichnungsmedium 108 zeichnet ein Videosignal auf, das OB-Pixelbereichsdaten als Rohdaten (RAW data) enthält. Die aufgezeichneten OB-Pixelbereichsdaten sind von der Bitschiebe- und Vertikaladditionsschaltung 105 je nach Notwendigkeit komprimiert worden.
-
Eine Videokomprimierungseinheit 109 reduziert die Pixelanzahl in den Einzelbildern eines geteilten Videosignals vom Videosplitter 104 durch Durchführen einer Verarbeitung zum Durchführen einer Addition auf dem gesamten Videosignal, einer Verarbeitung zum Ausdünnen eines Teils des Videosignals, oder dergleichen. Hier wird eine Videosignalkomprimierungsverarbeitung (eine Verarbeitung zum Reduzieren der Pixelanzahl) durchgeführt, um die Pixelanzahl in dem Umfang zu reduzieren, in dem es für eine Bildkorrektureinheit 110 (nachstehend beschrieben) möglich ist, eine Korrekturverarbeitung wie FPN-Korrektur in Echtzeit durchzuführen.
-
Die Bildkorrektureinheit 110 führt eine Korrekturverarbeitung wie FPN-Korrektur auf dem komprimierten Videosignal (auf reduzierten Bilddaten) von der Videokomprimierungseinheit 109 in Echtzeit durch. Die Bildkorrektureinheit 110 berechnet einen Signalauswertungswert, der sich auf Belichtung, Fokus, Bildverwacklungskorrektur oder dergleichen bezieht, basierend auf dem korrigierten Videosignal, und übermittelt den Auswertungswert an den Mikrocontroller 113.
-
Eine Entwicklungsverarbeitungseinheit 111 weist typische Bildverarbeitungsfunktionen in der Bildaufnahmevorrichtung 100 auf, und führt verschiedene Arten von Entwicklungsverarbeitung wie Rauschreduzierung, Gammakorrektur, Kniepunktkorrektur (knee correction), Digitalverstärkungsverarbeitung (digital gain processing) und Fehlerkorrektur (flaw correction) durch. Die Entwicklungsverarbeitungseinheit 111 enthält eine Speicherschaltung zum Speichern von Einstellungen, die für die verschiedenen Arten der Korrektur und Bildverarbeitung nötig sind.
-
Eine Anzeigeeinheit 112 zeigt das aus der von der Entwicklungsverarbeitungseinheit 111 durchgeführten Entwicklungsverarbeitung resultierende Video an. Die Anzeigeeinheit 112 ist typischerweise ein an der Bildaufnahmevorrichtung 100 angebrachter Flüssigkristallmonitor, Sucher oder dergleichen. Der Benutzer der Bildaufnahmevorrichtung 100 kann den Blickwinkel, die Belichtung und dergleichen unter Verwendung der Anzeigeeinheit 112 prüfen.
-
Der Mikrocontroller 113 bestimmt die Arbeitsweise der Optik 101, des Bildsensors 102, und dergleichen basierend auf dem Signalauswertungswert von der Bildkorrektureinheit 110, auf Temperaturinformation vom Temperatursensor 103, und dergleichen, und steuert eine Bildsensorsteuereinheit 114 und eine Optiksteuereinheit 115 basierend auf den bestimmten Arbeitsweisen. Die Bildsensorsteuereinheit 114 und die Optiksteuereinheit 115 steuern den Bildsensor 102 bzw. die Optik 101 basierend auf Anweisungen vom Mikrocontroller 113.
-
Als nächstes ist die von der Bitschiebe- und Vertikaladditionsschaltung 105 durchgeführte Arbeitsweise detailliert unter Bezugnahme auf 2A bis 2C und 3A und 3B beschrieben. 2A ist ein Diagramm, das die generelle Pixelkonfiguration des Bildsensors 102 darstellt. Die Pixel des Bildsensors 102 enthalten einen effektiven Bilderfassungspixelbereich (effective image sensing pixel region), der Licht von der Optik empfängt und es in ein Videosignal konvertiert, und einen Bereich optisch schwarzer (OB) Pixel, der Licht von der Optik blockiert und den Schwarzpegel (black level) ausgibt. Insbesondere wird der oberhalb oder unterhalb des effektiven Bilderfassungspixelbereichs angeordnete OB-Pixelbereich vertikaler Bereich optisch schwarzer Pixel genannt, und der links oder rechts des effektiven Bilderfassungspixelbereichs angeordnete OB-Pixelbereich horizontaler Bereich optisch schwarzer Pixel genannt. Diese OB-Pixelbereiche werden vorwiegend in der horizontalen OB-Fixierung (OB clamping) zum Anpassen des Schwarzpegels des Videosignals, in der Bildsensor-FPN-Korrektur und dergleichen verwendet.
-
In der vorliegenden Ausführungsform werden Bilddaten auf dem Aufzeichnungsmedium 108 aufgezeichnet, ohne einem horizontalen OB-Clamping, einer Bildsensor-FPN-Korrektur oder dergleichen unterzogen zu werden. Aus diesem Grund müssen, damit das aufgezeichnete Video zu einem späteren Zeitpunkt geeignet verarbeitet und reproduziert werden kann, Daten von dem OB-Pixelbereich (OB-Pixelbereichsdaten) auch auf dem Aufzeichnungsmedium 108 neben dem Rohvideo, d. h. dem unverarbeiteten Videosignal vom effektiven Bilderfassungspixelbereich (Daten des effektiven Bilderfassungspixelbereichs) aufgezeichnet werden. Da das unverarbeitete Rohvideo einer Komprimierungsverarbeitung nicht unterzogen worden ist, ist jedoch die Datenmenge pro Einzelbild sehr groß. Aus diesem Grunde komprimiert die Bitschiebe- und Vertikaladditionsschaltung 105 den OB-Pixelbereich in einem Bereich (range), in dem kein allzu großer Einfluss auf das horizontale OB-Clamping und die Bildsensor-FPN-Korrektur vorliegt.
-
3A ist ein Konzeptdiagramm einer Mittelungsverarbeitung, die auf einer Spalte im vertikalen Bereich optisch schwarzer Pixel durchgeführt wird. Die Bitschiebe- und Vertikaladditionsschaltung 105 kann den OB-Pixelbereich spaltenweise mitteln und jede Spalte in einen Pixel komprimieren. Obwohl das nicht gezeigt ist, kann eine ähnliche Komprimierung ebenso auf dem horizontalen Bereich optisch schwarzer Pixel durchgeführt werden.
-
2B ist ein Diagramm, das ein Videosignal darstellt, das erhalten wird, indem das in 2A dargestellte Videosignal einer in 3A dargestellten Mittelungsverarbeitung bezüglich eines vertikalen Bereichs optisch schwarzer Pixel unterzogen wird. In 2B ist der vertikale Bereich optisch schwarzer Pixel auf eine Zeile komprimiert, und die Datenmenge ist verglichen mit 2A reduziert.
-
2C ist ebenfalls ein Diagramm, das ein Videosignal darstellt, das erhalten wird, indem das in 2B dargestellte Videosignal einer Mittelungsverarbeitung bezüglich eines horizontalen Bereichs optisch schwarzer Pixel unterzogen wird. In 2C ist der horizontale Bereich optisch schwarzer Pixel auf eine Spalte komprimiert, und die Datenmenge ist verglichen mit 2B reduziert.
-
3B ist ein Konzeptdiagramm einer Verarbeitung zum Reduzieren der Bitzahl von Pixeln eines Bereichs optisch schwarzer Pixel. Wie in 3B gezeigt schneidet die Bitschiebe- und Vertikaladditionsschaltung 105 die vier niederwertigsten Bits aus den ursprünglich 12-Bit-Pixel enthaltenden digitalen Daten durch Durchführen einer Bitverschiebung aus. Dies erhält Daten, in denen jeder Pixel auf acht Bit komprimiert ist. Die Datenmenge der OB-Pixelbereichsdaten kann weiter reduziert werden, indem diese Bitzahlreduzierungsverarbeitung auf die in 2A bis 2C dargestellten Videosignale angewendet wird.
-
In der vorliegenden Ausführungsform führt die Bildaufnahmevorrichtung 100 eine Komprimierungsverarbeitung (Datenmengenreduzierung) auf den OB-Pixelbereichsdaten in einem Bereich (range) durch, in dem die Qualität der Korrekturverarbeitung, die die OB-Pixelbereichsdaten verwendet, nicht allzu sehr abnimmt. Beispiele der Korrekturverarbeitung, die die OB-Pixelbereichsdaten verwendet, sind OB-Clamping zum Korrigieren einer Offsetkomponente (z. B. eine Schwarzpegelvariation) basierend auf den OB-Pixelbereichsdaten, und eine FPN-Korrektur zum Korrigieren einer Rauschkomponente (z. B. FPN) basierend auf den OB-Pixelbereichsdaten. Obwohl aus Gründen der vereinfachten Darstellung nachstehend lediglich die FPN-Korrektur beschrieben ist, ist die zugrundeliegende Idee des OB-Clampings derjenigen in der FPN-Korrektur ähnlich.
-
Um den Umfang der Qualitätsreduzierung in der Korrekturverarbeitung, die den OB-Pixelbereich verwendet, zu bestimmen, kann die Bildaufnahmevorrichtung 100 vorbestimmte Bildaufnahmebedingungen (Parameter wie die Verschlusszeit (shutter speed), die Verstärkung, und die Temperatur des Bildsensors 102) verwenden, die die Korrekturzielkomponente (Schwarzpegelvariation oder FPN) beeinflussen. Die Bildaufnahmevorrichtung 100 vergleicht Parameter zwischen dem aktuellen Einzelbild (in der aktuellen Bildaufnahme erhaltene Bilddaten) und dem vorigen Einzelbild (in der vorigen Bildaufnahme erhaltene Bilddaten), und bestimmt den Umfang, in dem der OB-Pixelbereich komprimiert werden wird gemäß einem Grad einer Änderung in den Parametern.
-
4 ist ein Flussdiagramm, das den Fluss einer OB-Pixelbereichskomprimierungsverarbeitung gemäß der ersten Ausführungsform darstellt. Die zugrundeliegende Idee der Komprimierungsverarbeitung ist, dass der OB-Pixelbereich umso mehr komprimiert wird, je geringer die Änderung in der Korrekturzielkomponente (Schwarzpegelvariation, FPN oder dergleichen) im Vergleich zum vorigen Einzelbild ist. Beispielsweise bestimmt in der vorliegenden Ausführungsform die Bildaufnahmevorrichtung 100 den Umfang der OB-Pixelbereichskomprimierung danach, wie viele von drei Parametern (nämlich der Verschlusszeit, der Verstärkung, und der Temperatur des Bildsensors 102) sich seit der Zeit, als das vorige Einzelbild aufgenommen worden ist, geändert haben. Die Bestimmungskriterien sind jedoch nicht darauf eingeschränkt, und die Bildaufnahmevorrichtung 100 kann jedweden Parameter und jedwedes Kriterium verwenden, solange diese mit der oben beschriebenen zugrundeliegenden Idee in Einklang stehen.
-
Die Verarbeitung dieses Flussdiagramms beginnt, wenn eine Bildaufnahmevorrichtung 100 die Videoaufnahme beginnt. In Schritt S401 initialisiert der Mikrocontroller 113 eine Variable N, die dem Zählen der Anzahl an Parametern, die sich geändert haben, dient, auf 0.
-
In Schritt S402 bestimmt der Mikrocontroller 113, ob sich die Verschlusszeit des aktuellen Einzelbilds im Vergleich zum vorigen Einzelbild geändert hat. Falls sie sich geändert hat, erhöht der Mikrocontroller 113 in Schritt S403 den Wert von N um 1. Falls sie sich nicht geändert hat, überspringt die Prozedur Schritt S403 und fährt mit Schritt S404 fort.
-
Die Verschlusszeit ist die Belichtungszeit des Bildsensors 102, und der Dunkelstrom und dergleichen des Bildsensors 102 sowie das FPN des Bildsensors 102 sind beide unterschiedlich für die Fälle, dass die Belichtungszeit z. B. 1/2000 s bzw. 1/2 s beträgt. Aus diesem Grunde sind, wenn sich die Verschlusszeit ändert, detaillierte OB-Pixelbereichsdaten nötig, um eine Reduzierung in der Qualität der FPN-Korrektur zu unterdrücken. Gemäß dem Flussdiagramm in 4, wird der Wert von N um 1 erhöht, wenn sich die Verschlusszeit ändert, und daher nimmt der Umfang der Komprimierung des OB-Pixelbereichs ab, und es ist möglich, eine Reduzierung der Qualität der FPN-Korrektur zu unterdrücken.
-
In Schritt S404 bestimmt der Mikrocontroller 113, ob sich die Gesamtverstärkung im Bildsensor 102 und in der Bildaufnahmevorrichtung 100 im aktuellen Einzelbild im Vergleich zum vorigen Einzelbild geändert hat. Wenn sich die Verstärkung des Verstärkers oder dergleichen im Bildsensor 102 ändert, ändert sich das FPN des Bildsensors 102, und daher sind detaillierte OB-Pixelbereichsdaten nötig, um eine Reduzierung in der Qualität der FPN-Korrektur zu unterdrücken. Angesichts dessen erhöht der Mikrocontroller 113 in Schritt S405 den Wert von N um 1, falls bestimmt wird, dass sich die Verstärkung geändert hat. Falls die Verstärkung sich nicht geändert hat, überspringt die Prozedur Schritt S405 und fährt mit Schritt S406 fort.
-
In Schritt S406 bestimmt der Mikrocontroller 113, ob sich die Temperatur des Bildsensors 102 während der Aufnahme des aktuellen Einzelbilds im Vergleich zur Temperatur während der Aufnahme des vorigen Einzelbilds geändert hat. Wenn sich die Temperatur ändert, ändert sich der Dunkelstrom und dergleichen des Bildsensors 102, und es ändert sich das FPN des Bildsensors 102, und daher sind detaillierte OB-Pixelbereichsdaten nötig, um eine Reduzierung in der Qualität der FPN-Korrektur zu unterdrücken. Angesichts dessen erhöht der Mikrocontroller 113 in Schritt S407 den Wert von N um 1, falls bestimmt wird, dass sich die Temperatur geändert hat. Falls die Temperatur sich nicht geändert hat, überspringt die Prozedur Schritt S407 und fährt mit Schritt S408 fort.
-
Es wird angemerkt, dass ein Schwellwert verwendet werden kann, um zu bestimmen, ob sich der Parameter in einigen oder allen der Schritte S402, S404, und S406 geändert hat. Zum Beispiel kann der Mikrocontroller 113 in Schritt S404 bestimmen, dass sich die Verstärkung geändert hat, wenn die Änderung in der Verstärkung größer als ein oder gleich einem Schwellwert Δy (dB: Dezibel) ist, und bestimmen, dass sich die Verstärkung nicht geändert hat, wenn die Änderung in der Verstärkung geringer als Δy (dB) ist. Der Wert des Schwellwerts Δy (dB) ist ein für die Bildaufnahmevorrichtung 100 spezifischer Wert, und er wird basierend auf dem Ausmaß des FPN des enthaltenen Bildsensors 102 bestimmt. Alternativ kann der Mikrocontroller 113, wenn sich die Verstärkung des Verstärkers oder dergleichen im Bildsensor 102 geändert hat, unabhängig von dem Wert Δy (dB) bestimmen, dass sich die Verstärkung geändert hat. In einem anderen Beispiel kann der Mikrocontroller 113 in Schritt S406 bestimmen, dass sich die Temperatur geändert hat, wenn die Änderung in der Temperatur größer als ein oder gleich einem Schwellwert Δz ist, und bestimmen, dass sich die Temperatur nicht geändert hat, wenn die Änderung in der Temperatur kleiner als Δz ist. Der Wert des Schwellwerts Δz ist ein für die Bildaufnahmevorrichtung 100 spezifischer Wert, und er wird basierend auf dem Ausmaß des Dunkelstroms des enthaltenen Bildsensors 102 bestimmt.
-
In Schritt S408 folgt der Mikrocontroller 113 einer der mehreren Verzweigungen der Verarbeitung gemäß dem Wert der Variablen N. Insbesondere weist der Mikrocontroller 113 im Falle, dass N = 3 in Schritt S409 die Bitschiebe- und Vertikaladditionsschaltung 105 an, die OB-Pixelbereichsdaten nicht zu komprimieren. Falls N = 2, weist der Mikrocontroller 113 in Schritt S410 die Bitschiebe- und Vertikaladditionsschaltung 105 an, den vertikalen Bereich optisch schwarzer Pixel wie in 2B dargestellt zu mitteln. Falls N = 1, weist der Mikrocontroller 113 in Schritt S411 die Bitschiebe- und Vertikaladditionsschaltung 105 an, den vertikalen Bereich optisch schwarzer Pixel und den horizontalen Bereich optisch schwarzer Pixel wie in 2C dargestellt zu mitteln. Falls N = 0, weist der Mikrocontroller 113 in Schritt S412 die Bitschiebe- und Vertikaladditionsschaltung 105 an, den vertikalen Bereich optisch schwarzer Pixel und den horizontalen Bereich optisch schwarzer Pixel wie in 2C dargestellt zu mitteln, und sodann die Bitzahl wie in 3B dargestellt zu reduzieren.
-
Es wird angemerkt, dass das Verfahren des Komprimierens der OB-Pixelbereichsdaten nicht auf die in 2B, 2C und 3B dargestellten Verfahren beschränkt ist. Zum Beispiel können die OB-Pixelbereichsdaten durch Durchführen von Mitteln auf den Pixeln im OB-Pixelbereich in Einheiten von zwei Pixeln komprimiert werden.
-
In Schritt S413 wird Information, die die von der Bitschiebe- und Vertikaladditionsschaltung 105 durchgeführte Komprimierungsverarbeitung angibt (Information, die angibt, wie die OB-Pixelbereichsdaten komprimiert worden sind), dem Videosignal als Metadaten von der Metadatenhinzufügeeinheit 107 hinzugefügt. Der Grund hierfür ist, dass die Pixelanzahl und die Datenmenge pro Einzelbild sich geändert haben werden, wenn eine FPN-Korrektur zu einem späteren Zeitpunkt durchgeführt wird, und es daher nicht möglich sein wird, die FPN-Korrektur richtig durchzuführen, wenn nicht der Komprimierungszustand der OB-Pixelbereichsdaten aufgezeichnet worden ist.
-
In Schritt S414 zeichnet die Bildaufnahmevorrichtung 100 das aktuelle Einzelbild zusammen mit den Metadaten auf dem Aufzeichnungsmedium 108 auf. Die Prozedur fährt sodann mit Schritt S401 fort, und die gleiche Verarbeitung wird für das nächste Einzelbild wiederholt.
-
Wie oben beschrieben komprimiert die Bildaufnahmevorrichtung 100 gemäß der ersten Ausführungsform den OB-Pixelbereich gemäß einem Grad, in dem die basierend auf den OB-Pixelbereichsdaten zu korrigierende Korrekturzielkomponente (Offsetkomponente oder Rauschkomponente) sich im Vergleich zum vorigen Einzelbild geändert hat. Insbesondere komprimiert die Bildaufnahmevorrichtung 100 den OB-Pixelbereich, wenn der Änderungsgrad kleiner als ein oder gleich einem Schwellwert ist (im Beispiel der 4 im Falle, dass N = 2, 1 oder 0), und komprimiert andernfalls den OB-Pixelbereich nicht (im Beispiel der 4 im Falle, dass N = 3). Die Bildaufnahmevorrichtung 100 komprimiert auch im Fall, dass der OB-Pixelbereich komprimiert ist, die OB-Pixelbereichsdaten umso mehr, je kleiner die Änderung in der Korrekturzielkomponente im Vergleich zum vorigen Einzelbild ist.
-
Entsprechend ist es möglich, im Falle, dass eine Korrekturverarbeitung unter Verwendung von OB-Pixelbereichsdaten nach der Bilddatenaufzeichnung durchgeführt wird, die Menge an aufgezeichneten OB-Pixelbereichsdaten zu reduzieren, und zugleich eine Qualitätsreduzierung in der Korrekturverarbeitung zu unterdrücken.
-
Varianten
-
Im Flussdiagramm der 4 bestimmt die Bildaufnahmevorrichtung 100 den Änderungsgrad in der Korrekturzielkomponente im Vergleich zu einem vorigen Einzelbild basierend auf einer Änderung in einer Bildaufnahmebedingung, die zur Erzeugung der Korrekturzielkomponente (eines Parameters wie die Verschlusszeit) beiträgt, im Vergleich zum vorigen Einzelbild. Dagegen wird in der nachstehend beschriebenen Variante der Änderungsgrad in einer in vollständigen Bilddaten (full-size image data) enthaltenen Korrekturzielkomponente im Vergleich zum vorigen Einzelbild basierend auf der in von der Videokomprimierungseinheit 109 erzeugten reduzierten Bilddaten enthaltenen Korrekturzielkomponente bestimmt.
-
Insbesondere weist die Bildkorrektureinheit 110 in Zusammenhang mit der auf reduzierten Bilddaten durchgeführten Korrekturverarbeitung eine in den reduzierten Bilddaten enthaltene Korrekturzielkomponente nach und teilt die nachgewiesene Korrekturzielkomponente dem Mikrocontroller 113 mit. Der Mikrocontroller 113 bestimmt den Grad der Änderung in der in den reduzierten Bilddaten enthaltenen Korrekturzielkomponente durch Vergleich der mitgeteilten Korrekturzielkomponente mit der in den reduzierten Bilddaten des vorigen Einzelbilds enthaltenen Korrekturzielkomponente. Es wird angenommen, dass die Änderung in der in den vollständigen Bilddaten enthaltenen Korrekturzielkomponente der Änderung in der in den reduzierten Bilddaten enthaltenen Korrekturzielkomponente grob entspricht. Angesichts dessen weist der Mikrocontroller 113 basierend auf dem Grad der Änderung in der in den reduzierten Bilddaten enthaltenen Korrekturzielkomponente die Bitschiebe- und Vertikaladditionsschaltung 105 an, die Datenmenge des OB-Pixelbereichs umso mehr zu reduzieren, je kleiner der Änderungsgrad ist. Es wird darauf hingewiesen, dass die oben beschriebene Variante auch auf die nachstehend beschriebene zweite Ausführungsform anwendbar ist.
-
Zweite Ausführungsform
-
Eine Konfiguration, in der OB-Pixelbereichsdaten entfernt werden, um die Datenmenge des OB-Pixelbereichs stark zu reduzieren, wird in einer zweiten Ausführungsform beschrieben. In der nachstehend beschriebenen Konfiguration wird zudem im Falle, dass der OB-Pixelbereich in mehreren Einzelbildern komprimiert worden ist, die durch mehrmaliges Durchführen der Bildaufnahme nacheinander erhalten worden sind, der OB-Pixelbereich in dem in einer nächsten Instanz der Bildaufnahme erhaltenen Einzelbild unabhängig von einem Änderungsgrad in der Korrekturzielkomponente nicht komprimiert wird. In der vorliegenden Ausführungsform ist die grundlegende Konfiguration der Bildaufnahmevorrichtung 100 gleich der in der ersten Ausführungsform (siehe 1).
-
5 ist ein Flussdiagramm, das den Fluss einer OB-Pixelbereichskomprimierungsverarbeitung gemäß der zweiten Ausführungsform darstellt. Schritte in diesem Flussdiagramm für das Durchführen einer Verarbeitung, die gleich oder ähnlich den Schritten in 4 sind, weisen die gleichen Bezugszeichen auf und sind nicht erneut beschrieben.
-
In Schritt S501 initialisiert der Mikrocontroller 113 eine Variable M, die dem Zählen der Anzahl an aufeinanderfolgenden (konsekutiven) Einzelbildern dient, in denen der OB-Pixelbereich komprimiert worden ist, auf 0.
-
In Schritt S502 bestimmt der Mikrocontroller 113, ob M größer als ein oder gleich einem Schwellwert Th ist. Wenn M größer als der oder gleich dem Schwellwert ist, fährt die Prozedur mit Schritt S409 fort, in dem der Mikrocontroller 113 die Bitschiebe- und Vertikaladditionsschaltung 105 anweist, die OB-Pixelbereichsdaten nicht zu komprimieren. Auf diese Weise wird, wenn die OB-Pixelbereichskomprimierung fortgesetzt über eine Anzahl an Einzelbildern, die größer als der oder gleich dem Schwellwert ist, erfolgt, die Bestimmung des Schritts S408 nicht vorgenommen, und die OB-Pixelbereichsdaten werden unabhängig davon, ob sich eine Bildaufnahmebedingung geändert hat, nicht komprimiert. Es wird angemerkt, dass, wenn der Bildsensor 102 z. B. bei 60 fps betrieben wird, der Schwellwert Th z. B. auf 60 gesetzt wird. In diesem Fall wird ein Einzelbild, das die Gesamtheit des OB-Pixelbereichs aufweist, immer einmal pro Sekunde aufgezeichnet.
-
Falls N = 0 in Schritt S408, fährt die Prozedur mit Schritt S503 fort, in dem der Mikrocontroller 113 die Bitschiebe- und Vertikaladditionsschaltung 105 anweist, den OB-Pixelbereich zu entfernen. Auf diese Weise wird in der vorliegenden Ausführungsform, wenn die Änderung in einer Bildaufnahmebedingung sehr klein ist (d. h. wenn die Änderung in einer Korrekturzielkomponente sehr klein ist), der OB-Pixelbereich statt komprimiert zu werden entfernt.
-
Im Falle, dass die OB-Pixelbereichsdaten nicht komprimiert werden sollen, fährt die Prozedur mit Schritt S504 fort, in dem der Mikrocontroller 113 die Variable M auf 0 initialisiert. Andererseits fährt im Falle, dass die OB-Pixelbereichsdaten komprimiert oder entfernt werden sollen, die Prozedur mit den Schritten S505, S506 oder S507 fort, in denen der Mikrocontroller 113 die Variable M um 1 erhöht.
-
Wie oben beschrieben entfernt die Bildaufnahmevorrichtung 100 gemäß der zweiten Ausführungsform im Falle, dass N = 0 in Schritt S408 (d. h. falls die Änderung in einer Bildaufnahmebedingung sehr klein ist) die OB-Pixelbereichsdaten vor Aufzeichnung der Bilddaten. Zudem komprimiert die Bildaufnahmevorrichtung 100, wenn der OB-Pixelbereich in mehreren Einzelbildern komprimiert worden ist, die durch mehrmaliges konsekutives Durchführen der Bildaufnahme erhalten worden sind, den OB-Pixelbereich in dem in einer nächsten Instanz der Bildaufnahme erhaltenen Einzelbild unabhängig von einem Änderungsgrad in der Korrekturzielkomponente nicht. Dies ermöglicht es, die Datenmenge des OB-Pixelbereichs stark zu reduzieren, und eine Qualitätsreduzierung in der Korrekturverarbeitung zu unterdrücken.
-
Weitere Ausführungsformen
-
Ausführungsformen der vorliegenden Erfindung können ebenfalls vermittels eines Computers eines Systems oder einer Vorrichtung realisiert werden, der Computer-ausführbare Befehle, die auf einem Speichermedium (z. B. nichtflüchtige Computer-lesbares Speichermedium) aufgezeichnet sind, ausführt, um die Funktionen eines oder mehrerer der oben beschriebenen Ausführungsformen der vorliegenden Erfindung auszuführen, und vermittels eines Verfahrens, das vermittels des Computers des Systems oder der Vorrichtung durchgeführt wird, indem z. B. Computer-ausführbare Befehle von dem Speichermedium ausgelesen und ausgeführt werden, um die Funktionen eines oder mehrerer der oben beschriebenen Ausführungsformen auszuführen. Der Computer kann eine oder mehrere CPUs (central processing unit), eine MPU (micro processing unit) oder weitere Schaltungen umfassen und kann ein Netzwerk von separaten Computern oder separate Computerprozessoren enthalten. Die Computer-ausführbaren Befehle können dem Computer z. B. von einem Netzwerk oder einem Speichermedium bereitgestellt werden. Das Speichermedium kann z. B. eine oder mehrere Festplatten, einen RAM (random-access memory), ein ROM (read only memory), einen Speicher aus verteilten Rechnersystemen, einen optischen Datenträger (wie eine CD (compact disc), DVD (digital versatile disc) oder eine BD (Blu-ray DiscTM), ein Flashspeichergerät, eine Speicherkarte oder ähnliches enthalten.
-
Obwohl die vorliegende Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben worden ist, ist selbstverständlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele begrenzt ist. Dem Umfang der folgenden Ansprüche soll die weitestgehende Interpretation zugestanden werden, sodass all solche Modifikationen und äquivalenten Strukturen und Funktionen erfasst sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2007-300282 [0007, 0007, 0008]
