DE112019000735T5

DE112019000735T5 - Bildprozessor, bildverarbeitungsverfahren und bildgebungsvorrichtung

Info

Publication number: DE112019000735T5
Application number: DE112019000735.1T
Authority: DE
Inventors: Fumihiko Koga; Tetsuji Yamaguchi
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-02-09
Filing date: 2019-01-29
Publication date: 2020-10-22
Also published as: CN111543053B; CN115460387A; WO2019155944A1; KR20200120608A; TW202310606A; TW201937916A; CN115460385A; US20210029331A1; CN115460387B; TWI785193B; JPWO2019155944A1; JP7225131B2; US11665440B2; CN115460384A; CN111543053A; US20230254596A1; JP2023061999A

Abstract

Ein Bildprozessor gemäß der vorliegenden Offenbarung umfasst: eine Bildsegmentierungs-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl erster Abbildungsdaten auf der Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält; eine Interpolations-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und eine Synthese-Verarbeitungssektion, die dafür konfiguriert ist, dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl zweiter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position bestimmt wird.

Description

Technisches Gebiet
Die vorliegenden Offenbarung bezieht sich auf einen Bildprozessor, der eine Bildverarbeitung durchführt, ein Bildverarbeitungsverfahren und eine Bildgebungsvorrichtung, die solch einen Bildprozessor enthält.
Hintergrundtechnik
In Bildgebungsvorrichtungen werden aufgenommene Bilder auf der Basis elektrischer Signale erzeugt, die durch rote, grüne und blaue fotoelektrische Wandler umgewandelt werden. Beispielsweise offenbart PTL 1, dass rote, grüne und blaue fotoelektrische Wandler in einem Pixelgebiet gestapelt sind.
Zitatliste
Patentliteratur
PTL 1: Ungeprüfte japanische Patentanmeldung Veröffentlichungsnummer 2011-138927
Zusammenfassung der Erfindung
Im Übrigen ist in Bildgebungsvorrichtungen eine hohe Bildqualität aufgenommener Bilder erwünscht und wird eine weitere Verbesserung in der Bildqualität erwartet.
Es ist wünschenswert, einen Bildprozessor, ein Bildverarbeitungsverfahren und eine Bildgebungsvorrichtung vorzusehen, die es möglich machen, eine Bildqualität eines aufgenommenen Bildes zu steigern.
Ein Bildprozessor gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst eine Bildsegmentierungs-Verarbeitungssektion, eine Interpolations-Verarbeitungssektion und eine Synthese-Verarbeitungssektion. Die Bildsegmentierungs-Verarbeitungssektion ist dafür konfiguriert, eine Vielzahl erster Map-Daten bzw. Abbildungsdaten (engl.: map data) auf der Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten. Die Vielzahl erster Abbildungsdaten weist Anordnungsmuster von Pixelwerten auf, die voneinander verschieden sind, und enthält die Pixelwerte, die an voneinander verschiedenen Positionen gelegen sind. Die Interpolations-Verarbeitungssektion ist dafür konfiguriert, eine Vielzahl zweiter Abbildungsdaten zu erzeugen, die der Vielzahl erster Abbildungsdaten entspricht, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten bestimmt wird. Die Synthese-Verarbeitungssektion ist dafür konfiguriert, dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst: eine Bildsegmentierungs-Verarbeitung, um eine Vielzahl erster Abbildungsdaten auf der Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten aufweist, die voneinander verschieden sind, und Pixelwerte enthält, die an voneinander verschiedenen Positionen gelegen sind; eine Interpolations-Verarbeitung, um eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und eine Synthese-Verarbeitung, um dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Eine Bildgebungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält eine Bildgebungssektion, eine Bildsegmentierungs-Verarbeitungssektion, eine Interpolations-Verarbeitungssektion und eine Synthese-Verarbeitungssektion. Die Bildgebungssektion erzeugt erste Bild-Abbildungsdaten, die eine Vielzahl von Pixelwerten enthalten. Die Bildsegmentierungs-Verarbeitungssektion ist dafür konfiguriert, eine Vielzahl erster Abbildungsdaten auf der Basis der ersten Bild-Abbildungsdaten zu erzeugen. Die Vielzahl erster Abbildungsdaten weist Anordnungsmuster von Pixelwerten auf, die voneinander verschieden sind, und enthält Pixelwerte, die an voneinander verschiedenen Positionen gelegen sind. Die Interpolations-Verarbeitungssektion ist dafür konfiguriert, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird. Die Synthese-Verarbeitungssektion ist dafür konfiguriert, dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Die „Bildgebungsvorrichtung“ ist hier nicht allein auf einen sogenannten Bildsensor beschränkt und schließt elektronische Vorrichtungen mit einer Bildgebungsfunktion wie etwa eine Digitalkamera und ein Smartphone ein.
In dem Bildprozessor, dem Bildverarbeitungsverfahren und der Bildgebungsvorrichtung gemäß den Ausführungsformen der vorliegenden Offenbarung wird die Vielzahl erster Abbildungsdaten auf der Basis der ersten Bild-Abbildungsdaten mittels einer Bildsegmentierungs-Verarbeitung erzeugt. Die Vielzahl erster Abbildungsdaten weist Anordnungsmuster von Pixelwerten auf, die voneinander verschieden sind, und enthält Pixelwerte, die an Positionen gelegen sind, die voneinander verschieden sind. Die Vielzahl zweiter Abbildungsdaten wird dann auf der Basis jeder der Vielzahl erster Abbildungsdaten mittels Interpolations-Verarbeitung erzeugt. Die Vielzahl zweiter Abbildungsdaten wird erzeugt, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird. Die dritten Abbildungsdaten werden dann auf der Basis der Vielzahl zweiter Abbildungsdaten mittels einer Synthese-Verarbeitung erzeugt. Die dritten Abbildungsdaten werden erzeugt, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Gemäß dem Bildprozessor, dem Bildgebungs-Verarbeitungsverfahren und der Bildgebungsvorrichtung gemäß den Ausführungsformen der vorliegenden Offenbarung wird die Vielzahl erster Abbildungsdaten, die Anordnungsmuster von Pixelwerten aufweisen, die voneinander verschieden sind, und Pixelwerte enthalten, die an voneinander verschiedenen Positionen gelegen sind, auf der Basis der ersten Bild-Abbildungsdaten erzeugt, wird die Vielzahl zweiter Abbildungsdaten erzeugt, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird, und die dritten Abbildungsdaten werden erzeugt, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern. Es ist besonders zu erwähnen, dass die hier beschriebenen Effekte nicht notwendigerweise beschränkt sind, sondern beliebige Effekte, die in der vorliegenden Offenbarung beschrieben werden, eingeschlossen sein können.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer in 1 veranschaulichten Bildgebungssektion veranschaulicht.
[3] 3 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel von in 2 veranschaulichten Bildgebungspixeln veranschaulicht.
[4] 4 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel der in 2 veranschaulichten Bildgebungspixel veranschaulicht.
[5] 5 ist ein Flussdiagramm, das ein Operationsbeispiel einer in 1 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[6] 6 ist ein erläuterndes Diagramm, das ein Operationsbeispiel der in 1 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[7] 7 ist ein erläuterndes Diagramm, das ein Beispiel von in 6 veranschaulichten Bild-Abbildungsdaten veranschaulicht.
[8A] 8A ist ein erläuterndes Diagramm, das ein Beispiel von in 6 veranschaulichten Abbildungsdaten veranschaulicht.
[8B] 8B ist ein anderes erläuterndes Diagramm, das ein Beispiel der in 6 veranschaulichten Abbildungsdaten veranschaulicht.
[9A] 9A ist ein anderes erläuterndes Diagramm, das ein Beispiel der in 6 veranschaulichten Abbildungsdaten veranschaulicht.
[9B] 9B ist ein anderes erläuterndes Diagramm, das ein Beispiel der in 6 veranschaulichten Abbildungsdaten veranschaulicht.
[10] 10 ist ein weiteres erläuterndes Diagramm, das ein Beispiel der in 6 veranschaulichten Abbildungsdaten veranschaulicht.
[11] 11 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer Bildverarbeitungssektion gemäß einem Modifikationsbeispiel veranschaulicht.
[12A] 12A ist ein anderes erläuterndes Diagramm, das ein Beispiel von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[12B] 12B ist ein weiteres erläuterndes Diagramm, das ein Beispiel von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[13A] 13A ist ein anderes erläuterndes Diagramm, das ein Beispiel von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[13B] 13B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[14A] 14A ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[14B] 14B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[15A] 15A ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[15B] 15B ist ein weiteres erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[16A] 16A ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[16B] 16B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[17A] 17A ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[17B] 17B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[18A] 18A ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[18B] 18B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[18C] 18C ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[19A] 19A ist ein weiteres erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[19B] 19B ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[19C] 19C ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[20] 20 ist ein anderes erläuterndes Diagramm eines Beispiels von Abbildungsdaten gemäß einem anderen Modifikationsbeispiel.
[21] 21 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[22] 22 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer in 21 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[23A] 23A ist ein erläuterndes Diagramm, das ein Operationsbeispiel der in 21 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[23B] 23B ist ein erläuterndes Diagramm, das ein Operationsbeispiel der in 21 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[23C] 23C ist ein erläuterndes Diagramm, das ein Operationsbeispiel der in 21 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[24] 24 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer Bildverarbeitungssektion gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[25] 25 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einem anderen Modifikationsbeispiel veranschaulicht.
[26] 26 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer in 25 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[27] 27 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einer zweiten Ausführungsform veranschaulicht.
[28] 28 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel von Bildgebungspixeln in einer in 27 veranschaulichten Bildgebungssektion veranschaulicht.
[29] 29 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel der Bildgebungspixel in der in 27 veranschaulichten Bildgebungssektion veranschaulicht.
[30] 30 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer in 27 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[31] 31 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einer dritten Ausführungsform veranschaulicht.
[32] 32 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel von Bildgebungspixeln in einer in 31 veranschaulichten Bildgebungssektion veranschaulicht.
[33] 33 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel der Bildgebungspixel in der in 31 veranschaulichten Bildgebungssektion veranschaulicht.
[34] 34 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer in 31 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[35] 35 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einem Modifikationsbeispiel veranschaulicht.
[36] 36 ist ein erläuterndes Diagramm, das ein Operationsbeispiel einer in 35 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[37] 37 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Bildgebungsvorrichtung gemäß einer vierten Ausführungsform veranschaulicht.
[38] 38 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel von Bildgebungspixeln in einer in 37 veranschaulichten Bildgebungssektion veranschaulicht.
[39] 39 ist ein schematisches Diagramm, das ein Konfigurationsbeispiel der Bildgebungspixel in der in 37 veranschaulichten Bildgebungssektion veranschaulicht.
[40] 40 ist ein erläuterndes Diagramm, das eine Operationsbeispiel einer in 37 veranschaulichten Bildverarbeitungssektion veranschaulicht.
[41] 41 ist ein erläuterndes Diagramm, das Nutzungsbeispiele einer Bildgebungsvorrichtung veranschaulicht.
[42] 42 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines In-vivo-Informationserfassungssystems darstellt.
[43] 43 ist eine Ansicht, die ein Beispiel einer schematischen Konfiguration eines Systems für endoskopische Chirurgie darstellt.
[44] 44 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration eines Kamerakopfes und einer Kamerasteuerungseinheit darstellt.
[45] 45 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems darstellt.
[46] 46 ist ein Diagramm zur Unterstützung beim Erläutern eines Beispiels von Installationspositionen einer Sektion zur Detektion von Informationen von außerhalb des Fahrzeugs und einer Bildgebungssektion.

Modi zum Ausführen der Erfindung
Das Folgende beschreibt unter Bezugnahme auf die Zeichnungen Ausführungsformen der vorliegenden Offenbarung im Detail. Es ist besonders zu erwähnen, dass eine Beschreibung in der folgenden Reihenfolge gegeben wird.

1. Erste Ausführungsform
2. Zweite Ausführungsform
3. Dritte Ausführungsform
4. Vierte Ausführungsform
5. Nutzungsbeispiele einer Bildgebungsvorrichtung
6. Anwendungsbeispiele

<1. Erste Ausführungsform>
[Konfigurationsbeispiel]
1 veranschaulicht ein Konfigurationsbeispiel einer Bildgebungsvorrichtung 1, die einen Bildprozessor gemäß einer ersten Ausführungsform enthält. Es ist besonders zu erwähnen, dass ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung durch die vorliegende Ausführungsform verkörpert und gemeinsam beschrieben wird. Die Bildgebungsvorrichtung 1 enthält ein optisches System 9, eine Bildgebungssektion 10 und eine Bildverarbeitungssektion 20.
Das optische System 9 enthält beispielsweise eine Linse, die ein Bild auf einer Bildgebungsoberfläche S der Bildgebungssektion 10 erzeugt.
Die Bildgebungssektion 10 nimmt ein Bild eines Objekts auf, um ein Bildsignal DT und ein Verstärkungssignal SGAIN zu erzeugen. Die Bildgebungssektion 10 ist unter Verwendung beispielsweise eines CMOS-(Complementary Metal Oxide Semiconductor bzw. Metall-Oxid-Halbleiter-)Bildsensors konfiguriert.
2 veranschaulicht ein Konfigurationsbeispiel der Bildgebungssektion 10. Die Bildgebungssektion 10 enthält ein Pixel-Array 11, eine Scan-Sektion 12, eine Auslese-Sektion 13 und einen Bildgebungs-Controller 14.
Das Pixel-Array 11 enthält eine Vielzahl von Bildgebungspixeln P, die in einer Matrix angeordnet sind. Die Bildgebungspixel P enthalten jeweils einen fotoelektrischen Wandler, der dafür konfiguriert ist, rotes (R) Licht zu empfangen, einen fotoelektrischen Wandler, der dafür konfiguriert ist, grünes (G) Licht zu empfangen, und einen fotoelektrischen Wandler, der dafür konfiguriert ist, blaues (B) Licht zu empfangen.
3 veranschaulicht schematisch Querschnittskonfigurationen der Bildgebungspixel P. 3 veranschaulicht schematisch Querschnittskonfigurationen von zwei Bildgebungspixeln P von vier Bildgebungspixeln P, die in einem in 2 veranschaulichten Gebiet X angeordnet sind.
Ein Halbleitersubstrat 100 enthält zwei Fotodioden PDR und PDB, die in einem einem Bildgebungspixel P entsprechenden Pixelgebiet ausgebildet sind. Die Fotodiode PDR ist ein fotoelektrischer Wandler, der dafür konfiguriert ist, rotes (R) Licht zu empfangen, und die Fotodiode PDB ist ein fotoelektrischer Wandler, der dafür konfiguriert ist, blaues (B) Licht zu empfangen. Die Fotodiode PDR und die Fotodiode PDB sind im Halbleitersubstrat 100 auf solch eine Weise ausgebildet und gestapelt, dass die Fotodiode PDB auf einer Seite der Bildgebungsoberfläche S gelegen ist. Die Fotodiode PDR und die Fotodiode PDB führen eine fotoelektrische Umwandlung auf der Basis von rotem Licht bzw. blauem Licht unter Ausnutzung einer Tatsache durch, dass sich ein Absorptionskoeffizient von Licht im Halbleitersubstrat 100 in Abhängigkeit von einer Wellenlänge des Lichts unterscheidet.
Ein Isolierfilm 101 ist auf einer Oberfläche, auf der Seite der Bildgebungsoberfläche S, des Halbleitersubstrats 100 ausgebildet. Der Isolierfilm 101 ist unter Verwendung von beispielsweise Siliziumdioxid (SiO₂) konfiguriert. Eine transparente Elektrode 102, ein fotoelektrischer Umwandlungsfilm 103G und eine transparente Elektrode 104 sind dann in dieser Reihenfolge auf dem Isolierfilm 101 ausgebildet. Die transparenten Elektroden 102 und 104 sind Elektroden, um rotes Licht, grünes Licht und blaues Licht dort hindurchgehen zu lassen. Der fotoelektrische Umwandlungsfilm 103G ist ein fotoelektrischer Umwandlungsfilm, der dafür konfiguriert ist, grünes (G) Licht zu empfangen, und lässt rotes Licht und blaues Licht dort hindurchgehen. Der fotoelektrische Umwandlungsfilm 103G und die transparenten Elektroden 102 und 104 sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, grünes (G) Licht zu empfangen. Eine On-Chip-Linse 105 ist auf der transparenten Elektrode 104 ausgebildet.
4 veranschaulicht schematisch Positionen fotoelektrischer Wandler in den vier Bildgebungspixeln P, die in dem in 2 veranschaulichten Gebiet X angeordnet sind. In der Bildgebungssektion 10 sind ein auf Grün (G) bezogener fotoelektrischer Wandler, ein auf Blau (B) bezogener fotoelektrischer Wandler und ein auf Rot (R) bezogener fotoelektrischer Wandler ausgebildet und auf solche Weise in dem einem Bildgebungspixel P entsprechenden Pixelgebiet gestapelt. Dies ermöglicht jedem der Bildgebungspixel P, ein auf Rot bezogenes Pixelsignal, ein auf Grün bezogenes Pixelsignal und ein auf blau bezogenes Pixelsignal in der Bildgebungssektion 10 zu erzeugen.
Die Scan-Sektion 12 steuert sequentiell die Vielzahl von Bildgebungspixeln P im Pixel-Array 11 beispielsweise in Einheiten von Pixelzeilen auf der Basis einer Anweisung vom Bildgebungs-Controller 14 an und enthält beispielsweise einen Adressdecodierer.
Die Auslese-Sektion 13 führt auf der Basis einer Anweisung vom Bildgebungs-Controller 14 eine AD-Umwandlung auf der Basis der von den jeweiligen Bildgebungspixeln P bereitgestellten Pixelsignale durch, um ein Bildsignal DT zu erzeugen. Das Bildsignal DT enthält drei Bild-Abbildungsdaten MPG, MPB und MPR. Die Bild-Abbildungsdaten MPG enthalten Pixelwerte für ein auf Grün (G) bezogenes Einzel- bzw. Frame-Bild. Die Bild-Abbildungsdaten MPB enthalten Pixelwerte für ein auf Blau (B) bezogenes Frame-Bild. Die Bild-Abbildungsdaten MPR enthalten Pixelwerte für ein auf Rot (R) bezogenes Frame-Bild. Jeder der Pixelwerte wird durch einen digitalen Code mit einer Vielzahl von Bits repräsentiert.
Der Bildgebungs-Controller 14 stellt ein Steuerungssignal der Scan-Sektion 12 und der Auslese-Sektion 13 bereit, um Operationen dieser Schaltungen zu steuern, wodurch eine Operation der Bildgebungssektion 10 gesteuert wird. Außerdem weist der Bildgebungs-Controller 14 auch eine Funktion zum Einstellen einer Umwandlungsverstärkung GC für eine AD-Umwandlung auf, die durch die Auslese-Sektion 13 durchgeführt werden soll. Konkret erhöht in einem Fall, in dem die Bildgebungssektion 10 ein Bild eines dunklen Objekts aufnimmt, der Bildgebungs-Controller 14 die Umwandlungsverstärkung GC für eine AD-Umwandlung, die durchgeführt werden soll, und in einem Fall, in dem die Bildgebungssektion 10 ein Bild eines hellen Objekts aufnimmt, verringert der Bildgebungs-Controller 14 die Umwandlungsvestärkung GC für eine AD-Umwandlung, die durchgeführt werden soll. Dies ermöglicht der Bildgebungsvorrichtung 1, Bilder von Objekten mit verschiedenen Helligkeitspegeln aufzunehmen. Außerdem hat der Bildgebungs-Controller 14 auch eine Funktion zum Ausgeben einer Information über diese Umwandlungsverstärkung GC als das Verstärkungssignal SGAIN.
Die Bildverarbeitungssektion 20 (1) führt auf der Basis des Bildsignals DT und des Verstärkungssignals SGAIN eine Bildverarbeitung durch. Die Bildverarbeitungssektion 20 enthält eine Schaltsektion 21, eine Bildsegmentierungs-Verarbeitungssektion 22, eine Interpolations-Verarbeitungssektion 23, eine Synthese-Verarbeitungssektion 24 und eine Signalverarbeitungssektion 25.
Die Schaltsektion 21 stellt das Bildsignal DT der Bildsegmentierungs-Verarbeitungssektion 22 oder der Signalverarbeitungssektion 25 auf der Basis der durch das Verstärkungssignal SGAIN angegebenen Umwandlungsverstärkung GC selektiv bereit. Beispielsweise stellt konkret die Schaltsektion 21 das Bildsignal DT der Bildsegmentierungs-Verarbeitungssektion 22 in einem Fall bereit, in dem die Umwandlungsverstärkung GC höher als ein vorbestimmter Schwellenwert Gth ist, und stellt das Bildgebungssignal DT der Signalverarbeitungssektion 25 in einem Fall bereit, in dem die Umwandlungssektion GC niedriger als der vorbestimmte Schwellenwert Gth ist. Dies ermöglicht, zu veranlassen, dass die Bildsegmentierungs-Verarbeitungssektion 22, die Interpolations-Verarbeitungssektion 23 und die Synthese-Verarbeitungssektion 24 in der Bildverarbeitungssektion 20 eine Verarbeitung in dem Fall durchführen, in dem die Umwandlungsverstärkung GC höher als der vorbestimmte Schwellenwert Gth ist, und ermöglicht, zu veranlassen, dass die Bildsegmentierungs-Verarbeitungssektion 22, die Interpolations-Verarbeitungssektion 23 und die Synthese-Verarbeitungssektion 24 in der Bildverarbeitungssektion 20 keine Verarbeitung durchführen, falls die Umwandlungsverstärkung GC niedriger als der vorbestimmte Schwellenwert Gth ist.
Die Bildsegmentierungs-Verarbeitungssektion 22 führt eine Bildsegmentierungs-Verarbeitung A1 auf der Basis der drei Bild-Abbildungsdaten MPG, MPB und MPR durch, die in dem Bildsignal DT enthalten sind, das über die Schaltsektion 21 von der Bildgebungssektion 10 bereitgestellt wird, um sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 zu erzeugen. Konkret erzeugt die Bildsegmentierungs-Verarbeitungssektion 22 auf der Basis der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG, die im Bildsignal DT enthalten sind, zwei Abbildungsdaten MG11 und MG12, die Anordnungsmuster PAT von Pixelwerten aufweisen, die von voneinander verschieden sind, und Pixelwerte enthalten, die an voneinander verschiedenen Positionen gelegen sind, wie später beschrieben wird. Ähnlich erzeugt die Bildsegmentierungs-Verarbeitungssektion 22 zwei Abbildungsdaten MB11 und MB12 auf der Basis der auf Blau (B) bezogenen Bild-Abbildungsdaten MPB, die im Bildsignal DT enthalten sind, und erzeugt zwei Abbildungsdaten MR11 und MR12 auf der Basis der auf Rot (R) bezogenen Bild-Abbildungsdaten MPR, die im Bildsignal DT enthalten sind. Folglich erzeugt die Bildsegmentierungs-Verarbeitungssektion 22 sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 auf der Basis des Bildsignals DT.
Die Interpolations-Verarbeitungssektion 23 führt eine Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 bzw. MR12 durch, die von der Bildsegmentierungs-Verarbeitungssektion 22 bereitgestellt werden, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen. Wie später beschrieben wird, bestimmt konkret die Interpolations-Verarbeitungssektion 23 einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in den auf Grün (G) bezogenen Abbildungsdaten MG11 unter Verwendung der Interpolations-Verarbeitung A2, um die Abbildungsdaten MG21 zu erzeugen, und bestimmt einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in den auf Grün (G) bezogenen Abbildungsdaten MG12 unter Verwendung der Interpolations-Verarbeitung A2, um Abbildungsdaten MG22 zu erzeugen. Ähnlich führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den auf Blau (B) bezogenen Abbildungsdaten MB11 durch, um die Abbildungsdaten MB21 zu erzeugen, und führt die Interpolations-Verarbeitung A2 an den auf Blau (B) bezogenen Abbildungsdaten MB12 durch, um die Abbildungsdaten MB22 zu erzeugen. Außerdem führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den auf Rot (R) bezogenen Abbildungsdaten MR11 durch, um die Abbildungsdaten MR21 zu erzeugen, und führt die Interpolations-Verarbeitung A2 an den auf Rot (R) bezogenen Abbildungsdaten MR12 durch, um die Abbildungsdaten MR22 zu erzeugen.
Die Synthese-Verarbeitungssektion 24 führt eine Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 durch, die von der Interpolations-Verarbeitungssektion 23 bereitgestellt werden, um drei Abbildungsdaten MG3, MB3 und MR3 zu erzeugen. Konkret erzeugt die Synthese-Verarbeitungssektion 24 die Abbildungsdaten MG3 auf der Basis der beiden, auf Grün (G) bezogenen Abbildungsdaten MG21 und MG22, wie später beschrieben wird. Ähnlich erzeugt die Synthese-Verarbeitungssektion 24 die Abbildungsdaten MB3 auf der Basis der beiden, auf Blau (B) bezogenen Abbildungsdaten MB21 und MB22 und erzeugt auf der Basis von Pixelwerten an Positionen, die in den beiden, auf Rot (R) bezogenen Abbildungsdaten MR21 und MR22 einander entsprechen, einen Pixelwert an einer den Positionen entsprechenden Position, um die Abbildungsdaten MR3 zu erzeugen. Die Synthese-Verarbeitungssektion 24 stellt dann die drei Abbildungsdaten MG3, MB3 und MR3 als Bildsignal DT2 der Signalverarbeitungssektion 25 bereit.
Die Signalverarbeitungssektion 25 führt eine vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 24 bereitgestellten Bildsignals DT2 oder des über die Schaltsektion 21 von der Bildgebungssektion 10 bereitgestellten Bildsignals DT durch. Die vorbestimmte Signalverarbeitung umfasst beispielsweise eine Weißabgleich-Einstellung, eine nichtlineare Umwandlung, eine Verarbeitung zur Konturverstärkung, eine Bildgrößenumwandlung und dergleichen. Die Signalverarbeitungssektion 25 gibt dann ein Verarbeitungsergebnis der vorbestimmten Signalverarbeitung als Bildsignal DT3 aus.
Mit dieser Konfiguration wird in einem Fall, in dem ein Bild eines dunklen Objekts aufgenommen wird, die Umwandlungsverstärkung GC in der Bildgebungsvorrichtung 1 erhöht; daher werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 durchgeführt. Dies ermöglicht, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) im aufgenommenen Bild in der Bildgebungsvorrichtung 1 zu erhöhen. In einem Fall, in dem die Bildgebungsvorrichtung 1 ein Bild eines hellen Objekts aufnimmt, wird außerdem die Umwandlungsverstärkung GC in der Bildgebungsvorrichtung 1 verringert; daher werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchgeführt. Dies macht es möglich, eine Auflösung im aufgenommenen Bild in der Bildgebungsvorrichtung 1 zu erhöhen.
Hier entspricht die Bildverarbeitungssektion 20 einem spezifischen Beispiel eines „Bildprozessors“ in der vorliegenden Offenbarung. Die Bildsegmentierungs-Verarbeitungssektion 22 entspricht einem spezifischen Beispiel einer „Bildsegmentierungs-Verarbeitungssektion“ in der vorliegenden Offenbarung. Die Interpolations-Verarbeitungssektion 23 entspricht einem spezifischen Beispiel einer „Interpolations-Verarbeitungssektion“ in der vorliegenden Offenbarung. Die Synthese-Verarbeitungssektion 24 entspricht einem spezifischen Beispiel einer „Synthese-Verarbeitungssektion“ in der vorliegenden Offenbarung. Die Signalverarbeitungssektion 25 entspricht einem spezifischen Beispiel einer „Verarbeitungssektion“ in der vorliegenden Offenbarung. Die Schaltsektion 21 entspricht einem spezifischen Beispiel eines „Verarbeitungs-Controllers“ in der vorliegenden Offenbarung.
[Operation und Arbeitsweise]
Als Nächstes werden eine Operation und eine Arbeitsweise der Bildgebungsvorrichtung 1 gemäß der vorliegenden Ausführungsform beschrieben.
(Überblick über die Gesamtoperation)
Zunächst wird ein Überblick über eine Gesamtoperation der Bildgebungsvorrichtung 1 unter Bezugnahme auf 1 gegeben. Die Bildgebungssektion 10 nimmt ein Bild eines Objekts auf, um das Bildsignal DT und das Verstärkungssignal SGAIN zu erzeugen. Die Schaltsektion 21 der Bildverarbeitungssektion 20 stellt das Bildsignal DT der Bildsegmentierungs-Verarbeitungssektion 22 oder der Signalverarbeitungssektion 25 auf der Basis der durch das Verstärkungssignal SGAIN angegebenen Umwandlungsverstärkung GC selektiv bereit. Die Bildsegmentierungs-Verarbeitungssektion 22 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis von drei Bild-Abbildungsdaten MPG, MPB und MPR durch, die in dem über die Schaltsektion 21 von der Bildgebungssektion 10 bereitgestellten Bildsignal DT enthalten sind, um sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 zu erzeugen. Die Interpolations-Verarbeitungssektion 23 führt jeweils die Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 durch, die von der Bildsegmentierungs-Verarbeitungssektion 22 bereitgestellt werden, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen. Die Synthese-Verarbeitungssektion 24 führt die Synthese-Verarbeitung A3 auf der Basis der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 durch, die von der Interpolations-Verarbeitungssektion 23 bereitgestellt werden, um drei Abbildungsdaten MG3, MB3 und MR3 zu erzeugen. Die Synthese-Verarbeitungssektion 24 stellt dann diese drei Abbildungsdaten MG3, MB3 und MR3 als das Bildsignal DT2 der Signalverarbeitungssektion 25 bereit. Die Signalverarbeitungssektion 25 führt auf der Basis des von der Synthese-Verarbeitungssektion 24 bereitgestellten Bildsignals D2 oder des über die Schaltsektion 21 von der Bildgebungssektion 10 bereitgestellten Bildsignals DT die vorbestimmte Signalverarbeitung durch, um das Bildsignal DT3 zu erzeugen.
(Detaillierte Operation)
5 veranschaulicht ein Operationsbeispiel der Bildverarbeitungssektion 20. Die Bildverarbeitungssektion 20 bestimmt, ob die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 durchzuführen sind oder nicht, auf der Basis der durch das Verstärkungssignal SGAIN angegebenen Umwandlungsverstärkung GC. Diese Operation wird im Folgenden im Detail beschrieben.
Zunächst vergleicht die Schaltsektion 21 die durch das Verstärkungssignal SGAIN angegebene Umwandlungsverstärkung GC mit dem vorbestimmten Schwellenwert Gth (Schritt S101). Falls die Umwandlungsverstärkung GC niedriger als der vorbestimmte Schwellenwert Gth ist („N“ in dem Schritt S101) geht die Verarbeitung zu Schritt S105 weiter.
Falls die Umwandlungsverstärkung GC gleich dem vorbestimmten Schwellenwert Gth oder höher ist (G ≥ Gth) („J“ im Schritt S101), führt die Bildsegmentierungs-Verarbeitungssektion 22 die Bildsegmentierungs-Verarbeitung A1 durch (Schritt S102), führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 durch (Schritt S103) und führt die Synthese-Verarbeitungssektion 24 die Synthese-Verarbeitung A3 durch (Schritt S104).
Die Signalverarbeitungssektion 25 führt dann die vorbestimmte Signalverarbeitung durch (Schritt S105). Das heißt, die Signalverarbeitungssektion 25 führt die vorbestimmte Signalverarbeitung auf der Basis des durch die Synthese-Verarbeitung A3 erzeugten Bildsignals DT2 in dem Fall durch, in dem die Umwandlungsverstärkung GC gleich dem vorbestimmten Schwellenwert Gth oder höher ist („J“ im Schritt S101), und führt die vorbestimmte Signalverarbeitung auf der Basis des durch die Bildgebungssektion 10 erzeugten Bildsignals DT in dem Fall durch, in dem die Umwandlungsverstärkung GC niedriger als der vorbestimmte Schwellenwert Gth ist („N“ in Schritt S101) .
Somit endet dieser Ablauf.
Wie oben beschrieben wurde, führt die Bildverarbeitungssektion 20 die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 in einem Fall durch, in dem die Umwandlungsverstärkung GC hoch ist. Außerdem werden, falls die Umwandlungsverstärkung GC niedrig ist, die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 in der Bildgebungsvorrichtung 1 nicht durchgeführt. Dies ermöglicht, eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 1 wie unten beschrieben zu steigern.
Als Nächstes werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 mit spezifischen Operationsbeispielen im Detail beschrieben.
6 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 20.
(Bildsegmentierungs-Verarbeitung A1)
Die Bildsegmentierungs-Verarbeitungssektion 22 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis von drei Bild-Abbildungsdaten MPG, MPB und MPR durch, die in dem von der Bildgebungssektion 10 bereitgestellten Bildsignal DT enthalten sind, um sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 zu erzeugen. Die Bildsegmentierungs-Verarbeitung A1 an den auf Grün (G) bezogenen Bild-Abbildungsdaten MPG werden als ein Beispiel im Folgenden im Detail beschrieben.
7 veranschaulicht schematisch die auf Grün (G) bezogenen Bild-Abbildungsdaten MPG. 8A und 8B veranschaulichen schematisch die auf Grün (G) bezogenen Abbildungsdaten MG11 bzw. MG12. In 8A und 8B gibt ein schraffierter Bereich eine Position an, wo ein Pixelwert vorhanden ist, und ein nicht schraffierter Bereich gibt eine Position an, wo kein Pixelwert vorhanden ist.
Die in dem Bildsignal DT enthaltenen Bild-Abbildungsdaten MPG (7) enthalten Pixelwerte in einem auf Grün (G) bezogenen Frame-Bild. Ein Beispiel der in 6 veranschaulichten Bild-Abbildungsdaten MPG veranschaulicht schematisch vier Pixelwerte, die in zwei Reihen und zwei Spalten in dem in 7 veranschaulichten Gebiet X angeordnet sind.
Die Bildsegmentierungs-Verarbeitungssektion 22 erzeugt auf der Basis solcher Bild-Abbildungsdaten MPG zwei Abbildungsdaten MG11 und MG12 (8A und 8B), die voneinander verschiedene Anordnungsmuster PAT von Pixelwerten aufweisen und an voneinander verschiedenen Positionen gelegene Pixelwerte enthalten. Die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11 und MG12 sind schachbrettartige Muster (Schachbrettmuster), in denen Pixelwerte um ein Pixel in einer horizontalen Richtung (einer lateralen Richtung) und einer vertikalen Richtung (einer longitudinalen Richtung) gegeneinander verschoben sind. Mit anderen Worten sind in den Schachbrettmustern in den Abbildungsdaten MG11 und MG12 Positionen, wo Pixelwerte vorhanden sind, und Positionen, wo kein Pixelwert vorhanden ist, gegeneinander vertauscht, und die Pixelwerte sind an voneinander verschiedenen Positionen angeordnet. Konkret sind um Beispiel in den Abbildungsdaten MG11, wie in 8A veranschaulicht ist, die Pixelwerte oben links und unten rechts im Gebiet X vorhanden, und unten links und oben rechts im Gebiet X ist kein Pixelwert vorhanden. Im Gegensatz dazu sind in den Abbildungsdaten MG12, wie in 8B veranschaulicht ist, die Pixelwerte unten links und oben rechts im Gebiet X vorhanden und ist kein Pixelwert oben links und unten rechts im Gebiet X vorhanden. Ein Beispiel jeder der Abbildungsdaten MG11 und MG12, die in 6 veranschaulicht sind, veranschaulicht vier Pixelwerte in diesem Gebiet X. Der Pixelwert an jeder Position in den Abbildungsdaten MG11 ist der gleiche wie der Pixelwert an einer entsprechenden Position in den Bild-Abbildungsdaten MPG. Ähnlich ist der Pixelwert an jeder Position in den Abbildungsdaten MG12 der gleiche wie der Pixelwert an einer entsprechenden Position in den Bild-Abbildungsdaten MPG.
Die Bildsegmentierungs-Verarbeitungssektion 22 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG durch, um solche Abbildungsdaten MG11 und MG12 zu erzeugen. Ähnlich führt die Bildsegmentierungs-Verarbeitungssektion 22 die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPB durch, um die Abbildungsdaten MB11 und MB12 zu erzeugen, und führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPR durch, um die Abbildungsdaten MR11 und MR12 zu erzeugen. Wie in 6 veranschaulicht ist, weisen die Abbildungsdaten MG11, MB11 und MR11 das gleiche Anordnungsmuster PAT auf und die Abbildungsdaten MG12, MB12 und MR12 weisen das gleiche Anordnungsmuster PAT auf.
(Interpolations-Verarbeitung A2)
Als Nächstes führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 durch, die durch die Bildsegmentierungs-Verarbeitung A1 erzeugt wurden, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen. Die Interpolations-Verarbeitung A2 an den auf Grün (G) bezogenen Abbildungsdaten MG11 und MG12 (8A und 8B) wird im Folgenden als Beispiel im Detail beschrieben.
9A und 9B veranschaulichen schematisch die auf Grün (G) bezogenen Abbildungsdaten MG21 bzw. MG22. In 9A und 9B gibt ein schraffierter Bereich eine Position an, wo ein Pixelwert in den Abbildungsdaten MG11 und MG12 vor der Interpolations-Verarbeitung A2 vorhanden ist, und ein nicht schraffierter Bereich gibt eine Position, wo kein Pixelwert in den Abbildungsdaten MG11 und MG12 vor der Interpolations-Verarbeitung A2 vorhanden ist, und eine Position, wo ein Pixelwert durch diese Interpolations-Verarbeitung A2 erzeugt wird, an.
Die Interpolations-Verarbeitungssektion 23 bestimmt einen Pixelwert an einer Position, wo in den in 8A veranschaulichten Abbildungsdaten MG11 kein Pixelwert vorhanden ist, unter Verwendung der Interpolations-Verarbeitung A2, um die in 9A veranschaulichten Abbildungsdaten MG21 zu erzeugen, und bestimmt einen Pixelwert an einer Position, wo in den in 8B veranschaulichten Abbildungsdaten MG12 kein Pixelwert vorhanden ist, unter Verwendung der Interpolations-Verarbeitung A2, um die in 9B veranschaulichten Abbildungsdaten zu erzeugen. Konkret bestimmt die Interpolations-Verarbeitungssektion 23 einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, indem die Interpolations-Verarbeitung A2 auf der Basis von Pixelwerten durchgeführt wird, die eine Reihe oberhalb, eine Spalte zur Linken, eine Reihe unterhalb der und eine Spalte zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind. Das heißt, ein Interpolationsverfahren in der Interpolations-Verarbeitung A2 in diesem Verfahren nutzt den Pixelwert oberhalb, unterhalb, zur Linken und zur Rechten der Position, wo kein Pixelwert vorhanden ist. Die Interpolations-Verarbeitungssektion 23, die beispielsweise eine bilineare Interpolation unter Verwendung dieser vier Pixelwerte durchführt, ermöglicht, die Interpolations-Verarbeitung A2 durchzuführen. Es ist besonders zu erwähnen, dass es ohne Beschränkung auf dieses Interpolationsverfahren möglich ist, verschiedene bekannte Interpolationsverfahren wie etwa eine bikubische Interpolation und eine Spline-Interpolation zu verwenden. Beispielsweise erzeugt in den Abbildungsdaten MG21, wie in 9A veranschaulicht ist, die Interpolations-Verarbeitungssektion 23 einen Pixelwert an einer unteren linken Position im Gebiet X durch die Interpolations-Verarbeitung A2 und erzeugt einen Pixelwert an einer oberen rechten Position im Gebiet X durch die Interpolations-Verarbeitung A2. Ähnlich erzeugt in den Abbildungsdaten MG22, wie in 9B veranschaulicht ist, die Interpolations-Verarbeitungssektion 23 einen Pixelwert an einer oberen linken Position in dem Gebiet X durch die Interpolations-Verarbeitung A2 und erzeugt einen Pixelwert an einer unteren rechten Position im Gebiet X durch die Interpolations-Verarbeitung A2. In 9A und 9B gibt „G'“ an, dass ein Pixelwert durch die Interpolations-Verarbeitung A2 erzeugt wurde. Ein Beispiel jeder der Abbildungsdaten MG21 und MG22, die in 6 veranschaulicht sind, veranschaulicht schematisch vier Pixelwerte in diesem Gebiet X.
Die Interpolations-Verarbeitungssektion 23 führt die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 durch, um solche Abbildungsdaten MG21 zu erzeugen, und führt die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG12 durch, um solche Abbildungsdaten MG22 zu erzeugen. Ähnlich führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den Abbildungsdaten MB11 durch, um die Abbildungsdaten MB21 zu erzeugen, und führt die Interpolations-Verarbeitung A2 an den Abbildungsdaten MB12 durch, um die Abbildungsdaten MB22 zu erzeugen. Außerdem führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den Abbildungsdaten MR11 durch, um die Abbildungsdaten MR21 zu erzeugen, und führt die Interpolations-Verarbeitung A2 an den Abbildungsdaten MR12 durch, um die Abbildungsdaten MR22 zu erzeugen. Die sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 werden durch das gleiche Interpolationsverfahren erzeugt.
(Synthese-Verarbeitung A3)
Als Nächstes führt die Synthese-Verarbeitungssektion 24 die Synthese-Verarbeitung A3 auf der Basis der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22, die durch die Interpolations-Verarbeitung A2 erzeugt wurden, durch, um drei Abbildungsdaten MG3, MB3 und MR3 zu erzeugen. Die Synthese-Verarbeitung A3 an den auf Grün (G) bezogenen Abbildungsdaten MG21 und MG22 (9A und 9B) werden im Folgenden als ein Beispiel im Detail beschrieben.
10 veranschaulicht schematisch die auf Grün (G) bezogenen Abbildungsdaten MG3. Die Synthese-Verarbeitungssektion 24 erzeugt auf der Basis der Pixelwerte an den Positionen, die in zwei Abbildungsdaten MG21 und MG22 einander entsprechen, einen Pixelwert an einer den Positionen entsprechenden Position, um die Abbildungsdaten MG3 zu erzeugen. Konkret ist es der Synthese-Verarbeitungssektion 24 möglich, einen Pixelwert an der Position in Abbildungsdaten MG3 zu erzeugen, indem die Pixelwerte an den einander entsprechenden Positionen in den zwei Abbildungsdaten MG21 und MG22 addiert werden. Beispielsweise erzeugt die Synthese-Verarbeitungssektion 24 einen Pixelwert oben links im Gebiet X der in 10 veranschaulichten Abbildungsdaten MG3, indem ein Pixelwert oben links im Gebiet X der in 9A veranschaulichten Abbildungsdaten MG21 und ein Pixelwert oben links im Gebiet X der in 9B veranschaulichten Abbildungsdaten MG22 summiert werden. Ähnlich erzeugt die Synthese-Verarbeitungssektion 24 einen Pixelwert unten links im Gebiet X der Abbildungsdaten MG3, indem Pixelwerte unten links in den Gebieten X der Abbildungsdaten MG21 und MG22 addiert werden, erzeugt einen Pixelwert oben rechts im Gebiet X der Abbildungsdaten MG3, indem Pixelwerte oben rechts in den Gebieten X der Abbildungsdaten MG21 und MG22 summiert werden, und erzeugt einen Pixelwert unten rechts im Gebiet der Abbildungsdaten MG3, indem Pixelwerte unten rechts in den Gebieten X der Abbildungsdaten MG21 und MG22 summiert werden. In 10 gibt „2G“ an, dass ein Pixelwert durch die Synthese-Verarbeitung A3 etwa das Doppelte des Pixelwerts in den Bild-Abbildungsdaten MPG wird. Ein Beispiel der in 6 veranschaulichten Abbildungsdaten MG3 veranschaulicht schematisch Pixelwerte in diesem Gebiet X.
Die Synthese-Verarbeitungssektion 24 führt die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MG21 und MG22 durch, um solche Abbildungsdaten MG3 zu erzeugen. Ähnlich führt die Synthese-Verarbeitungssektion 24 die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MB21 und MB22 durch, um die Abbildungsdaten MB3 zu erzeugen, und führt die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MR21 und MR22 durch, um die Abbildungsdaten MR3 zu erzeugen. Die Pixelwerte in den Abbildungsdaten MB3 sind etwa das Doppelte der Pixelwerte in den Bild-Abbildungsdaten MPB, und die Pixelwerte in den Abbildungsdaten MR3 sind etwa das Doppelte der Pixelwert in den Bild-Abbildungsdaten MPR.
Wie oben beschrieben wurde, erzeugt die Synthese-Verarbeitungssektion 24 drei Abbildungsdaten MG3, MB3 und MR3. Die Synthese-Verarbeitungssektion 24 stellt dann die drei Abbildungsdaten MG3, MB3 und MR3 als das Bildsignal DT2 der Signalverarbeitungssektion 25 bereit.
Die Bild-Abbildungsdaten MPG, MPB und MPR entsprechen hier jeweils spezifischen Beispielen „erster Bild-Abbildungsdaten“, „zweiter Bild-Abbildungsdaten“ und „dritter Bild-Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MG11 und MG12 entsprechen einem spezifischen Beispiel einer „Vielzahl erster Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MG21 und MG22 entsprechen einem spezifischen Beispiel einer „Vielzahl zweiter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MG3 entsprechen einem spezifischen Beispiel „dritter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MB11 und MB12 entsprechen einem spezifischen Beispiel einer „Vielzahl vierter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MB21 und MB22 entsprechen spezifischen Beispielen „fünfter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MB3 entsprechen einem spezifischen Beispiel „sechster Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MR11 und MR12 entsprechen den spezifischen Beispielen „siebter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MR21 und MR22 entsprechen einem spezifischen Beispiel einer „Vielzahl achter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MR3 entsprechen einem spezifischen Beispiel „neunter Abbildungsdaten“ in der vorliegenden Offenbarung.
Wie oben beschrieben wurde, wird in der Bildgebungsvorrichtung 1 beispielsweise die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG durchgeführt, um die Abbildungsdaten MG11 und MG12 zu erzeugen, wird die Interpolations-Verarbeitung A2 an diesen Abbildungsdaten MG11 bzw. MG12 durchgeführt, um die Abbildungsdaten MG21 und MG22 zu erzeugen, und wird die Synthese-Verarbeitung A3 auf der Basis dieser Abbildungsdaten MG21 und MG22 durchgeführt, um die Abbildungsdaten MG3 zu erzeugen. Das Gleiche gilt für die Bild-Abbildungsdaten MPB und MPR. Dies ermöglicht, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) in den Abbildungsdaten MG3, MB3 und MR3 in der Bildgebungsvorrichtung 1 zu erhöhen.
Das heißt, die Synthese-Verarbeitungssektion 24 bestimmt den Pixelwert oben links im Gebiet X der Abbildungsdaten MG3 beispielsweise, indem der Pixelwert oben links im Gebiet X der Abbildungsdaten MG21 und der Pixelwert oben links im Gebiet X der Abbildungsdaten MG22 summiert werden. Jeder der Pixelwerte hat eine Signalkomponente und eine Rauschkomponente, die Zufallsrauschen ist. Dementsprechend summiert die Synthese-Verarbeitungssektion 24 den Pixelwert oben links im Gebiet X der Abbildungsdaten MG21 und den Pixelwert oben links im Gebiet X der Abbildungsdaten MG22, um die Signalkomponente um einen Faktor von etwa Zwei zu erhöhen und eine Rauschkomponente, um einen Faktor von etwa 1,4 zu erhöhen. Das heißt, die Zufallskomponente ist Zufallsrauschen, wie oben beschrieben wurde, und die im Pixelwert oben links im Gebiet X der Abbildungsdaten MG21 enthaltene Rauschkomponente und die im Pixelwert oben links im Gebiet X der Abbildungsdaten MG22 enthaltene Rauschkomponente werden wechselseitig unabhängige Rauschkomponenten; daher wird die Rauschkomponente nicht um einen Faktor von etwa Zwei, sondern um einen Faktor von etwa 1,4 (die Quadratwurzel von 2) erhöht. Folglich wird in der Bildgebungsvorrichtung 1 die Signalkomponente um einen Faktor von etwa Zwei erhöht und wird die Rauschkomponente um einen Faktor von etwa 1,4 erhöht, was ermöglicht, das Signal-Rausch-Verhältnis (S/N-Verhältnis) in den Abbildungsdaten MG3 zu erhöhen. Das Gleiche gilt für die Abbildungsdaten MB3 und MR3. Dies ermöglicht folglich, eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 1 zu steigern.
Außerdem sind in der Bildgebungsvorrichtung 1 in der Bildsegmentierungs-Verarbeitung A1 die Anordnungsmuster PAT der Pixelwerte schachbrettartige Muster. Dementsprechend sind, wie in 8A und 8B veranschaulicht ist, Pixelwerte oberhalb, unterhalb, zur Linken und zur Rechten einer Position, wo kein Pixelwert vorhanden ist, vorhanden; daher ermöglicht eine Durchführung der Interpolations-Verarbeitung A2, den Pixelwert an der Position, wo kein Pixelwert vorhanden ist, auf der Basis dieser vier Pixelwerte zu bestimmen. Wie oben beschrieben wurde, ist es in der Bildgebungsvorrichtung 1 möglich, die Interpolations-Verarbeitung A2 auf der Basis der Pixelwerte oberhalb, unterhalb, zur Linken und zur Rechten durchzuführen, was ermöglicht, eine Reduzierung der Auflösung in der horizontalen Richtung und eine Reduzierung der Auflösung in der vertikalen Richtung einander im Wesentlichen gleichzumachen und eine Reduzierung der Auflösung zu unterdrücken. Dies ermöglicht folglich, eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 1 zu steigern.
Ferner sind in der Bildgebungsvorrichtung 1 in der Bildsegmentierungs-Verarbeitung A1 die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11, MB11 und MR11 einander gleich, und die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG12, MB12 und MR12 sind einander gleich. Dies ermöglicht der Bildsegmentierungs-Verarbeitungssektion 22, die Bildsegmentierungs-Verarbeitung A1 mittels des gleichen Verfahrens auf der Basis dreier Bild-Abbildungsdaten MPG, MPB und MPR durchzuführen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion 22 verglichen mit einem Fall zu vereinfachen, in dem die Bildsegmentierungs-Verarbeitung A1 mittels verschiedener Verfahren auf der Basis der drei Bild-Abbildungsdaten MPG, MPB und MPR durchgeführt wird.
Ferner sind in der Bildgebungsvorrichtung 1 in der Interpolations-Verarbeitung A2 Interpolationsverfahren zum Erzeugen der Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 einander gleich. Dies ermöglicht der Interpolations-Verarbeitungssektion 23, sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 unter Verwendung des gleichen Interpolationsverfahrens zu erzeugen, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion 23 verglichen mit einem Fall zu vereinfachen, in welchem sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 unter Verwendung verschiedener Interpolationsverfahren erzeugt werden.
Ferner sind in der Bildgebungsvorrichtung 1 in der Bildsegmentierungs-Verarbeitung A1 die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11, MB11 und MR11 einander gleich und sind die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG12, MB12 und MR12 einander gleich. In der Interpolations-Verarbeitung A2 sind dann die Interpolationsverfahren zum Erzeugen von sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 einander gleich. Dies ermöglicht, Falschfarben in einem aufgenommenen Bild in der Bildgebungsvorrichtung 1 zu unterdrücken. Das heißt beispielsweise, in einem Fall, in dem die Interpolations-Verarbeitung A2 auf der Basis der Pixelwerte durchgeführt wird, die eine Reihe oberhalb und eine Reihe unterhalb der Position, wo kein Pixelwert vorhanden ist, gelegen sind, um die auf Grün (G) bezogenen Abbildungsdaten MG21 und MG22 zu erzeugen, und die Interpolations-Verarbeitung A2 auf der Basis der Pixelwerte durchgeführt wird, die eine Spalte zur Linken und eine Spalte zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind, um die auf Blau (B) bezogenen Abbildungsdaten MB21 und MB22 zu erzeugen, unterscheidet sich das Interpolationsverfahren in der Interpolations-Verarbeitung A2 je nach Farben, was lokal Falschfarben hervorrufen kann. Im Gegensatz dazu sind in der Bildgebungsvorrichtung 1 gemäß der vorliegenden Ausführungsform in der Bildsegmentierungs-Verarbeitung A1 die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11, MB11 und MR11 einander gleich und sind die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG12, MB12 und MR12 einander gleich. In der Interpolations-Verarbeitung A2 sind dann die Interpolationsverfahren zum Erzeugen von sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 einander gleich. Dies macht es möglich, eine Wahrscheinlichkeit, dass solche Falschfarben in der Bildgebungsvorrichtung 1 auftreten, zu reduzieren. Dies ermöglicht folglich, eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 1 zu steigern.
Ferner ist es in der Bildgebungsvorrichtung 1 möglich, zu steuern, ob eine Bildsegmentierungs-Verarbeitung, eine Interpolations-Verarbeitung und eine Synthese-Verarbeitung durchzuführen sind oder nicht, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern. Insbesondere steuert die Bildgebungsvorrichtung 1, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen ist oder nicht, auf der Basis der Umwandlungsverstärkung GC in der Bildgebungssektion 10. Konkret werden die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung in einem Fall durchgeführt, in dem die durch das Verstärkungssignal SGAIN angegebene Umwandlungsverstärkung GC höher als der vorbestimmte Schwellenwert Gth ist, und die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung werden nicht durchgeführt, falls die Umwandlungsverstärkung GC niedriger als der vorbestimmte Schwellenwert Gth ist. Folglich wird beispielsweise in einem Fall, in dem die Bildgebungsvorrichtung 1 ein Bild eines dunklen Objekts aufnimmt, die Umwandlungsverstärkung GC erhöht; daher werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 durchgeführt. Dies macht es möglich, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) in dem aufgenommenen Bild in der Bildgebungsvorrichtung 1 zu erhöhen. Das heißt, in dem Fall, in dem ein Bild eines dunklen Objekts aufgenommen wird, besteht eine Möglichkeit, dass Rauschen erhöht wird; deshalb ermöglicht eine Durchführung der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3, das Signal-Rausch-Verhältnis (S/N-Verhältnis) im aufgenommenen Bild zu erhöhen. Falls die Bildgebungsvorrichtung 1 ein Bild eines hellen Objekts aufnimmt, wird ferner die Umwandlungsverstärkung GC verringert; daher werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchgeführt. Dies macht es möglich, eine Auflösung im aufgenommenen Bild in der Bildgebungsvorrichtung 1 zu erhöhen. Das heißt, in einem Fall, in dem ein Bild eines hellen Objekts aufgenommen wird, wird weniger Rauschen erzeugt, und die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchzuführen ermöglicht, eine Auflösung zu erhöhen. Dies ermöglicht folglich, eine Bildqualität des aufgenommenen Bildes in der Bildgebungsvorrichtung 1 zu steigern.
[Effekte]
Wie oben beschrieben wurde, werden in der vorliegenden Ausführungsform die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchgeführt, was ermöglicht, das Signal-Rausch-Verhältnis im aufgenommenen Bild zu erhöhen. Dies ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind in der Bildsegmentierungs-Verarbeitung die Anordnungsmuster der Pixelwerte schachbrettartige Muster, was ermöglicht, eine Reduzierung der Auflösung in der horizontalen Richtung und eine Reduzierung der Auflösung in der vertikalen Richtung einander im Wesentlichen gleich zu machen und eine Reduzierung der Auflösung zu unterdrücken. Dies ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind in der Bildsegmentierungs-Verarbeitung die Anordnungsmuster der Pixelwerte in den Abbildungsdaten MG11, MB11 und MR11 einander gleich und sind die Anordnungsmuster der Pixelwerte in den Abbildungsdaten MG12, MB12 und MR12 einander gleich, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion zu vereinfachen.
In der vorliegenden Ausführungsform sind die Interpolationsverfahren zum Erzeugen von sechs Abbildungsdaten in der Interpolations-Verarbeitung einander gleich, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion zu vereinfachen.
In der vorliegenden Ausführungsform sind in der Bildsegmentierungs-Verarbeitung die Anordnungsmuster der Pixelwerte in den Abbildungsdaten MG11, MB11 und MR11 einander gleich und sind die Anordnungsmuster der Pixelwerte in den Abbildungsdaten MG12, MB12 und MR12 einander gleich. In der Interpolations-Verarbeitung sind ferner die Interpolationsverfahren zum Erzeugen von sechs Abbildungsdaten einander gleich. Dies ermöglicht, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren, was ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform ist es möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht, was ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
[Modifikationsbeispiel 1-1]
In der oben beschriebenen Ausführungsform summiert beispielsweise die Synthese-Verarbeitungssektion 24 die Pixelwerte an Positionen, die in zwei Abbildungsdaten MG21 und MG22 einander entsprechen, um einen Pixelwert an einer den Positionen entsprechenden Position in den Abbildungsdaten MG3 zu erzeugen; dies ist jedoch nicht einschränkend. Alternativ dazu können beispielsweise, wie in einer Bildgebungsvorrichtung 1A in 11 veranschaulicht ist, Pixelwerte an einander entsprechenden Positionen in zwei Abbildungsdaten MG21 und MG22 summiert werden und kann eine Summe der Pixelwerte halbiert werden, wodurch ein Pixelwert an einer den Positionen entsprechenden Position in den Abbildungsdaten MG3 erzeugt wird. Dies macht es möglich, den Pixelwert in den Abbildungsdaten MG3 im Wesentlichen gleich dem Pixelwert in den Bild-Abbildungsdaten MPG zu machen. Das Gleiche gilt für die Abbildungsdaten MB3 und MR3. Dies ermöglicht, die Anzahl an Bits in einem digitalen Code zu reduzieren, der jeden der Pixelwerte in den Abbildungsdaten MG3, MB3 und MR3 angibt, während das Signal-Rausch-Verhältnis beibehalten wird. Folglich ermöglicht dies, eine Auslegung eines Dynamikbereichs in der Synthese-Verarbeitungssektion 25 zu vereinfachen.
[Modifikationsbeispiel 1-2]
In der oben beschriebenen Ausführungsform sind die Anordnungsmuster PAT der Pixelwerte in der Bildsegmentierungs-Verarbeitung A1 schachbrettartige Muster in Einheiten eines Pixelwerts; dies ist jedoch nicht einschränkend. Das vorliegende Modifikationsbeispiel wird im Folgenden mit einigen Beispielen im Detail beschrieben. Es ist besonders zu erwähnen, dass auf Grün (G) bezogene Abbildungsdaten im Folgenden als Beispiel beschrieben werden, aber das Gleiche für auf Blau (B) bezogene Abbildungsdaten und auf Rot (R) bezogene Abbildungsdaten gilt.
(Andere schachbrettartige Muster)
12A und 12B veranschaulichen Beispiele von Abbildungsdaten MG11 und MG12 in einem Fall, in dem die Anordnungsmuster PAT der Pixelwerte schachbrettartige Muster in Einheiten von vier Pixeln, die in zwei Reihen und zwei Spalten angeordnet sind, sind. Ein Pitch bzw. Abstand in der horizontalen Richtung (der lateralen Richtung) in den in 12A und 12B veranschaulichten Anordnungsmustern PAT ist der doppelte Abstand in der vertikalen Richtung in den in 8A und 8B veranschaulichten Anordnungsmustern PAT. Ähnlich ist ein Abstand in der vertikalen Richtung (der longitudinalen Richtung) in den in 12A und 12B veranschaulichten Anordnungsmustern PAT ein doppelter Abstand in der vertikalen Richtung in dem in 8A und 8B veranschaulichten Anordnungsmustern PAT. Die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11 und MG12 sind in der horizontalen Richtung und der vertikalen Richtung um zwei Pixel gegeneinander verschoben.
13A und 13B veranschaulichen Beispiele der Abbildungsdaten MG21 und MG22, die erzeugt werden, indem die Interpolations-Verarbeitung A2 auf der Basis der in 12A und 12B veranschaulichten Abbildungsdaten MG11 und MG12 durchgeführt wird. Beispielsweise ist es der Interpolations-Verarbeitungssektion 23 möglich, einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, zu bestimmen, indem die Interpolations-Verarbeitung A2 auf der Basis von Pixelwerten, die zwei Reihen oberhalb, zwei Spalten zur Linken, zwei Reihen unterhalb und zwei Spalten zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind.
(Gestreiftes Muster)
14A und 14B veranschaulichen Beispiele der Abbildungsdaten MG11 und MG12 in einem Fall, in dem die Anordnungsmuster PAT der Pixelwerte gestreifte Muster sind, in denen die Positionen, wo ein Pixelwert vorhanden ist, und die Positionen, wo kein Pixelwert vorhanden ist, in der horizontalen Richtung (der lateralen Richtung) abwechselnd angeordnet sind. Die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11 und MG12 sind in der horizontalen Richtung um ein Pixel gegeneinander verschoben.
15A und 15B veranschaulichen Beispiele der Abbildungsdaten MG21 und MG22, die erzeugt werden, indem die Interpolations-Verarbeitung A2 auf der Basis der in 14A und 14B veranschaulichten Abbildungsdaten MG11 und MG12 durchgeführt wird. Der Interpolations-Verarbeitungssektion 23 ist es möglich, einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, zu bestimmen, indem die Interpolations-Verarbeitung A2 auf der Basis von Pixelwerten durchgeführt wird, die eine Spalte zur Linken und eine Spalte zur Rechen der Position, wo kein Pixelwert vorhanden ist, gelegen sind.
16A und 16B veranschaulichen Beispiele der Abbildungsdaten MG11 und MG12 in einem Fall, in dem die Anordnungsmuster PAT der Pixelwerte gestreifte Muster sind, in denen die Positionen, wo ein Pixelwert vorhanden ist, und die Positionen, wo kein Pixelwert vorhanden ist, in der vertikalen Richtung abwechselnd angeordnet sind. Die Anordnungsmuster PAT der Pixelwerte in den Abbildungsdaten MG11 und MG12 sind in der vertikalen Richtung um ein Pixel gegeneinander verschoben.
17A und 17B veranschaulichen Beispiele der Abbildungsdaten MG21 und MG22, die erzeugt werden, indem die Interpolations-Verarbeitung A2 auf der Basis der in 16A und 16B veranschaulichten Abbildungsdaten MG11 und MG12 durchgeführt wird. Der Interpolations-Verarbeitungssektion 23 ist es möglich, einen Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, zu bestimmen, indem die Interpolations-Verarbeitung A2 auf der Basis von Pixelwerten durchgeführt wird, die eine Reihe oberhalb und eine Reihe unterhalb der Position, wo kein Pixelwert vorhanden ist, gelegen sind.
(Andere Muster)
In den oben beschriebenen Beispielen erzeugt beispielsweise die Bildsegmentierungs-Verarbeitungssektion 22 zwei Abbildungsdaten MG11 und MG12, indem die Bildsegmentierungs-Verarbeitung A1 auf der Basis eines Bild-Abbildungsdatensatzes MPG durchgeführt wird, erzeugt die Interpolations-Verarbeitungssektion 23 zwei Abbildungsdaten MG21 und MG22, indem die Interpolations-Verarbeitung A2 an den zwei Abbildungsdaten MG11 und MG12 durchgeführt wird, und erzeugt die Synthese-Verarbeitungssektion 24 die Abbildungsdaten MG3, indem die Synthese-Verarbeitung A3 auf der Basis der zwei Abbildungsdaten MG21 und MG22 durchgeführt wird; dies ist aber nicht einschränkend. Alternativ dazu kann beispielsweise die Bildsegmentierungs-Verarbeitungssektion 22 drei Abbildungsdaten MG11, MG12 und MG13 erzeugen, indem die Bildsegmentierungs-Verarbeitung A1 auf der Basis beispielsweise eines Bild-Abbildungsdatensatzes MPG durchgeführt wird, kann die Interpolations-Verarbeitungssektion 23 drei Abbildungsdaten MG21, MG22 und MG23 erzeugen, indem die Interpolations-Verarbeitung A2 an den drei Abbildungsdaten MG11, MG12 und MG13 durchgeführt wird, und kann die Synthese-Verarbeitungssektion 24 Abbildungsdaten MG3 erzeugen, indem die Synthese-Verarbeitung A3 auf der Basis der drei Abbildungsdaten MG21, MG22 und MG23 durchgeführt wird.
18A, 18B und 18C veranschaulichen Beispiele der Abbildungsdaten MG11, MG12 und MG13 in einem Fall, in dem die Anordnungsmuster PAT der Pixelwerte Muster wie etwa ein sogenanntes Bayer-Array sind. Konkret ist beispielsweise in den Abbildungsdaten MG11, wie in 18A veranschaulicht ist, im Gebiet X ein Pixelwert oben links und ist kein Pixelwert unten links, oben rechts und unten rechts vorhanden. In den Abbildungsdaten MG21 sind, wie in 18B veranschaulicht ist, im Gebiet X Pixelwerte unten links und oben rechts vorhanden und ist kein Pixelwert oben links und unten rechts vorhanden. In den Abbildungsdaten MG13 ist, wie in 18C veranschaulicht ist, im Gebiet X ein Pixelwert unten rechts vorhanden und ist kein Pixelwert oben links, unten links und oben rechts vorhanden. Der Pixelwert an jeder Position in den Abbildungsdaten MG11 ist der gleiche wie der Pixelwert an einer entsprechenden Position in den Bild-Abbildungsdaten MPG, der Pixelwert an jeder Position in den Abbildungsdaten MG12 ist der gleiche wie der Pixelwert an einer entsprechenden Position in den Bild-Abbildungsdaten MPG, und der Pixelwert an jeder Position in den Abbildungsdaten MG13 ist der gleiche wie der Pixelwert an einer entsprechenden Position in den Bild-Abbildungsdaten MPG.
19A, 19B und 19C veranschaulichen Beispiele der Abbildungsdaten MG21, MG22 und MG23, die erzeugt werden, indem die Interpolations-Verarbeitung A2 auf der Basis der in 18A, 18B und 18C veranschaulichten Abbildungsdaten MG11, MG12 und MG13 durchgeführt wird. Falls Pixelwerte oberhalb und unterhalb der Position, wo kein Pixelwert vorhanden ist, gelegen sind, führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 und MG13 (18A und 18C) auf der Basis dieser beiden Pixelwerte durch. Falls Pixelwerte zur Linken und zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind, führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 und MG13 auf der Basis dieser zwei Pixelwerte durch. Falls Pixelwerte oben links, unten links, oben rechts und unten rechts von der Position, wo kein Pixelwert vorhanden ist, gelegen sind, führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 und MG13 auf der Basis dieser vier Pixelwerte durch. Somit werden die Abbildungsdaten MG21 und MG23 erzeugt. Außerdem erzeugt die Interpolations-Verarbeitungssektion 23 die Abbildungsdaten MG22, indem die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG12 (18B) auf der Basis von vier Pixeln durchgeführt wird, die oberhalb, unterhalb und zur Linken und zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind.
20 veranschaulicht ein Beispiel der Abbildungsdaten MG3, die erzeugt werden, indem die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MG21, MG22 und MG23 durchgeführt wird, die in 19A, 19B und 19C veranschaulicht sind. Die Synthese-Verarbeitungssektion 24 summiert Pixelwerte an den Positionen, die in den drei Abbildungsdaten MG21, MG22 und MG23 einander entsprechen, um einen Pixelwert an einer den Positionen entsprechenden Positionen in den Abbildungsdaten MG3 zu erzeugen. In 20 gibt „3G“ an, dass ein Pixelwert etwa das Dreifache des Pixelwerts in den Bild-Abbildungsdaten MPG durch die Synthese-Verarbeitung A3 wird.
[Modifikationsbeispiel 1-3]
In der oben beschriebenen Ausführungsform führt die Interpolations-Verarbeitungssektion 23 die Interpolations-Verarbeitung A2 durch; das Interpolationsverfahren in der Interpolations-Verarbeitung A3 kann aber änderbar sein. Das vorliegende Modifikationsbeispiel wird im Folgenden im Detail beschrieben.
21 veranschaulicht ein Konfigurationsbeispiel einer Bildgebungsvorrichtung 2 gemäß dem vorliegenden Modifikationsbeispiel. Die Bildgebungsvorrichtung 2 enthält eine Bildverarbeitungssektion 30. Die Bildverarbeitungssektion 30 enthält einen Interpolations-Controller 36 und eine Interpolations-Verarbeitungssektion 33.
Der Interpolations-Controller 36 führt eine Interpolationssteuerungs-Verarbeitung B1 auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR durch, die im Bildsignal DT enthalten sind, um das Interpolationsverfahren in der Interpolations-Verarbeitung A2 in der Interpolations-Verarbeitungssektion 33 zu bestimmen. Der Interpolations-Controller 36 entspricht einem spezifischen Beispiel eines „Interpolations-Controllers“ in der vorliegenden Offenbarung.
Die Interpolations-Verarbeitungssektion 33 führt jeweils die Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12, die von der Bildsegmentierungs-Verarbeitungssektion 22 bereitgestellt werden, unter Verwendung eines Interpolationsverfahrens durch, das durch den Interpolations-Controller 36 angewiesen wird, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen.
22 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolationssteuerungs-Verarbeitung B1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 30.
Der Interpolations-Controller 36 führt zuerst eine Synthese-Verarbeitung B2 auf der Basis der im Bildsignal DT enthaltenen Bild-Abbildungsdaten MPG, MPB und MPR durch, um Abbildungsdaten MW zu erzeugen. In dieser Synthese-Verarbeitung B2 summiert der Interpolations-Controller 36 Pixelwerte an Positionen, die in den drei Bild-Abbildungsdaten MPR, MPB und MPR einander entsprechen, was ermöglicht, einen Pixelwert an einer den Positionen entsprechenden Position in den Abbildungsdaten MW zu erzeugen.
Als Nächstes führt der Interpolations-Controller 36 eine Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis dieser Abbildungsdaten MW durch, um eine Ortsfrequenz zu detektieren. In dieser Verarbeitung B3 zur Detektion einer Ortsfrequenz unterteilt der Interpolations-Controller 36 ein Frame-Bild in eine Vielzahl von Bildgebieten und bestimmt eine Ortsfrequenz in jeder der Bildgebiete auf der Basis der Abbildungsdaten MW.
Als Nächstes führt der Interpolations-Controller 36 eine Verarbeitung B4 zur Bestimmung eines Interpolationsverfahrens auf der Basis der Ortsfrequenz durch, die durch die Verarbeitung B3 zur Detektion einer Ortsfrequenz bestimmt wurde, um das Interpolationsverfahren in der Interpolations-Verarbeitung A2 zu bestimmen.
23A, 23B und 23C veranschaulichen Beispiele des Interpolationsverfahrens in der Interpolations-Verarbeitung A2. Diese Diagramme veranschaulichen die Abbildungsdaten MG21, die erzeugt werden, indem die Interpolations-Verarbeitung A2 durchgeführt wird. In dem in 23A veranschaulichten Interpolationsverfahren wird ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, auf der Basis von Pixelwerten bestimmt, die eine Reihe oberhalb und eine Reihe unterhalb der Position, wo kein Pixelwert vorhanden ist, gelegen sind. Das heißt, in dem Beispiel in 23A ist eine Richtung (eine Interpolationsrichtung), in der die Interpolations-Verarbeitung durchgeführt wird, die vertikale Richtung (die longitudinale Richtung). In dem in 23B veranschaulichten Interpolationsverfahren wird ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, auf der Basis von Pixelwerten bestimmt, die eine Spalte zur Linken und eine Spalte zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind. Das heißt im Beispiel in 23B ist die Richtung (die Interpolationsrichtung), in der die Interpolations-Verarbeitung durchgeführt wird, die horizontale Richtung (die laterale Richtung). Außerdem wird in dem in 23C veranschaulichten Interpolationsverfahren ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, auf der Basis von Pixelwerten bestimmt, die eine Reihe oberhalb, eine Reihe unterhalb, eine Spalte zur Linken und eine Spalte zur Rechten der Position, wo kein Pixelwert vorhanden ist, gelegen sind. Das heißt, in dem Beispiel von 23C ist die Richtung (die Interpolationsrichtung), in der die Interpolations-Verarbeitung durchgeführt wird, die vertikale Richtung und die horizontale Richtung. Es ist besonders zu erwähnen, dass drei Beispiele in 23A bis 23C beschrieben wurden, aber das Interpolationsverfahren nicht darauf beschränkt ist.
In der Verarbeitung B4 zur Bestimmung eines Interpolationsverfahrens bestimmt der Interpolations-Controller 36 das Interpolationsverfahren in der Interpolations-Verarbeitung A2 auf der Basis der Ortsfrequenz in jedem der Bildgebiete. Konkret wählt in einem Fall, in dem der Interpolations-Controller 36 auf der Basis der Ortsfrequenz in einem gewissen Bildgebiet entscheidet, dass ein Bild in dem gewissen Bildgebiet ein vertikal gestreiftes Muster ist, der Interpolations-Controller 36 das Interpolationsverfahren (23A) aus, in welchem die Interpolationsrichtung die vertikale Richtung ist. Ferner wählt zum Beispiel in einem Fall, in dem der Interpolations-Controller 36 auf der Basis der Ortfrequenz in einem gewissen Bildgebiet entscheidet, dass ein Bild in dem gewissen Bildgebiet ein horizontal gestreiftes Muster ist, der Interpolations-Controller 36 das Interpolationsverfahren (23B) aus, in welchem die Interpolationsrichtung die horizontale Richtung ist. Der Interpolations-Controller 36 stellt dann eine Anweisung über das Interpolationsverfahren für jedes der Bildgebiete der Interpolations-Verarbeitungssektion 33 bereit.
Die Interpolations-Verarbeitungssektion 33 führt jeweils die Interpolations-Verarbeitung A2 an sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12, die von der Bildsegmentierungs-Verarbeitungssektion 22 bereitgestellt werden, unter Verwendung des Interpolationsverfahrens durch, das für jedes der Bildgebiete vom Interpolations-Controller 36 angewiesen wird, um sechs Bilddaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen. Die Interpolationsverfahren zum Erzeugen der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR23 sind einander gleich.
Wie oben beschrieben wurde, ist in der Bildgebungsvorrichtung 2 das Interpolationsverfahren in der Interpolations-Verarbeitung A2 änderbar, was ermöglicht, ein optimales Interpolationsverfahren gemäß Bildgebungspixeln zu nutzen. Dies ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern.
Insbesondere werden in der Bildgebungsvorrichtung 2 die Abbildungsdaten MW erzeugt, indem die Synthese-Verarbeitung B2 auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR durchgeführt wird, und wird die Ortsfrequenz auf der Basis dieser Abbildungsdaten MW detektiert. Somit ist es möglich, die Ortsfrequenz mit hoher Genauigkeit in der Bildgebungsvorrichtung 2 zu detektieren, und die Interpolations-Verarbeitung A2 wird auf der Basis der so erhaltenen Ortsfrequenz durchgeführt, was ermöglicht, eine Genauigkeit der Interpolations-Verarbeitung A2 zu steigern. Dies ermöglicht folglich der Bildgebungsvorrichtung 2, einen höheren Wiederherstellungseffekt zu erzielen, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern.
Es ist besonders zu erwähnen, dass in diesem Beispiel die Abbildungsdaten MW erzeugt werden, indem die Synthese-Verarbeitung B2 auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR durchgeführt wird, und die Ortsfrequenz auf der Basis der Bilddaten MW detektiert wird; dies ist aber nicht einschränkend. Alternativ dazu kann beispielsweise wie in einer Bildverarbeitungssektion 30A, die in 24 veranschaulicht ist, die Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG durchgeführt werden, und das Interpolationsverfahren in der Interpolations-Verarbeitung A2 zum Erzeugen der Abbildungsdaten MG21 und MG22 von Grün (G) kann für jedes der Bildgebiete auf der Basis der Ortsfrequenz in jedem der Bildgebiete bestimmt werden, die durch diese Verarbeitung B3 zur Detektion einer Ortsfrequenz erhalten wurde. Das Gleiche gilt für die Bild-Abbildungsdaten MPG und MPR. Außerdem ist dies nicht einschränkend. Beispielsweise kann die Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG durchgeführt werden, kann die Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis der auf Blau (B) bezogenen Bild-Abbildungsdaten MPB durchgeführt werden, kann die Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis der auf Rot (R) bezogenen Bild-Abbildungsdaten MPR durchgeführt werden und können die Interpolationsverfahren in der Interpolations-Verarbeitung A2 zum Erzeugen der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zusammen für jedes der Bildgebiete auf der Basis der Ortsfrequenz in jedem der Bildgebiete bestimmt werden, die durch die Verarbeitung B3 zur Detektion einer Ortsfrequenz erhalten wurde. In diesem Fall ist es möglich, zu veranlassen, dass die Interpolationsverfahren zum Erzeugen der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 einander gleich sind.
[Modifikationsbeispiel 1-4]
In der oben beschriebenen Ausführungsform führt die Bildverarbeitungssektion 20 die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 auf der Basis der auf Rot (R) bezogenen Bild-Abbildungsdaten MPR, der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG und der auf Blau (B) bezogenen Bild-Abbildungsdaten MPB durch; dies ist aber nicht einschränkend. Alternativ dazu können beispielsweise die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 auf der Basis eines Luminanzsignals durchgeführt werden. Das vorliegende Modifikationsbeispiel wird im Folgenden im Detail beschrieben.
25 veranschaulicht ein Konfigurationsbeispiel einer Bildgebungsvorrichtung 1D gemäß dem vorliegenden Modifikationsbeispiel. Diese Bildgebungsvorrichtung 1D enthält eine Bildverarbeitungssektion 20D. Die Bildverarbeitungssektion 20D enthält eine Y/C-Trennungssektion 29D, eine Bildsegmentierungs-Verarbeitungssektion 22D, eine Interpolations-Verarbeitungssektion 23D, eine Synthese-Verarbeitungssektion 24D und eine Signalverarbeitungssektion 25D.
Die Y/C-Trennungssektion 29D trennt ein in dem Bildsignal DT enthaltenes RGB-Signal in ein Luminanz-(Y-)Signal und ein Farb-(C-)Signal, indem eine Y/C-Trennungs-Verarbeitung C1 durchgeführt wird, und gibt das Luminanzsignal und das Farbsignal als Bildsignal DT11 ab. Das Bildsignal DT11 enthält Abbildungsdaten MY, MCr und MCb. Die Abbildungsdaten MY enthalten Pixelwerte für ein Frame-Bild in Bezug auf eine Luminanz (Y), die Abbildungsdaten MCr enthalten Pixelwerte für ein Frame-Bild in Bezug auf eine R-Y-Farbdifferenz (Cr), und die Abbildungsdaten MCb enthalten Pixelwerte für ein Frame-Bild in Bezug auf eine B-Y-Farbdifferenz (Cb). Jeder der Pixelwerte wird durch einen digitalen Code mit einer Vielzahl von Bits repräsentiert. Die Y/C-Trennungssektion 29D entspricht jeweils einem spezifischen Beispiel eines „Generators“ in der vorliegenden Offenbarung.
Die Bildsegmentierungs-Verarbeitungssektion 22D führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Abbildungsdaten MY durch, die in dem über die Schaltsektion 21 von der Y/C-Trennungssektion 29D bereitgestellten Bildsignal DT11 enthalten sind, um zwei Abbildungsdaten MY11 und MY12 zu erzeugen. Außerdem gibt die Bildsegmentierungs-Verarbeitungssektion 22D die Abbildungsdaten MCr und MCb aus, die im Bildsignal DT11 enthalten sind, wie sie sind.
Die Interpolations-Verarbeitungssektion 23D führt jeweils die Interpolations-Verarbeitung A2 an den zwei Abbildungsdaten MY11 und MY12 durch, die von der Bildsegmentierungs-Verarbeitungssektion 22D bereitgestellt werden, um zwei Abbildungsdaten MY21 und MY22 zu erzeugen. Außerdem gibt die Interpolations-Verarbeitungssektion 23D die Abbildungsdaten MCr und MCb aus, die von der Bildsegmentierungs-Verarbeitungssektion 22D bereitgestellt werden, aus, wie sie sind.
Die Synthese-Verarbeitungssektion 24D führt die Synthese-Verarbeitung A3 auf der Basis der zwei Abbildungsdaten MY21 und MY22 durch, die von der Interpolations-Verarbeitungssektion 23D bereitgestellt werden, um einen Abbildungsdatensatz MY3 zu erzeugen. Die Synthese-Verarbeitungssektion 24D stellt dann die durch die Synthese-Verarbeitung A3 erzeugten Abbildungsdaten MY3 und die von der Interpolations-Verarbeitungssektion 23D bereitgestellten Abbildungsdaten MCr und MCb als Bildsignal DT12 der Synthese-Verarbeitungssektion 25D bereit.
Die Synthese-Verarbeitungssektion 25D führt die vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 24D bereitgestellten Bildsignals DT12 oder des über die Schaltsektion 21 von der Y/C-Trennungssektion 29D bereitgestellten Bildsignals DT11 durch. Die Synthese-Verarbeitungssektion 25D gibt dann ein Verarbeitungsergebnis der vorbestimmten Signalverarbeitung als Bildsignal DT13 aus.
26 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 20D.
Die Y/C-Trennungssektion 29D führt die Y/C-Trennungs-Verarbeitung C1 durch, um das im Bildsignal DT enthaltene RGB-Signal in das Luminanz-(Y-)Signal und das Farb-(C-)Signal zu trennen. Konkret erzeugt die Y/C-Trennungssektion 29D die Abbildungsdaten MY, MCb und MCr auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR. Die Y/C-Trennungssektion 29D erzeugt einen auf eine Luminanz (Y) bezogenen Pixelwert unter Verwendung beispielsweise des folgenden Ausdrucks auf der Basis von Pixelwerten an Positionen, die in den drei Bild-Abbildungsdaten MPG, MPB und MPR einander entsprechen. $VY = VG \times 0,59 + VB \times 0,11 + VR \times 0,3$

In diesem Ausdruck ist „VY“ ein auf eine Luminanz (Y) bezogener Pixelwert, ist „VG“ ein auf Grün (G) bezogener Pixelwert, ist „VB“ ein auf Blau (B) bezogener Pixelwert und ist „VR“ ein auf Rot bezogener Pixelwert.
Die Bildsegmentierungs-Verarbeitungssektion 22D führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der so erzeugten Abbildungsdaten MY durch, um zwei Abbildungsdaten MY11 und MY12 zu erzeugen. Die Interpolations-Verarbeitungssektion 23D führt jeweils die Interpolations-Verarbeitung A2 an den zwei Abbildungsdaten MY11 und MY12 durch, um zwei Abbildungsdaten MY21 und MY22 zu erzeugen. Die Synthese-Verarbeitungssektion 24D führt die Synthese-Verarbeitung A3 auf der Basis der beiden Abbildungsdaten MY21 und MY22 durch, um einen Abbildungsdatensatz MY3 zu erzeugen. Konkret summiert die Synthese-Verarbeitungssektion 24D Pixelwerte an Positionen, die in den beiden Abbildungsdaten MY21 und MY22 einander entsprechen, und halbiert eine Summe der Pixelwerte, um einen Pixelwert an einer den Positionen entsprechenden Position in den Abbildungsdaten MY3 zu erzeugen. Die Abbildungsdaten entsprechen einem spezifischen Beispiel „erster Bild-Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MY11 und MY12 entsprechen einem spezifischen Beispiel einer „Vielzahl erster Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MY21 und MY22 entsprechen einem spezifischen Beispiel einer „Vielzahl zweiter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MY3 entsprechen einem spezifischen Beispiel „dritter Abbildungsdaten“ in der vorliegenden Offenbarung.
Wie oben beschrieben wurde, ist es in der Bildgebungsvorrichtung 1D möglich, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) für das Luminanzsignal zu erhöhen, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern. Außerdem werden in diesem Beispiel die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nur an den auf Luminanz (Y) bezogenen Abbildungsdaten MY durchgeführt, was ermöglicht, einen Verarbeitungsumfang zu reduzieren. Dies ermöglicht folglich, beispielsweise einen Leistungsverbrauch in der Bildgebungsvorrichtung 1D zu reduzieren.
[Anderes Modifikationsbeispiel]
Außerdem können zwei oder mehr dieser Modifikationsbeispiele kombiniert werden.
<2. Zweite Ausführungsform>
Als Nächstes wird eine Bildgebungsvorrichtung 3 gemäß einer zweiten Ausführungsform beschrieben. Die vorliegende Ausführungsform unterscheidet sich von der ersten Ausführungsform in Konfigurationen blauer und roter fotoelektrischer Wandler in einer Bildgebungssektion. Es ist besonders zu erwähnen, dass Komponenten, die im Wesentlichen gleich wie jene der Bildgebungsvorrichtung 1 gemäß der ersten Ausführungsform, die oben beschrieben wurde, sind, mit den gleichen Bezugsziffern bezeichnet werden und deren Beschreibung gegebenenfalls weggelassen wird.
27 veranschaulicht ein Konfigurationsbeispiel der Bildgebungsvorrichtung 3 gemäß der vorliegenden Ausführungsform. Die Bildgebungsvorrichtung 3 enthält eine Bildgebungssektion 40 und eine Bildverarbeitungssektion 50.
28 veranschaulicht schematisch Querschnittskonfigurationen der Bildgebungspixel P in der Bildgebungssektion 40. Das Halbleitersubstrat 100 enthält eine Fotodiode PD, die in dem Pixelgebiet ausgebildet ist, das einem Bildgebungspixel P entspricht. Diese Fotodiode PD ist dafür konfiguriert, im Gegensatz zu den Fotodioden PDB und PDR gemäß der oben beschriebenen ersten Ausführungsform Licht verschiedener Wellenlängen zu empfangen. Der Isolierfilm 101 ist auf der Oberfläche, auf einer Seite der Bildgebungsoberfläche S, des Halbleitersubstrats 100 ausgebildet, und ein Farbfilter 111 ist auf dem Isolierfilm 101 ausgebildet. Konkret ist ein Farbfilter 111B oder ein Farbfilter 111R selektiv auf dem Isolierfilm 101 ausgebildet. Der Farbfilter 111B lässt blaues (B) Licht dort hindurchgehen und blockiert rotes (R) Licht und grünes (G) Licht. Der Farbfilter 111R lässt rotes (R) Licht dort hindurchgehen und blockiert blaues (B) Licht und grünes (G) Licht. Der Farbfilter 111B und die Fotodiode PD sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, blaues (B) Licht zu empfangen, und der Farbfilter 111R und die Fotodiode PD sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, rotes (R) Licht zu empfangen. Auf dem Farbfilter 111 ist ein Isolierfilm 112 ausgebildet. Der Isolierfilm 112 ist unter Verwendung beispielsweise von Siliziumdioxid (SiO₂) konfiguriert. Danach sind eine transparente Elektrode 102, ein fotoelektrischer Umwandlungsfilm 103G, eine transparente Elektrode 104 und eine On-Chip-Linse 105 in dieser Reihenfolge auf dem Isolierfilm 112 ausgebildet.
29 veranschaulicht schematisch Positionen fotoelektrischer Wandler im Gebiet X, in dem vier Bildgebungspixel P angeordnet sind. Somit sind in der Bildgebungssektion 40 ein auf Grün (G) bezogener fotoelektrischer Wandler und ein auf Blau (B) oder Rot (R) bezogener fotoelektrischer Wandler in einer oberen bzw. unteren Schicht in dem einem Bildgebungspixel P entsprechenden Pixelgebiet angeordnet. Die auf Blau (B) und Rot (R) bezogenen fotoelektrischen Wandler sind in einem Schachbrettmuster angeordnet. Das heißt, in der Bildgebungssektion 40 sind der Farbfilter 111B und der Farbfilter 111R in einem Schachbrettmuster angeordnet. Dies ermöglicht jedem der Bildgebungspixel P, ein auf Grün bezogenes Pixelsignal und ein auf Blau oder Rot bezogenes Pixelsignal in der Bildgebungssektion 40 zu erzeugen.
Mit solch einer Konfiguration erzeugt die Bildgebungssektion 40 ein Bildsignal DT21 und das Verstärkungssignal SGAIN. Das Bildsignal DT21 enthält zwei Bild-Abbildungsdaten MPG und MPBR. Die Bild-Abbildungsdaten MPG enthalten Pixelwerte für ein auf Grün (G) bezogenes Frame-Bild, und die Bild-Abbildungsdaten MPBR enthalten Pixelwerte für ein auf Blau (B) und (R) bezogenes Frame-Bild. In den Bild-Abbildungsdaten MPBR sind auf Blau (B) bezogene Pixelwerte und auf Rot (R) bezogene Pixelwerte in einem einer Anordnung der Farbfilter 111B und 111R entsprechenden Schachbrettmuster angeordnet.
Die Bildverarbeitungssektion 50 (27) enthält eine Bildsegmentierungs-Verarbeitungssektion 52, einen Interpolations-Controller 56, eine Interpolations-Verarbeitungssektion 53, eine Synthese-Verarbeitungssektion 54 und eine Signalverarbeitungssektion 55.
Die Bildsegmentierungs-Verarbeitungssektion 52 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG und MPBR durch, die in dem über die Schaltsektion 21 von der Bildgebungssektion 40 bereitgestellten Bildsignal DT21 enthalten sind, um vier Abbildungsdaten MG11, MG12, MR11 und MB12 zu erzeugen.
Der Interpolations-Controller 56 führt die Interpolationssteuerungs-Verarbeitung B1 auf der Basis der Bild-Abbildungsdaten MPG durch, die in dem Bildsignal DT21 enthalten sind, um das Interpolationsverfahren in der Interpolations-Verarbeitung A2 in der Interpolations-Verarbeitungssektion 53 zu bestimmen.
Die Interpolations-Verarbeitungssektion 53 führt die Interpolations-Verarbeitung A2 jeweils an den vier Abbildungsdaten MG11, MG12, MR11 und MB12, die von der Bildsegmentierungs-Verarbeitungssektion 52 bereitgestellt werden, unter Verwendung des vom Interpolations-Controller 56 angewiesenen Interpolationsverfahrens durch, um vier Abbildungsdaten MG21, MG22, MR21 und MB22 zu erzeugen.
Die Synthese-Verarbeitungssektion 54 führt die Synthese-Verarbeitung A3 auf der Basis von zwei Abbildungsdaten MG21 und MG22 durch, die von der Interpolations-Verarbeitungssektion 53 bereitgestellt werden, um einen Abbildungsdatensatz MG3 zu erzeugen. Die Synthese-Verarbeitungssektion 54 stellt dann die durch die Synthese-Verarbeitung A3 erzeugten Abbildungsdaten MG3 und die von der Interpolations-Verarbeitungssektion 53 bereitgestellten Abbildungsdaten MR21 und MB22 als Bildsignal DT22 der Signalverarbeitungssektion 55 bereit.
Die Signalverarbeitungssektion 55 führt die vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 54 bereitgestellten Bildsignals DT22 oder des über die Schaltsektion 21 von der Bildgebungssektion 40 bereitgestellten Bildsignals DT21 durch. Danach gibt die Signalverarbeitungssektion 55 ein Verarbeitungsergebnis dieser vorbestimmten Signalverarbeitung als Bildsignal DT23 aus.
30 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolationssteuerungs-Verarbeitung B1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 50.
Die Bildsegmentierungs-Verarbeitungssektion 52 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG durch, um zwei Abbildungsdaten MG11 und MG12 zu erzeugen. Außerdem führt die Bildsegmentierungs-Verarbeitungssektion 52 die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPBR durch, um zwei Abbildungsdaten MR11 und MB12 zu erzeugen. In den Abbildungsdaten MR11 sind, wie in 30 veranschaulicht ist, auf Rot (R) bezogene Pixelwerte oben links und unten rechts im Gebiet X vorhanden, und unten links und oben rechts im Gebiet X ist kein Pixelwert vorhanden. Außerdem sind in den Abbildungsdaten MB12 auf Blau (B) bezogene Pixelwerte unten links und oben rechts im Gebiet X vorhanden, und oben links und unten rechts im Gebiet X ist kein Pixelwert vorhanden. Das heißt, in diesem Beispiel sind die Anordnungsmuster PAT von Pixelwerten in der Bildsegmentierungs-Verarbeitung A1 ein schachbrettartiges Muster, so dass sie einer Anordnung im Schachbrettmuster des Farbfilters 111B und 111R in der Bildgebungssektion 40 entspricht. Dementsprechend sind auf Rot (R) bezogene Pixelwerte, die in den Bild-Abbildungsdaten MPBR enthalten sind, nur in den Abbildungsdaten MR11 vorhanden und sind auf Blau (B) bezogene Pixelwerte, die in den Bild-Abbildungsdaten MPBR enthalten sind, nur in den Abbildungsdaten MB12 enthalten. Wie in 30 veranschaulicht ist, weisen die Abbildungsdaten MG11 und MR11 das gleiche Anordnungsmuster PAT auf, und die Abbildungsdaten MG12 und MB12 weisen das gleiche Anordnungsmuster PAT auf.
Der Interpolations-Controller 56 führt die Verarbeitung B3 zur Detektion einer Ortsfrequenz auf der Basis der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG durch, um eine Ortsfrequenz zu detektieren. Der Interpolations-Controller 56 führt dann die Verarbeitung B4 zur Bestimmung eines Interpolationsverfahrens durch, um das Interpolationsverfahren in der Interpolations-Verarbeitung A2 für jedes der Bildgebiete auf der Basis der Ortsfrequenz zu bestimmen, die durch die Verarbeitung B3 zur Detektion einer Ortsfrequenz bestimmt wurde. Der Interpolations-Controller 56 liefert dann eine Anweisung über das Interpolationsverfahren für jedes der Bildgebiete an die Interpolations-Verarbeitungssektion 53.
Die Interpolations-Verarbeitungssektion 53 führt jeweils die Interpolations-Verarbeitung A2 an den vier Abbildungsdaten MG11, MG12, MR11 und MB12, die von der Bildsegmentierungs-Verarbeitungssektion 53 bereitgestellt werden, unter Verwendung des Interpolationsverfahrens durch, das für jedes der Bildgebiete vom Interpolations-Controller 56 angewiesen wurde, um vier Abbildungsdaten MG21, MG22, MR21 und MB22 zu erzeugen. Die Interpolationsverfahren zum Erzeugen der vier Abbildungsdaten MG21, MG22, MR21 und MB22 sind einander gleich.
Die Synthese-Verarbeitungssektion 54 führt die Synthese-Verarbeitung A3 auf der Basis von zwei Abbildungsdaten MG21 und MG22 durch, um einen Abbildungsdatensatz MG3 zu erzeugen. Konkret summiert die Synthese-Verarbeitungssektion 54 Pixelwerte an Positionen, die in den beiden Abbildungsdaten MG21 und MG22 einander entsprechen, und halbiert eine Summe der Pixelwerte, um einen Pixelwert an einer den Positionen entsprechenden Position in den Abbildungsdaten MG3 zu erzeugen.
Die Bild-Abbildungsdaten MPG und MPBR entsprechen spezifischen Beispielen „erster Bild-Abbildungsdaten“ bzw. „zweiter Bild-Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MR11 und MB12 entsprechen einem spezifischen Beispiel einer „Vielzahl vierter Abbildungsdaten“ in der vorliegenden Ausführungsform. Die Abbildungsdaten MR21 und MB22 entsprechen einem spezifischen Beispiel einer „Vielzahl fünfter Abbildungsdaten“ in der vorliegenden Offenbarung.
Wie oben beschrieben wurde, wird in der Bildgebungsvorrichtung 3 beispielsweise die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG durchgeführt, um die Abbildungsdaten MG11 und MG12 zu erzeugen, wird die Interpolations-Verarbeitung A2 jeweils an den Abbildungsdaten MG11 und MG12 durchgeführt, um die Abbildungsdaten MG21 und MG22 zu erzeugen, und die Synthese-Verarbeitungssektion A3 wird auf der Basis der Bilddaten MG21 und MG22 durchgeführt, um die Abbildungsdaten MG3 zu erzeugen. Dies ermöglicht, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) in den Abbildungsdaten MG3 zu erhöhen und eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 3 wie in der oben beschriebenen ersten Ausführungsform zu steigern.
Außerdem sind in der Bildgebungsvorrichtung 3 die Anordnungsmuster PAT von Pixelwerten in der Bildsegmentierungs-Verarbeitung A1 schachbrettartige Muster, so dass sie der Anordnung im Schachbrettmuster der Farbfilter 111B und 111R in der Bildgebungssektion 40 entsprechen. Die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MG11 und MR11 sind einander gleich, und die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MG12 und MB12 sind einander gleich. Dies ermöglicht der Bildsegmentierungs-Verarbeitungssektion 52, die Bildsegmentierungs-Verarbeitung A1 mittels des gleichen Verfahrens auf der Basis von zwei Bild-Abbildungsdaten MPG und MPBR durchzuführen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion 52 zu vereinfachen. Wie im Fall der Bildgebungsvorrichtung 1 ist es ferner möglich, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität eines aufgenommenen Bildes zu steigern.
Außerdem sind in der Bildgebungsvorrichtung 3 die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MG21, MG22, MR21 und MB22 in der Interpolations-Verarbeitung A2 einander gleich. Dies ermöglicht der Interpolations-Verarbeitungssektion 53, vier Abbildungsdaten MG21, MG22, MR21 und MB22 unter Verwendung des gleichen Interpolationsverfahrens zu erzeugen, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion 53 zu vereinfachen. Wie im Fall der Bildgebungsvorrichtung 1 ist es außerdem möglich, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität eines aufgenommenen Bildes zu steigern.
In der Bildgebungsvorrichtung 3 wird außerdem die Ortsfrequenz auf der Basis der Bild-Abbildungsdaten MPG detektiert, über all denen auf Grün (G) bezogene Pixelwerte gelegen sind, und das Interpolationsverfahren in der Interpolations-Verarbeitung A2 wird auf der Basis der detektierten Ortsfrequenz bestimmt. Dies ermöglicht der Bildgebungsvorrichtung 3 die Ortsfrequenz mit hoher Genauigkeit zu detektieren, was ermöglicht, eine Genauigkeit in der Interpolations-Verarbeitung A2 zu steigern. Folglich ermöglicht dies der Bildgebungsvorrichtung 3, einen höheren Wiederherstellungseffekt zu erzielen, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern.
Außerdem ist es in der Bildgebungsvorrichtung 3 wie in der Bildgebungsvorrichtung 1 gemäß der oben beschriebenen ersten Ausführungsform möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht. Dementsprechend ermöglicht in der Bildgebungsvorrichtung 3 beispielsweise in einem Fall, in dem ein Bild eines dunklen Objekts aufgenommen wird, eine Durchführung der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) im aufgenommenen Bild zu erhöhen. In einem Fall, in dem ein Bild eines hellen Objekts aufgenommen wird, werden beispielsweise die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchgeführt, was ermöglicht, eine Auflösung im aufgenommenen Bild zu erhöhen. Folglich ermöglicht dies der Bildgebungsvorrichtung 1, eine Bildqualität des aufgenommenen Bildes zu steigern.
Wie oben beschrieben wurde, werden in der vorliegenden Ausführungsform die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchgeführt, was ermöglicht, das Signal-Rausch-Verhältnis im aufgenommenen Bild zu erhöhen. Dies ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind die Anordnungsmuster von Pixelwerten in der Bildsegmentierungs-Verarbeitung schachbrettartige Muster, so dass sie einer Anordnung im Schachbrettmuster der Farbfilter in der Bildgebungssektion entsprechen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion zu vereinfachen und eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind in der Interpolations-Verarbeitung die Interpolationsverfahren zum Erzeugen von vier Abbildungsdaten einander gleich, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion zu vereinfachen und eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform wird die Ortsfrequenz auf der Basis der Bild-Abbildungsdaten MPG detektiert, über denen die auf Grün (G) bezogenen Pixelwerte gelegen sind, um das Interpolationsverfahren in der Interpolations-Verarbeitung zu bestimmen, was ermöglicht, die Ortsfrequenz mit hoher Genauigkeit zu detektieren und eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform ist es möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht, was ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
<3. Dritte Ausführungsform>
Als Nächstes wird eine Bildgebungsvorrichtung 4 gemäß einer dritten Ausführungsform beschrieben. Die vorliegende Ausführungsform unterscheidet sich von der oben beschriebenen ersten Ausführungsform in einer Anordnungsdichte fotoelektrischer Wandler, die dafür konfiguriert sind, blaues (B) Licht und rotes (R) Licht zu empfangen, in einer Bildgebungssektion. Es ist besonders zu erwähnen, dass Komponenten, die im Wesentlichen die gleichen wie jene der Bildgebungsvorrichtung 1 gemäß der oben beschriebenen ersten Ausführungsform sind, mit den gleichen Bezugsziffern bezeichnet werden und deren Beschreibung gegebenenfalls weggelassen ist.
31 veranschaulicht ein Konfigurationsbeispiel der Bildgebungsvorrichtung 4 gemäß der vorliegenden Ausführungsform. Die Bildgebungsvorrichtung 4 enthält eine Bildgebungssektion 60 und eine Bildverarbeitungssektion 70.
32 veranschaulicht schematisch Querschnittskonfigurationen der Bildgebungspixel P in der Bildgebungssektion 60. 33 veranschaulicht Positionen fotoelektrischer Wandler im Gebiet X, in dem vier Bildgebungspixel P angeordnet sind. Das Halbleitersubstrat 100 enthält Fotodioden PDR2 und PDB2, die in dem Gebiet X entsprechend den vier Bildgebungspixeln P ausgebildet sind. Die Fotodiode PDR2 ist ein fotoelektrischer Wandler, der dafür konfiguriert ist, rotes (R) Licht wie in der Fotodiode PDR zu empfangen, und die Fotodiode PDB2 ist ein fotoelektrischer Wandler, der dafür konfiguriert ist, blaues (B) Licht wie in der Fotodiode PDB zu empfangen. Die Fotodiode PDR2 und die Fotodiode PDB2 sind im Halbleitersubstrat 100 in dem Gebiet X entsprechend den vier Bildgebungspixeln P auf solch eine Weise ausgebildet und gestapelt, dass die Fotodiode PDB2 auf einer Seite der Bildgebungsoberfläche S gelegen ist. Das heißt, in der Bildgebungssektion 10 gemäß der ersten Ausführungsform sind die Fotodioden PDB und PDR im Pixelgebiet entsprechend einem Bildgebungspixel P ausgebildet und gestapelt, wohingegen in der Bildgebungssektion 60 gemäß der vorliegenden Ausführungsform die Fotodioden PDB2 und PDR2 in dem Gebiet X entsprechend den vier Bildgebungspixeln P ausgebildet und gestapelt sind. Dementsprechend sind in der Bildgebungssektion 60 vier auf Grün (G) bezogene fotoelektrische Wandler, ein auf Blau (B) bezogener fotoelektrischer Wandler, ein auf Rot (R) bezogener fotoelektrischer Wandler in dem Gebiet entsprechend den vier Bildgebungspixeln P ausgebildet und gestapelt. Mit anderen Worten ist in der Bildgebungssektion 60 eine Anordnungsdichte der auf Blau (B) bezogenen fotoelektrischen Wandler 1/4 einer Anordnungsdichte der auf Grün (G) bezogenen fotoelektrischen Wandler, und eine Anordnungsdichte der auf Rot (R) bezogenen fotoelektrischen Wandler beträgt 1/4 der Anordnungsdichte der auf Grün (G) bezogenen fotoelektrischen Wandler. Auf dem Farbfilter 111 ist der Isolierfilm 112 ausgebildet. Der Isolierfilm 112 ist unter Verwendung beispielsweise von Siliziumdioxid (SiO₂) konfiguriert. Der Isolierfilm 101 ist auf dem Halbleitersubstrat 100 ausgebildet, und die transparente Elektrode 102, der fotoelektrische Umwandlungsfilm 103G, die transparente Elektrode 104 und die On-Chip-Linse 105 sind in dieser Reihenfolge auf dem Isolierfilm 101 ausgebildet.
Mit solch einer Konfiguration erzeugt die Bildgebungssektion 60 ein Bildsignal DT31 und das Verstärkungssignal SGAIN. Das Bildgebungssignal DT31 enthält drei Bild-Abbildungsdaten MPG, MPB und MPR. Die Bild-Abbildungsdaten MPG enthalten Pixelwerte für ein auf Grün (G) bezogenes Frame-Bild. Die Bild-Abbildungsdaten MPB enthalten Pixelwerte für ein auf Blau (B) bezogenes Frame-Bild. Die Bild-Abbildungsdaten MPR enthalten Pixelwerte für ein auf Rot (R) bezogenes Frame-Bild. Die Anzahl an Pixelwerten in den Bild-Abbildungsdaten MPB ist 1/4 der Anzahl an Pixelwerten in den Bild-Abbildungsdaten MPG, und die Anzahl an Pixelwerten in den Bild-Abbildungsdaten MPR ist 1/4 der Anzahl an Pixelwerten in den Bild-Abbildungsdaten MPG. Vier Pixelwerte in den Bild-Abbildungsdaten MPG sind mit einem Pixelwert in den Bild-Abbildungsdaten MPG assoziiert und sind auch mit einem Pixelwert in Bild-Abbildungsdaten MPR assoziiert.
Die Bildverarbeitungssektion 70 (31) enthält eine Bildsegmentierungs-Verarbeitungssektion 72, eine Interpolations-Verarbeitungssektion 73, eine Synthese-Verarbeitungssektion 74 und eine Signalverarbeitungssektion 75.
Die Bildsegmentierungs-Verarbeitungssektion 72 führt eine Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR durch, die in dem über die Schaltsektion 21 von der Bildgebungssektion 60 bereitgestellten Bildsignal DT31 enthalten sind, um sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 zu erzeugen.
Die Interpolations-Verarbeitungssektion 73 führt die Interpolations-Verarbeitung A2 jeweils an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 durch, die von der Bildsegmentierungs-Verarbeitungssektion 72 bereitgestellt werden, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen.
Die Synthese-Verarbeitungssektion 74 führt die Synthese-Verarbeitung A3 auf der Basis der sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 durch, die von der Interpolations-Verarbeitungssektion 73 bereitgestellt werden, um drei Bilddaten MG3, MB3 und MR3 zu erzeugen. Danach stellt die Synthese-Verarbeitungssektion 74 die Abbildungsdaten MG3, MB3 und MR3, die durch die Synthese-Verarbeitung A3 erzeugt wurden, als Bildsignal DT32 der Signalverarbeitungssektion 75 bereit.
Die Signalverarbeitungssektion 75 führt die vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 74 bereitgestellten Bildsignals DT32 oder des über die Schaltsektion 21 von der Bildgebungssektion 60 bereitgestellten Bildsignals DT31 durch. Die Signalverarbeitungssektion 72 gibt dann ein Verarbeitungsergebnis dieser vorbestimmten Signalverarbeitung als Bildsignal DT33 aus.
34 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 70.
Die Bildsegmentierungs-Verarbeitungssektion 72 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR durch, um sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 zu erzeugen. Wie in 34 veranschaulicht ist, sind die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MG11 und MG12 schachbrettartige Muster in Einheiten von vier Pixelwerten (12A und 12B). Im Gegensatz dazu sind die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MB11, MB12, MR11 und MR12 schachbrettartige Muster (8A und 8B) in Einheiten eines Pixelwertes. Das heißt, die Einheit im schachbrettartigen Muster in jeder der Abbildungsdaten MG11 und MG12 ist das Vierfache der Einheit in dem schachbrettartigen Muster in jeder der Abbildungsdaten MB11, MB12, MR11 und MR12 entsprechend den Anordnungsdichten von auf Grün (G), Blau (B) und Rot (R) bezogenen fotoelektrischen Wandlern in der Bildgebungssektion 60.
Die Interpolations-Verarbeitungssektion 73 führt die Interpolations-Verarbeitung A2 jeweils an den sechs Abbildungsdaten MG11, MG12, MB11, MB12, MR11 und MR12 durch, die von der Bildsegmentierungs-Verarbeitungssektion 22 bereitgestellt werden, um sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 zu erzeugen. Falls die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 und MG12 durchgeführt wird, ist es der Interpolations-Verarbeitungssektion 73 möglich, die in 13A und 13B veranschaulichten Interpolationsverfahren zu nutzen. Die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MB21, MB22, MR21 und MR22 sind einander gleich. Außerdem ist es möglich, zu veranlassen, dass das Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MG21 und MG22 das Gleiche wie das Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MB21, MB22, MR21 und MR22 ist. Konkret ist es beispielsweise möglich, zu veranlassen, dass Interpolationsrichtungen in diesen beiden Interpolationsverfahren einander gleich sind.
Die Synthese-Verarbeitungssektion 74 führt die Synthese-Verarbeitung A3 auf der Basis sechs Abbildungsdaten MG21, MG22, MB21, MB22, MR21 und MR22 durch, um drei Abbildungsdaten MG3, MB3 und MR3 zu erzeugen.
Wie oben beschrieben wurde, wird in der Bildgebungsvorrichtung 4 beispielsweise die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPG durchgeführt, um die Abbildungsdaten MG11 und MG12 zu erzeugen, wird die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG11 und MG12 durchgeführt, um die Abbildungsdaten MG21 und MG22 zu erzeugen, und wird die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MG21 und MG22 durchgeführt, um die Abbildungsdaten MG3 zu erzeugen. Das Gleiche gilt für die Bild-Abbildungsdaten MPB und MPR. Dies ermöglicht, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) in den Abbildungsdaten MG3, MB3 und MR3 zu erhöhen und eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 4 wie in der oben beschriebenen ersten Ausführungsform zu steigern.
Außerdem ist in der Bildgebungsvorrichtung 4 die Einheit im schachbrettartigen Muster in jeder der Abbildungsdaten MG11 und MG12 das Vierfache der Einheit im schachbrettartigen Muster in jeder der Abbildungsdaten MB11, MB12, MR11 und MR12 entsprechend den Anordnungsdichten der auf Grün (G), Blau (B) und Rot (R) bezogenen fotoelektrischen Wandler in der Bildgebungssektion 60. Dies ermöglicht der Bildsegmentierungs-Verarbeitungssektion 72, die Bildsegmentierungs-Verarbeitung A1 mittels eines ähnlichen Verfahrens auf der Basis der drei Bild-Abbildungsdaten MPG, MPB und MPR durchzuführen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion 72 zu vereinfachen. Wie im Fall der Bildgebungsvorrichtung 1 ist es ferner möglich, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität eines aufgenommenen Bildes zu steigern.
In der Bildgebungsvorrichtung 4 sind außerdem die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MB21, MB22, MR21 und MR22 in der Interpolations-Verarbeitung A2 einander gleich. Dies ermöglicht der Interpolations-Verarbeitungssektion 73, vier Abbildungsdaten MB21, MB22, MR21 und MR22 unter Verwendung des gleichen Interpolationsverfahrens zu erzeugen, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion 73 zu vereinfachen. Außerdem ist in der Interpolations-Verarbeitung A2 das Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MG21 und MG22 dem Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MB21, MB22, MR21 und MR22 ähnlich, was ermöglicht, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität eines aufgenommenen Bildes wie im Fall der Bildgebungsvorrichtung 1 zu steigern.
Darüber hinaus ist es in der Bildgebungsvorrichtung 4 wie in der Bildgebungsvorrichtung 1 gemäß der oben beschriebenen ersten Ausführungsform möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht. Dementsprechend ermöglicht in der Bildgebungsvorrichtung 4 beispielsweise in einem Fall, in dem ein Bild eines dunklen Objekts aufgenommen wird, eine Durchführung der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) im aufgenommenen Bild zu erhöhen. Falls beispielsweise ein Bild eines hellen Objekts aufgenommen wird, werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchgeführt, was ermöglicht, eine Auflösung im aufgenommenen Bild zu erhöhen. Dies ermöglicht folglich der Bildgebungsvorrichtung 4, eine Bildqualität des aufgenommenen Bildes zu steigern.
Wie oben beschrieben wurde, werden in der vorliegenden Ausführungsform die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchgeführt, was ermöglicht, das Signal-Rausch-Verhältnis im aufgenommenen Bild zu erhöhen. Dies ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform ist die Einheit im schachbrettartigen Muster in jeder der Abbildungsdaten MG11 und MG12 das Vierfache der Einheit im schachbrettartigen Muster in jeder der Abbildungsdaten MB11, MB12, MR11 und MR12 entsprechend den Anordnungsdichten der auf Grün, Blau und Rot bezogenen fotoelektrischen Wandler in der Bildgebungssektion, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion zu vereinfachen und eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind in der Interpolations-Verarbeitung die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MB21, MB22, MR21 und MR22 einander gleich, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion zu vereinfachen und eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren.
In der vorliegenden Ausführungsform ist in der Interpolations-Verarbeitung das Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MG21 und MG22 ähnlich dem Interpolationsverfahren zum Erzeugen jeder der Abbildungsdaten MB21, MB22, MR21 und MR22, was ermöglicht, eine Wahrscheinlichkeit, dass Falschfarben auftreten, zu reduzieren und eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform ist es möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht, was ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
[Modifikationsbeispiel 3-1]
In der oben beschriebenen Ausführungsform führt die Bildverarbeitungssektion 70 die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 auf der Basis der auf Rot (R) gezogenen Bild-Abbildungsdaten MPR, der auf Grün (G) bezogenen Bild-Abbildungsdaten MPG und der auf Blau (B) bezogenen Bild-Abbildungsdaten MPB durch; dies ist aber nicht einschränkend. Alternativ dazu können die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 auf der Basis eines Luminanzsignals wie im Fall der Bildgebungsvorrichtung 1D gemäß dem Modifikationsbeispiel der ersten Ausführungsform (25) durchgeführt werden. Das vorliegende Modifikationsbeispiel wird im Folgenden im Detail beschrieben.
35 veranschaulicht ein Konfigurationsbeispiel einer Bildgebungsvorrichtung 4A gemäß dem vorliegenden Modifikationsbeispiel. Die Bildgebungsvorrichtung 4A enthält eine Bildverarbeitungssektion 70A. Die Bildverarbeitungssektion 70A enthält eine Y/C-Trennungssektion 79A, eine Bildsegmentierungs-Verarbeitungssektion 72A, eine Interpolations-Verarbeitungssektion 73A, eine Synthese-Verarbeitungssektion 74A und eine Signalverarbeitungssektion 75A.
Die Y/C-Trennungssektion 79A trennt ein im Bildsignal DT31 enthaltenes RGB-Signal in ein Luminanz-(Y-)Signal und ein Farb-(C-)Signal, indem die Y/C-Trennungs-Verarbeitung C1 durchgeführt wird, und gibt das Luminanzsignal und das Farbsignal als Bildsignal DT41 ab. Das Bildsignal DT41 enthält Abbildungsdaten MY, MCr und MCb. Die Abbildungsdaten MY enthalten Pixelwerte für ein auf eine Luminanz (Y) bezogenes Frame-Bild, die Abbildungsdaten MCr enthalten Pixelwerte für ein auf eine R-Y-Farbdifferenz (Cr) bezogenes Frame-Bild, und die Abbildungsdaten MCb enthalten Pixelwerte für ein auf eine B-Y-Farbdifferenz (Cb) bezogenes Frame-Bild. Die Anzahl an Pixelwerten in den Abbildungsdaten MCr beträgt 1/4 der Anzahl an Pixelwerten in den Abbildungsdaten MY. Ähnlich beträgt die Anzahl an Pixelwerten in den Abbildungsdaten MCb 1/4 der Anzahl an Pixelwerten in den Abbildungsdaten MY.
Die Bildsegmentierungs-Verarbeitungssektion 72A führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Abbildungsdaten MY durch, die in dem über die Schaltsektion 21 von der Y/C-Trennungssektion 79A bereitgestellten Bildsignal DT41 enthalten sind, um zwei Abbildungsdaten MY11 und MY12 zu erzeugen. Außerdem gibt die Bildsegmentierungs-Verarbeitungssektion 72A die im Bildsignal DT41 enthaltenen Abbildungsdaten MCr und MCb wie sie sind aus.
Die Interpolations-Verarbeitungssektion 73A führt die Interpolations-Verarbeitung A2 jeweils an den von der Bildsegmentierungs-Verarbeitungssektion 72A bereitgestellten zwei Abbildungsdaten MY11 und MY12 durch, um zwei Abbildungsdaten MY21 und MY22 zu erzeugen. Außerdem gibt die Interpolations-Verarbeitungssektion 73A die von der Bildsegmentierungs-Verarbeitungssektion 72A bereitgestellten Abbildungsdaten MCr und MCb wie sie sind aus.
Die Synthese-Verarbeitungssektion 74A führt die Synthese-Verarbeitung A3 auf der Basis der von der Interpolations-Verarbeitungssektion 73A bereitgestellten zwei Abbildungsdaten MY21 und MY22 durch, um einen Abbildungsdatensatz MY3 zu erzeugen. Danach stellt die Synthese-Verarbeitungssektion 74D die durch die Synthese-Verarbeitung A3 erzeugten Abbildungsdaten MY3 und die von der Interpolations-Verarbeitungssektion 73A bereitgestellten Abbildungsdaten MCr und MCb als Bildsignal DT42 der Signalverarbeitungssektion 75A bereit.
Die Signalverarbeitungssektion 75A führt die vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 74A bereitgestellten Bildsignals DT42 oder des über die Schaltsektion 21 von der Y/C-Trennungssektion 79A bereitgestellten Bildsignals DT41 durch. Die Signalverarbeitungssektion 75A gibt dann ein Verarbeitungsergebnis dieser vorbestimmten Signalverarbeitung als Bilddaten DT43 aus.
36 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 70A.
Die Y/C-Trennungssektion 79A führt die Y/C-Trennungs-Verarbeitung C1 durch, um das im Bildsignal DT31 enthaltene RGB-Signal in das Luminanz-(Y-)Signal und das Farb-(C-)Signal zu trennen. Konkret erzeugt die Y/C-Trennungssektion 79A die Abbildungsdaten MY, MCb und MCr auf der Basis der Bild-Abbildungsdaten MPG, MPB und MPR. Die Y/C-Trennungssektion 79A erzeugt einen auf eine Luminanz (Y) bezogenen Pixelwert unter Verwendung beispielsweise des folgenden Ausdrucks auf der Basis von Pixelwerten an Positionen, die in den drei Bild-Abbildungsdaten MGP, MPB und MPR einander entsprechen. $VY1 = VG1 \times 0,59 + VB/4 \times 0,11 + VR/4 \times 0,3$
$VY2 = VG2 \times 0,59 + VB/4 \times 0,11 + VR/4 \times 0,3$
$VY3 = VG3 \times 0,59 + VB/4 \times 0,11 + VR/4 \times 0,3$
$VY4 = VG4 \times 0,59 + VB/4 \times 0,11 + VR/4 \times 0,3$
In diesem Ausdruck ist jeder von „VY1“ bis „VY4“ ein auf eine Luminanz (Y) bezogener Pixelwert, ist jeder von „VG1“ bis „VG4“ ein auf Grün (G) bezogener Pixelwert, ist „VB“ ein auf Blau (B) bezogener Pixelwert und ist „VR“ ein auf Rot (R) bezogener Pixelwert. Jeder von „VY1“ und „VG1“ gibt einen Pixelwert oben links im Gebiet X an, jeder von „„VY2“ und „VG2“ gibt einen Pixelwert oben rechts im Gebiet X an, jeder von „VY3“ und „VG3“ gibt einen Pixelwert unten links im Gebiet X an, und jeder von „VY4“ und „VG4“ gibt einen Pixelwert unten rechts im Gebiet X an.
Die Bildsegmentierungs-Verarbeitungssektion 72A führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der so erzeugten Abbildungsdaten MY durch, um zwei Abbildungsdaten MY11 und MY12 zu erzeugen. Die Interpolations-Verarbeitungssektion 73A führt jeweils die Interpolations-Verarbeitung A2 an den zwei Abbildungsdaten MY11 und MY12 durch, um zwei Abbildungsdaten MY21 und MY22 zu erzeugen. Die Synthese-Verarbeitungssektion 74A führt diese Synthese-Verarbeitung A3 auf der Basis der zwei Abbildungsdaten MY21 und MY22 durch, um einen Abbildungsdatensatz MY3 zu erzeugen.
Wie oben beschrieben wurde, ist es in der Bildgebungsvorrichtung 4A möglich, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) für das Luminanzsignal zu erhöhen, was ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern. Außerdem werden in diesem Beispiel die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nur an den auf eine Luminanz (Y) bezogenen Abbildungsdaten MY durchgeführt, was ermöglicht, einen Verarbeitungsumfang zu reduzieren. Folglich ermöglicht dies, beispielsweise einen Leistungsverbrauch in der Bildgebungsvorrichtung 4A zu reduzieren.
[Modifikationsbeispiel 3-2]
Jedes der Modifikationsbeispiele der ersten Ausführungsform kann für die Bildgebungsvorrichtung 4 gemäß der oben beschriebenen Ausführungsform verwendet werden. Konkret kann zum Beispiel wie in der Bildgebungsvorrichtung 2 (21) gemäß dem Modifikationsbeispiel der oben beschriebenen ersten Ausführungsform das Interpolationsverfahren in der Interpolations-Verarbeitung A2 in der Interpolations-Verarbeitungssektion 73 gesteuert werden, indem die Interpolationssteuerungs-Verarbeitung B1 auf der Basis der im Bildsignal DT31 enthaltenen Bild-Abbildungsdaten MPG, MPB und MPR durchgeführt wird.
<4. Vierte Ausführungsform>
Als Nächstes wird eine Bildgebungsvorrichtung 5 gemäß einer vierten Ausführungsform beschrieben. In der vorliegenden Ausführungsform enthält eine Bildgebungssektion zusätzlich zu fotoelektrischen Wandlern, die dafür konfiguriert sind, grünes (G) Licht, blaues (B) Licht und rotes (R) Licht zu empfangen, einen fotoelektrischen Wandler, der dafür konfiguriert ist, Infrarot-(IR-)Licht zu empfangen. Es ist besonders zu erwähnen, dass Komponenten, die im Wesentlichen die gleichen wie jene der Bildgebungsvorrichtung 1 gemäß der oben beschriebenen ersten Ausführungsform sind, mit den gleichen Bezugsziffern bezeichnet werden und deren Beschreibung gegebenenfalls weggelassen wird.
37 veranschaulicht ein Konfigurationsbeispiel der Bildgebungsvorrichtung 5 gemäß der vorliegenden Ausführungsform. Die Bildgebungsvorrichtung 5 enthält eine Bildgebungssektion 80 und eine Bildverarbeitungssektion 90.
38 veranschaulicht schematisch Querschnittskonfigurationen der Bildgebungspixel P in der Bildgebungssektion 80. 39 veranschaulicht schematisch Positionen von fotoelektrischen Wandlern im Gebiet X, in welchem vier Bildgebungspixel P angeordnet sind. Das Halbleitersubstrat 100 enthält die Fotodiode PD, die im Pixelgebiet entsprechend einem Bildgebungspixel P ausgebildet ist. Diese Fotodiode PD ist dafür konfiguriert, Licht verschiedener Wellenlängen entsprechend sichtbarem Licht zu empfangen. Der Isolierfilm 101 ist auf der Oberfläche, auf einer Seite der Bildgebungsoberfläche S, des Halbleitersubstrats 100 ausgebildet, und auf dem Isolierfilm 101 ist der Farbfilter 111 ausgebildet. Konkret sind in diesem Beispiel der Farbfilter 111R für Rot (R), Farbfilter 111G für Grün (G) und der Farbfilter 111B für Blau (B) oben links, unten links und oben rechts bzw. unten rechts in dem Gebiet X entsprechend vier Bildgebungspixeln P auf dem Isolierfilm 101 ausgebildet. Der Farbfilter 111R lässt rotes (R) Licht dort hindurchgehen und blockiert blaues (B) Licht und grünes (G) Licht. Der Farbfilter 111G lässt grünes (G) Licht dort hindurchgehen und blockiert rotes (R) Licht und blaues (B) Licht. Der Farbfilter 111B lässt blaues (B) Licht dort hindurchgehen und blockiert rotes (R) Licht und grünes (G) Licht. Der Farbfilter 111R und die Fotodiode PD sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, rotes (R) Licht zu empfangen. Der Farbfilter 111G und die Fotodiode PD sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, grünes (G) Licht zu empfangen. Der Farbfilter 111B und die Fotodiode PD sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, blaues (B) Licht zu empfangen. Die Farbfilter 111R, 111G und 111B sind in einem sogenannten Bayer-Array angeordnet.
Der Isolierfilm 112 ist auf dem Farbfilter 111 ausgebildet. Die transparente Elektrode 102, ein fotoelektrischer Umwandlungsfilm 103IR und die transparente Elektrode 104 sind in dieser Reihenfolge auf dem Isolierfilm 112 ausgebildet. Die transparenten Elektroden 102 und 104 sind Elektroden, die rotes Licht, grünes Licht, blaues Licht und Infrarotlicht hindurchlassen. Der fotoelektrische Umwandlungsfilm 103IR ist ein fotoelektrischer Umwandlungsfilm, der dafür konfiguriert ist, grünes (G) Licht zu empfangen, und rotes Licht, grünes Licht und blaues Licht hindurchgehen lässt. Der fotoelektrische Umwandlungsfilm 103IR und die transparenten Elektroden 102 und 104 sind in einem fotoelektrischen Wandler enthalten, der dafür konfiguriert ist, Infrarot-(IR-)Licht zu empfangen. Die On-Chip-Linse 105 ist auf der transparenten Elektrode 104 ausgebildet.
Wie oben beschrieben wurde, sind in der Bildgebungssektion 80 der auf Infrarot (IR) bezogene fotoelektrische Wandler und der auf Rot (R), Grün (G) oder Blau (B) bezogene fotoelektrischen Wandler in einer oberen Schicht bzw. einer unteren Schicht in dem Pixelgebiet entsprechend einem Bildgebungspixel angeordnet, wie in 39 veranschaulicht ist. Die auf Rot (R), Grün (G) und Blau (B) bezogenen fotoelektrischen Wandler sind in einem Bayer-Array angeordnet. Dies ermöglicht jedem der Bildgebungspixel P in der Bildgebungssektion 80, ein auf Infrarot gezogenes Pixelsignal und ein auf Rot, Grün oder Blau bezogenes Pixelsignal zu erzeugen.
Mit solch einer Konfiguration erzeugt die Bildgebungssektion 80 ein Bildsignal DT51 und das Verstärkungssignal SGAIN. Das Bildsignal DT51 enthält zwei Bild- Abbildungsdaten MPIR und MPRGB. Die Bild-Abbildungsdaten MPIR enthalten Pixelwerte für ein auf Infrarot (IR) bezogenes Frame-Bild, und die Bild-Abbildungsdaten MPRGB enthalten Pixelwerte für ein auf Rot (R), Grün (G) und Blau (B) bezogenes Frame-Bild.
Die Bildverarbeitungssektion 90 (37) enthält eine Bildsegmentierungs-Verarbeitungssektion 92, eine Interpolations-Verarbeitungssektion 93, eine Synthese-Verarbeitungssektion 94 und eine Signalverarbeitungssektion 95.
Die Bildsegmentierungs-Verarbeitungssektion 92 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPIR durch, die in dem über die Schaltsektion 21 von der Bildgebungssektion 80 bereitgestellten Bildsignal DT51 enthalten sind, um drei Abbildungsdaten MIR12, MIR11 und MIR13 zu erzeugen, und führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der im Bildsignal DT51 enthaltenen Bild-Abbildungsdaten MPRGB durch, um drei Abbildungsdaten MG12, MR11 und MB13 zu erzeugen.
Die Interpolations-Verarbeitungssektion 93 führt jeweils die Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MIR12, MIR11, MIR13, MG12, MR11 und MB13 durch, die von der Bildsegmentierungs-Verarbeitungssektion 92 bereitgestellt werden, um sechs Abbildungsdaten MIR22, MIR21, MIR23, MG22, MR21 und MB23 zu erzeugen.
Die Synthese-Verarbeitungssektion 94 führt die Synthese-Verarbeitung A3 auf der Basis der drei Abbildungsdaten MIR22, MIR21 und MIR23 durch, die von der Interpolations-Verarbeitungssektion 93 bereitgestellt werden, um Abbildungsdaten MIR3 zu erzeugen. Die Synthese-Verarbeitungssektion 94 stellt dann die durch die Synthese-Verarbeitung A3 erzeugten Abbildungsdaten MIR3 und die von der Interpolations-Verarbeitungssektion 93 bereitgestellten Abbildungsdaten MG22, MR21 und MB23 als Bildsignal DT52 der Signalverarbeitungssektion 95 bereit.
Die Signalverarbeitungssektion 95 führt die vorbestimmte Signalverarbeitung auf der Basis des von der Synthese-Verarbeitungssektion 94 bereitgestellten Bildsignals DT52 oder des über die Schaltsektion 21 von der Bildgebungssektion 80 bereitgestellten Bildsignals DT51 durch. Die Signalverarbeitungssektion 95 gibt dann ein Verarbeitungsergebnis dieser vorbestimmten Signalverarbeitung als Bildsignal DT53 aus.
40 veranschaulicht schematisch Beispiele der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3 in der Bildverarbeitungssektion 90.
Die Bildsegmentierungs-Verarbeitungssektion 92 führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPIR durch, um drei Abbildungsdaten MIR12, MIR11 und MIR13 zu erzeugen, und führt die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPRGB durch, um drei Abbildungsdaten MG12, MR11 und MB13 zu erzeugen. Wie in 40 veranschaulicht ist, sind Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MIR12, MIR11 und MIR13 dem Bayer-Array entsprechende Muster (18A bis 18C). Das Gleiche gilt für Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MG12, MR11 und MB13. Das heißt, in diesem Beispiel sind die Anordnungsmuster PAT von Pixelwerten in der Bildsegmentierungs-Verarbeitung A1 Muster entsprechend dem Bayer-Array, das eine Anordnung der Farbfilter 111R, 111G und 111B in der Bildgebungssektion 80 angibt. Dementsprechend sind Pixelwerte für Rot (R), die in den Abbildungsdaten MPRGB enthalten sind, nur in den Abbildungsdaten MR11 enthalten, sind Pixelwerte für Grün (G), die in den Bild-Abbildungsdaten MPRGB enthalten sind, nur in den Abbildungsdaten MG12 enthalten und sind Pixelwerte für Blau (B), die in den Bild-Abbildungsdaten MPRGB enthalten sind, nur in den Abbildungsdaten MB13 enthalten. Wie in 40 veranschaulicht ist, weisen die Abbildungsdaten MIR12 und MG12 das gleiche Anordnungsmuster PAT auf, weisen die Abbildungsdaten MIR11 und MR11 das gleiche Anordnungsmuster PAT auf und weisen die Abbildungsdaten MIR13 und MB13 das gleiche Anordnungsmuster PAT auf.
Die Interpolations-Verarbeitungssektion 93 führt jeweils die Interpolations-Verarbeitung A2 an den sechs Abbildungsdaten MIR12, MIR11, MIR13, MG12, MR11 und MB13 durch, die von der Bildsegmentierungs-Verarbeitungssektion 92 bereitgestellt werden, um sechs Abbildungsdaten MIR22, MIR21, MIR23, MG22, MR21 und MB23 zu erzeugen. Falls die Interpolations-Verarbeitung A2 an den Abbildungsdaten MIR12, MIR11 und MIR13 durchgeführt wird, ist es der Interpolations-Verarbeitungssektion 93 möglich, die zum Beispiel in 19A bis 19C veranschaulichten Interpolationsverfahren zu nutzen. Das Gleiche gilt für die Interpolations-Verarbeitung A2 an den Abbildungsdaten MG12, MR11 und MB13. Die Interpolationsverfahren zum Erzeugen der jeweiligen Abbildungsdaten MIR22 und MG22 sind einander gleich. Die Interpolationsverfahren zum Erzeugen der jeweiligen Abbildungsdaten MIR21 und MR21 sind einander gleich. Die Interpolationsverfahren zum Erzeugen der jeweiligen Abbildungsdaten MIR23 und MB23 sind einander gleich.
Die Synthese-Verarbeitungssektion 94 führt die Synthese-Verarbeitung A3 auf der Basis von drei Abbildungsdaten MIR22, MIR21 und MIR23 durch, um Abbildungsdaten MIR3 zu erzeugen.
Die Bild-Abbildungsdaten MPIR und MPRGB entsprechen spezifischen Beispielen „erster Bild-Abbildungsdaten“ bzw. „zweiter Bild-Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MIR12, MIR11 und MIR13 entsprechen einem spezifischen Beispiel einer „Vielzahl erster Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MIR22, MIR21 und MIR23 entsprechen einem spezifischen Beispiel einer „Vielzahl zweiter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MIR3 entsprechen einem spezifischen Beispiel „dritter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MG12, MR11 und MB13 entsprechen einem spezifischen Beispiel einer „Vielzahl vierter Abbildungsdaten“ in der vorliegenden Offenbarung. Die Abbildungsdaten MG22, MR21 und MB23 entsprechen einem spezifischen Beispiel einer „Vielzahl fünfter Abbildungsdaten“ in der vorliegenden Offenbarung.
Wie oben beschrieben wurde, wird in der Bildgebungsvorrichtung 5 beispielsweise die Bildsegmentierungs-Verarbeitung A1 auf der Basis der Bild-Abbildungsdaten MPIR durchgeführt, um die Abbildungsdaten MIR12, MIR11 und MIR13 zu erzeugen, wird die Interpolations-Verarbeitung A2 jeweils an den Abbildungsdaten MIR12, MIR11 und MIR13 durchgeführt, um die Abbildungsdaten MIR22, MIR21 und MIR23 zu erzeugen, und wird die Synthese-Verarbeitung A3 auf der Basis der Abbildungsdaten MIR22, MIR21 und MIR23 durchgeführt, um die Abbildungsdaten MIR3 zu erzeugen. Dies ermöglicht, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) in den Abbildungsdaten MIR3 zu erhöhen und eine Bildqualität eines aufgenommenen Bildes in der Bildgebungsvorrichtung 5 wie in der oben beschriebenen ersten Ausführungsform zu steigern.
Außerdem sind in der Bildgebungsvorrichtung 5 die Anordnungsmuster PAT von Pixelwerten in der Bildsegmentierungs-Verarbeitung A1 dem Bayer-Array entsprechende Muster, so dass sie einer Anordnung von Farbfiltern 111R, 111G und 111B in der Bildgebungssektion 80 entsprechen. Die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MIR12 und MG12 sind einander gleich. Die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MIR11 und MR11 sind einander gleich. Die Anordnungsmuster PAT von Pixelwerten in den Abbildungsdaten MIR13 und MB13 sind einander gleich. Dies ermöglicht der Bildsegmentierungs-Verarbeitungssektion 92, die Bildsegmentierungs-Verarbeitung A1 mittels des gleichen Verfahrens auf der Basis von zwei Bild-Abbildungsdaten MPIR und MPRGB durchzuführen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion 92 zu vereinfachen.
Außerdem sind in der Bildgebungsvorrichtung 5 in der Interpolations-Verarbeitung A2 die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MIR22 und MG22 einander gleich, sind die Interpolationsverfahren zum Erzeugen der Aufzeichnungsbereich MIR21 und MR21 einander gleich und sind die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MIR23 und MB23 einander gleich, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion 93 zu vereinfachen.
Darüber hinaus ist es wie in der Bildgebungsvorrichtung 1 gemäß der oben beschriebenen ersten Ausführungsform in der Bildgebungsvorrichtung 5 möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht. Dementsprechend ermöglicht in der Bildgebungsvorrichtung 3 beispielsweise in einem Fall, in dem ein Bild eines dunklen Objekts aufgenommen wird, eine Durchführung der Bildsegmentierungs-Verarbeitung A1, der Interpolations-Verarbeitung A2 und der Synthese-Verarbeitung A3, ein Signal-Rausch-Verhältnis (S/N-Verhältnis) im aufgenommenen Bild zu erhöhen. Falls beispielsweise ein Bild eines hellen Objekts aufgenommen wird, werden die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 nicht durchgeführt, was ermöglicht, eine Auflösung im aufgenommenen Bild zu erhöhen. Dies ermöglicht folglich der Bildgebungsvorrichtung 5, eine Bildqualität des aufgenommenen Bildes zu steigern.
Wie oben beschrieben wurde, werden in der vorliegenden Ausführungsform die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchgeführt, was ermöglicht, das Signal-Rausch-Verhältnis im aufgenommenen Bild zu erhöhen. Dies ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
In der vorliegenden Ausführungsform sind die Anordnungsmuster von Pixelwerten in der Bildsegmentierungs-Verarbeitung dem Bayer-Array entsprechende Muster, so dass sie einer Anordnung der Farbfilter in der Bildgebungssektion entsprechen, was ermöglicht, eine Schaltungskonfiguration der Bildsegmentierungs-Verarbeitungssektion zu vereinfachen.
In der vorliegenden Ausführungsform sind in der Interpolations-Verarbeitung die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MIR22 und MG22 einander gleich, sind die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MIR21 und MR21 einander gleich und sind die Interpolationsverfahren zum Erzeugen der Abbildungsdaten MIR23 und MB23 einander gleich, was ermöglicht, eine Schaltungskonfiguration der Interpolations-Verarbeitungssektion 93 zu vereinfachen.
In der vorliegenden Ausführungsform ist es möglich, zu steuern, ob die Bildsegmentierungs-Verarbeitung, die Interpolations-Verarbeitung und die Synthese-Verarbeitung durchzuführen sind oder nicht, was ermöglicht, eine Bildqualität des aufgenommenen Bildes zu steigern.
[Modifikationsbeispiel 4-1]
Jedes der Modifikationsbeispiele der ersten Ausführungsform kann für die Bildgebungsvorrichtung 5 gemäß der oben beschriebenen Ausführungsform verwendet werden. Konkret kann beispielsweise wie in der Bildgebungsvorrichtung 2 (21) gemäß dem Modifikationsbeispiel der oben beschriebenen ersten Ausführungsform das Interpolationsverfahren in der Interpolations-Verarbeitung A2 in der Interpolations-Verarbeitungssektion 93 gesteuert werden, indem die Interpolationssteuerungs-Verarbeitung B1 auf der Basis der im Bildsignal DT51 enthaltenen Bild-Abbildungsdaten MPRGB durchgeführt wird.
<5. Nutzungsbeispiele einer Bildgebungsvorrichtung>
41 veranschaulicht Nutzungsbeispiele der Bildgebungsvorrichtung 1 und dergleichen gemäß den oben beschriebenen Ausführungsformen. Beispielsweise sind die Bildgebungsvorrichtung 1 und dergleichen, die oben beschrieben wurden, in einer Vielzahl von Fällen zum Erfassen von Licht wie etwa sichtbarem Licht, Infrarotlicht, ultraviolettem Licht und Röntgenstrahlen wie folgt verwendbar.
- Vorrichtungen, die Bilder zur Betrachtung aufnehmen, wie etwa Digitalkameras und mobile Vorrichtungen mit einer Kamerafunktion

- Vorrichtungen zur Nutzung im Verkehr wie etwa bordeigene Sensoren, die Bilder des vorderen Bereichs, des rückwärtigen Bereichs, der Umgebung, des Inneren und so weiter eines Automobils aufnehmen, für sicheres Fahren wie etwa einen automatischen Stopp und zur Erkennung eines Zustands eines Fahrers, Überwachungskameras, die fahrende Fahrzeuge und Straßen überwachen, und Abstandsmesssensoren, die einen Abstand von Fahrzeug zu Fahrzeug messen
- Vorrichtungen zur Nutzung in elektrischen Haushaltsgeräten wie etwa Fernsehgeräten, Kühlschränken und Klimaanlagen, um Bilder einer Geste eines Nutzers aufzunehmen und die Geräte entsprechend der Geste zu betreiben
- Vorrichtungen für die medizinische Versorgung und das Gesundheitswesen wie etwa Endoskope und Vorrichtungen, die Bilder von Blutgefäßen aufnehmen, indem Infrarotlicht empfangen wird
- Vorrichtungen zum Gebrauch im Sicherheitsbereich wie etwa Überwachungskameras zur Verbrechensvorbeugung und Kameras zur individuellen Authentifizierung
- Vorrichtungen zur Nutzung in der Schönheitspflege wie etwa Hautmessvorrichtungen, die Bilder einer Haut aufnehmen, und Mikroskope, die Bilder einer Kopfhaut aufnehmen
- Vorrichtungen zur Nutzung im Sport wie etwa Action-Kameras und tragbare Kameras für Sportanwendungen, etc.
- Vorrichtungen zur landwirtschaftlichen Nutzung wie etwa Kameras zum Überwachen von Feldern und Anbaukulturen

<6. Anwendungsbeispiele>
<Beispiel einer Anwendung für ein In-vivo-Informationserfassungssystem>
Die Technologie (die vorliegende Technologie) gemäß der vorliegenden Offenbarung ist ferner für verschiedene Produkte verwendbar. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung für ein System für endoskopische Chirurgie verwendet werden.
42 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines In-vivo-Informationserfassungssystems für einen Patienten unter Verwendung eines Endoskops vom Kapseltyp darstellt, für das die Technologie gemäß einer Ausführungsform der vorliegenden Offenbarung (vorliegende Technologie) verwendet werden kann.
Das In-vivo-Informationserfassungssystem 10001 umfasst ein Endoskop 10100 vom Kapseltyp und eine externe Steuerungseinrichtung 10200.
Das Endoskop 10100 vom Kapseltyp wird zur Untersuchungszeit von einem Patienten geschluckt. Das Endoskop 10100 vom Kapseltyp hat eine Bildaufnahmefunktion und eine Funktion zur drahtlosen Kommunikation und nimmt nacheinander ein Bild aus dem Inneren eines Organs wie etwa des Magens oder eines Darms (worauf im Folgenden auch als In-vivo-Bild verwiesen wird) in vorbestimmten Intervallen auf, während es sich mittels peristaltischer Bewegung innerhalb des Organs während eines Zeitraums bewegt, bis es vom Patienten auf natürlichem Wege ausgeschieden wird. Das Endoskop 10100 vom Kapseltyp überträgt dann drahtlos sukzessiv eine Information des In-vivo-Bilds zu der externen Steuerungseinrichtung 10200 außerhalb des Körpers.
Die externe Steuerungseinrichtung 10200 steuert integral einen Betrieb des In-vivo-Informationserfassungssystems 10001. Darüber hinaus empfängt die externe Steuerungseinrichtung 10200 eine Information eines vom Endoskop 10100 vom Kapseltyp dorthin übertragenen In-vivo-Bilds und erzeugt Bilddaten zum Anzeigen des In-vivo-Bilds auf einer (nicht dargestellten) Anzeigeeinrichtung auf der Grundlage der empfangenen Information des In-vivo-Bilds.
Im In-Vivo-Informationserfassungssystem 10001 kann ein In-vivo-Bild, das einen Zustand des Inneren des Körpers eines Patienten aufgenommen hat, auf diese Weise zu jeder beliebigen Zeit während eines Zeitraums erfasst werden, bis das Endoskop 10100 vom Kapseltyp ausgeschieden wird, nachdem es geschluckt wird.
Eine Konfiguration und Funktionen des Endoskops 10100 vom Kapseltyp und der externen Steuerungseinrichtung 10200 werden im Folgenden detaillierter beschrieben.
Das Endoskop 10100 vom Kapseltyp weist ein Gehäuse 10101 vom Kapseltyp auf, worin eine Lichtquelleneinheit 10111, eine Bildaufnahmeeinheit 10112, eine Bildverarbeitungseinheit 10113, eine Einheit 10114 zur drahtlosen Kommunikation, eine Stromzuführungseinheit 10115, eine Stromversorgungseinheit 10116 und eine Steuerungseinheit 10117 untergebracht sind.
Die Lichtquelleneinheit 10111 enthält eine Lichtquelle wie etwa beispielsweise eine lichtemittierende Diode (LED) und strahlt Licht auf ein Bildaufnahme-Sichtfeld der Bildaufnahmeeinheit 10112.
Die Bildaufnahmeeinheit 10112 enthält ein Bildaufnahmeelement und ein optisches System, das eine Vielzahl Linsen umfasst, die bei einer dem Bildaufnahmeelement vorhergehenden Stufe vorgesehen sind. Reflektiertes Licht (worauf im Folgenden als Beobachtungslicht verwiesen wird) von Licht, das auf ein Körpergewebe gestrahlt wird, das ein Beobachtungsziel ist, wird durch das optische System gesammelt und wird in das Bildaufnahmeelement eingeführt. In der Bildaufnahmeeinheit 10112 wird das einfallende Beobachtungslicht durch das Bildaufnahmeelement fotoelektrisch umgewandelt, wodurch ein dem Beobachtungslicht entsprechendes Bildsignal erzeugt wird. Das durch die Bildaufnahmeeinheit 10112 erzeugte Bildsignal wird der Bildverarbeitungseinheit 10113 bereitgestellt.
Die Bildverarbeitungseinheit 10113 enthält einen Prozessor wie etwa eine zentrale Verarbeitungseinheit (CPU) oder eine Graphikverarbeitungseinheit (GPU) und führt verschiedene Signalprozesse für ein durch die Bildaufnahmeeinheit 10112 erzeugtes Bildsignal durch. Die Bildverarbeitungseinheit 10113 stellt das Bildsignal, für das die Signalprozesse durchgeführt worden sind, damit der Einheit 10114 zur drahtlosen Kommunikation als Rohdaten bereit.
Die Einheit 10114 zur drahtlosen Kommunikation führt einen vorbestimmten Prozess wie etwa einen Modulationsprozess für das Bildsignal durch, für das die Signalprozesse durch die Bildverarbeitungseinheit 10113 durchgeführt wurden, und überträgt das resultierende Bildsignal über eine Antenne 10114A zur externen Steuerungseinrichtung 10200. Darüber hinaus empfängt die Einheit 10114 zur drahtlosen Kommunikation ein auf eine Antriebssteuerung des Endoskops 10100 vom Kapseltyp bezogenes Steuersignal von der externen Steuerungseinrichtung 10200 über die Antenne 10114A. Die Einheit 10114 zur drahtlosen Kommunikation liefert das von der externen Steuerungseinrichtung 10200 empfangene Steuersignal an die Steuerungseinheit 10117.
Die Stromzuführungseinheit 10115 enthält eine Antennenspule zur Leistungsaufnahme, eine Leistungsrückgewinnungsschaltung zum Rückgewinnen elektrischer Leistung von in der Antennenspule erzeugtem Strom, eine Spannungsverstärkerschaltung und dergleichen. Die Stromzuführungseinheit 10115 erzeugt elektrische Leistung unter Verwendung eines Prinzips einer sogenannten kontaktfreien Aufladung.
Die Stromversorgungseinheit 10116 enthält eine Sekundärbatterie und speichert die durch die Stromzuführungseinheit 10115 erzeugte elektrische Leistung. In 42 sind, um eine komplizierte Veranschaulichung zu vermeiden, eine Pfeilmarkierung, die ein Versorgungsziel der elektrischen Energie von der Stromversorgungseinheit 10116 angibt, usw. weggelassen. Die in der Stromversorgungseinheit 10116 gespeicherte elektrische Leistung wird jedoch der Lichtquelleneinheit 10111, der Bildaufnahmeeinheit 10112, der Bildverarbeitungseinheit 10113, der Einheit 10114 zur drahtlosen Kommunikation und der Steuerungseinheit 10117 bereitgestellt und kann genutzt werden, um diese anzusteuern.
Die Steuerungseinheit 10117 enthält einen Prozessor wie etwa eine CPU und steuert geeignet eine Ansteuerung der Lichtquelleneinheit 10111, der Bildaufnahmeeinheit 10112, der Bildverarbeitungseinheit 10113, der Einheit 10114 zur drahtlosen Kommunikation und der Stromzuführungseinheit 10115 gemäß einem von der externen Steuerungseinrichtung 10200 dorthin übertragenen Steuersignal.
Die externe Steuerungseinrichtung 10200 enthält einen Prozessor wie etwa eine CPU oder eine GPU, einen Mikrocomputer, eine Steuerungsplatine oder dergleichen, worin ein Prozessor und ein Speicherelement wie etwa ein Speicher gemischt integriert sind. Die externe Steuerungseinrichtung 10200 überträgt über eine Antenne 10200A ein Steuersignal zur Steuerungseinheit 10117 des Endoskops 10100 vom Kapseltyp, um den Betrieb des Endoskops 10100 vom Kapseltyp zu steuern. Im Endoskop 10100 vom Kapseltyp kann beispielsweise eine Bestrahlungsbedingung von Licht auf ein Beobachtungsziel der Lichtquelleneinheit 10111 zum Beispiel gemäß einem Steuerungssignal von der externen Steuerungseinrichtung 10200 geändert werden. Darüber hinaus kann eine Bildaufnahmebedingung (zum Beispiel eine Frame-Rate, ein Belichtungswert oder dergleichen in der Bildaufnahmeeinheit 10112) gemäß einem Steuerungssignal von der externen Steuerungseinrichtung 10200 geändert werden. Ferner kann der Gehalt einer Verarbeitung durch die Bildverarbeitungseinheit 10113 oder eine Bedingung zum Übertragen eines Bildsignals von der Einheit 10114 zur drahtlosen Kommunikation (zum Beispiel ein Übertragungsintervall, die Anzahl an Übertragungsbildern und dergleichen) gemäß einem Steuerungssignal von der externen Steuerungseinrichtung 10200 geändert werden.
Darüber hinaus führt die externe Steuerungseinrichtung 10200 verschiedene Bildprozesse für ein Bildsignal aus, das von dem Endoskop 10100 vom Kapseltyp dorthin übertragen wurde, um Bilddaten zum Anzeigen eines aufgenommenen In-vivo-Bilds auf der Anzeigeeinrichtung zu erzeugen. Als die Bildprozesse können verschiedene Signalprozesse ausgeführt werden, wie etwa beispielsweise ein Entwicklungsprozess (Prozess zum Demosaicing), ein eine Bildqualität verbessernder Prozess (ein Prozess zur Bandbreitenerweiterung, ein Superauflösungsprozess, ein Prozess zur Rauschunterdrückung (NR) und/oder ein Bildstabilisierungsprozess) und/oder ein Vergrößerungsprozess (Prozess eines elektronischen Zoom). Die externe Steuerungseinrichtung 10200 steuert eine Ansteuerung der Anzeigeeinrichtung, um die Anzeigeeinrichtung zu veranlassen, auf der Basis erzeugter Bilddaten aufgenommene In-vivo-Bilder anzuzeigen. Alternativ dazu kann die externe Steuerungseinrichtung 10200 auch eine (nicht veranschaulichte) Aufzeichnungseinrichtung steuern, um erzeugte Bilddaten aufzuzeichnen, oder eine (nicht veranschaulichte) Druckeinrichtung steuern, um erzeugte Bilddaten auszudrucken.
Ein Beispiel des In-vivo-Informationserfassungssystems, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann, wurde oben beschrieben. Die Technologie gemäß der vorliegenden Offenbarung kann für die Bildaufnahmeeinheit 10112 und die Bildverarbeitungseinheit 10113 unter den oben beschriebenen Komponenten verwendet werden. Dies ermöglicht, die Bildqualität eines aufgenommenen Bildes zu steigern, was dem Arzt ermöglicht, einen Zustand im Innern des Körpers eines Patienten genauer zu erfassen.
<4. Beispiel einer Anwendung auf ein System für endoskopische Chirurgie>
Die Technologie gemäß der vorliegenden Offenbarung (die vorliegende Technologie) kann für verschiedene Produkte verwendet werden. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung für ein System für endoskopische Chirurgie verwendet werden.
43 ist eine Ansicht, die ein Beispiel einer schematischen Konfiguration eines Systems für endoskopische Chirurgie darstellt, für das die Technologie gemäß einer Ausführungsform der vorliegenden Offenbarung (vorliegende Technologie) verwendet werden kann.
In 43 ist ein Zustand veranschaulicht, in welchem ein Chirurg (Arzt) 11131 gerade ein System 11000 für endoskopische Chirurgie verwendet, um einen chirurgischen Eingriff an einem Patienten 11132 auf einem Patientenbett 11133 durchzuführen. Wie dargestellt umfasst das System 11000 für endoskopische Chirurgie ein Endoskop 11100, andere chirurgische Instrumente 11110 wie etwa ein Pneumoperitoneum-Rohr 11111 und eine Energiebehandlungsvorrichtung 11112, eine Trägerarmeinrichtung 11120, die das Endoskop 11100 darauf trägt, und einen Rollwagen 11200, auf welchem verschiedene Einrichtungen für endoskopische Chirurgie montiert sind.
Das Endoskop 11100 umfasst einen Linsentubus 11101, mit einem Bereich vorbestimmter Länge von dessen Distalende, um in einen Körperhohlraum des Patienten 11132 eingeführt zu werden, und einen Kamerakopf 11102, der mit einem Proximalende des Linsentubus 11101 verbunden ist. In dem dargestellten Beispiel ist das Endoskop 11100 dargestellt, das ein steifes Endoskop mit dem Linsentubus 11101 vom harten Typ umfasst. Das Endoskop 11100 kann jedoch ansonsten als flexibles bzw. biegsames Endoskop mit dem Linsentubus 11101 vom biegsamen Typ einbezogen sein.
An seinem Distalende weist der Linsentubus 11101 eine Öffnung auf, in welche eine Objektlinse eingepasst ist. Eine Lichtquelleneinrichtung 11203 ist mit dem Endoskop 11100 so verbunden, dass von der Lichtquelleneinrichtung 11203 erzeugtes Licht in ein Distalende des Linsentubus 11101 durch eine Lichtführung eingeführt wird, die sich innerhalb des Linsentubus 11101 erstreckt, und in Richtung eines Beobachtungsziels in einem Körperhohlraum des Patienten 11132 durch die Objektlinse gestrahlt wird. Es ist besonders zu erwähnen, dass das Endoskop 11100 ein Endoskop für Geradeaussicht sein kann oder ein Endoskop für Schrägsicht oder ein Endoskop für eine Seitensicht sein kann.
Ein optisches System und ein Bildaufnahmeelement sind innerhalb des Kamerakopfes 11102 so vorgesehen, dass reflektiertes Licht (Beobachtungslicht) vom Beobachtungsziel durch das optische System auf dem Bildaufnahmeelement zusammengeführt bzw. gesammelt wird. Das Beobachtungslicht wird durch das Bildaufnahmeelement photoelektrisch umgewandelt, um ein dem Beobachtungslicht entsprechendes elektrisches Signal, nämlich ein einem Beobachtungsbild entsprechendes Bildsignal, zu erzeugen. Das Bildsignal wird als Rohdaten zu einer CCU 11201 übertragen.
Die CCU 11201 enthält eine zentrale Verarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU) oder dergleichen und steuert übergreifend bzw. integral eine Operation des Endoskops 11100 und einer Anzeigeeinrichtung 11202. Ferner empfängt die CCU 11201 ein Bildsignal vom Kamerakopf 11102 und führt für das Bildsignal verschiedene Bildprozesse zum Anzeigen eines auf dem Bildsignal basierenden Bildes wie etwa beispielsweise einen Entwicklungsprozess (Demosaicing-Prozess) durch.
Die Anzeigeeinrichtung 11202 zeigt darauf ein Bild, das auf einem Bildsignal basiert, für das von der CCU 11201 die Bildprozesse durchgeführt wurden, unter einer Steuerung der CCU 11201 an.
Die Lichtquelleneinrichtung 11203 enthält eine Lichtquelle, wie etwa beispielsweise eine lichtemittierende Diode (LED), und führt Bestrahlungslicht bei einer Abbildung eines Bereichs eines chirurgischen Eingriffs dem Endoskop 11100 zu.
Eine Eingabeeinrichtung 11204 ist eine Eingabeschnittstelle für das System 11000 für endoskopische Chirurgie. Ein Nutzer kann über die Eingabeeinrichtung 11204 Eingaben verschiedener Arten einer Information oder Anweisung durchführen, die in das System 11000 für endoskopische Chirurgie eingegeben werden. Beispielsweise gibt der Nutzer eine Anweisung oder dergleichen, um eine Bildaufnahmebedingung (eine Art von Bestrahlungslicht, eine Vergrößerung, eine Brennweite oder dergleichen) durch das Endoskop 11100 zu ändern, ein.
Eine Einrichtung 11205 zur Steuerung eines Behandlungsinstruments steuert eine Ansteuerung der Energiebehandlungsvorrichtung 11112 für eine Kauterisierung bzw. Verätzung oder einen Schnitt eines Gewebes, ein Verschließen eines Blutgefäßes oder dergleichen. Um das Sichtfeld des Endoskops 11100 sicherzustellen und den Arbeitsraum für den Chirurgen sicherzustellen, führt eine Pneumoperitoneum-Einrichtung 11206 durch das Pneumoperitoneum-Rohr 11111 Gas in einen Körperhohlraum des Patienten 11132 ein, um den Körperhohlraum auszudehnen. Eine Aufzeichnungseinrichtung 11207 ist eine Einrichtung, die verschiedene Arten einer Information in Bezug auf einen chirurgischen Eingriff aufzeichnen kann. Ein Drucker 11208 ist eine Einrichtung, die verschiedene Arten von Information in Bezug auf einen chirurgischen Eingriff in verschiedenen Formen wie etwa als Text, Bild oder grafische Darstellung drucken kann.
Es ist besonders zu erwähnen, dass die Lichtquelleneinrichtung 11203, die Bestrahlungslicht, wenn ein Bereich eines chirurgischen Eingriffs abgebildet werden soll, dem Endoskop 11100 zugeführt, eine Weißlichtquelle enthalten kann, die zum Beispiel eine LED, eine Laserlichtquelle oder eine Kombination von ihnen umfasst. Wenn eine Weißlichtquelle eine Kombination von roten, grünen und blauen (RGB-) Laserlichtquellen enthält, kann, da die Ausgabeintensität und der Ausgabezeitpunkt für jede Farbe (jede Wellenlänge) mit einem hohen Grad an Genauigkeit gesteuert werden kann, eine Einstellung des Weißabgleichs eines aufgenommenen Bildes von der Lichtquelleneinrichtung 11203 durchgeführt werden. Ferner wird in diesem Fall, falls Laserstrahlen von den jeweiligen RGB-Laserlichtquellen in Zeitmultiplex-Weise auf ein Beobachtungsziel gestrahlt werden, eine Ansteuerung der Bildaufnahmeelemente des Kamerakopfes 11102 synchron mit den Bestrahlungszeitpunkten gesteuert. Dann können den R-, G- und B-Farben individuell entsprechende Bilder ebenfalls in Zeitmultiplex-Weise aufgenommen werden. Gemäß diesem Verfahren ist es möglich, ein Farbbild zu erhalten, selbst wenn keine Farbfilter für das Bildaufnahmeelement vorgesehen sind.
Ferner kann die Lichtquelleneinrichtung 11203 so gesteuert werden, dass die Intensität eines abzugebenden Lichts für jede vorbestimmte Zeit geändert wird. Indem man eine Ansteuerung des Bildaufnahmeelements des Kamerakopfes 11102 synchron mit dem Zeitpunkt der Änderung der Lichtintensität steuert, um Bilder in Zeitmultiplex-Weise zu erfassen, und die Bilder kombiniert bzw. synthetisiert, kann ein Bild mit einem hohen Dynamikbereich ohne unterentwickelte blockierte Abschattungen und überbelichtete Hervorhebungen erzeugt werden.
Außerdem kann die Lichtquelleneinrichtung 11203 dafür konfiguriert sein, Licht eines vorbestimmten Wellenlängenbands, das für eine Beobachtung mit speziellem Licht geeignet ist, bereitzustellen. Bei einer Beobachtung mit speziellem Licht wird beispielsweise unter Ausnutzung der Wellenlängenabhängigkeit einer Lichtabsorption in Körpergewebe, um Licht eines schmalen Bandes zu strahlen, im Vergleich mit Bestrahlungslicht bei einer gewöhnlichen Beobachtung (nämlich weißes Licht), eine schmalbandige Beobachtung (schmalbandige Abbildung) zum Abbilden eines vorbestimmten Gewebes wie etwa eines Blutgefäßes eines Oberflächenbereichs der mukosalen Membran in einem hohen Kontrast durchgeführt. Alternativ dazu kann bei einer Beobachtung mit speziellem Licht eine Fluoreszenzbeobachtung durchgeführt werden, um ein Bild aus Fluoreszenzlicht zu erhalten, das mittels Bestrahlung mit Anregungslicht erzeugt wird. Bei einer Fluoreszenzbeobachtung ist es möglich, eine Beobachtung von Fluoreszenzlicht von einem Körpergewebe durchzuführen, indem Anregungslicht auf das Körpergewebe gestrahlt wird (Eigenfluoreszenz-Beobachtung), oder ein Fluoreszenzlichtbild zu erhalten, indem ein Reagenzmittel wie etwa Indocyaningrün (ICG) lokal in ein Körpergewebe injiziert und Anregungslicht entsprechend einer Fluoreszenzwellenlänge des Reagenzmittels auf das Körpergewebe gestrahlt wird. Die Lichtquelleneinrichtung 11203 kann dafür konfiguriert sein, derartiges schmalbandiges Licht und/oder Anregungslicht, das für eine Beobachtung mit speziellem Licht wie oben beschrieben geeignet ist, bereitzustellen.
44 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration des Kamerakopfes 11102 und der CCU 11201 zeigt, die in 11 dargestellt sind.
Der Kamerakopf 11102 enthält eine Linseneinheit 11401, eine Bildaufnahmeeinheit 11402, eine Ansteuereinheit 11403, eine Kommunikationseinheit 11404 und eine Kamerakopf-Steuereinheit 11405. Die CCU 11201 enthält eine Kommunikationseinheit 11411, eine Bildverarbeitungseinheit 11412 und eine Steuerungseinheit 11413. Der Kamerakopf 11102 und die CCU 11201 sind für eine Kommunikation miteinander durch ein Übertragungskabel 11400 verbunden.
Die Linseneinheit 11401 ist ein optisches System, das an einer Verbindungsstelle mit dem Linsentubus 11101 vorgesehen ist. Von einem Distalende des Linsentubus 11101 empfangenes Beobachtungslicht wird zum Kamerakopf 11102 geführt und in die Linseneinheit 11401 eingeführt. Die Linseneinheit 11401 enthält eine Kombination einer Vielzahl von Linsen, einschließlich einer Zoomlinse und einer Fokuslinse.
Die Anzahl an Bildaufnahmeeinheiten, die in der Bildaufnahmeeinheit 11402 enthalten sind, kann Eins (Einzelplattentyp) oder eine Mehrzahl (Mehrplattentyp) sein. Wenn die Bildaufnahmeeinheit 11402 beispielsweise wie diejenige des Mehrplattentyps konfiguriert ist, werden jeweiligen R, G und B entsprechende Bildsignale durch die Bildaufnahmeelemente erzeugt, und die Bildsignale können synthetisiert werden, um ein Farbbild zu erhalten. Die Bildaufnahmeeinheit 11402 kann auch so konfiguriert sein, dass sie ein Paar Bildaufnahmeelemente enthält, um jeweilige Bildsignale für das rechte Auge und das linke Auge zu erlangen, die für eine dreidimensionale (3D) Anzeige geeignet sind. Falls eine 3D-Anzeige ausgeführt wird, kann dann die Tiefe eines Gewebes eines lebenden Körpers in einem Bereich eines chirurgischen Eingriffs vom Chirurgen 11131 genauer erkannt werden. Es ist besonders zu erwähnen, dass, wenn die Bildaufnahmeeinheit 11402 wie diejenige eines stereoskopischen Typs konfiguriert ist, eine Vielzahl von Systemen von Linseneinheiten 11401 entsprechend den einzelnen Bildaufnahmeelementen vorgesehen ist.
Außerdem muss die Bildaufnahmeeinheit 11402 nicht notwendigerweise auf dem Kamerakopf 11102 vorgesehen sein. Beispielsweise kann die Bildaufnahmeeinheit 11402 unmittelbar hinter der Objektivlinse innerhalb des Linsentubus 11101 vorgesehen sein.
Die Ansteuereinheit 11403 enthält einen Aktuator und bewegt unter der Steuerung der Kamerakopf-Steuereinheit 11405 die Zoomlinse und die Fokuslinse der Linseneinheit 11401 um einen vorbestimmten Abstand entlang einer optischen Achse. Folglich können die Vergrößerung und der Fokus eines aufgenommenen Bildes durch die Bildaufnahmeeinheit 11402 geeignet eingestellt werden.
Die Kommunikationseinheit 11404 enthält eine Kommunikationseinrichtung zum Übertragen und Empfangen verschiedener Arten von Information zu und von der CCU 11201. Die Kommunikationseinheit 11404 überträgt ein von der Bildaufnahmeeinheit 11402 erlangtes Bildsignal über das Übertragungskabel 11400 als Rohdaten zur CCU 11201.
Außerdem empfängt die Kommunikationseinheit 11404 ein Steuerungssignal zum Steuern einer Ansteuerung des Kamerakopfes 11102 von der CCU 11201 und stellt das Steuerungssignal der Kamerakopf-Steuereinheit 11405 bereit. Das Steuerungssignal enthält Information in Bezug auf Bildaufnahmebedingungen, wie etwa zum Beispiel eine Information, dass eine Frame-Rate eines aufgenommenen Bildes bestimmt ist, eine Information, dass ein Belichtungswert bei einer Bildaufnahme bestimmt ist, und/oder eine Information, dass eine Vergrößerung und ein Fokus eines aufgenommenen Bildes bestimmt sind.
Es ist besonders zu erwähnen, dass die Bildaufnahmebedingungen wie etwa die Frame-Rate, der Belichtungswert, die Vergrößerung oder der Fokus durch den Nutzer bestimmt werden können oder durch die Steuerungseinheit 11413 der CCU 11201 auf der Basis des erfassten Bildsignals automatisch eingestellt werden können. Im letztgenannten Fall sind im Endoskop 11100 eine Funktion einer automatischen Belichtung (AE), eine Funktion eines Autofokus (AF) und eine Funktion eines automatischen Weißabgleichs (AWB) integriert.
Die Kamerakopf-Steuereinheit 11405 steuert eine Ansteuerung des Kamerakopfes 11102 auf der Basis eines über die Kommunikationseinheit 11404 von der CCU 11201 empfangenen Steuerungssignals.
Die Kommunikationseinheit 11411 enthält eine Kommunikationseinrichtung, um verschiedene Arten von Information zum Kamerakopf 11102 zu übertragen und von ihm zu empfangen. Die Kommunikationseinheit 11411 empfängt ein über das Übertragungskabel 11400 vom Kamerakopf 11102 dorthin übertragenes Bildsignal.
Außerdem überträgt die Kommunikationseinheit 11411 ein Steuerungssignal zum Steuern einer Ansteuerung des Kamerakopfes 11102 zum Kamerakopf 11102. Das Bildsignal und das Steuerungssignal können mittels elektrischer Kommunikation, optischer Kommunikation oder dergleichen übertragen werden.
Die Bildverarbeitungseinheit 11412 führt verschiedene Bildprozesse für ein Bildsignal in der Form vom Kamerakopf 11102 dorthin übertragener Rohdaten durch.
Die Steuerungseinheit 11413 führt verschiedene Arten einer Steuerung bezüglich einer Bildaufnahme eines Bereiches eines chirurgischen Eingriffs oder dergleichen durch das Endoskop 11100 und einer Anzeige eines aufgenommenen Bildes durch, das mittels einer Bildaufnahme des Bereichs eines chirurgischen Eingriffs oder dergleichen erhalten wurde. Beispielsweise erzeugt die Steuerungseinheit 11413 ein Steuerungssignal, um eine Ansteuerung des Kamerakopfes 11102 zu steuern.
Außerdem steuert die Steuerungseinheit 11413 auf der Basis eines Bildsignals, für das Bildprozesse mittels der Bildverarbeitungseinheit 11412 durchgeführt wurden, die Anzeigeeinrichtung 11202, um ein aufgenommenes Bild anzuzeigen, in welchem der Bereich eines chirurgischen Eingriffs oder dergleichen abgebildet ist. Daraufhin kann die Steuerungseinheit 11413 unter Verwendung verschiedener Bilderkennungstechnologien verschiedene Objekte in dem aufgenommenen Bild erkennen. Beispielsweise kann die Steuerungseinheit 11413 ein chirurgisches Instrument wie etwa eine Pinzette bzw. Zange, einen bestimmten Bereich eines lebenden Körpers, eine Blutung, Dunst, wenn die Energiebehandlungsvorrichtung 11112 verwendet wird, und so weiter erkennen, indem die Form, Farbe und so weiter von Rändern von Objekten detektiert werden, die in einem aufgenommenen Bild enthalten sind. Die Steuerungseinheit 11413 kann, wenn sie die Anzeigeeinrichtung 11202 steuert, um ein aufgenommenes Bild anzuzeigen, veranlassen, dass verschiedene Arten einer einen chirurgischen Eingriff unterstützenden Information überlappend mit einem Bild des Bereichs eines chirurgischen Eingriffs unter Verwendung eines Erkennungsergebnisses angezeigt werden. Wenn die einen chirurgischen Eingriff unterstützende Information überlappend angezeigt und dem Chirurgen 11131 präsentiert wird, kann die Belastung für den Chirurgen 11131 reduziert werden, und der Chirurg 11131 kann den chirurgischen Eingriff sicher fortführen.
Das Übertragungskabel 11400, das den Kamerakopf 11102 und die CCU 11201 miteinander verbindet, ist ein elektrisches Signalkabel, das eine Kommunikation elektrischer Signale geeignet ist, eine Lichtleitfaser, die für eine optische Kommunikation geeignet ist, oder ein Verbundkabel, das für sowohl elektrische als auch optische Kommunikation geeignet ist.
Während im dargestellten Beispiel unter Verwendung des Übertragungskabels 11400 eine Kommunikation mittels einer drahtgebundenen Kommunikation durchgeführt wird, kann hier die Kommunikation zwischen dem Kamerakopf 11102 und der CCU 11201 mittels einer drahtlosen Kommunikation durchgeführt werden.
Ein Beispiel eines Systems für endoskopische Chirurgie, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann, wurde beschrieben. Die Technologie gemäß der vorliegenden Offenbarung kann für die Bildaufnahmeeinheit 11402 und die Bildverarbeitungseinheit 11412 unter den oben beschriebenen Komponenten verwendet werden. Dies ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern, was dem Arzt ermöglicht, einen Zustand im Innern des Körpers eines Patienten genauer zu erfassen.
Es wird besonders betont, dass das System für endoskopische Chirurgie hier als ein Beispiel beschrieben wurde, die Technologie gemäß der vorliegenden Offenbarung aber außerdem für beispielsweise ein System für mikroskopische Chirurgie oder dergleichen verwendet werden kann.
<Beispiel einer Anwendung auf einen beweglichen Körper>
Die Technologie gemäß der vorliegenden Offenbarung kann für verschiedene Produkte verwendet werden. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung eine Vorrichtung sein, die an einem beliebigen Typ eines beweglichen Körpers wie etwa einem Automobil, einem Elektrofahrzeug, einem Hybrid-Elektrofahrzeug, einem Motorrad, einem Fahrrad, einer Vorrichtung für persönliche Mobilität, einem Flugzeug, einer Drohne, einem Schiff, einem Roboter, einer Baumaschine und einer landwirtschaftlichen Maschine (Traktor) montiert wird.
45 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems als ein Beispiel eines Systems zur Steuerung beweglicher Körper veranschaulicht, für das die Technologie gemäß einer Ausführungsform der vorliegenden Offenbarung verwendet werden kann.
Das Fahrzeugsteuerungssystem 12000 umfasst eine Vielzahl elektronischer Steuereinheiten, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. In dem in 45 dargestellten Beispiel umfasst das Fahrzeugsteuerungssystem 12000 eine Antriebssystem-Steuerungseinheit 12010, eine Karosseriesystem-Steuerungseinheit 12020, eine Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs, eine Einheit 12040 zur Detektion von Information im Fahrzeug und eine integrierte Steuereinheit 12050. Außerdem sind als eine funktionale Konfiguration der integrierten Steuereinheit 12050 ein Mikrocomputer 12051, eine Ton/Bild-Ausgabesektion 12052 und eine Schnittstelle (I/F) 12053 des im Fahrzeug montierten Netzwerks veranschaulicht.
Die Antriebssystem-Steuerungseinheit 12010 steuert gemäß verschiedenen Arten von Programmen die Operation von Vorrichtungen in Bezug auf das Antriebssystem des Fahrzeugs. Beispielsweise dient die Antriebssystem-Steuerungseinheit 12010 als Steuerungsvorrichtung für eine Antriebskraft-Erzeugungsvorrichtung zum Erzeugen einer Antriebskraft des Fahrzeugs wie etwa einen Verbrennungsmotor, einen Antriebsmotor oder dergleichen, einen Antriebskraft-Übertragungsmechanismus, um die Antriebskraft auf Räder zu übertragen, einen Lenkmechanismus, um den Lenkwinkel des Fahrzeugs einzustellen, eine Bremsvorrichtung, um die Bremskraft des Fahrzeugs zu erzeugen, und dergleichen.
Die Karosseriesystem-Steuerungseinheit 12020 steuert die Operation verschiedener Arten von Vorrichtungen, die an einer Fahrzeugkarosserie vorgesehen sind, gemäß verschiedenen Arten von Programmen. Beispielsweise dient die Karosseriesystem-Steuerungseinheit 12020 als Steuerungsvorrichtung für ein schlüsselloses Zugangssystem, ein System für intelligente Schlüssel, eine automatische Fenstervorrichtung oder verschiedene Arten von Leuchten wie etwa einen Frontscheinwerfer, einen Heckscheinwerfer, eine Bremsleuchte, ein Fahrtrichtungssignal, eine Nebelleuchte oder dergleichen. In diesem Fall können Funkwellen, die von einer mobilen Vorrichtung als Alternative zu einem Schlüssel gesendet werden, oder Signale verschiedener Arten von Schaltern in die Karosseriesystem-Steuerungseinheit 12020 eingespeist werden. Die Karosseriesystem-Steuerungseinheit 12020 empfängt diese eingespeisten Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, die automatische Fenstervorrichtung, die Leuchten oder dergleichen des Fahrzeugs.
Die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs detektiert Information über die äußere Umgebung des das Fahrzeugsteuerungssystem 12000 enthaltenden Fahrzeugs. Beispielsweise ist die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs mit einer Bildgebungssektion 12031 verbunden. Die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs veranlasst die Bildgebungssektion 12031, ein Bild der äußeren Umgebung des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs kann auf der Basis des empfangenen Bildes eine Verarbeitung zum Detektieren eines Objekts wie etwa einer Person, eines Wagens, eines Hindernisses, eines Verkehrsschilds, eines Zeichens auf einer Straßenoberfläche oder dergleichen oder eine Verarbeitung zum Detektieren eines Abstands dazu ausführen.
Die Bildgebungssektion 12031 ist ein optischer Sensor, der Licht empfängt und der entsprechend einer empfangenen Lichtmenge des Lichts ein elektrisches Signal abgibt. Die Bildgebungssektion 12031 kann auch das elektrische Signal als Bild ausgeben oder kann das elektrische Signal als Information über einen gemessenen Abstand abgeben. Außerdem kann das von der Bildgebungssektion 12031 empfangene Licht sichtbares Licht sein oder kann unsichtbares Licht wie etwa Infrarotstrahlen oder dergleichen sein.
Die Einheit 12040 zur Detektion von Information im Fahrzeug detektiert Information über das Innere bzw. aus dem Inneren des Fahrzeugs. Die Einheit 12040 zur Detektion von Information im Fahrzeug ist zum Beispiel mit einer Sektion 12041 zur Detektion eines Fahrerzustands verbunden, die den Zustand eines Fahrers detektiert. Die Sektion 12041 zur Detektion eines Fahrerzustands umfasst zum Beispiel eine Kamera, die den Fahrer aufnimmt. Die Einheit 12040 zur Detektion von Information im Fahrzeug kann auf der Basis einer von der Sektion 12041 zur Detektion eines Fahrerzustands eingegebenen Detektionsinformation einen Ermüdungsgrad des Fahrers oder einen Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst.
Der Mikrocomputer 12051 kann einen Steuerungszielwert für die Antriebskraft-Erzeugungsvorrichtung, den Lenkmechanismus oder die Bremsvorrichtung auf der Basis der Information über das Innere oder die äußere Umgebung des Fahrzeugs berechnen, welche Information durch die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information im Fahrzeug erhalten wird, und kann einen Steuerungsbefehl an die Antriebssystem-Steuerungseinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, die dazu gedacht ist, Funktionen eines fortgeschrittenen Fahrerassistenzsystems (ADAS) zu realisieren, dessen Funktionen eine Vermeidung einer Kollision oder Aufprallabschwächung für das Fahrzeug, eine Nachfolgefahrt basierend auf einem Folgeabstand, eine Fahrt bei konstanter Geschwindigkeit, eine Warnung vor einer Kollision des Fahrzeugs, eine Warnung vor einer Spurabweichung des Fahrzeugs oder dergleichen einschließen.
Außerdem kann der Mikrocomputer 12051 eine kooperative Steuerung ausführen, die für automatisches Fahren gedacht ist, die das Fahrzeug, ohne von einem Eingriff des Fahrers oder dergleichen abhängig zu sein, autonom fahren lässt, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Basis der Information über die äußere Umgebung oder das Innere des Fahrzeugs gesteuert werden, welche Information durch die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information im Fahrzeug erhalten wird.
Der Mikrocomputer 12051 kann außerdem einen Steuerungsbefehl an die Karosseriesystem-Steuerungseinheit 12020 auf der Basis der Information über die äußere Umgebung des Fahrzeugs ausgeben, welche Information durch die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs erhalten wird. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung ausführen, die dazu gedacht ist, eine Blendung zu verhindern, indem die Frontleuchte gemäß der Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das durch die Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs detektiert wird, gesteuert wird, um von Fernlicht auf Abblendlicht umzuschalten.
Die Ton/Bild-Ausgabesektion 12052 überträgt ein Ausgangssignal eines Tons und/oder eines Bildes an eine Ausgabevorrichtung, die eine Information einem Insassen des Fahrzeugs oder der äußeren Umgebung des Fahrzeugs optisch oder akustisch übermitteln kann. Im Beispiel von 45 sind als die Ausgabevorrichtung ein Lautsprecher 12061, eine Anzeigesektion 12062 und ein Armaturenbrett 12063 angegeben. Die Anzeigesektion 12062 kann beispielsweise eine bordeigene Anzeige und/oder ein Head-Up-Display umfassen.
46 ist ein Diagramm, das ein Beispiel einer Installationsposition der Bildgebungssektion 12031 veranschaulicht.
In 46 umfasst die Bildgebungssektion 12031 Bildgebungssektionen 12101, 12102, 12103, 12104 und 12105.
Die Bildgebungssektionen 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an Positionen an einer Frontpartie, von Seitenspiegeln, einer hinteren Stoßstange und einer Hecktür, des Fahrzeugs 12100 sowie einer Position an einem oberen Teil einer Windschutzscheibe im Inneren des Fahrzeugs angeordnet. Die an der Frontpartie vorgesehene Bildgebungssektion 12101 und die am oberen Teil der Windschutzscheibe im Inneren des Fahrzeugs vorgesehene Bildgebungssektion 12105 erhalten vorwiegend ein Bild von vor dem Fahrzeug 12100. Die an den Seitenspiegeln vorgesehenen Bildgebungssektionen 12102 und 12103 erhalten vorwiegend ein Bild von den Seiten des Fahrzeugs 12100. Die an der hinteren Stoßstange oder der Hecktür vorgesehene Bildgebungssektion 12104 erhält vorwiegend ein Bild von hinter dem Fahrzeug 12100. Die am oberen Teil der Windschutzscheibe im Inneren vorgesehene Bildgebungssektion 12105 wird vorwiegend genutzt, um ein vorausfahrendes Fahrzeug, einen Fußgänger, ein Hindernis, eine Verkehrsampel, ein Verkehrszeichen, eine Fahrspur oder dergleichen zu detektieren.
Im Übrigen stellt 46 ein Beispiel von Fotografierbereichen der Bildgebungssektionen 12101 bis 12104 dar. Ein Abbildungsbereich 12111 repräsentiert den Abbildungsbereich der an der Frontpartie vorgesehenen Bildgebungssektion 12101. Abbildungsbereiche 12112 und 12113 repräsentieren die Abbildungsbereiche der an den Seitenspiegeln vorgesehenen Bildgebungssektionen 12102 bzw. 12103. Ein Abbildungsbereich 12114 repräsentiert den Abbildungsbereich der an der hinteren Stoßstange oder der Hecktür vorgesehenen Bildgebungssektion 12104. Beispielsweise wird ein Bild aus der Vogelperspektive des Fahrzeugs 12100 , wie es von oben gesehen wird, erhalten, indem beispielsweise durch die Bildgebungssektionen 12101 bis 12104 abgebildete Bilddaten aufeinander gelegt werden.
Zumindest eine der Bildgebungssektionen 12101 bis 12104 kann eine Funktion zum Erhalten einer Abstandsinformation aufweisen. Beispielsweise kann zumindest eine der Bildgebungssektionen 12101 bis 12104 eine Stereokamera sein, die aus einer Vielzahl von Bildgebungselementen aufgebaut ist, oder kann ein Bildgebungselement sein, das Pixel für eine Detektion von Phasendifferenzen enthält.
Der Mikrocomputer 12051 kann beispielsweise einen Abstand zu jedem dreidimensionalen Objekt innerhalb der Abbildungsbereiche 12111 bis 12114 und eine zeitliche Änderung des Abstands (Relativgeschwindigkeit in Bezug auf das Fahrzeug 12100) auf der Basis der von den Bildgebungssektionen 12101 bis 12104 erhaltenen Abstandsinformation bestimmen und dadurch insbesondere als ein vorausfahrendes Fahrzeug ein nächstgelegenes dreidimensionales Objekt extrahieren, das sich auf einem Fahrweg des Fahrzeugs 12100 befindet und das mit einer vorbestimmten Geschwindigkeit (zum Beispiel gleich 0 km/h oder höher) in im Wesentlichen der gleichen Richtung wie das Fahrzeug 12100 fährt. Ferner kann der Mikrocomputer 12051 einen beizubehaltenden Folgeabstand zu einem vorausfahrenden Fahrzeug vorher festlegen und eine automatische Bremssteuerung (einschließlich einer Nachfolge-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Nachfolge-Start-Steuerung) oder dergleichen durchführen. Folglich ist es möglich, eine kooperative Steuerung auszuführen, die für automatisches Fahren gedacht ist, was das Fahrzeug, ohne vom Eingriff des Fahrers oder dergleichen abhängig zu sein, autonom fahren lässt.
Der Mikrocomputer 12051 kann zum Beispiel dreidimensionale Objektdaten über dreidimensionale Objekte in dreidimensionale Objektdaten eines zweirädrigen Fahrzeugs, eines Fahrzeugs üblicher Größe, eines großen Fahrzeugs, eines Fußgängers, eines Telefonmasten und andere dreidimensionale Objekte auf der Basis der Abstandsinformation klassifizieren, die von den Bildgebungssektionen 12101 bis 12104 erhalten werden, die klassifizierten dreidimensionalen Objektdaten extrahieren und die extrahierten dreidimensionalen Objekten zum automatischen Ausweichen eines Hindernisses nutzen. Beispielsweise identifiziert der Mikrocomputer 12051 Hindernisse um das Fahrzeug 12100 als Hindernisse, die der Fahrer des Fahrzeugs 12100 optisch erkennen kann, und Hindernisse, die für den Fahrer des Fahrzeugs 12100 optisch schwer zu erkennen sind. Der Mikrocomputer 12051 bestimmt dann ein Kollisionsrisiko, das ein Risiko einer Kollision mit jedem Hindernis angibt. In einer Situation, in der das Kollisionsrisiko gleich einem eingestellten Wert oder höher ist und somit eine Möglichkeit einer Kollision besteht, gibt der Mikrocomputer 12051 über den Lautsprecher 12061 oder die Anzeigesektion 12062 eine Warnung an den Fahrer aus und führt über die Antriebssystem-Steuerungseinheit 12010 eine erzwungene Abbremsung oder Ausweichlenkbewegung durch. Der Mikrocomputer 12051 kann dadurch beim Fahren unterstützen, um eine Kollision zu vermeiden.
Zumindest eine der Bildgebungssektionen 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem bestimmt wird, ob sich in aufgenommenen Bildern der Bildgebungssektionen 12101 bis 12104 ein Fußgänger befindet oder nicht. Eine solche Erkennung eines Fußgängers wird beispielsweise mittels einer Prozedur zum Extrahieren charakteristischer Punkte in den aufgenommenen Bildern der Bildgebungssektionen 12101 bis 12104 als Infrarotkameras und einer Prozedur, um zu bestimmen, ob es der Fußgänger ist oder nicht, indem eine Verarbeitung zum Musterabgleich an einer Reihe charakteristischer Punkte durchgeführt wird, die die Kontur des Objekts angeben. Wenn der Mikrocomputer 12051 bestimmt, dass es in den aufgenommenen Bildern der Bildgebungssektionen 12101 bis 12104 einen Fußgänger gibt, und somit den Fußgänger erkennt, steuert die Ton/Bild-Ausgabesektion 12052 die Anzeigesektion 12062, so dass eine viereckige Konturlinie zur Hervorhebung so angezeigt wird, dass sie dem erkannten Fußgänger überlagert wird. Die Ton/Bild-Ausgabesektion 12052 kann auch die Anzeigesektion 12062 so steuern, dass ein Symbol oder dergleichen, das den Fußgänger repräsentiert, an einer gewünschten Position angezeigt wird.
Ein Beispiel eines Fahrzeugsteuerungssystem, für das die vorliegenden Technologie gemäß der vorliegenden Offenbarung verwendet werden kann, wurde oben beschrieben. Die Technologie gemäß der vorliegenden Offenbarung kann für die Bildgebungssektion 12031 unter den oben beschriebenen Komponenten verwendet werden. Dies ermöglicht, eine Bildqualität eines aufgenommenen Bildes zu steigern, was dem Fahrzeugsteuerungssystem 12000 erlaubt, beispielsweise eine Umgebung außerhalb des Fahrzeugs genauer zu erfassen.
Obgleich die vorliegende Technologie oben unter Bezugnahme auf einige Ausführungsformen, Modifikationsbeispiele und spezifische Anwendungsbeispiele davon beschrieben wurde, ist die vorliegende Technologie nicht auf diese Ausführungsformen und dergleichen beschränkt und kann auf eine Vielzahl von Arten modifiziert werden.
Beispielsweise ist in den oben beschriebenen jeweiligen Ausführungsformen die Bildgebungsvorrichtung 1 unter Verwendung der Bildgebungssektion 10 und der Bildverarbeitungssektion 20 konfiguriert; dies ist aber nicht einschränkend. Alternativ dazu kann beispielsweise eine von der Bildgebungsvorrichtung 1 verschiedene Betriebsvorrichtung eine Funktion der Bildverarbeitungssektion 20 aufweisen. In diesem Fall wird die Betriebsvorrichtung mit einer Bilddatendatei versorgt, die Information über die Bild-Abbildungsdaten MPR, MPG und MPB und die Umwandlungsverstärkung GC enthält. Dies ermöglicht der Betriebsvorrichtung, die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 auf der Basis der Bilddatendatei durchzuführen. Die Betriebsvorrichtung kann einen Personalcomputer einschließen, der ein Bildverarbeitungsprogramm ausführt.
Außerdem steuert in den oben beschriebenen jeweiligen Ausführungsformen beispielsweise die Bildverarbeitungssektion 20 auf der Basis der durch das Verstärkungssignal SGAIN angegebenen Umwandlungsverstärkung CG, ob die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 durchzuführen sind oder nicht; dies ist aber nicht einschränkend. Alternativ dazu kann beispielsweise die Bildgebungssektion 10 bestimmen, ob die Bildsegmentierungs-Verarbeitung A1, die Interpolations-Verarbeitung A2 und die Synthese-Verarbeitung A3 durchzuführen sind oder nicht, und ein Modussignal erzeugen, das ein Ergebnis solch einer Bestimmung angibt. In diesem Fall ist es der Bildverarbeitungssektion 20 möglich, eine Operation gemäß dem Modussignal durchzuführen.
Es ist besonders zu erwähnen, dass die hier beschriebenen Effekte nur veranschaulichend und nicht einschränkend sind und andere Effekte einbezogen werden können.
Es ist besonders zu erwähnen, dass die vorliegende Technologie wie folgt konfiguriert sein kann.

(1) Ein Bildprozessor, umfassend:
- eine Bildsegmentierungs-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl erster Abbildungsdaten auf der Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten aufweist, die voneinander verschieden sind, und Pixelwerte enthält, die an voneinander verschiedenen Positionen gelegen sind;
- eine Interpolations-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und
- eine Synthese-Verarbeitungssektion, die dafür konfiguriert ist, dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
(2) Der Bildprozessor gemäß (1), worin die Anordnungsmuster schachbrettartige Muster sind.
(3) Der Bildprozessor gemäß (1) oder (2), ferner umfassend einen Interpolations-Controller, der dafür konfiguriert ist, ein Verarbeitungsverfahren in der Interpolations-Verarbeitung auf der Basis der ersten Bild-Abbildungsdaten zu bestimmen.
(4) Der Bildprozessor gemäß (3), worin der Interpolations-Controller dafür konfiguriert ist, das Verarbeitungsverfahren zu bestimmen, indem eine Interpolationsrichtung in der Interpolations-Verarbeitung auf der Basis der ersten Bild-Abbildungsdaten bestimmt wird.
(5) Der Bildprozessor gemäß (3) oder (4), worin der Interpolations-Controller dafür konfiguriert ist, eine Ortsfrequenzinformation auf der Basis der ersten Bild-Abbildungsdaten zu bestimmen und das Verarbeitungsverfahren auf der Basis der Ortsfrequenzinformation zu bestimmen.
(6) Der Bildprozessor gemäß einem von (3) bis (5), worin der Interpolations-Controller dafür konfiguriert ist, synthetisierte Abbildungsdaten auf der Basis der ersten Bild-Abbildungsdaten, zweiten Bild-Abbildungsdaten und dritten Bild-Abbildungsdaten zu erzeugen und das Verarbeitungsverfahren in der Interpolations-Verarbeitung auf der Basis der synthetisierten Abbildungsdaten zu bestimmen.
(7) Der Bildprozessor gemäß einem von (1) bis (6), worin die Bildsegmentierungs-Verarbeitungssektion dafür konfiguriert ist, ferner eine Vielzahl vierter Abbildungsdaten auf der Basis zweiter Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl vierter Abbildungsdaten Anordnungsmuster von Pixelwerten aufweist, die voneinander verschieden sind, und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält, die Interpolations-Verarbeitungssektion dafür konfiguriert ist, eine Vielzahl fünfter Abbildungsdaten entsprechend der Vielzahl vierter Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl vierter Abbildungsdaten unter Verwendung der Interpolations-Verarbeitung bestimmt wird, die Anordnungsmuster von Pixelwerten in der Vielzahl erster Abbildungsdaten ein erstes Anordnungsmuster und ein zweites Anordnungsmuster umfassen, und die Anordnungsmuster von Pixelwerten in der Vielzahl vierter Abbildungsdaten das erste Anordnungsmuster und das zweite Anordnungsmuster umfassen.
(8) Der Bildprozessor gemäß (7), worin ein Interpolationsverfahren in der Interpolations-Verarbeitung an der Vielzahl erster Abbildungsdaten gleich einem Interpolationsverfahren in der Interpolations-Verarbeitung an der Vielzahl vierter Abbildungsdaten ist.
(9) Der Bildprozessor gemäß (7) oder (8), worin die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe und eine Vielzahl von Pixelwerten für eine dritte Farbe enthält.
(10) Der Bildprozessor gemäß (7) oder (8), worin die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, und die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe, eine Vielzahl von Pixelwerten für eine dritte Farbe und eine Vielzahl von Pixelwerten für eine vierte Farbe enthält.
(11) Der Bildprozessor gemäß (7), worin die Synthese-Verarbeitungssektion dafür konfiguriert ist, sechste Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl fünfter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird, die Bildsegmentierungs-Verarbeitungssektion dafür konfiguriert ist, ferner eine Vielzahl siebter Abbildungsdaten auf der Basis dritter Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl siebter Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält, die Interpolations-Verarbeitungssektion dafür konfiguriert ist, eine Vielzahl achter Abbildungsdaten entsprechend der Vielzahl siebter Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl siebter Abbildungsdaten unter Verwendung der Interpolations-Verarbeitung bestimmt wird, die Synthese-Verarbeitungssektion dafür konfiguriert ist, neunte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl achter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird, und die Anordnungsmuster von Pixelwerten in der Vielzahl siebter Abbildungsdaten das erste Anordnungsmuster und das zweite Anordnungsmuster umfassen.
(12) Der Bildprozessor gemäß (11), worin ein Interpolationsverfahren in der Interpolations-Verarbeitung an der Vielzahl erster Abbildungsdaten gleich einem Interpolationsverfahren in der Interpolations-Verarbeitung an der Vielzahl vierter Abbildungsdaten und einem Interpolationsverfahren in der Interpolations-Verarbeitung an der Vielzahl siebter Abbildungsdaten ist.
(13) Der Bildprozessor gemäß (11) oder (12), worin die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe enthält, und die Vielzahl von Pixelwerten in den dritten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine dritte Farbe enthält.
(14) Der Bildprozessor gemäß einem von (11) bis (13), worin eine Anzahl der Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten von einer Anzahl der Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten verschieden ist.
(15) Der Bildprozessor gemäß (14), worin die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für Grün enthält, und zwei oder mehr Pixelwerte in den ersten Bild-Abbildungsdaten mit einem Pixelwert in den zweiten Bild-Abbildungsdaten assoziiert sind.
(16) Der Bildprozessor gemäß einem von (1) bis (5), ferner umfassend einen Generator, der die ersten Bild-Abbildungsdaten auf der Basis eines Bildsignals erzeugt, worin die ersten Bild-Abbildungsdaten Luminanz-Abbildungsdaten enthalten.
(17) Der Bildprozessor gemäß einem von (1) bis (16), ferner umfassend einen Verarbeitungs-Controller, der dafür konfiguriert ist, zu steuern, ob die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen sollen oder nicht.
(18) Der Bildprozessor gemäß (17), ferner umfassend eine Verarbeitungssektion, die dafür konfiguriert ist, eine vorbestimmte Signalverarbeitung auf der Basis der ersten Bild-Abbildungsdaten oder der dritten Bild-Abbildungsdaten durchzuführen, worin der Verarbeitungs-Controller dafür konfiguriert ist, die Verarbeitungssektion zu veranlassen, die vorbestimmte Signalverarbeitung auf der Basis der ersten Bild-Abbildungsdaten in einem ersten Betriebsmodus durchzuführen und die vorbestimmte Signalverarbeitung auf der Basis der dritten Bild-Abbildungsdaten in einem zweiten Betriebsmodus durchzuführen.
(19) Der Bildprozessor gemäß (18), worin der Verarbeitungs-Controller dafür konfiguriert ist, auf der Basis eines Parameters zu steuern, ob die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen sollen oder nicht.
(20) Der Bildprozessor gemäß (19), worin die ersten Bild-Abbildungsdaten von einer Bildgebungssektion bereitgestellt werden, der Parameter einen Verstärkungswert in der Bildgebungssektion enthält, und falls der Verstärkungswert höher als ein vorbestimmter Verstärkungswert ist, der Verarbeitungs-Controller eine Steuerung durchführt, um zu veranlassen, dass die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen.
(21) Ein Bildverarbeitungsverfahren, umfassend:
- eine Bildsegmentierungs-Verarbeitung, um eine Vielzahl erster Abbildungsdaten auf der Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält;
- eine Interpolations-Verarbeitung, um eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und
- eine Synthese-Verarbeitung, um dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl zweiter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
(22) Eine Bildgebungsvorrichtung, umfassend:
- eine Bildgebungssektion, die erste Bild-Abbildungsdaten erzeugt, die eine Vielzahl von Pixelwerten enthalten,
- eine Bildsegmentierungs-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl erster Abbildungsdaten auf der Basis der ersten Bild-Abbildungsdaten zu erzeugen, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält;
- eine Interpolations-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und
- eine Synthese-Verarbeitungssektion, die dafür konfiguriert ist, dritte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl zweiter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
(23) Die Bildgebungsvorrichtung gemäß (22), worin die Bildgebungssektion eine Vielzahl von Pixeln enthält, die in einer vorbestimmten Farbanordnung angeordnet sind, und die Anordnungsmuster ein Muster entsprechend der Farbanordnung aufweisen.

Diese Anmeldung beansprucht den Nutzen der am 9. Februar 2018 beim Japanischen Patentamt eingereichten japanischen Prioritäts-Patentanmeldung JP2018-022143 , deren gesamte Inhalte durch Verweis hierin einbezogen sind.
Es sollte sich für den Fachmann verstehen, dass je nach Entwurfsanforderung und anderen Faktoren verschiedene Modifikationen, Kombinationen, Teilkombinationen und Änderungen auftreten können, sofern sie innerhalb des Umfangs der beigefügten Ansprüche oder deren Äquivalente liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011138927 [0003]
JP 2018022143 [0273]

Claims

Bildprozessor, aufweisend: eine Bildsegmentierungs-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl erster Abbildungsdaten auf Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten aufweist, die voneinander verschieden sind, und Pixelwerte enthält, die an voneinander verschiedenen Positionen gelegen sind; eine Interpolations-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und eine Synthese-Verarbeitungssektion, die dafür konfiguriert ist, dritte Abbildungsdaten zu erzeugen, indem auf Basis von Pixelwerten an Positionen, die in der Vielzahl zweiter Abbildungsdaten einander entsprechen, ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Bildprozessor nach Anspruch 1, wobei die Anordnungsmuster schachbrettartige Muster sind.
Bildprozessor nach Anspruch 1, ferner aufweisend einen Interpolations-Controller, der dafür konfiguriert ist, ein Verarbeitungsverfahren in der Interpolations-Verarbeitung auf Basis der ersten Bild-Abbildungsdaten zu bestimmen.
Bildprozessor nach Anspruch 3, wobei der Interpolations-Controller dafür konfiguriert ist, das Verarbeitungsverfahren zu bestimmen, indem eine Interpolationsrichtung in der Interpolations-Verarbeitung auf Basis der ersten Bild-Abbildungsdaten bestimmt wird.
Bildprozessor nach Anspruch 3, wobei der Interpolations-Controller dafür konfiguriert ist, eine Ortsfrequenzinformation auf Basis der ersten Bild-Abbildungsdaten zu bestimmen und das Verarbeitungsverfahren auf Basis der Ortsfrequenzinformation zu bestimmen.
Bildprozessor nach Anspruch 3, wobei der Interpolations-Controller dafür konfiguriert ist, synthetisierte Abbildungsdaten auf Basis der ersten Bild-Abbildungsdaten, zweiten Bild-Abbildungsdaten und dritten Bild-Abbildungsdaten zu erzeugen und das Verarbeitungsverfahren in der Interpolations-Verarbeitung auf Basis der synthetisierten Abbildungsdaten zu bestimmen.
Bildprozessor nach Anspruch 1, wobei die Bildsegmentierungs-Verarbeitungssektion dafür konfiguriert ist, ferner eine Vielzahl vierter Abbildungsdaten auf Basis zweiter Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl vierter Abbildungsdaten Anordnungsmuster von Pixelwerten aufweist, die voneinander verschieden sind, und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält, die Interpolations-Verarbeitungssektion dafür konfiguriert ist, eine Vielzahl fünfter Abbildungsdaten entsprechend der Vielzahl vierter Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl vierter Abbildungsdaten unter Verwendung der Interpolations-Verarbeitung bestimmt wird, die Anordnungsmuster von Pixelwerten in der Vielzahl erster Abbildungsdaten ein erstes Anordnungsmuster und ein zweites Anordnungsmuster umfassen, und die Anordnungsmuster von Pixelwerten in der Vielzahl vierter Abbildungsdaten das erste Anordnungsmuster und das zweite Anordnungsmuster umfassen.
Bildprozessor nach Anspruch 7, wobei die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe und eine Vielzahl von Pixelwerten für eine dritte Farbe enthält.
Bildprozessor nach Anspruch 7, wobei die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, und die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe, eine Vielzahl von Pixelwerten für eine dritte Farbe und eine Vielzahl von Pixelwerten für eine vierte Farbe enthält.
Bildprozessor nach Anspruch 7, wobei die Synthese-Verarbeitungssektion dafür konfiguriert ist, sechste Abbildungsdaten zu erzeugen, indem auf Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl fünfter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird, die Bildsegmentierungs-Verarbeitungssektion dafür konfiguriert ist, ferner eine Vielzahl siebter Abbildungsdaten auf Basis dritter Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl siebter Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält, die Interpolations-Verarbeitungssektion dafür konfiguriert ist, eine Vielzahl achter Abbildungsdaten entsprechend der Vielzahl siebter Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl siebter Abbildungsdaten unter Verwendung der Interpolations-Verarbeitung bestimmt wird, die Synthese-Verarbeitungssektion dafür konfiguriert ist, neunte Abbildungsdaten zu erzeugen, indem auf der Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl achter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird, und die Anordnungsmuster von Pixelwerten in der Vielzahl siebter Abbildungsdaten das erste Anordnungsmuster und das zweite Anordnungsmuster umfassen.
Bildprozessor nach Anspruch 10, wobei die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine erste Farbe enthält, die Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine zweite Farbe enthält, und die Vielzahl von Pixelwerten in den dritten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für eine dritte Farbe enthält.
Bildprozessor nach Anspruch 10, wobei eine Anzahl der Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten von einer Anzahl der Vielzahl von Pixelwerten in den zweiten Bild-Abbildungsdaten verschieden ist.
Bildprozessor nach Anspruch 12, wobei die Vielzahl von Pixelwerten in den ersten Bild-Abbildungsdaten eine Vielzahl von Pixelwerten für Grün enthält, und zwei oder mehr Pixelwerte in den ersten Bild-Abbildungsdaten mit einem Pixelwert in den zweiten Bild-Abbildungsdaten assoziiert sind.
Bildprozessor nach Anspruch 1, ferner aufweisend einen Generator, der die ersten Bild-Abbildungsdaten auf Basis eines Bildsignals erzeugt, wobei die ersten Bild-Abbildungsdaten Luminanz-Abbildungsdaten enthalten.
Bildprozessor nach Anspruch 1, ferner aufweisend einen Verarbeitungs-Controller, der dafür konfiguriert ist, zu steuern, ob die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen sollen oder nicht.
Bildprozessor nach Anspruch 15, ferner aufweisend eine Verarbeitungssektion, die dafür konfiguriert ist, eine vorbestimmte Signalverarbeitung auf Basis der ersten Bild-Abbildungsdaten oder der dritten Bild-Abbildungsdaten durchzuführen, wobei der Verarbeitungs-Controller dafür konfiguriert ist, die Verarbeitungssektion zu veranlassen, die vorbestimmte Signalverarbeitung auf Basis der ersten Bild-Abbildungsdaten in einem ersten Betriebsmodus durchzuführen und die vorbestimmte Signalverarbeitung auf Basis der dritten Bild-Abbildungsdaten in einem zweiten Betriebsmodus durchzuführen.
Bildprozessor nach Anspruch 16, wobei der Verarbeitungs-Controller dafür konfiguriert ist, auf Basis eines Parameters zu steuern, ob die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen sollen oder nicht.
Bildprozessor nach Anspruch 17, wobei die ersten Bild-Abbildungsdaten von einer Bildgebungssektion bereitgestellt werden, der Parameter einen Verstärkungswert in der Bildgebungssektion enthält, und falls der Verstärkungswert höher als ein vorbestimmter Verstärkungswert ist, der Verarbeitungs-Controller eine Steuerung durchführt, um zu veranlassen, dass die Bildsegmentierungs-Verarbeitungssektion, die Interpolations-Verarbeitungssektion und die Synthese-Verarbeitungssektion eine Verarbeitung durchführen.
Bildverarbeitungsverfahren, aufweisend: eine Bildsegmentierungs-Verarbeitung, um eine Vielzahl erster Abbildungsdaten auf Basis erster Bild-Abbildungsdaten zu erzeugen, die eine Vielzahl von Pixelwerten enthalten, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält; eine Interpolations-Verarbeitung, um eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und eine Synthese-Verarbeitung, um dritte Abbildungsdaten zu erzeugen, indem auf Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl zweiter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.
Bildgebungsvorrichtung, aufweisend: eine Bildgebungssektion, die erste Bild-Abbildungsdaten erzeugt, die eine Vielzahl von Pixelwerten enthalten, eine Bildsegmentierungs-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl erster Abbildungsdaten auf Basis der ersten Bild-Abbildungsdaten zu erzeugen, wobei die Vielzahl erster Abbildungsdaten Anordnungsmuster von Pixelwerten, die voneinander verschieden sind, aufweist und an voneinander verschiedenen Positionen gelegene Pixelwerte enthält; eine Interpolations-Verarbeitungssektion, die dafür konfiguriert ist, eine Vielzahl zweiter Abbildungsdaten entsprechend der Vielzahl erster Abbildungsdaten zu erzeugen, indem ein Pixelwert an einer Position, wo kein Pixelwert vorhanden ist, in jeder der Vielzahl erster Abbildungsdaten unter Verwendung einer Interpolations-Verarbeitung bestimmt wird; und eine Synthese-Verarbeitungssektion, die dafür konfiguriert ist, dritte Abbildungsdaten zu erzeugen, indem auf Basis von Pixelwerten an einander entsprechenden Positionen in der Vielzahl zweiter Abbildungsdaten ein Pixelwert an einer den Positionen entsprechenden Position erzeugt wird.