DE112018005515T5 - Bildaufnahmesteuervorrichtung, bildaufnahmevorrichtung, steuerverfahren für die bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares medium - Google Patents

Abstract

Um Leistungsverbrauch in einer Bildaufnahmevorrichtung zu reduzieren, die eine Vielzahl von Teilen von Bilddaten erfasst.Eine Bildaufnahmevorrichtung umfasst eine Signalverarbeitungseinheit und eine Steuereinheit. Die Signalverarbeitungseinheit führt gemäß einem vorgegebenen Steuersignal entweder eine Facettenaugenverarbeitung zum Synthetisieren einer Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Teilen von Bilddaten ausgeführt wird, oder eine Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten aus. Die Steuereinheit liefert das vorgegebene Steuersignal an die Signalverarbeitungseinheit und veranlasst, dass eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf einer Grundalge eines Ergebnisses eines Vergleichs zwischen einer gemessen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird.

Description

• [Technisches Gebiet]
• Die vorliegende Technologie betrifft eine Bildaufnahmesteuervorrichtung, eine Bildaufnahmevorrichtung, ein Steuerverfahren für die Bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares Medium, insbesondere eine Bildaufnahmesteuervorrichtung, die eine Vielzahl von Festkörper-Bildaufnahmevorrichtungen umfasst, eine Bildaufnahmevorrichtung, ein Steuerverfahren für die Bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares Medium.
• [Stand der Technik]
• In der Vergangenheit wurde, um gleichzeitig eine Vielzahl von Teilen von Bilddaten zu erfassen, eine Facettenaugenbildaufnahmevorrichtung verwendet, die eine Vielzahl von Festkörper-Bildaufnahmevorrichtungen umfasst. Zum Beispiel wurde eine Bildaufnahmevorrichtung vorgeschlagen, die Farbbilddaten unter Verwendung einer Festkörper-Bildaufnahmevorrichtung erfasst, die einen Farbfilter umfasst, und monochrome Bilddaten unter Verwendung einer Festkörper-Bildaufnahmevorrichtung erfasst, die keinen Farbfilter umfasst (siehe zum Beispiel Patentliteratur 1). Da Einfallslicht dabei nicht durch einen Farbfilter abgeschwächt wird, werden die monochromen Bilddaten viel heller als die Farbbilddaten. Diese Bildaufnahmevorrichtung erfasst und synthetisiert gleichzeitig jene Farbbilddaten und monochrome Bildaufnahmedaten.
• [Auflistung von Entgegenhaltungen]
• [Patentliteratur]
• [PTL 1]
  JP20 11-239260
• [Kurzdarstellung]
• [Technisches Problem]
• Gemäß der vorstehend beschriebenen Technologie der Vergangenheit können durch Synthetisieren von verhältnismäßig hellen monochromen Bilddaten mit Farbbilddaten Farbbilddaten erzeugt werden, die heller sind als in einem Fall, in dem die Bilddaten nicht synthetisiert werden. Da jedoch ein Verarbeitungsbetrag einer Syntheseverarbeitung zum Synthetisieren einer Vielzahl von Teilen von Bilddaten größer ist als jener in einem Fall einer Verarbeitung eines Teils von Bilddaten, besteht ein Problem dahingehend, dass Leistungsverbrauch der Bildaufnahmevorrichtung im Vergleich mit dem Fall, in dem die Bilddaten nicht synthetisiert werden, erhöht ist. Da der Leistungsverbrauch steigt, bestehen Bedenken, dass sich ein Verlangsamen der Geschwindigkeit eines verbleibenden Batteriebetrags der Bildaufnahmevorrichtung und ein Wärmeerzeugungsbetrag der Bildaufnahmevorrichtung erhöhen, so dass es wünschenswert ist, den Leistungsverbrauch zu reduzieren.
• Die vorliegende Technologie wurde angesichts der vorstehend beschriebenen Umstände vorgenommen und setzt sich zum Ziel, den Leistungsverbrauch bei einer Bildaufnahmevorrichtung, die eine Vielzahl von Teilen von Bilddaten erfasst, zu reduzieren.
• [Lösung des Problems]
• Die vorliegende Technologie wurde vorgenommen, um die vorstehend beschriebenen Probleme zu lösen, und gemäß einem ersten Aspekt der vorliegenden Technologie, wird eine Bildaufnahmesteuervorrichtung bereitgestellt, umfassend: eine Signalverarbeitungseinheit, die gemäß einem vorgegebenen Steuersignal entweder eine Facettenaugenverarbeitung zum Synthetisieren einer Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Teilen von Bilddaten ausgeführt wird, oder eine Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten durchführt; und eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer gemessenen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird, und ein Steuerverfahren dafür. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung der Signalverarbeitungseinheit von einer von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung gemäß der physikalischen Größe umgeschaltet wird.
• Außerdem kann bei diesem ersten Aspekt die vorgegebene physikalische Größe eine physikalische Größe sein, die gemäß einer Bildaufnahmeumgebung schwankt. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung der Signalverarbeitungseinheit von einer von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung gemäß der Bildaufnahmeumgebung umgeschaltet wird.
• Außerdem kann in diesem ersten Aspekt die Bildaufnahmesteuervorrichtung ferner einen Temperatursensor, der eine Temperatur als die vorgegebene physikalische Größe misst, umfassen und die Steuereinheit kann veranlassen, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die Temperatur höher ist als der vorgegebene Schwellenwert. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung der Signalverarbeitungseinheit von der Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die Temperatur höher ist als der Schwellenwert.
• Außerdem kann in diesem ersten Aspekt die Signalverarbeitungseinheit ein Verarbeiten des Messens einer Lichtmenge des Einfallslichts als der vorgegebenen physikalischen Größe und ein Erlangen der Lichtmenge als einer photometrischen Größe umfassen, und die Steuereinheit kann veranlassen, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die photometrische Größe größer ist als der vorgegebene Schwellenwert. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung der Signalverarbeitungseinheit von der Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die photometrische Größe größer ist als der Schwellenwert.
• Außerdem kann in diesem ersten Aspekt die Signalverarbeitungseinheit ein Verarbeiten des Messens eines Bewegungsbetrags eines Objekts als der vorgegebenen physikalischen Größe umfassen, und die Steuereinheit kann veranlassen, dass die Einaugenverarbeitung auf die Facettenaugenverarbeitung in einem Fall umgeschaltet wird, in dem der Bewegungsbetrag größer ist als der vorgegebene Schwellenwert. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung der Signalverarbeitungseinheit von der Einaugenverarbeitung auf die Facettenaugenverarbeitung in einem Fall umgeschaltet wird, in dem der Bewegungsbetrag des Objekts größer ist als der Schwellenwert.
• Außerdem kann in diesem ersten Aspekt die Vielzahl von Teilen von Bilddaten Bilder sein, die in Synchronisation mit vorgegebenen Synchronisationssignalen erfasst werden, und die Signalverarbeitungseinheit kann eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung nach dem Ausführen einer Übergangsverarbeitung zum Durchführen einer Synthese umschalten, während ein Syntheseverhältnis jedes Mal, nachdem ein vorgegebener Zyklus verstrichen ist, geändert wird. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung nach einem schrittweisen Ändern des Syntheseverhältnisses umgeschaltet wird.
• Außerdem wird gemäß einem zweiten Aspekt der vorliegenden Technologie eine Bildaufnahmesteuervorrichtung bereitgestellt, umfassend: eine Syntheseverarbeitungseinheit, die eine Vielzahl von Teilen von Bilddaten synthetisiert und die Daten als synthetische Bilddaten ausgibt; eine Sendeeinheit, die gemäß einem vorgegebenen Steuersignal entweder eine einkanalige Sendeverarbeitung zum Senden der synthetischen Bilddaten zusammen mit einem einzelnen Teil von Bilddaten als einem beliebigen der Vielzahl von Teilen von Bilddaten über einen Einzelkommunikationskanal oder eine mehrkanalige Sendeverarbeitung, um das Einzelteil von Bilddaten und die synthetischen Bilddaten über wechselseitig verschiedene Kommunikationskanäle zu senden, durchführt; und eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung auf die andere von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer gemessenen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird. Dementsprechend kann eine Operation erzielt werden, bei der eine von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung auf die andere von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung gemäß der physikalischen Größe umgeschaltet wird.
• Außerdem kann in diesem zweiten Aspekt die Bildaufnahmevorrichtung ferner eine Skalierungsverarbeitungseinheit umfassen, die ein beliebiges von der Vielzahl von Teilen von Bilddaten reduziert, und die Steuereinheit kann die Skalierungsverarbeitungseinheit steuern, um ein Reduzierungsverhältnis auf der Grundlage des Ergebnisses des Vergleichs zwischen der vorgegebenen physikalischen Größe und dem vorgegebenen Schwellenwert zu ändern. Dementsprechend kann eine Operation erzielt werden, bei der das Reduzierungsverhältnis gemäß der physikalischen Größe geändert wird.
• Außerdem kann in diesem zweiten Aspekt die Bildaufnahmevorrichtung ferner eine Synchronisationssteuereinheit umfassen, die ein vorgegebenes Synchronisationssignal liefert, wobei jedes der Vielzahl von Teilen von Bilddaten Bilddaten darstellen kann, die in Synchronisation mit dem vorgegebenen Synchronisationssignal erfasst wurden, und die Steuereinheit, kann die Synchronisationssteuereinheit steuern, um eine Frequenz des vorgegebenen Synchronisationssignals auf der Grundlage des Ergebnisses des Vergleichs zwischen der vorgegebenen physikalischen Größe und dem vorgegebenen Schwellenwert zu ändern. Dementsprechend kann eine Operation erzielt werden, bei der die Frequenz des Synchronisationssignals gemäß der physischen Größe geändert wird.
• Außerdem wird gemäß einem dritten Aspekt der vorliegenden Technologie eine Bildaufnahmevorrichtung bereitgestellt, umfassend: ein Kameramodul, das eine Vielzahl von Teilen von Bilddaten erfasst; eine Signalverarbeitungseinheit, die gemäß einem vorgegebenen Steuersignal entweder eine Facettenaugenverarbeitung zum Synthetisieren der Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Teilen von Bilddaten ausgeführt wird, oder eine Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten durchführt; und eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer gemessenen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird. Dementsprechend kann eine Operation erzielt werden, bei der die Verarbeitung an den Bilddaten vom Kameramodul von einer von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung gemäß der physikalischen Größe umgeschaltet wird.
• [Vorteilhafte Wirkungen der Erfindung]
• Gemäß der vorliegenden Technologie ist es möglich, eine ausgezeichnete Wirkung dahingehend zu erzielen, dass der Leistungsverbrauch in einer Bildaufnahmevorrichtung, die eine Vielzahl von Teilen von Bilddaten erfasst, reduziert werden kann. Es ist zu beachten, dass die hier beschriebenen Wirkungen nicht notwendigerweise beschränkt sind, und eine beliebige der in der vorliegenden Offenbarung beschriebenen Wirkungen erzielt werden kann.
• Figurenliste
• [1] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Bildaufnahmevorrichtung gemäß einer ersten Ausführungsform der vorliegenden Technologie zeigt.
• [2] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel eines Kameramoduls gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [3] Ein Beispiel eines Querschnittsdiagramms einer Festkörper-Bildaufnahmevorrichtung gemäß der ersten Ausführungsform der vorliegenden Technologie.
• [4] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Signalverarbeitungseinheit gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [5] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Farbbildsignalverarbeitungseinheit gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [6] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Syntheseverarbeitungseinheit gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [7] Ein Zeitdiagramm, das ein Beispiel eines Betriebs der Bildaufnahmevorrichtung gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [8] Ein Blockdiagramm, das ein Beispiel eines Zustands der Bildaufnahmevorrichtung in einem Fall zeigt, in dem eine Syntheseverarbeitung in der ersten Ausführungsform der vorliegenden Technologie nicht ausgeführt wird.
• [9] Ein Ablaufdiagramm, das ein Beispiel eines Betriebs der Bildaufnahmevorrichtung gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [10] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Bildaufnahmevorrichtung gemäß einem ersten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [11] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Signalverarbeitungseinheit gemäß dem ersten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [12] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Farbbildsignalverarbeitungseinheit gemäß einem zweiten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [13] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Signalverarbeitungseinheit gemäß einer zweiten Ausführungsform der vorliegenden Technologie zeigt.
• [14] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel eines Anwendungsprozessors gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt.
• [15] Ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Bildaufnahmevorrichtung gemäß einem modifizierten Beispiel der zweiten Ausführungsform der vorliegenden Technologie zeigt.
• [16] Ein Blockdiagramm, das ein schematisches Ausgestaltungsbeispiel eines Fahrzeugsteuerungssystems zeigt.
• [17] Ein Erläuterungsdiagramm, das ein Beispiel einer Einstellposition einer Bildaufnahmeeinheit zeigt.
• [Beschreibung von Ausführungsformen]
• Nachstehend werden Modi zum Ausführen der vorliegenden Technologie (nachstehend als Ausführungsformen bezeichnet) beschrieben. Beschreibungen werden in der folgenden Reihenfolge angegeben.
1. 1. Erste Ausführungsform (Beispiel des Schaltens von der Facettenaugenverarbeitung auf die Einaugenverarbeitung, wenn die Temperatur höher ist als der Schwellenwert)
2. 2. Zweite Ausführungsform (Beispiel des Schaltens von 2 Kanälen auf 1 Kanal, wenn die Temperatur höher ist als der Schwellenwert)
3. 3. Beispiel einer Anwendung auf ein mobiles Objekt
• <Erste Ausführungsform>
• „Ausgestaltungsbeispiel einer Bildaufnahmevorrichtung“
• 1 ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel einer Bildaufnahmevorrichtung 100 gemäß einer ersten Ausführungsform der vorliegenden Technologie zeigt. Diese Bildaufnahmevorrichtung 100 erfasst Bilddaten und umfasst Kameramodule 110 und 130, eine Bildaufnahmesteuervorrichtung 200 und einen Anwendungsprozessor 150. Es wird angenommen, dass die Bildaufnahmevorrichtung 100 ein Smartphone, eine Aktionskamera, eine IoT-Kamera (Internet of Things), eine fahrzeuginterne Kamera und dergleichen ist.
• Die Kameramodule 110 und 130 erfassen Bilddaten in Synchronisation mit einem vertikalen Synchronisationssignal VSYNC, das eine vorgegebene Frequenz (30 Hertz usw.) aufweist. Diese Kameramodule 110 und 130 erfassen gleichzeitig Bilddaten in Synchronisation mit dem gleichen Vertikalsynchronisationssignal VSYNC. Dann liefert das Kameramodul 110 die Bilddaten an die Bildaufnahmesteuervorrichtung 200 über eine Signalleitung 119, und das Kameramodul 130 liefert die Bilddaten an die Bildaufnahmesteuervorrichtung 200 über eine Signalleitung 139.
• Außerdem arbeitet oder stoppt das Kameramodul 110 gemäß einem Aktivierungssignal ENc1 von der Bildaufnahmesteuervorrichtung 200, und das Kameramodul 130 arbeitet oder stoppt gemäß einem Aktivierungssignal ENc2 von der Bildaufnahmesteuervorrichtung 200. Das Aktivierungssignal ENc1 wird über eine Signalleitung 217 gesendet, und das Aktivierungssignal ENc2 wird über eine Signalleitung 218 gesendet.
• Die Bildaufnahmesteuervorrichtung 200 steuert einen Bildaufnahmebetrieb der Bildaufnahmevorrichtung 100 und umfasst eine Steuereinheit 210, einen Temperatursensor 220 und eine Signalverarbeitungseinheit 240.
• Der Temperatursensor 220 misst eine Temperatur der Bildaufnahmevorrichtung 100. Der Temperatursensor 220 liefert Temperaturdaten, die einen Messwert anzeigen, an die Steuereinheit 210 über eine Signalleitung 229.
• Die Signalverarbeitungseinheit 240 führt eine vorgegebene Signalverarbeitung an zwei Teilen von Bilddaten von den Kameramodulen 110 und 130 aus. Unter Steuerung der Steuereinheit 210 führt die Signalverarbeitungseinheit 240 eine Facettenaugenverarbeitung oder eine Einaugenverarbeitung aus. Hierbei stellt die Facettenaugenverarbeitung eine Verarbeitung des Ausführens einer Signalverarbeitung an jedem der zwei Teile von Bilddaten und des Synthetisierens von diesen dar. Außerdem stellt die Einaugenverarbeitung eine Verarbeitung des Ausführens einer Signalverarbeitung an lediglich einem der zwei Teile von Bilddaten dar. Die Signalverarbeitungseinheit 240 liefert die verarbeiteten Bilddaten an den Anwendungsprozessor 150 über eine Signalleitung 209.
• Außerdem steuert die Signalverarbeitungseinheit 240 einen Belichtungsbetrag der Kameramodule 110 und 130 und eine Position einer Sammellinse.
• Der Anwendungsprozessor 150 führt verschiedene Arten einer Bildverarbeitung, wie z.B. Objekterkennungsverarbeitung und Filterverarbeitung, an Bilddaten von der Signalverarbeitungseinheit 240 aus. Zum Beispiel zeichnet dieser Anwendungsprozessor 150 verarbeitete Bilddaten in einem nicht flüchtigen Speicher (nicht dargestellt) oder dergleichen auf. Außerdem liefert der Anwendungsprozessor 150 zum Beispiel die verarbeiteten Bilddaten an eine Anzeigevorrichtung (nicht dargestellt) zum Anzeigen.
• Die Steuereinheit 210 steuert die Kameramodule 110 und 130 und die Signalverarbeitungseinheit 240 auf der Grundlage eines Ergebnisses eines Vergleichs zwischen einer gemessen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert. Es ist wünschenswert, dass die zu messende physikalische Größe gemäß einer Bildaufnahmeumgebung schwankt. Eine Temperatur wird zum Beispiel als eine solche physikalische Größe verwendet. Wenn eine vorgegebene Anwendung zum Durchführen einer Bildaufnahme ausgeführt wird, liefert die Steuereinheit 210 die Aktivierungssignale ENc1 und ENc2 an die Signalverarbeitungseinheit 240, um sowohl das Kameramodul 110 als auch 130 zu betreiben. Außerdem liefert zu dem Zeitpunkt die Steuereinheit 210 Aktivierungssignale ENs1, ENs2 und ENs3 an die Signalverarbeitungseinheit 240, um die Signalverarbeitungseinheit 240 dazu zu veranlassen, die Facettenaugenverarbeitung auszuführen. Einzelheiten der Aktivierungssignale ENs1 bis ENs3 werden später beschrieben. Diese Aktivierungssignale ENs1 bis ENs3 werden über eine Signalleitung 219 gesendet. Es ist zu beachten, dass die Aktivierungssignale ENs1, ENs2 und ENs3 Beispiele eines Steuersignals darstellen, das im Umfang der Ansprüche beschrieben ist.
• Dann überwacht die Steuereinheit 210 die Temperatur und bestimmt, ob die Temperatur höher ist als ein vorgegebener oberer Grenzschwellenwert oder nicht. Wenn die Temperatur höher wird als der obere Grenzschwellenwert, liefert die Steuereinheit 210 die Aktivierungssignale ENs1, ENs2 und ENs3 an die Signalverarbeitungseinheit 240, um die Signalverarbeitungseinheit 240 zu steuern, um ein Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung zu beginnen. Wenn das Schalten abgeschlossen wurde, liefert dann die Steuereinheit 210 das Aktivierungssignal ENc1 oder ENc2 an die Signalverarbeitungseinheit 240, um eines der Kameramodule 110 und 130 anzuhalten.
• Auf diese Weise wird, wenn die Temperatur höher wird als der obere Grenzschwellenwert, eines der Kameramodule 110 und 130 gestoppt und ein Schalten wird auf die Einaugenverarbeitung vorgenommen, wodurch der Leistungsverbrauch reduziert wird und ein Temperaturanstieg unterdrückt wird.
• Außerdem bestimmt die Steuereinheit 210 nach dem Schalten auf die Einaugenverarbeitung, ob die Temperatur niedriger ist als ein vorgegebener unterer Grenzschwellenwert oder nicht. Wenn die Temperatur niedriger wird als der untere Grenzschwellenwert, steuert die Steuereinheit 210 die Signalverarbeitungseinheit 240 durch die Aktivierungssignale ENs1, ENs2 und ENs3, um ein Schalten von der Einaugenverarbeitung auf die Facettenaugenverarbeitung zu beginnen. Wenn das Schalten abgeschlossen wurde, veranlasst dann die Steuereinheit 210 durch die Aktivierungssignale ENc1 und ENc2, dass sowohl das Kameramodul 110 als auch 130 arbeiten.
• „Ausgestaltungsbeispiel eines Kameramoduls“
• 2 sind Blockdiagramme, die ein Ausgestaltungsbeispiel der Kameramodule 110 und 130 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigen. „a“ in den Figuren ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel des Kameramoduls 110 zeigt, und „b“ in den Figuren stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel des Kameramoduls 130 zeigt.
• Das Kameramodul 110 umfasst ein optisches System 111 und eine Festkörper-Bildaufnahmevorrichtung 120. Das optische System 111 umfasst eine Vielzahl von optischen Komponenten, die eine Blende und eine Sammellinse umfassen, und sammelt Einfallslicht und leitet es an die Festkörper-Bildaufnahmevorrichtung 120. Die Festkörper-Bildaufnahmevorrichtung 120 erfasst Farbbilddaten, die Farbinformationen und Luminanzinformationen umfassen, in Synchronisation mit dem Vertikalsynchronisationssignal VSYNC.
• Die Signalverarbeitungseinheit 240 steuert einen Blendenöffnungsbetrag des optischen Systems 111 und eine Belichtungszeit der Festkörper-Bildaufnahmevorrichtung 120, um einen Belichtungsbetrag auf einen geeigneten Wert einzustellen. Außerdem steuert die Signalverarbeitungseinheit 240 eine Position der Sammellinse des optischen Systems 111 zum Fokussieren.
• Außerdem umfasst das Kameramodul 130 ein optisches System 131 und eine Festkörper-Bildaufnahmevorrichtung 140. Eine Ausgestaltung des optischen Systems 131 ist jener des optischen Systems 111 ähnlich. Die Festkörper-Bildaufnahmevorrichtung 140 erfasst monochrome Bilddaten, die lediglich Luminanzinformationen umfassen, in Synchronisation mit dem Vertikalsynchronisationssignal VSYNC. Die Signalverarbeitungseinheit 240 steuert außerdem einen Belichtungsbetrag und einen Brennpunkt des Kameramoduls 130.
• Es ist zu beachten, dass, obwohl das optische System 111 und die Festkörper-Bildaufnahmevorrichtung 120 und das optische System 131 und die Festkörper-Bildaufnahmevorrichtung 140 in getrennten Kameramodulen angeordnet sind, alle von ihnen in einem einzelnen Kameramodul angeordnet werden können.
• 3 stellen ein Beispiel von Querschnittsdiagrammen der Festkörper-Bildaufnahmevorrichtungen 120 und 140 gemäß der ersten Ausführungsform der vorliegenden Technologie dar. „a“ in den Figuren stellt ein Beispiel des Querschnittsdiagramms der Festkörper-Bildaufnahmevorrichtung 120 dar, und „b“ in den Figuren ist ein Beispiel des Querschnittsdiagramms der Festkörper-Bildaufnahmevorrichtung 140.
• Auf einer Lichtempfangsfläche der Festkörper-Bildaufnahmevorrichtung 120 wird eine Mikrolinse 121 für jedes Pixel bereitgestellt. Ein Farbfilter 122 wird unterhalb jeder der Mikrolinsen 121 mit einer Richtung bereitgestellt, die von der Mikrolinse 121 zu einem Brennpunkt gerichtet ist, was eine Abwärtsrichtung darstellt. Eine Lichtempfangsvorrichtung 123 ist unterhalb jedes der Farbfilter 122 angeordnet. Dieser Farbfilter 122 transmittiert Licht, das eine von einer roten Wellenlänge, einer grünen Wellenlänge und einer blauen Wellenlänge aufweist. Indem eine photoelektrische Umwandlung an diesem transmittierten Licht vorgenommen wird, werden Farbbilddaten erzeugt, in denen jeweilige Pixelsignale von R (Rot), G (Grün) und B (Blau) in einem zweidimensionalen Gitter angeordnet sind. Eine Verdrahtungsschicht 124 wird unterhalb der Lichtempfangsvorrichtungen 123 bereitgestellt. Da die Verdrahtungsschicht 124 eine Vorderfläche darstellt, wird die Festkörper-Bildaufnahmevorrichtung 120, in der Licht auf eine Rückfläche in Bezug auf die Vorderfläche eingestrahlt wird, wie vorstehend beschrieben, eine Festkörper-Bildaufnahmevorrichtung des Rückbestrahlungstyps genannt.
• Auf einer Lichtempfangsfläche der Festkörper-Bildaufnahmevorrichtung 140 wird eine Mikrolinse 141 für jedes Pixel bereitgestellt. Eine Lichtempfangsvorrichtung 143 ist unterhalb jeder der Mikrolinsen 141 bereitgestellt. Eine Verdrahtungsschicht 144 wird unterhalb der Lichtempfangsvorrichtungen 143 bereitgestellt. Da die Festkörper-Bildaufnahmevorrichtung 140 keinen Farbfilter umfasst, werden monochrome Bilddaten durch die Festkörper-Bildaufnahmevorrichtung 140 erfasst. Außerdem können, da Einfallslicht nicht durch den Farbfilter in der Festkörper-Bildaufnahmevorrichtung 140 abgeschwächt wird, monochrome Bilddaten, die heller sind als Farbbilddaten, unter Lichtquellen derselben Lichtmenge erzielt werden.
• Obwohl die Festkörper-Bildaufnahmevorrichtung des Rückbestrahlungstyps als die Festkörper-Bildaufnahmevorrichtungen 120 und 140 verwendet wird, ist es zu beachten, dass eine Festkörper-Bildaufnahmevorrichtung des Vorderbestrahlungstyps ebenfalls verwendet werden kann.
• „Ausgestaltungsbeispiel der Signalverarbeitungseinheit“
• 4 stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel der Signalverarbeitungseinheit 240 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt. Diese Signalverarbeitungseinheit 240 umfasst eine Farbbildsignalverarbeitungseinheit 241, eine Signalverarbeitungseinheit 240 monochromer Bilder, eine Syntheseverarbeitungseinheit 250 und eine Sendeeinheit 248.
• Die Farbbildsignalverarbeitungseinheit 241 führt eine vorgegebene Signalverarbeitung an Farbbilddaten vom Kameramodul 110 aus. Diese Farbbildsignalverarbeitungseinheit 241 liefert die verarbeiteten Farbbilddaten an die Syntheseverarbeitungseinheit 250. Außerdem arbeitet oder stoppt die Farbbildsignalverarbeitungseinheit 241 gemäß dem Aktivierungssignal ENs1 von der Steuereinheit 210.
• Die Signalverarbeitungseinheit 247 monochromer Bilder führt eine vorgegebene Signalverarbeitung an monochromen Bilddaten vom Kameramodul 130 aus. Diese Signalverarbeitungseinheit 247 monochromer Bilder liefert die verarbeiteten monochromen Bilddaten an die Syntheseverarbeitungseinheit 250. Außerdem arbeitet oder hält die Signalverarbeitungseinheit 247 monochromer Bilder gemäß dem Aktivierungssignal ENs2 von der Steuereinheit 210.
• Die Syntheseverarbeitungseinheit 250 synthetisiert Farbbilddaten und monochrome Bilddaten, die einer Signalverarbeitung unterzogen wurden. Die Syntheseverarbeitungseinheit 250 synthetisiert die Farbbilddaten und die monochromen Bilddaten in Synchronisation mit dem Vertikalsynchronisationssignal VSYNC, um synthetische Bilddaten zu erzeugen. Dann ändert die Syntheseverarbeitungseinheit 250 ein Syntheseverhältnis gemäß dem Aktivierungssignal ENs3 von der Steuereinheit 210. Hierbei ist das Aktivierungssignal ENs3 ein Signal zum Anweisen entweder eines Anfangs oder eines Endes einer Synthese. Ein Verfahren zum Ändern eines Syntheseverhältnisses wird später beschrieben. Die Syntheseverarbeitungseinheit 250 liefert die verarbeiteten Bilddaten an die Sendeeinheit 248 als Ausgabebilddaten.
• Die Sendeeinheit 248 sendet Ausgabebilddaten. Die Sendeeinheit 248 sendet Ausgabebilddaten an den Anwendungsprozessor 150 zum Beispiel gemäß einem MIPI-Standard (Mobile Industry Processor Interface).
• 5 stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel der Farbbildsignalverarbeitungseinheit 241 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt. Diese Farbbildsignalverarbeitungseinheit 241 umfasst eine Demosaikverarbeitungseinheit 242, eine Detektionseinheit 243, eine Belichtungssteuereinheit 244 und eine Fokussteuereinheit 245.
• Die Demosaikverarbeitungseinheit 242 führt eine Demosaikverarbeitung zum Interpolieren, für jedes Pixel, einer unzureichenden Farbinformation von umgebenden Pixeln an den Farbbilddaten aus. Durch die Demosaikverarbeitung werden Farbbilddaten, die R-, G- und B-Signale für jedes Pixel umfassen, erzeugt. Diese Demosaikverarbeitungseinheit 242 liefert die der Demosaikverarbeitung unterzogenen Farbbilddaten an die Syntheseverarbeitungseinheit 250. Es ist zu beachten, dass zusätzlich zur Demosaikverarbeitung die Farbbildsignalverarbeitungseinheit 241 ferner eine andere Verarbeitung, wie z.B. eine Filterverarbeitung und Defektpixel-Interpolationsverarbeitung, ausführen kann.
• Die Detektionseinheit 243 misst eine Lichtmenge des Einfallslichts aus den Farbbilddaten und erlangt sie als eine photometrische Größe. Zum Beispiel kann die photometrische Größe als ein Detektionswert durch ein Verfahren einer zentrumsbetonten Photometrie oder ein Punktphotometrieverfahren erlangt werden. Die Detektionseinheit 243 liefert den Detektionswert (die photometrische Größe) an die Belichtungssteuereinheit 244.
• Die Belichtungssteuereinheit 244 steuert ein Belichtungsbetrag auf einen geeigneten Wert auf der Grundlage des Detektionswertes. Diese Belichtungssteuereinheit 244 steuert einen Blendenöffnungswert und eine Belichtungszeit des Kameramoduls 110, um den Belichtungsbetrag auf einen geeigneten Wert einzustellen.
• Die Fokussteuereinheit 245 fokussiert das Kameramodul 110. Diese Fokussteuereinheit 245 detektiert eine Position im Fokus zum Beispiel unter Verwendung eines Verfahrens zum Detektieren eines Bildebenenphasenunterschieds oder eines Kontrastdetektionsverfahrens und bewegt die Sammellinse des Kameramoduls 110 in diese Position.
• Die Ausgestaltung der Signalverarbeitungseinheit 247 monochromer Bilder ist jener der Farbbildsignalverarbeitungseinheit 241 ähnlich, mit der Ausnahme, dass die Demosaikverarbeitung nicht ausgeführt wird.
• „Ausgestaltungsbeispiel der Syntheseverarbeitungseinheit“
• 6 stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel der Syntheseverarbeitungseinheit 250 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt. Die Syntheseverarbeitungseinheit 250 umfasst eine Positionierungsverarbeitungseinheit 251, eine YC-Umwandlungseinheit 252, eine Luminanzsignalsyntheseeinheit 253, eine RGB-Umwandlungseinheit 254 und einen Schalter 255.
• Die Positionierungsverarbeitungseinheit 251 positioniert die Farbbilddaten und die monochromen Bilddaten. Die Positionierungsverarbeitungseinheit 251 korrigiert eine aufgrund eines Befestigungsfehlers oder eines Unterschieds der Kameramodule 110 und 130 auftretende Positionsabweichung zwischen den zwei Teilen von Bilddaten durch eine parallele Bewegung, eine Drehung oder dergleichen. Die Positionierungsverarbeitungseinheit 251 liefert die positionierten Farbbilddaten an die YC-Umwandlungseinheit 252 und liefert die monochromen Bilddaten an die Luminanzsignalsyntheseeinheit 253.
• Die YC-Umwandlungseinheit 252 konvertiert für jedes Pixel in den Farbbilddaten R-, G- und B-Signale in ein Luminanzsignal Y1 und Farbdifferenzsignale Cb und Cr durch die folgenden Ausdrücke. $$\text{Y}1=\mathrm{0,257}\text{R}+\mathrm{0,504}\text{G}+\mathrm{0,098}\text{B}+16$$

  

  $$\text{Cb}=-\mathrm{0,148}\text{R}-\mathrm{0,291}\text{G}+\mathrm{0,439}\text{B}+128$$

  

  $$\text{Cr}=\mathrm{0,439}\text{R}-\mathrm{0,368}\text{G}-\mathrm{0,071}\text{B}+128$$

  
• Die YC-Umwandlungseinheit 252 liefert das Luminanzsignal Y1 an die Luminanzsignalsyntheseeinheit 253 und liefert die Farbdifferenzsignale Cb und Cr an die RGB-Umwandlungseinheit 254.
• Die Luminanzsignalsyntheseeinheit 253 synthetisiert das Luminanzsignal Y1 der Farbbilddaten und ein Luminanzsignal Y2 der monochromen Bilddaten für jedes Pixel gemäß dem folgenden Ausdruck. $$\text{Y}3=\text{Y}1*\left(\text{A}/100\right)+\text{Y}2*\left(1-\text{A}\right)/100$$

  

  Im vorstehenden Ausdruck repräsentiert A ein Syntheseverhältnis in Prozent, und Y3 repräsentiert ein Luminanzsignal, das nach der Synthese erlangt wird.
• Die Luminanzsignalsyntheseeinheit 253 liefert das nach der Synthese erlangte Luminanzsignal Y3 an die RGB-Umwandlungseinheit 254.
• Die RGB-Umwandlungseinheit 254 konvertiert das Luminanzsignal Y3 und die Farbdifferenzsignale Cr und Cb in R-, G- und B-Signale für jedes Pixel durch die folgenden Ausdrücke. Die RGB-Umwandlungseinheit 254 liefert die konvertierten Bilddaten an den Schalter 255. $$\text{R}=\mathrm{1,164}\left(\text{Y}3-16\right)-\mathrm{1,596}\left(\text{Cr}-128\right)$$

  

  $$\begin{array}{l}\text{G}=\mathrm{1,164}\left(\text{Y}3-16\right)-\mathrm{0,391}\left(\text{Cb}-128\right)\\ -\mathrm{0,813}\left(\text{Cr}-128\right)\end{array}$$

  

  $$\text{B}=\mathrm{1,164}\left(\text{Y}3-16\right)-\mathrm{2,018}\left(\text{Cb}-128\right)$$

  
• Der Schalter 255 wählt entweder die Bilddaten von der RGB-Umwandlungseinheit 254 oder die Farbbilddaten von der Farbbildsignalverarbeitungseinheit 241 unter Steuerung der Luminanzsignalsyntheseeinheit 253 aus. In einem Anfangszustand werden die Bilddaten von der RGB-Umwandlungseinheit 254 gewählt. Der Schalter 255 liefert die ausgewählten Bilddaten an die Sendeeinheit 248 als Ausgabebilddaten.
• Wenn ein Synthesebeginn durch das Aktivierungssignal ENs3 angewiesen wird, stellt die Luminanzsignalsyntheseeinheit 253 einen Anfangswert (z.B. „0“) eines Syntheseverhältnisses A ein und beginnt die Synthese. Wenn ein Syntheseende durch das Aktivierungssignal ENs3 nach dem Beginn der Synthese angewiesen wird, führt dann die Luminanzsignalsyntheseeinheit 253 eine Übergangsverarbeitung zum Erhöhen des Syntheseverhältnisses A jedes Mal aus, wenn ein Bildzyklus, der einen Zyklus des Vertikalsynchronisationssignals VSYNC darstellt, verstrichen ist. Zum Beispiel wird in einem Fall, in dem das Syntheseverhältnis A um „10“ Prozent (10 %) bei jedem Bildzyklus erhöht wird, das Syntheseverhältnis A „100“ Prozent (%) bei 10 Bildzyklen, und die Übergangsverarbeitung endet. Zu dem Zeitpunkt, zu dem die Übergangsverarbeitung endet, steuert die Luminanzsignalsyntheseeinheit 253 den Schalter 255, um Farbbilddaten von der Farbbildsignalverarbeitungseinheit 241 auszuwählen. Durch Ausführen dieser Übergangsverarbeitung kann eine plötzliche Änderung der Helligkeit in den Ausgabebilddaten unterdrückt werden.
• Wenn ein Synthesebeginn durch das Aktivierungssignal ENs3 nach dem Ende der Synthese angewiesen wird, führt dann die Luminanzsignalsyntheseeinheit 253 eine Übergangsverarbeitung zum Verringern des Syntheseverhältnisses A jedes Mal aus, wenn der Bildzyklus verstrichen ist. Außerdem steuert die Luminanzsignalsyntheseeinheit 253 den Schalter 255, um die Bilddaten von der RGB-Umwandlungseinheit 254 auszuwählen.
• Obwohl die Syntheseverarbeitungseinheit 250 die monochromen Bilddaten und die Farbbilddaten synthetisiert, ist es zu beachten, dass eine Kombination der zu synthetisierenden Bilddaten nicht auf die monochromen Bilddaten und die Farbbilddaten beschränkt ist. Zum Beispiel kann die Syntheseverarbeitungseinheit 250 zwei Teile von Farbbilddaten synthetisieren. Obwohl die Syntheseverarbeitungseinheit 250 die Synthese durchführt, während das Luminanzsignal und die Farbdifferenzsignale getrennt werden, kann außerdem die Synthese durchgeführt werden, ohne sie zu trennen.
• 7 ist ein Zeitdiagramm, das ein Beispiel eines Betriebs der Bildaufnahmevorrichtung 100 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt. Bevor eine Bildaufnahme beginnt, werden alle der Aktivierungssignale ENc1, ENc2, ENs1, ENs2 und ENs3 zum Beispiel auf deaktiviert eingestellt.
• Wenn eine Anwendung oder dergleichen zum Durchführen einer Bildaufnahme zu einem Zeitpunkt T0 ausgeführt wird, stellt die Steuereinheit 210 alle der Aktivierungssignale ENc1, ENc2, ENs1, ENs2 und ENs3 auf aktiviert ein. Folglich beginnen die Kameramodule 110 und 130 zu arbeiten. Außerdem führt die Signalverarbeitungseinheit 240 eine Facettenaugenverarbeitung aus und gibt synthetische Bilddaten aus.
• Aufgrund der Operationen der Kameramodule 110 und 130 und einer Steigerung eines Verarbeitungsbetrags der Signalverarbeitungseinheit 240 erhöhen sich der Leistungsverbrauch und ein Wärmeerzeugungsbetrag der Bildaufnahmevorrichtung 100, und eine Temperatur der Bildaufnahmevorrichtung 100 steigt allmählich. Dann wird die Temperatur zu einem Zeitpunkt T1 höher als ein oberer Grenzschwellenwert Th1. Um einen Schaden von Schaltungen aufgrund von Wärme zu verhindern, wird hierbei in einer elektronischen Vorrichtung in vielen Fällen eine Sicherheitsschaltung zum Anhalten von Operation der Schaltungen, wenn eine Temperatur der Vorrichtung höher wird als ein bestimmter Stoppschwellenwert, aufgenommen. Als der obere Grenzschwellenwert Th1 wird ein Wert eingestellt, der niedriger ist als ein solcher Stoppschwellenwert.
• Zum Zeitpunkt T1 stellt die Steuereinheit 210 das Aktivierungssignal ENs3 auf der Grundlage eines Vergleichsergebnisses zwischen der Temperatur und dem oberen Grenzschwellenwert Th1 auf deaktiviert ein, um auf diese Weise ein Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung zu beginnen.
• Gemäß dem Aktivierungssignal ENs3 führt die Syntheseverarbeitungseinheit 250 die Übergangsverarbeitung zum allmählichen Ändern des Syntheseverhältnisses aus. Diese Übergangsverarbeitung endet, nachdem eine bestimmte Zeit verstrichen ist. Zum Beispiel wird in einem Fall, in dem das Syntheseverhältnis A um „10“ Prozent (10 %) bei jedem Bildzyklus erhöht wird, das Syntheseverhältnis A „100“ Prozent (%) bei 10 Bildzyklen, und die Übergangsverarbeitung endet.
• Zu einem Zeitpunkt T2, zu dem die Übergangsverarbeitung endet, hält die Steuereinheit 210 das Kameramodul 130 und die Signalverarbeitungseinheit 247 monochromer Bilder gemäß dem Aktivierungssignal ENc2 und dem Aktivierungssignal ENs2 an. Durch Anhalten der Signalverarbeitungseinheit 247 monochromer Bilder, beginnt die Signalverarbeitungseinheit 240 die Einaugenverarbeitung und gibt Farbbilddaten aus.
• Durch Anhalten des Kameramoduls 130 und Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung verringern sich der Leistungsverbrauch und der Wärmeerzeugungsbetrag der Bildaufnahmevorrichtung 100, und die Temperatur der Bildaufnahmevorrichtung 100 sinkt allmählich.
• Wenn die Temperatur niedriger als ein unterer Grenzschwellenwert Th2 zu einem Zeitpunkt T2 wird, stellt dann die Steuereinheit 210 die Aktivierungssignale ENs2 und ENs3 auf aktiviert ein, um ein Schalten von der Einaugenverarbeitung auf die Facettenaugenverarbeitung zu beginnen.
• Die Signalverarbeitungseinheit 247 monochromer Bilder beginnt gemäß dem Aktivierungssignal ENs2 zu arbeiten, und die Syntheseverarbeitungseinheit 250 führt die Übergangsverarbeitung aus, um das Syntheseverhältnis gemäß dem Aktivierungssignal ENs3 allmählich zu ändern.
• Obwohl die Signalverarbeitungseinheit 240 die Übergangsverarbeitung zuerst ausführt und dann die Verarbeitung ausführt, auf die das Schalten vorgenommen wurde (Einaugenverarbeitung oder Facettenaugenverarbeitung), wenn ein Schalten durch das Aktivierungssignal angewiesen wird, ist es zu beachten, dass, dass es ebenfalls möglich ist, jene Verarbeitung auszuführen, ohne die Übergangsverarbeitung auszuführen.
• 8 ist ein Blockdiagramm, das ein Beispiel eines Zustands der Bildaufnahmevorrichtung in einem Fall zeigt, in dem die Syntheseverarbeitung gemäß der ersten Ausführungsform der vorliegenden Technologie nicht ausgeführt wird. Wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, deaktiviert die Steuereinheit 210 die Aktivierungssignale ENc2, ENs2 und ENs3. Folglich hören das Kameramodul 130 und die Signalverarbeitungseinheit 240 monochromer Bilder auf zu arbeiten, und die Syntheseverarbeitungseinheit 250 hält die Syntheseverarbeitung an. Daher werden der Leitungsverbrauch und der Wärmeerzeugungsbetrag der Bildaufnahmevorrichtung 100 reduziert.
• Wenn zum Beispiel die Temperatur der Bildaufnahmevorrichtung 100 derart steigt, dass sie den Stoppschwellenwert während einer Aufzeichnung übersteigt, besteht eine Möglichkeit, dass ein Teil der Schaltungen zum Schutz der Schaltung der Bildaufnahmevorrichtung 100 und für die Sicherheit eines Benutzers automatisch stoppt, und daher wird die Aufzeichnung unterbrochen. Wenn jedoch die Temperatur höher wird als der obere Grenzschwellenwert Th1, der niedriger ist als der Stoppschwellenwert, schaltet die Bildaufnahmevorrichtung 100 von der Facettenaugenverarbeitung auf die Einaugenverarbeitung um, um den Leistungsverbrauch und den Wärmeerzeugungsbetrag zu reduzieren. Daher wird der Temperaturanstieg unterdrückt, und die Aufzeichnung kann fortgesetzt werden.
• „Betriebsbeispiel einer Bildaufnahmevorrichtung“
• 9 ist ein Ablaufdiagramm, das ein Beispiel eines Betriebs der Bildaufnahmevorrichtung 100 gemäß der ersten Ausführungsform der vorliegenden Technologie zeigt. Dieser Betrieb wird begonnen, wenn zum Beispiel eine Anwendung der Verarbeitung zum Durchführen einer Bildaufnahme ausgeführt wird.
• Die Bildaufnahmevorrichtung 100 beginnt, Farbbilddaten und monochrome Bilddaten zu erfassen (Schritt S901). Dann führt die Bildaufnahmevorrichtung 100 die Syntheseverarbeitung zum Synthetisieren der Farbbilddaten und der monochromen Bilddaten aus (Schritt S902).
• Die Bildaufnahmevorrichtung 100 bestimmt, ob die Temperatur höher ist als der obere Grenzschwellenwert Th1 oder nicht (Schritt S903). In einem Fall, in dem die Temperatur kleiner gleich dem oberen Grenzschwellenwert Th1 ist (Schritt S903: Nein), führt die Bildaufnahmevorrichtung 100 erneut Schritt S902 und die anschließenden Schritte aus.
• Andererseits führt in einem Fall, in dem die Temperatur höher ist als der obere Grenzschwellenwert Th1 (Schritt S903: Ja), die Bildaufnahmevorrichtung 100 die Übergangsverarbeitung (Schritt S904) aus und führt die Einaugenverarbeitung aus (Schritt S905).
• Dann bestimmt die Bildaufnahmevorrichtung 100, ob die Temperatur niedriger ist als der untere Grenzschwellenwert Th2 oder nicht (Schritt S906). In einem Fall, in dem die Temperatur höher gleich dem unteren Grenzschwellenwert Th2 ist (Schritt S906: Nein), führt die Bildaufnahmevorrichtung 100 erneut Schritt S905 und die anschließenden Schritte aus.
• Andererseits führt in einem Fall, in dem die Temperatur niedriger ist als der untere Grenzschwellenwert Th2 (Schritt S906: Ja), die Bildaufnahmevorrichtung 100 die Übergangsverarbeitung aus (Schritt S907) und führt wiederholt Schritt S902 und die anschließenden Schritte aus.
• Auf diese Weise steuert in der ersten Ausführungsform der vorliegenden Technologie, wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, die Steuereinheit 210 die Signalverarbeitungseinheit 240, um von der Facettenaugenverarbeitung auf die Einaugenverarbeitung umzuschalten, so dass es möglich wird, den Verarbeitungsbetrag der Signalverarbeitungseinheit 240 zu reduzieren und den Leistungsverbrauch davon zu reduzieren. Als verschiedene Beispiele für physikalische Größen kann die physikalische Größe gemäß einem Spannungswert bestimmt werden, der in Übereinstimmung mit der physikalischen Größe variiert. Zum Beispiel kann ein Temperatursensor einen Spannungswert ausgeben, der gemäß der abgetasteten Temperatur variiert, ein Spannungswert kann gemäß Änderungen eines verbleibenden Batteriebetrags der Batteriekapazität variieren.
• „Erstes modifiziertes Beispiel“
• In der vorstehend beschriebenen ersten Ausführungsform veranlasst, wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, die Steuereinheit 210, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung umgeschaltet wird, um auf diese Weise den Leistungsverbrauch zu reduzieren. Durch das Verfahren zum Schalten gemäß einem Temperaturanstieg wird jedoch der Leistungsverbrauch möglicherweise nicht hinreichend reduziert. Zum Beispiel wird in einem Fall, in dem eine Außentemperatur der Bildaufnahmevorrichtung 100 extrem niedrig ist, die Bildaufnahmevorrichtung 100 durch Außenluft gekühlt, so dass die Temperatur gleich dem Schwellenwert oder niedriger wird, und daher kann das Schalten auf die Einaugenverarbeitung nicht ausgeführt werden. Die Steuereinheit 210 gemäß einem ersten modifizierten Beispiel der ersten Ausführungsform unterscheidet sich von jener der ersten Ausführungsform darin, dass ein Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung gemäß einer physikalischen Größe durchgeführt wird, die von der Temperatur verschieden ist.
• 10 ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel der Bildaufnahmevorrichtung 100 gemäß dem ersten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt. Diese Bildaufnahmevorrichtung 100 gemäß dem ersten modifizierten Beispiel der ersten Ausführungsform unterscheidet sich von jener der ersten Ausführungsform darin, dass eine Statistikverarbeitungseinheit 230 anstelle des Temperatursensors 220 bereitgestellt wird.
• Die Statistikverarbeitungseinheit 230 erlangt eine statistische Größe (Durchschnittswert, Gesamtwert usw.) von Detektionswerten von der Signalverarbeitungseinheit 240. Die Signalverarbeitungseinheit 240 liefert einen Detektionswert der Farbbilddaten und einen Detektionswert der monochromen Bilddaten an die Statistikverarbeitungseinheit 230 über eine Signalleitung 238. Dann erlangt die Statistikverarbeitungseinheit 230 eine statistische Größe jener Detektionswerte und liefert diese an die Steuereinheit 210 über eine Signalleitung 239.
• Die Steuereinheit 210 vergleicht die statistische Größe von der Statistikverarbeitungseinheit 230 mit einem Schwellenwert und nimmt ein Schalten zwischen der Einaugenverarbeitung und der Facettenaugenverarbeitung auf der Grundlage des Vergleichsergebnisses vor. Diese statistische Größe zeigt eine photometrische Größe an, die aus den zwei Teilen von Bilddaten erlangt wird. Wenn zum Beispiel die statistische Größe (photometrische Größe) größer wird als ein oberer Grenzschwellenwert, veranlasst die Steuereinheit 210, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung umgeschaltet wird. Dementsprechend besteht in einem Fall, in dem die Bildaufnahmeumgebung hell ist, keine Notwendigkeit, die Luminanz durch die Synthese zu verbessern, so dass die Einaugenverarbeitung ausgeführt wird, und der Leistungsverbrauch reduziert wird. Andererseits veranlasst in einem Fall, in dem die photometrische Größe kleiner wird als ein unterer Grenzschwellenwert, die Steuereinheit 210, dass die Einaugenverarbeitung auf die Facettenaugenverarbeitung umgeschaltet wird.
• 11 ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel der Signalverarbeitungseinheit 240 gemäß dem ersten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt. In diesem ersten modifizierten Beispiel der ersten Ausführungsform liefert die Farbbildsignalverarbeitungseinheit 241 und die Signalverarbeitungseinheit 247 monochromer Bilder Detektionswerte an die Statistikverarbeitungseinheit 230.
• Wie vorstehend beschrieben, veranlasst im ersten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie, wenn die photometrische Größe größer wird als der Schwellenwert, die Steuereinheit 210, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung umgeschaltet wird, so dass möglich wird, den Verarbeitungsbetrag der Signalverarbeitungseinheit 240 gemäß der photometrischen Größe zu reduzieren und den Leistungsverbrauch davon zu reduzieren.
• „Zweites modifiziertes Beispiel“
• In dem vorstehend beschriebenen ersten modifizierten Beispiel der ersten Ausführungsform nimmt, wenn die photometrische Größe größer wird als der Schwellenwert, die Steuereinheit 210 ein Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung vor, um auf diese Weise den Leistungsverbrauch zu reduzieren. Durch das Verfahren zum Schalten gemäß der photometrischen Größe besteht jedoch eine Möglichkeit, dass der Leistungsverbrauch nicht hinreichend reduziert wird. Zum Beispiel kann in einem Fall, in dem die Bildaufnahmeumgebung der Bildaufnahmevorrichtung 100 dunkel ist, die photometrische Größe kleiner werden als der Schwellenwert, und ein Schalten auf die Einaugenverarbeitung kann nicht ausgeführt werden. Die Steuereinheit 210 gemäß diesem zweiten modifizierten Beispiel der ersten Ausführungsform unterscheidet sich von jener des ersten modifizieren Beispiels der ersten Ausführungsform darin, dass das Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung gemäß einer physikalischen Größe durchgeführt wird, die von der photometrischen Größe verschieden ist.
• 12 ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel der Farbbildsignalverarbeitungseinheit 241 gemäß dem zweiten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie zeigt. Diese Farbbildsignalverarbeitungseinheit 241 gemäß dem zweiten modifizierten Beispiel der ersten Ausführungsform unterscheidet sich von jener des ersten modifizierten Beispiels der ersten Ausführungsform darin, dass sie ferner eine Bewegungsbetragsmesseinheit 246 umfasst.
• Die Bewegungsbetragsmesseinheit 246 misst einen Bewegungsbetrag eines Objekts auf der Grundlage einer Vielzahl von Teilen von Farbbilddaten, die in Zeitreihen erfasst werden. Diese Bewegungsbetragsmesseinheit 246 speichert vorübergehend zum Beispiel eine vorgegebene Anzahl von Teilen von Farbbilddaten und detektiert ein bewegliches Objekt unter Verwendung eines Zwischenbilddifferenzverfahrens, eines Hintergrunddifferenzverfahrens oder dergleichen. Dann berechnet die Bewegungsbetragsmesseinheit 246 als den Bewegungsbetrag eine Länge eines Vektors von einer repräsentativen Position (Schwerpunkt usw.) eines beweglichen Körpers, der in einem der zwei Teile von Farbbilddaten, die zu verschiedenen Zeitpunkten erfasst wurden, detektiert wird, zu einer repräsentativen Position der beweglichen Körpers, der in einem anderen der zwei Teilen von Farbbilddaten detektiert wird. Die Bewegungsbetragsmesseinheit 246 liefert den gemessenen Bewegungsbetrag an die Statistikverarbeitungseinheit 230.
• Außerdem misst die Signalverarbeitungseinheit 247 monochromer Bilder einen Bewegungsbetrag und liefert ihn an die Statistikverarbeitungseinheit 230. Die Statistikverarbeitungseinheit 230 erlangt eine statistische Größe (Durchschnittswert usw.) des Bewegungsbetrags und liefert sie an die Steuereinheit 210. Wenn zum Beispiel die statistische Größe größer gleich einem Schwellenwert ist, veranlasst die Steuereinheit 210, dass die Einaugenverarbeitung auf die Facettenaugenverarbeitung umgeschaltet wird. Andererseits veranlasst, wenn die statistische Größe kleiner wird als der Schwellenwert, die Steuereinheit 210, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung umgeschaltet wird. Dementsprechend kann in einem Fall, in dem keine Bewegung des Objekts vorliegt, die Syntheseverarbeitung zum Verbessern der Luminanz angehalten werden, und daher kann der Leistungsverbrauch reduziert werden.
• Obwohl die Bildaufnahmevorrichtung 100 ein Schalten zwischen der Facettenaugenverarbeitung und der Einaugenverarbeitung auf der Grundlage eines Vergleichsergebnisses zwischen dem Bewegungsbetrag und dem Schwellenwert vornimmt, ist es zu beachten, dass es ebenfalls möglich ist, ein Schalten auf der Grundlage eines Vergleichsergebnisses zwischen einem verbleibenden Batteriebetrag und einem Schwellenwert vorzunehmen. In diesem Fall muss lediglich eine Restbatteriebetragsmesseinheit, die einen verbleibenden Batteriebetrag misst, hinzugefügt werden, so dass die Steuereinheit 210 die Signalverarbeitungseinheit 240 steuert, um von der Facettenaugenverarbeitung auf die Einaugenverarbeitung umzuschalten, wenn zum Beispiel der verbleibende Batteriebetrag kleiner wird als der Schwellenwert.
• Auf diese Weise veranlasst in dem zweiten modifizierten Beispiel der ersten Ausführungsform der vorliegenden Technologie, wenn der Bewegungsbetrag kleiner wird als der Schwellenwert, die Steuereinheit 210, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung umgeschaltet wird, so dass es möglich wird, den Verarbeitungsbetrag der Signalverarbeitungseinheit 240 gemäß dem Bewegungsbetrag zu reduzieren, und auf diese Weise kann der Leistungsverbrauch davon reduziert werden.
• <Zweite Ausführungsform>
• In der vorstehend beschriebenen ersten Ausführungsform nimmt, wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, die Steuereinheit 210 ein Schalten von der Facettenaugenverarbeitung auf die Einaugenverarbeitung vor, um den Leistungsverbrauch zu reduzieren. Da die Syntheseverarbeitung zum Verbessern der Luminanz angehalten wird, wenn auf die Einaugenverarbeitung umgeschaltet wird, besteht jedoch eine Möglichkeit, dass die Bildqualität von Bilddaten aufgrund einer unzureichenden Helligkeit verringert ist. Die Bildaufnahmevorrichtung 100 gemäß der zweiten Ausführungsform unterschiedet sich von jener der ersten Ausführungsform darin, dass der Leistungsverbrauch einer Schnittstelle zu einem Zeitpunkt, zu dem die Temperatur höher wird als der obere Grenzschwellenwert Th1 reduziert wird, während eine Syntheseverarbeitung ausgeführt wird.
• 13 stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel der Signalverarbeitungseinheit 240 gemäß der zweiten Ausführungsform der vorliegenden Technologie zeigt. Diese Signalverarbeitungseinheit 240 gemäß der zweiten Ausführungsform unterscheidet sich von jener der ersten Ausführungsform darin, dass sie ferner eine Skalierungsverarbeitungseinheit 249 umfasst.
• Die Skalierungsverarbeitungseinheit 249 reduziert eine Bildgröße von monochromen Bilddaten, die einer Signalverarbeitung unterzogen wurden, um ein vorgegebenes Reduzierungsverhältnis. Hierbei wird ein Reduzierungsverhältnis R zum Beispiel durch den folgenden Ausdruck ausgedrückt. $$\text{R}=\left(\text{Bildgröße nach der Reduzierung}\right)/\left(\text{Bildgröße vor der Reduzierung}\right)$$

  
• Die Skalierungsverarbeitungseinheit 249 liefert Bilddaten, die nach der Reduzierung erlangt wurden, an die Sendeeinheit 248 als reduzierte Bilddaten. Außerdem wird ein Schaltsignal SW1 von der Steuereinheit 210 in die Skalierungsverarbeitungseinheit 249 eingegeben. Das Schaltsignal SW1 stellt ein Signal dar, das ein Schalten von einem von einem Anfangswert und einem Zielwert in Bezug auf das Reduzierungsverhältnis auf das andere von den Werten anweist. Außerdem wird als der Zielwert ein Wert eingestellt, der kleiner ist als der Anfangswert und mit dem reduzierte Bilddaten synthetischen Bilddaten überlagert werden können, die durch 1 Kanal gesendet werden sollen. Es ist zu beachten, dass der Anfangswert „1“ sein kann, das heißt, ein Wert, bei dem eine Reduzierung nicht ausgeführt wird.
• Außerdem wird ein Schaltsignal SW2 von der Steuereinheit 210 in die Sendeeinheit 248 der zweiten Ausführungsform eingegeben. Dieses Schaltsignal SW2 stellt ein Signal dar, das ein Schalten von einem von 1 Kanal und 2 Kanälen auf das andere von dem 1 Kanal und den 2 Kanälen in Bezug auf die Anzahl von Kommunikationskanälen, die zum Senden von Bilddaten verwendet werden, anweist. Hierbei wird als der Kommunikationskanal zum Beispiel ein virtueller Kanal verwendet, der mit einem MIPI-Standard konform ist. In einem Fall des Sendens durch 1 Kanal überlagert die Sendeeinheit 248 reduzierte Bilddaten synthetischen Bilddaten und sendet sie.
• Die Steuereinheit 210 der zweiten Ausführungsform stellt die Aktivierungssignale ENs1 bis ENs3 auf aktiviert zu einem Zeitpunkt des Beginns einer Bildaufnahme ein und veranlasst durch das Schaltsignal SW1, dass die Skalierungsverarbeitungseinheit 249 eine Reduzierung um ein Anfangswert-Reduzierungsverhältnis durchführt. Außerdem stellt die Steuereinheit 210 den Kommunikationskanal durch das Schaltsignal SW2 darauf, 2 Kanäle zu sein, und veranlasst, dass die synthetischen Bilddaten und die reduzierten Bilddaten gesendet werden. Diese Teile von Bilddaten werden über wechselseitig unterschiedliche Kommunikationskanäle gesendet.
• Wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, weist dann die Steuereinheit 210 die Skalierungsverarbeitungseinheit 249 durch das Schaltsignal SW1 an, vom Anfangswert auf den Zielwert in Bezug das Reduzierungsverhältnis zu schalten. Die Skalierungsverarbeitungseinheit 249 führt eine Übergangsverarbeitung zum Verringern des Reduzierungsverhältnisses auf den Zielwert schrittweise für jeden Bildzyklus aus. Außerdem veranlasst die Steuereinheit 210 durch das Schaltsignal SW2, dass die Anzahl von Kommunikationskanälen von 2 Kanälen auf 1 Kanal geschaltet wird. Indessen wird in der zweiten Ausführungsform die Syntheseverarbeitung kontinuierlich ausgeführt, auch wenn die Temperatur steigt.
• Wenn die Temperatur niedriger wird als der untere Grenzschwellenwert Th2, weist dann die Steuereinheit 210 die Skalierungsverarbeitungseinheit 249 durch das Schaltsignal SW1 an, das Reduzierungsverhältnis auf den Anfangswert zu schalten. Die Skalierungsverarbeitungseinheit 249 führt eine Übergangsverarbeitung zum Erhöhen des Reduzierungsverhältnisses auf den Anfangswert schrittweise für jeden Bildzyklus aus. Außerdem veranlasst die Steuereinheit 210 durch das Schaltsignal SW2, dass die Anzahl von Kommunikationskanälen von 1 Kanal auf 2 Kanäle geschaltet wird.
• 14 stellt ein Blockdiagramm dar, das ein Ausgestaltungsbeispiel des Anwendungsprozessors 150 gemäß der zweiten Ausführungsform der vorliegenden Technologie zeigt. Dieser Anwendungsprozessor 150 umfasst eine Empfangseinheit 151, eine Bilderkennungseinheit 152 und einen Speicher 153.
• Die Empfangseinheit 151 empfängt Bilddaten von der Bildaufnahmesteuervorrichtung 200. Diese Empfangseinheit 151 empfängt die reduzierten Bilddaten und die synthetischen Bilddaten über einen Kommunikationskanal von 1 Kanal oder 2 Kanälen. Dann liefert die Empfangseinheit 151 die reduzierten Bilddaten an die Bilderkennungseinheit 152 und veranlasst, dass der Speicher 153 die synthetischen Bilddaten speichert.
• Die Bilderkennungseinheit 152 führt eine Bilderkennungsverarbeitung, wie z.B. Gesichtserkennung und Objekterkennung, an den reduzierten Bilddaten aus. Das Erkennungsergebnis wird verwendet, um zu urteilen, ob zum Beispiel die synthetischen Bilddaten in einem nicht flüchtigen Speicher gespeichert (d.h. aufgezeichnet) werden oder nicht.
• Der Speicher 153 speichert die synthetischen Bilddaten. Ein DRAM (dynamisches RAM) wird zum Beispiel als der Speicher 153 verwendet. Die im Speicher 153 gespeicherten synthetischen Bilddaten werden zum Beispiel an eine Anzeigevorrichtung oder den nicht flüchtigen Speicher geliefert.
• Wie vorstehend beschrieben, kann durch Reduzieren der Anzahl von Kommunikationskanälen der Leistungsverbrauch der Schnittstelle, die die Sendeeinheit 248 und die Empfangseinheit 151 umfasst, reduziert werden.
• Obwohl die Bildaufnahmevorrichtung 100 die Anzahl von Kommunikationskanälen auf der Grundlage eines Vergleichsergebnisses zwischen der Temperatur und dem Schwellenwert schaltet, ist es zu beachten, dass es ebenfalls möglich ist, ein Schalten auf der Grundlage eines Vergleichsergebnisses zwischen einer physikalischen Größe, die von der Temperatur verschieden ist, und einem Schwellenwert vorzunehmen. Zum Beispiel kann die Bildaufnahmevorrichtung 100 physikalische Größen, wie z.B. eine photometrische Größe, einen Bewegungsbetrag eines Objekts und einen verbleibenden Batteriebetrag, zum Bestimmen eines Schaltens verwenden.
• Wie vorstehend beschrieben, reduziert in der zweiten Ausführungsform der vorliegenden Technologie, wenn die Temperatur höher wird als der obere Grenzschwellwert Th1, die Steuereinheit 210 die Anzahl von Kommunikationskanälen, so dass der Leistungsverbrauch der Schnittstelle reduziert werden kann.
• „Modifiziertes Beispiel“
• In der vorstehend beschriebenen zweiten Ausführungsform ändert, wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, die Steuereinheit 210 das Reduzierungsverhältnis auf einen kleinen Wert, mit dem Bilddaten gesendet werden können, auch wenn die Anzahl von Kommunikationskanälen reduziert wird. Wenn jedoch das Reduzierungsverhältnis klein wird, wird eine Bildgröße der reduzierten Bilddaten klein, und die Erkennungsgenauigkeit bei der Bilderkennung ist verringert. Die Bildaufnahmevorrichtung 100 gemäß einem modifizierten Beispiel der zweiten Ausführungsform unterscheidet sich von jener der ersten Ausführungsform darin, dass eine Bildrate verringert wird, ohne dass das Reduzierungsverhältnis geändert wird, wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1.
• 15 ist ein Blockdiagramm, das ein Ausgestaltungsbeispiel der Bildaufnahmevorrichtung 100 gemäß dem modifizierten Beispiel der zweiten Ausführungsform der vorliegenden Technologie zeigt. Diese Bildaufnahmevorrichtung 100 gemäß dem modifizierten Beispiel der zweiten Ausführungsform unterscheidet sich von jener der zweiten Ausführungsform darin, dass eine Synchronisationssteuereinheit 260 zusätzlich in der Bildaufnahmesteuervorrichtung 200 bereitgestellt ist.
• Die Synchronisationssteuereinheit 260 liefert das Vertikalsynchronisationssignal VSYNC an die Kameramodule 110 und 130 und die Signalverarbeitungseinheit 240. Ein Schaltsignal SW3 von der Steuereinheit 210 wird in die Synchronisationssteuereinheit 260 über eine Signalleitung 269 eingegeben. Das Schaltsignal SW3 stellt ein Signal dar, das ein Schalten von einem von einem Anfangswert und einem Zielwert in Bezug auf eine Frequenz (d.h. Bildrate) des Vertikalsynchronisationssignals VSYNC auf den anderen der zwei Werte anweist. Als der Zielwert wird ein Wert eingestellt, der niedriger ist als der Anfangswert und mit dem reduzierte Bilddaten synthetischen Bilddaten überlagert werden, die durch 1 Kanal gesendet werden sollen.
• Außerdem wird das Schaltsignal SW1 zum Schalten des Reduzierungsverhältnisses nicht in die Signalverarbeitungseinheit 240 gemäß dem modifizierten Beispiel der zweiten Ausführungsform eingegeben.
• Wenn die Temperatur höher wird als der obere Grenzschwellenwert Th1, weist die Steuereinheit 210 ein Schalten der Bildrate vom Anfangswert auf den Zielwert durch das Schaltsignal SW3 an. Wenn die Temperatur niedriger wird als der untere Grenzschwellenwert Th2, weist dann die Steuereinheit 210 ein Schalten der Bildrate auf den Anfangswert durch das Schaltsignal SW3 an. Indessen wird im modifizierten Beispiel der zweiten Ausführungsform das Reduzierungsverhältnis nicht geändert.
• Auf diese Weise reduziert im modifizierten Beispiel der zweiten Ausführungsform der vorliegenden Technologie, wenn die Temperatur höher wird als der obere Grenzschwellwert Th1, die Steuereinheit 210 die Anzahl von Kommunikationskanälen, um die Bildrate zu reduzieren, so dass es möglich wird, den Leistungsverbrauch der Schnittstelle zu reduzieren, ohne das Reduzierungsverhältnis zu ändern.
• <Beispiel einer Anwendung auf einen mobilen Körper>
• Die Technologie gemäß der vorliegenden Offenbarung (vorliegenden Technologie) ist auf verschiedene Produkte anwendbar. Zum Beispiel kann die Technologie gemäß der vorliegenden Offenbarung als eine Vorrichtung umgesetzt werden, die an einem beliebigen Typ eines beweglichen Körpers, wie z.B. eines Fahrzeugs, eines Elektrofahrzeugs, eines Hybridelektrofahrzeugs, eines Motorrads, eines Fahrrads, einer persönlichen Mobilität, eines Flugzeugs, eines Drohnen, eines Schiffs und eines Roboters, montiert wird.
• 16 ist ein Blockdiagramm, das ein schematisches Ausgestaltungsbeispiel eines Fahrzeugsteuersystems als ein Beispiel eines Steuersystems eines mobilen Körpers zeigt, auf welches die Technologie gemäß der vorliegenden Offenbarung anwendbar ist.
• Ein Fahrzeugsteuersystem 12000 umfasst eine Vielzahl von elektronischen Steuereinheiten, die über ein Kommunikationsnetzwerk 12001 verbunden sind. In dem in 16 dargestellten Beispiel umfasst das Fahrzeugsteuersystem 12000 eine Antriebssystemsteuereinheit 12010, eine Karosseriesystemsteuereinheit 12020, eine Fahrzeugaußenrauminformations-Detektoreinheit 12030, eine Fahrzeuginnenrauminformations-Detektoreinheit 12040 und eine integrierte Steuereinheit 12050. Außerdem sind als eine Funktionsausgestaltung der integrierten Steuereinheit 12050 ein Mikrocomputer 12051, eine Audiobildausgabeeinheit 1205 und eine fahrzeuginterne Netzwerk-I/F (Schnittstelle) 12053 dargestellt.
• Die Antriebssystemsteuereinheit 12010 steuert einen Betrieb einer Vorrichtung, der mit einem Antriebssystem eines Fahrzeugs im Zusammenhang steht, gemäß verschiedenen Programmen. Zum Beispiel fungiert die Antriebssystemsteuereinheit 12010 als eine Steuervorrichtung einer Antriebskrafterzeugungsvorrichtung zum Erzeugen einer Antriebskraft des Fahrzeugs, wie z.B. eines Verbrennungsmotors und eines Antriebsmotors, eines Antriebskraftübertragungsmechanismus zum Übertragen einer Antriebskraft auf die Räder, eines Lenkmechanismus, der einen Ruderwinkel des Fahrzeugs einstellt, einer Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs, und dergleichen.
• Die Karosseriesystem-Steuereinheit 12020 steuert Operationen verschiedener an einer Fahrzeugkarosserie angebrachter Vorrichtungen gemäß verschiedenen Programmen. Zum Beispiel funktioniert die Karosseriesystem-Steuereinheit 12020 als eine Steuervorrichtung eines schlüssellosen Zugangssystems, eines intelligenten Schlüsselsystems, einer Fensterhebevorrichtung oder verschiedener Leuchten, wie z.B. Scheinwerfer, Rückleuchten, Bremsleuchten, Blinker oder Nebelscheinwerfer. In diesem Fall kann eine von einer mobilen Vorrichtung ausgesendete Funkwelle, die einen Schlüssel oder Signale verschiedener Schalter ersetzt, in die Karosseriesystem-Steuereinheit 12020 eingegeben werden. Die Karosseriesystem-Steuereinheit 12020 empfängt eine Eingabe dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, die elektrische Fensterhebevorrichtung, die Leuchten oder dergleichen des Fahrzeugs.
• Die Fahrzeugaußenrauminformationsdetektoreinheit 12030 detektiert Außenrauminformationen des Fahrzeugs, an dem das Fahrzeugsteuersystem 12000 montiert ist. Zum Beispiel ist eine Bildaufnahmeeinheit 12031 mit der Fahrzeugaußenrauminformations-Detektoreinheit 12030 verbunden. Die Fahrzeugaußeninformationsdetektoreinheit 12030 veranlasst, dass die Bildaufnahmeeinheit 12031 ein Bild außerhalb des Fahrzeugs erfasst, und empfängt das erfasste Bild. Die Fahrzeugaußenrauminformationsdetektoreinheit 12030 kann eine Objektdetektionsverarbeitung oder eine Entfernungsdetektionsverarbeitung in Bezug auf eine Person, ein Auto, ein Hindernis, ein Symbol, Zeichen auf einer Straßenoberfläche und dergleichen auf der Grundlage des empfangenen Bildes durchführen.
• Die Bildaufnahmeeinheit 12031 ist ein Lichtsensor, der Licht empfängt und ein elektrisches Signal, das einer Lichtempfangsmenge jenes Lichts entspricht, ausgibt. Die Bildaufnahmeeinheit 12031 ist in der Lage, ein elektrisches Signal als ein Bild auszugeben, oder es als eine Entfernungsmessinformation auszugeben. Des Weiteren kann das durch die Bildaufnahmeeinheit 12031 empfangene Licht entweder sichtbares Licht oder unsichtbares Licht, wie z.B. ein Infrarotlicht, sein.
• Die Fahrzeuginnenrauminformationsdetektoreinheit 12040 detektiert Informationen innerhalb des Fahrzeugs. Eine Fahrerzustandsdetektionseinheit 12041, die einen Zustand eines Fahrers detektiert, ist zum Beispiel mit der Fahrzeuginnenrauminformationsdetektoreinheit 12040 verbunden. Die Fahrerzustandsdetektionseinheit 12041 umfasst zum Beispiel eine Kamera, die den Fahrer erfasst, und die Fahrzeuginnenrauminformationsdetektoreinheit 12040 kann einen Ermüdungsgrad oder einen Konzentrationsgrad des Fahrers berechnen, oder auf der Grundlage von Detektionsinformationen, die von der Fahrerzustandsdetektionseinheit 12041 eingegeben werden, bestimmen, ob der Fahrer einnickt oder nicht.
• Der Mikrocomputer 12051 ist in der Lage, einen Steuerzielwert der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung auf der Grundlage von Außenrauminformationen oder fahrzeuginternen Informationen, die durch die Fahrzeugaußenrauminformationsdetektoreinheit 1203 oder der Fahrzeuginnenrauminformationsdetektoreinheit 12040 erlangt werden, zu berechnen und einen Steuerbefehl an die Antriebssystemsteuereinheit 1201 auszugeben. Zum Beispiel ist der Mikrocomputer 12051 in der Lage, eine Kooperationssteuerung durchzuführen, die zum Ziel hat, eine Funktion eines ADAS (fortschrittschlichen Fahrerassistenzsystems) umzusetzen, die eine Kollisionsvermeidung oder Aufprallminderung eines Fahrzeugs, eine auf einem Abstand zwischen Fahrzeugen basierende Nachlauffahrt, eine Fahrt unter Beibehaltung einer Fahrzeuggeschwindigkeit, eine Fahrzeugkollisionswarnung, eine Warnung vor Spurabweichungen und dergleichen umfasst.
• Außerdem steuert der Mikrocomputer 12051 die Antriebskrafterzeugungsvorrichtung, den Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Grundlage der Umgebungsinformationen des Fahrzeugs, die durch die Fahrzeugaußenrauminformationsdetektoreinheit 12030 oder die Fahrzeuginnenrauminformationsdetektoreinheit 12040 erlangt werden, so dass sie in der Lage ist, eine Kooperationssteuerung durchzuführen, die zum Ziel hat, ein automatisches Fahren umzusetzen, welches einem Fahrzeug erlaubt, autonom zu fahren, ohne von einer Bedienung des Fahrers abzuhängen und dergleichen.
• Außerdem ist der Mikrocomputer 12051 in der Lage, einen Steuerbefehl auf der Grundlage der durch die Fahrzeugaußenrauminformationsdetektoreinheit 12030 erlangten Fahrzeugaußenrauminformationen an die Karosseriesystem-Steuereinheit 12020 ausgeben. Zum Beispiel ist der Mikrocomputer 12051 in der Lage, die Scheinwerfer in Übereinstimmung mit einer Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das von der Fahrzeugaußeninformationsdetektoreinheit 12030 detektiert wurde, zu steuern, und eine kooperative Steuerung durchzuführen, die zum Ziel hat, Blendschutz durch Umschalten eines Fernlichts auf ein Abblendlicht oder dergleichen zu realisieren.
• Die Audiobildausgabeeinheit 12052 sendet ein Ausgabesignal von mindestens einem von einem Ton und einem Bild an eine Ausgabevorrichtung, die in der Lage ist, einem Passagier des Fahrzeugs oder dem Fahrzeugaußenraum Informationen visuell oder akustisch mitzuteilen. In dem in 16 dargestellten Beispiel sind ein Audiolautsprecher 12061, eine Anzeigeeinheit 12062 und eine Instrumententafel 12063 als die Ausgabevorrichtungen als Beispiel veranschaulicht. Die Anzeigeeinheit 12062 kann zum Beispiel mindestens eines von einer Bordanzeige und einer Head-up-Anzeige umfassen.
• 17 ist ein Diagramm, das ein Beispiel einer Montageposition der Bildaufnahmeeinheit 12031 darstellt.
• In 17 sind Bildaufnahmeeinheiten 12101, 12102, 12103, 12104 und 12105 als die Bildaufnahmeeinheit 12031 aufgenommen.
• Zum Beispiel sind die Bildaufnahmeeinheiten 12101, 12102, 12103, 12104 und 12105 an Positionen bereitgestellt, die einer Frontseite, Seitenspiegeln, dem hinteren Stoßfänger, der Heckklappe, dem oberen Abschnitt einer Windschutzscheibe in einer Kabine und dergleichen eines Fahrzeugs 12100 entsprechen. Die Bildaufnahmeeinheit 12101, die in der Frontseite vorgesehen ist, und die Bildaufnahmeeinheit 12105, die an dem oberen Abschnitt der Windschutzscheibe in der Kabine vorgesehen ist, erfassen hauptsächlich ein Bild vor dem Fahrzeug 12100. Die Bildaufnahmeeinheiten 12102 und 12193, die an den Seitenspiegeln bereitgestellt sind, erfassen hauptsächlich Bilder von Seiten des Fahrzeugs 12100. Die Bildaufnahmeeinheit 12104, die an der hinteren Stoßstange oder der Hecktür vorgesehen ist, erfasst hauptsächlich ein Bild hinter dem Fahrzeug 12100. Die Bildaufnahmeeinheit 12105, die an dem oberen Abschnitt der Windschutzscheibe in der Kabine vorgesehen ist, wird hauptsächlich zum Detektieren vorausfahrender Fahrzeuge, Fußgänger, Hindernisse, Verkehrssignale, Verkehrszeichen, Spuren und dergleichen verwendet.
• Es ist zu beachten, dass 17 ein Beispiel von Bildaufnahmebereichen der Bildaufnahmeeinheiten 12101 bis 12104 zeigt. Ein Bildaufnahmebereich 12111 gibt einen Bildaufnahmebereich der an der Frontseite vorgesehenen Bildaufnahmeeinheit 12101 an, Bildaufnahmebereiche 12112 und 12113 geben Bildaufnahmebereiche der jeweils in den Seitenspiegeln vorgesehenen Bildaufnahmeeinheiten 12102 und 12103 an, und ein Bildaufnahmebereich 12114 zeigt einen Bildaufnahmebereich der Bildaufnahmeeinheit 12104 an, die in dem hinteren Stoßfänger oder der Heckklappe vorgesehen ist. Durch Veranlassen, dass Bilddaten, die durch die Bildaufnahmeeinheiten 120101 bis 12104 erfasst werden, einander überlappen, kann zum Beispiel ein von oben gesehenes Draufsichtbild des Fahrzeugs 12100 erhalten werden.
• Mindestens eine der Bildaufnahmeeinheiten 12101 bis 12104 kann eine Funktion zum Erfassen einer Entfernungsinformation umfassen. Zum Beispiel kann mindestens eine der Bildaufnahmeeinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Bildaufnahmeeinheiten umfasst, oder kann eine Bildaufnahmevorrichtung sein, die Pixel für Phasendifferenzdetektion umfasst.
• Zum Beispiel kann der Mikrocomputer 12051 einen Abstand zu jedem dreidimensionalen Objekt innerhalb der Bildaufnahmebereiche 12111 bis 12114 und eine Zeitänderung (relative Geschwindigkeit in Bezug auf das Fahrzeug 12100) der Abstände auf der Grundlage einer Entfernungsinformation, die von den Bildaufnahmeeinheiten 12101 bis 121004 erlangt wird, berechnen, um auf diese Weise ein dreidimensionales Objekt zu extrahieren, das sich am nächsten dem Fahrzeug 12100 auf einem Fahrweg befindet und mit einer vorgegebenen Geschwindigkeit (z.B. 0 km/h oder mehr) in im Wesentlichen der gleichen Richtung fährt wie das Fahrzeug 12100, insbesondere als ein vorausfahrendes Fahrzeug. Außerdem kann der Mikrocomputer 12051 einen Abstand zwischen den Fahrzeugen, der hinter dem vorausfahrenden Fahrzeug eingehalten werden soll, im Voraus einstellen, um eine automatische Bremssteuerung (die auch Nachlaufstoppsteuerung umfasst), eine automatische Beschleunigungssteuerung (die auch eine Nachlaufstartsteuerung umfasst) oder dergleichen durchzuführen. Auf diese Weise ist es möglich, eine kooperative Steuerung durchzuführen, die zum Ziel hat, ein automatisches Fahren umzusetzen, bei dem das Fahrzeug autonom fährt, ohne von einer Bedienung des Fahrers und dergleichen abhängig zu sein.
• Auf der Grundlage der von den Bildaufnahmeeinheiten 121001 bis 121004 erlangten Entfernungsinformationen kann zum Beispiel der Mikrocomputer 12051 dreidimensionale Objektdaten extrahieren, die mit dem dreidimensionalen Objekt im Zusammenhang stehen, während sie als ein Zweiradfahrzeug, ein Standardfahrzeug, ein Großfahrzeug, ein Fußgänger oder andere dreidimensionale Objekte, wie z.B. ein Strommast, kategorisiert werden, und sie zur automatischen Umgehung von Hindernissen verwenden Zum Beispiel identifiziert der Mikrocomputer 12051 ein Hindernis in einer Peripherie des Fahrzeugs 12100 als ein Hindernis, das für den Fahrer des Fahrzeugs 12100 sichtbar ist, oder ein Hindernis, das schwer zu sehen ist. Dann bestimmt der Mikrocomputer 12051 ein Risiko eines Zusammenstoßes, das einen Grad des Risikos eines Zusammenstoßen mit jedem Hindernis anzeigt, und wenn das Risiko des Zusammenstoßes größer gleich einem eingestellten Wert ist und daher eine Möglichkeit des Zusammenstoßes besteht, wird eine Warnung über den Audiolautsprecher 12061 oder die Anzeigeeinheit 12062 an den Fahrer ausgegeben, oder eine Zwangsverzögerungs- oder Ausweichlenkung wird über die Antriebssystemsteuereinheit 12010 ausgeführt, so dass eine Fahrunterstützung zur Vermeidung einer Kollision durchgeführt werden kann.
• Mindestens eine der Bildaufnahmeeinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen erfasst. Zum Beispiel kann der Mikrocomputer 12051 einen Fußgänger durch Urteilen erkennen, ob sich ein Fußgänger in Bildern befindet, die durch die Bildaufnahmeeinheiten 12101 bis 12104 erfasst wurden, oder nicht. Eine solche Erkennung eines Fußgängers wird zum Beispiel durch ein Verfahren zum Extrahieren von Merkmalpunkten in Bilden, die durch die Bildaufnahmeeinheiten 12101 bis 12104 als die Infrarotkamera erfasst werden, und ein Verfahren zum Ausführen eines Strukturabgleichprozesses an einer Reihe von Merkmalpunkten, die einen Umriss eines Objekts anzeigen, um zu urteilen, ob ein Fußgänger vorhanden ist oder nicht, vorgenommen. Wenn der Mikrocomputer 12051 urteilt, dass ein Fußgänger in den erfassten Bilder der Bildaufnahmeeinheiten 12101 bis 12104 vorhanden ist und einen Fußgänger erkennt, steuert die Audiobildausgabeeinheit 12052 die Anzeigeeinheit 12062 dahingehend, einen rechteckigen Umriss dem erkannten Fußgänger während der Anzeige zur Hervorhebung zu überlagern. Alternativ kann die Audiobildausgabeeinheit 12052 die Anzeigeeinheit 12062 derart steuern, dass ein den Fußgänger repräsentierendes Symbol oder dergleichen an einer gewünschten Position angezeigt wird.
• Bislang wurde ein Beispiel des Fahrzeugsteuersystems beschrieben, auf welches die Technologie gemäß der vorliegenden Offenbarung anwendbar ist. Die Technologie gemäß der vorliegenden Offenbarung ist auf die Bildaufnahmeeinheit 12031 der vorstehend beschriebenen Ausgestaltung anwendbar. Insbesondere ist die in 1 dargestellte Bildaufnahmevorrichtung 100 auf die in 16 dargestellte Bildaufnahmeeinheit 12031 anwendbar. Durch Anwenden der Technologie gemäß der vorliegenden Offenbarung auf die Bildaufnahmeeinheit 12031 kann der Leistungsverbrauch der Bildaufnahmeeinheit 12031 reduziert werden, und auf diese Weise kann der Verbrauch einer Bordbatterie reduziert werden.
• Es ist zu beachten, dass die vorstehend beschriebenen Ausführungsformen Beispiele zum Ausführen der vorliegenden Technologie sind, und die Gegenstände in den Ausführungsformen bzw. die konkreten Gegenstände der Erfindung im Umfang der Ansprüche jeweils Entsprechungsbeziehungen aufweisen. Gleichermaßen weisen die konkreten Gegenstände der Erfindung im Umfang der Ansprüche bzw. die Gegenstände der Ausführungsformen der vorliegenden Technologie, die die gleichen Bezeichnungen wie die konkreten Gegenstände der Erfindung im Umfang der Ansprüche aufweisen, jeweils Entsprechungsbeziehungen auf. Jedoch ist die vorliegende Technologie nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt und kann ausgeführt werden, indem sie auf verschiedene Arten modifiziert wird, ohne von Quintessenz der vorliegenden Technologie abzuweichen.
• Außerdem können die Verarbeitungsverfahren, die in den vorstehend beschriebenen Ausführungsformen beschrieben wurden, als ein Verfahren betrachtet werden, das die Reihen von Verfahren umfasst, oder sie können als ein Programm, das einen Rechner dazu veranlasst, die Reihe von Verfahren auszuführen, oder ein Aufzeichnungsmedium, das ein solches Programm speichert, betrachtet werden. Beispiele für dieses Aufzeichnungsmedium umfassen eine CD (Compact Disc), eine MD (Mini Disc), eine DVD (Digital Versatile Disc), eine Speicherkarte, eine Blue-ray Disc (eingetragene Marke) und dergleichen.
• Es ist zu beachten, dass die in der Beschreibung beschriebenen Wirkungen lediglich Beispiele sind und nicht darauf beschränkt werden sollten, und andere Wirkungen ebenfalls erzielt werden können.
• Es ist zu beachten, dass die vorliegende Technologie auch die nachstehenden Ausgestaltungen annehmen kann.
1. (1) Bildaufnahmesteuervorrichtung, umfassend:
   • eine Signalverarbeitungseinheit, die gemäß einem vorgegebenen Steuersignal entweder eine Facettenaugenverarbeitung zum Synthetisieren einer Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Teilen von Bilddaten ausgeführt wird, oder eine Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten ausführt, und
   • eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf einer Grundalge eines Ergebnisses eines Vergleichs zwischen einer gemessen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird.
2. (2) Bildaufnahmesteuervorrichtung nach (1), wobei die vorgegebene physikalische Größe eine physikalische Größe ist, die gemäß einer Bildaufnahmeumgebung schwankt.
3. (3) Bildaufnahmesteuervorrichtung nach (2), ferner umfassend:
   • einen Temperatursensor, der eine Temperatur als die vorgegebene physikalische Größe misst,
   • wobei
   • die Steuereinheit veranlasst, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die Temperatur höher ist als der vorgegebene Schwellenwert.
4. (4) Bildaufnahmesteuervorrichtung nach (2), wobei die Signalverarbeitungseinheit ein Verarbeiten eines Messens einer Lichtmenge von Einfallslicht als der vorgegebenen physikalischen Größe und ein Erlangen der Lichtmenge als einer photometrischen Größe umfasst, und die Steuereinheit veranlasst, dass die Facettenaugenverarbeitung auf die Einaugenverarbeitung in einem Fall umgeschaltet wird, in dem die photometrische Größe größer ist als der vorgegebene Schwellenwert.
5. (5) Bildaufnahmesteuervorrichtung nach (1), wobei die Signalverarbeitungseinheit ein Verarbeiten eines Messens eines Bewegungsbetrags eines Objekts als der vorgegebenen physikalischen Größe umfasst, und die Steuereinheit veranlasst, dass die Einaugenverarbeitung auf die Facettenaugenverarbeitung in einem Fall umgeschaltet wird, in dem der Bewegungsbetrag größer ist als der vorgegebene Schwellenwert.
6. (6) Bildaufnahmesteuervorrichtung nach einem von (1) bis (5), wobei die Vielzahl von Teilen von Bilddaten Bilder sind, die in Synchronisation mit vorgegebenen Synchronisationssignalen erfasst werden, und die Signalverarbeitungseinheit eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung nach dem Ausführen einer Übergangsverarbeitung zum Durchführen einer Synthese umschaltet, während ein Syntheseverhältnis jedes Mal, nachdem ein vorgegebener Zyklus verstrichen ist, geändert wird.
7. (7) Bildaufnahmesteuervorrichtung, umfassend:
   • eine Syntheseverarbeitungseinheit, die eine Vielzahl von Teilen von Bilddaten synthetisiert und die Daten als synthetische Bilddaten ausgibt,
   • eine Sendeeinheit, die gemäß einem vorgegebenen Steuersignal entweder eine einkanalige Sendeverarbeitung zum Senden der synthetischen Bilddaten zusammen mit einem einzelnen Teil von Bilddaten als einem beliebigen der Vielzahl von Teilen von Bilddaten über einen einzelnen Kommunikationskanal oder eine mehrkanalige Sendeverarbeitung zum jeweiligen Senden des Einzelteils von Bilddaten und der synthetischen Bilddaten über wechselseitig unterschiedliche Kommunikationskanäle ausführt, und
   • eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung auf die andere von der einkanaligen Sendeverarbeitung und der mehrkanaligen Sendeverarbeitung auf einer Grundalge eines Ergebnisses eines Vergleichs zwischen einer gemessen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird.
8. (8) Bildaufnahmevorrichtung nach (7), ferner umfassend:
   • eine Skalierungsverarbeitungseinheit, die ein beliebiges der Vielzahl von Teilen von Bilddaten reduziert,
   • wobei
   • die Steuereinheit die Skalierungsverarbeitungseinheit steuert, um ein Reduzierungsverhältnis auf der Grundlage des Ergebnisses des Vergleichs zwischen der vorgegebenen physikalischen Größe und dem vorgegebenen Schwellenwert zu ändern.
9. (9) Bildaufnahmevorrichtung nach (7), ferner umfassend:
   • eine Synchronisationssteuereinheit, die ein vorgegebenes Synchronisationssignal liefert,
   • wobei
   • jedes der Vielzahl von Teilen von Bilddaten Bilddaten sind, die in Synchronisation mit dem vorgegebenen Synchronisationssignal erfasst wurden, und
   • die Steuereinheit die Skalierungsverarbeitungseinheit steuert, um eine Frequenz des vorgegebenen Synchronisationssignals auf der Grundlage des Ergebnisses des Vergleichs zwischen der vorgegebenen physikalischen Größe und dem vorgegebenen Schwellenwert zu ändern.
10. (10) Bildaufnahmevorrichtung, umfassend:
    • ein Kameramodul, das eine Vielzahl von Teilen von Bilddaten erfasst;
    • eine Signalverarbeitungseinheit, die gemäß einem vorgegebenen Steuersignal entweder eine Facettenaugenverarbeitung zum Synthetisieren der Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Daten
    • ausgeführt wird, oder eine Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten ausführt, und
    • eine Steuereinheit, die das vorgegebene Steuersignal an die Signalverarbeitungseinheit liefert und veranlasst, dass eine von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung auf einer Grundalge eines Ergebnisses eines Vergleichs zwischen einer gemessen vorgegebenen physikalischen Größe und einem vorgegebenen Schwellenwert umgeschaltet wird.
11. (11) Steuerverfahren für eine Bildaufnahmesteuervorrichtung, umfassend:
    • einen Vergleichsschritt des Vergleichens einer gemessenen vorgegebenen physikalischen Größe und eines vorgegebenen Schwellenwerts und des Lieferns eines vorgegebenen Steuersignals an eine Signalverarbeitungseinheit auf einer Grundlage eines Ergebnisses des Vergleichs, und
    • einen Schaltschritt des Schaltens gemäß dem vorgegebenen Steuersignal einer von einer Facettenaugenverarbeitung zum Synthetisieren einer Vielzahl von Teilen von Bilddaten, indem eine Signalverarbeitung an jedem der Vielzahl von Teilen von Bilddaten ausgeführt wird, und einer Einaugenverarbeitung zum Ausführen der Signalverarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten auf die andere von der Facettenaugenverarbeitung und der Einaugenverarbeitung.
• (1A) Bildaufnahmesteuervorrichtung, umfassend:
  • einen Signalprozessor, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und
  • eine Steuerung, die ausgelegt ist, um einen Vergleich einer physikalischen Größe mit einem Schwellenwert durchzuführen und den Signalprozessor dazu zu veranlassen, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.
• (2A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die physikalische Größe eine gemessene physikalische Bedingung ist, die in einer Bildaufnahmeumgebung schwankt.
• (3A) Bildaufnahmesteuervorrichtung nach (2A), ferner umfassend:
  • einen Temperatursensor, der eine Temperatur als die physikalische Größe misst,
  • wobei
  • die Steuerung den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung in einem Fall umzuschalten, in dem die Temperatur höher ist als der Schwellenwert.
• (4A) Bildaufnahmesteuervorrichtung nach (2A), wobei
  • die Steuerung eine Menge von Einfallslicht als die physikalische Größe bestimmt, und
  • den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung in einem Fall umzuschalten, in dem die Menge des Einfallslichts größer ist als der Schwellenwert.
• (5A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die Steuerung einen Bewegungsbetrag eines Objekts als die physikalische Größe bestimmt, und
  • den Signalprozessor dazu veranlasst, die Einaugenverarbeitung auf die Facettenverarbeitung in einem Fall umzuschalten, in dem der Bewegungsbetrag größer ist als der Schwellenwert.
• (6A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die Vielzahl von Teilen von Bilddaten Bilder sind, die in Synchronisation mit vorgegebenen Synchronisationssignalen erfasst werden, und
  • der Signalprozessor eine von der Facettenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenverarbeitung und der Einaugenverarbeitung nach dem Ausführen einer Übergangsverarbeitung zum Durchführen einer Synthese umschaltet, während eine Syntheserate jedes Mal, nachdem ein vorgegebener Zyklus verstrichen ist, geändert wird.
• (7A) Bildaufnahmesteuervorrichtung nach (2A), wobei
  • die Steuerung den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung allmählich umzuschalten, nachdem bestimmt wurde, dass die physikalische Größe höher ist als der Schwellenwert.
• (8A) Bildaufnahmesteuervorrichtung nach (2A), wobei
  • nachdem die Steuerung den Signalprozessor dazu veranlasst, nach der Bestimmung, dass die physikalische Größe höher ist als der Schwellenwert, auf die Einaugenverarbeitung umzuschalten, die Steuerung die Einaugenverarbeitung dazu veranlasst, die Einaugenverarbeitung fortzusetzen, bis die physikalische Größe auf einen zweiten Schwellenwert sinkt, der niedriger ist als der Schwellenwert.
• (9A) Bildaufnahmesteuervorrichtung nach (2A), wobei
  • die Steuerung den Signalprozessor dazu veranlasst, sowohl die Facettenverarbeitung als auch die Einaugenverarbeitung zu beenden, wenn die physikalische Größe auf einen dritten Schwellenwert steigt, der höher ist als der Schwellenwert.
• (10A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die Vielzahl von Teilen von Bilddaten ein erstes Teil von Bilddaten, das durch ein erstes Kameramodul erfasst wird, und ein zweites Teil von Bilddaten, das durch ein zweites Kameramodul erfasst wird, umfasst.
• (11A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die physikalische Größe ein verbleibender Betrag einer Kapazität einer Batterie ist, die Leistung für die Bildaufnahmesteuervorrichtung liefert.
• (12A) Bildaufnahmesteuervorrichtung nach (1A), wobei
  • die physikalische Größe gemäß einem Spannungswert bestimmt wird, der in Übereinstimmung mit der physikalischen Größe variiert.
• (13A) Bildaufnahmevorrichtung, umfassend:
  • mindestens ein Linse, die ausgelegt ist, um eine Vielzahl von Teilen von Bilddaten zu erfassen; und
  • einen Signalprozessor, der ausgelegt ist, um eine Facettenverarbeitung, die die Vielzahl von Teilen von Bilddaten synthetisiert, oder eine Einaugenverarbeitung, die eine Verarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten ausführt, auszuführen, und
  • eine Steuerung, die ausgelegt ist, um den Signalprozessor dazu zu veranlassen, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer physikalischen Größe und einem Schwellenwert auszuführen.
• (14A) Bildaufnahmesteuervorrichtung, umfassend:
  • einen Signalprozessor, der ausgelegt ist, um eine Vielzahl von Teilen von Bilddaten zu synthetisieren, um synthetisierte Bilddaten zu erzeugen,
  • eine Sendeeinheit, die ausgelegt ist, um entweder eine einkanalige Sendeverarbeitung zum Senden der synthetisierten Bilddaten zusammen einem beliebigen Teil von Bilddaten der Vielzahl von Teilen von Bilddaten über einen einzelnen Kommunikationskanal oder eine mehrkanalige Sendeverarbeitung zum jeweiligen Senden des beliebigen einen Teils von Bilddaten und der synthetisierten Bilddaten über wechselseitig unterschiedliche Kommunikationskanäle auszuführen, und
  • eine Steuerung, die ausgelegt ist, um den Signalprozessor dazu zu veranlassen, entweder die einkanalige Sendeverarbeitung oder die mehrkanalige Sendeverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer physikalischen Größe und einem Schwellenwert auszuführen.
• (15A) Bildaufnahmevorrichtung nach (14A), ferner umfassend:
  • eine Skalierungsverarbeitungsschaltung, die ein beliebiges der Vielzahl von Teilen von Bilddaten reduziert,
  • wobei
  • die Steuerung die Skalierungsverarbeitungsschaltung steuert, um ein Reduzierungsverhältnis auf der Grundlage des Ergebnisses des Vergleichs zwischen der physikalischen Größe und dem Schwellenwert zu ändern.
• (16A) Bildaufnahmevorrichtung nach (14A), ferner umfassend:
  • eine Synchronisationssteuerschaltung, die ein vorgegebenes Synchronisationssignal liefert,
  • wobei
  • jedes der Vielzahl von Teilen von Bilddaten Bilddaten darstellt, die in Synchronisation mit dem vorgegebenen Synchronisationssignal erfasst wurden, und
  • die Steuerung die Synchronisationssteuerschaltung steuert, um eine Frequenz des vorgegebenen Synchronisationssignals auf der Grundlage des Ergebnisses des Vergleichs zwischen der physikalischen Größe und dem Schwellenwert zu ändern.
• (17A) Steuerverfahren für eine Bildaufnahmesteuervorrichtung, umfassend:
  • Steuern eines Signalprozessors, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und
  • Durchführen eines Vergleichs einer physikalischen Größe mit einem Schwellenwert und Veranlassen des Signalprozessors dazu, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.
• (18A) Nicht flüchtiges computerlesbares Medium, das einen Programmcode zum Verarbeiten von Bilddaten speichert, wobei der Programmcode durch einen Prozessor ausführbar ist, um Operationen durchzuführen, umfassend:
  • Steuern eines Signalprozessors, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und
  • Durchführen eines Vergleichs einer physikalischen Größe mit einem Schwellenwert und Veranlassen des Signalprozessors dazu, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.
• Bezugszeichenliste

100

Bildaufnahmevorrichtung

110, 130

Kameramodul

111, 131

optisches System

120, 140

Festkörper-Bildaufnahmevorrichtung

121, 141

Mikrolinse

122

Farbfilter

123, 143

Lichtempfangsvorrichtung

124, 144

Verdrahtungsschicht

150

Anwendungsprozessor

151

Empfangseinheit

152

Bilderkennungseinheit

153

Speicher

200

Bildaufnahmesteuervorrichtung

210

Steuereinheit

220

Temperatursensor

230

Statistikverarbeitungseinheit

240

Signalverarbeitungseinheit

241

Farbbildsignalverarbeitungseinheit

242

Demosaikverarbeitungseinheit

243

Detektionseinheit

244

Belichtungssteuereinheit

245

Fokussteuereinheit

246

Bewegungsbetragsmesseinheit

247

Signalverarbeitungseinheit monochromer Bilder

248

Sendeeinheit

249

Skalierungsverarbeitungseinheit

250

Syntheseverarbeitungseinheit

251

Positionierungsverarbeitungseinheit

252

YC-Umwandlungseinheit

253

Luminanzsignalsyntheseeinheit

254

RGB-Umwandlungseinheit

255

Schalter

260

Synchronisationssteuereinheit

12031

Bildaufnahmeeinheit

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2011239260 [0003]

Claims (18)

1. Bildaufnahmesteuervorrichtung, umfassend: einen Signalprozessor, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und eine Steuerung, die ausgelegt ist, um einen Vergleich einer physikalischen Größe mit einem Schwellenwert durchzuführen und den Signalprozessor dazu zu veranlassen, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.
2. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die physikalische Größe eine gemessene physikalische Bedingung ist, die in einer Bildaufnahmeumgebung schwankt.
3. Bildaufnahmesteuervorrichtung nach Anspruch 2, ferner umfassend: einen Temperatursensor, der eine Temperatur als die physikalische Größe misst, wobei die Steuerung den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung in einem Fall umzuschalten, in dem die Temperatur höher ist als der Schwellenwert.
4. Bildaufnahmesteuervorrichtung nach Anspruch 2, wobei die Steuerung eine Menge von Einfallslicht als die physikalische Größe bestimmt, und den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung in einem Fall umzuschalten, in dem die Menge des Einfallslichts größer ist als der Schwellenwert.
5. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die Steuerung einen Bewegungsbetrag eines Objekts als die physikalische Größe bestimmt, und den Signalprozessor dazu veranlasst, die Einaugenverarbeitung auf die Facettenverarbeitung in einem Fall umzuschalten, in dem der Bewegungsbetrag größer ist als der Schwellenwert.
6. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die Vielzahl von Teilen von Bilddaten Bilder sind, die in Synchronisation mit vorgegebenen Synchronisationssignalen erfasst werden, und der Signalprozessor eine von der Facettenverarbeitung und der Einaugenverarbeitung auf die andere von der Facettenverarbeitung und der Einaugenverarbeitung nach dem Ausführen einer Übergangsverarbeitung zum Durchführen einer Synthese umschaltet, während eine Syntheserate jedes Mal, nachdem ein vorgegebener Zyklus verstrichen ist, geändert wird.
7. Bildaufnahmesteuervorrichtung nach Anspruch 2, wobei die Steuerung den Signalprozessor dazu veranlasst, die Facettenverarbeitung auf die Einaugenverarbeitung allmählich umzuschalten, nachdem bestimmt wurde, dass die physikalische Größe höher ist als der Schwellenwert.
8. Bildaufnahmesteuervorrichtung nach Anspruch 2, wobei nachdem die Steuerung den Signalprozessor dazu veranlasst, nach der Bestimmung, dass die physikalische Größe höher ist als der Schwellenwert, auf die Einaugenverarbeitung umzuschalten, die Steuerung die Einaugenverarbeitung dazu veranlasst, die Einaugenverarbeitung fortzusetzen, bis die physikalische Größe auf einen zweiten Schwellenwert sinkt, der niedriger ist als der Schwellenwert.
9. Bildaufnahmesteuervorrichtung nach Anspruch 2, wobei die Steuerung den Signalprozessor dazu veranlasst, sowohl die Facettenverarbeitung als auch die Einaugenverarbeitung zu beenden, wenn die physikalische Größe auf einen dritten Schwellenwert steigt, der höher ist als der Schwellenwert.
10. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die Vielzahl von Teilen von Bilddaten ein erstes Teil von Bilddaten, das durch ein erstes Kameramodul erfasst wird, und ein zweites Teil von Bilddaten, das durch ein zweites Kameramodul erfasst wird, umfasst.
11. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die physikalische Größe ein verbleibender Betrag einer Kapazität einer Batterie ist, die Leistung für die Bildaufnahmesteuervorrichtung liefert.
12. Bildaufnahmesteuervorrichtung nach Anspruch 1, wobei die physikalische Größe gemäß einem Spannungswert bestimmt wird, der in Übereinstimmung mit der physikalischen Größe variiert.
13. Bildaufnahmevorrichtung, umfassend: mindestens ein Linse, die ausgelegt ist, um eine Vielzahl von Teilen von Bilddaten zu erfassen, und einen Signalprozessor, der ausgelegt ist, um eine Facettenverarbeitung, die die Vielzahl von Teilen von Bilddaten synthetisiert, oder eine Einaugenverarbeitung, die eine Verarbeitung an einem beliebigen der Vielzahl von Teilen von Bilddaten ausführt, auszuführen, und eine Steuerung, die ausgelegt ist, um den Signalprozessor dazu zu veranlassen, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer physikalischen Größe und einem Schwellenwert auszuführen.
14. Bildaufnahmesteuervorrichtung, umfassend: einen Signalprozessor, der ausgelegt ist, um eine Vielzahl von Teilen von Bilddaten zu synthetisieren, um synthetisierte Bilddaten zu erzeugen, eine Sendeeinheit, die ausgelegt ist, um entweder eine einkanalige Sendeverarbeitung zum Senden der synthetisierten Bilddaten zusammen mit einem beliebigen Teil von Bilddaten der Vielzahl von Teilen von Bilddaten über einen einzelnen Kommunikationskanal oder eine mehrkanalige Sendeverarbeitung zum jeweiligen Senden des beliebigen einen Teils von Bilddaten und der synthetisierten Bilddaten über wechselseitig unterschiedliche Kommunikationskanäle auszuführen, und eine Steuerung, die ausgelegt ist, um den Signalprozessor dazu zu veranlassen, entweder die einkanalige Sendeverarbeitung oder die mehrkanalige Sendeverarbeitung auf einer Grundlage eines Ergebnisses eines Vergleichs zwischen einer physikalischen Größe und einem Schwellenwert auszuführen.
15. Bildaufnahmevorrichtung nach Anspruch 14, ferner umfassend: eine Skalierungsverarbeitungsschaltung, die ein beliebiges der Vielzahl von Teilen von Bilddaten reduziert, wobei die Steuerung die Skalierungsverarbeitungsschaltung steuert, um ein Reduzierungsverhältnis auf der Grundlage des Ergebnisses des Vergleichs zwischen der physikalischen Größe und dem Schwellenwert zu ändern.
16. Bildaufnahmevorrichtung nach Anspruch 14, ferner umfassend: eine Synchronisationssteuerschaltung, die ein vorgegebenes Synchronisationssignal liefert, wobei jedes der Vielzahl von Teilen von Bilddaten Bilddaten sind, die in Synchronisation mit dem vorgegebenen Synchronisationssignal erfasst wurden, und die Steuerung die Synchronisationssteuerschaltung steuert, um eine Frequenz des vorgegebenen Synchronisationssignals auf der Grundlage des Ergebnisses des Vergleichs zwischen der physikalischen Größe und dem Schwellenwert zu ändern.
17. Steuerverfahren für eine Bildaufnahmesteuervorrichtung, umfassend: Steuern eines Signalprozessors, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und Durchführen eines Vergleichs einer physikalischen Größe mit einem Schwellenwert und Veranlassen des Signalprozessors dazu, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.
18. Nicht flüchtiges computerlesbares Medium, das einen Programmcode zum Verarbeiten von Bilddaten speichert, wobei der Programmcode durch einen Prozessor ausführbar ist, um Operationen durchzuführen, umfassend: Steuern eines Signalprozessors, der ausgelegt ist, um eine Facettenverarbeitung, die eine Vielzahl von Teilen von Bilddaten synthetisiert, und eine Einaugenverarbeitung, die ein beliebiges der Vielzahl von Teilen von Bilddaten verarbeitet, auszuführen, und Durchführen eines Vergleichs einer physikalischen Größe mit einem Schwellenwert und Veranlassen des Signalprozessors dazu, entweder die Facettenverarbeitung oder die Einaugenverarbeitung auf einer Grundlage des Vergleichs auszuführen.

Images