DE112021004167T5

DE112021004167T5 - Bildaufnahmevorrichtung

Info

Publication number: DE112021004167T5
Application number: DE112021004167.3T
Authority: DE
Inventors: Asuka HORITA; Tomio Shimizu
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP
Priority date: 2020-08-05
Filing date: 2021-07-29
Publication date: 2023-06-29
Also published as: CN116134830A; US20230188859A1; JP2022029867A; WO2022030367A1

Abstract

Eine Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung enthält ein optisches Bandpassfilter, ein Bildaufnahmeelement, einen Subtrahierer, einen Multiplizierer, einen Addierer, eine Luminanzmatrix und eine Luminanzpegelbestimmungseinheit. Das optische Bandpassfilter lässt sichtbares Licht und Nahinfrarotlicht selektiv durch das optische Bandpassfilter hindurchtreten. Das Bildaufnahmeelement gibt ein erstes Signal, das der empfangenen Lichtintensität des sichtbaren Lichts und des Nahinfrarotlichts entspricht, und ein zweites Signal aus, das der empfangenen Lichtintensität des Nahinfrarotlichts entspricht. Der Subtrahierer gibt ein drittes Signal durch ein Subtrahieren des zweiten Signals von dem ersten Signal aus. Der Multiplizierer gibt ein viertes Signal bei einem Signalpegel aus, der niedriger als oder gleich dem Signalpegel des zweiten Signals ist, indem er das zweite Signal mit einem Steuerwert multipliziert. Der Addierer gibt ein Bildsignal aus, indem er das vierte Signal zu dem dritten Signal addiert. Die Luminanzmatrix gibt Luminanzinformationen über den sichtbaren Bereich aus, die dem Bildsignal entsprechen. Die Luminanzpegelbestimmungseinheit führt auf Grundlage der Luminanzinformationen dem Multiplizierer den Steuerwert zu, der ein Wert ist, der einem Luminanzpegel des sichtbaren Bereichs entspricht.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Bildaufnahmevorrichtung.
Technischer Hintergrund
Es besteht eine herkömmlich bekannte Technik bezüglich einer Bildaufnahmevorrichtung, die in der Lage ist, ein Bild sogar in einer Umgebung zu erhalten, wo die Menge an sichtbarem Licht klein ist, wie etwa zur Nachtzeit. Das Erhalten eines solchen Bildes ist ermöglicht durch einen Einbau in der Bildaufnahmevorrichtung eines Bildaufnahmeelements, das imstande ist, nicht nur sichtbares Licht mit einer Wellenlänge eines sichtbaren Bereichs zu erfassen, sondern auch Nahinfrarotlicht mit einer Wellenlänge eines Nahinfrarotbereichs.
Liste der Anführungen
Patentliteratur
Patentschrift 1: JP 2008-289001 A
Zusammenfassung der Erfindung
Die vorliegende Offenbarung sieht eine Bildaufnahmevorrichtung vor, die imstande ist, eine Optimierung bei der Bildqualität mit einer Verhinderung der Verschlechterung der Farbreproduzierbarkeit eines Objekts aufgrund von Nahinfrarotlicht umzusetzen.
Eine Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung enthält ein optisches Bandpassfilter, ein Bildaufnahmeelement, einen Subtrahierer, einen Multiplizierer, einen Addierer, eine Luminanzmatrix und eine Luminanzpegelbestimmungseinheit. Das optische Bandpassfilter ist ausgelegt, sichtbares Licht und Nahinfrarotlicht selektiv durch das optische Bandpassfilter hindurchtreten zu lassen. Das sichtbare Licht weist eine Wellenlänge eines sichtbaren Bereichs auf. Das Nahinfrarotlicht weist eine Wellenlänge eines Nahinfrarotbereichs auf. Das Bildaufnahmeelement ist ausgelegt, ein erstes Signal und ein zweites Signal auszugeben. Das erste Signal weist einen Signalpegel entsprechend der empfangenen Lichtintensität des sichtbaren Lichts und des Nahinfrarotlichts auf, die jeweils durch das optische Bandpassfilter hindurchtreten. Das zweite Signal weist einen Signalpegel entsprechend der empfangenen Lichtintensität des Nahinfrarotlichts auf, das durch das optische Bandpassfilter hindurchtritt. Der Subtrahierer ist ausgelegt, ein drittes Signal durch ein Subtrahieren des zweiten Signals von dem ersten Signal auszugeben. Der Multiplizierer ist ausgelegt, ein viertes Signal bei einem Signalpegel auszugeben, der niedriger als oder gleich dem Signalpegel des zweiten Signals ist, indem er das zweite Signal mit einem Steuerwert multipliziert. Der Addierer ist ausgelegt, ein Bildsignal auszugeben, indem er das vierte Signal zu dem dritten Signal addiert. Die Luminanzmatrix ist ausgelegt, Luminanzinformationen über den sichtbaren Bereich auszugeben, die dem Bildsignal entsprechen. Die Luminanzpegelbestimmungseinheit ist ausgelegt, auf Grundlage der Luminanzinformationen von der Luminanzmatrix dem Multiplizierer den Steuerwert zuzuführen, der ein Wert ist, der einem Luminanzpegel des sichtbaren Bereichs entspricht.
Figurenliste

1 ist ein Diagramm, das einen beispielhaften Aufbau einer Bildaufnahmevorrichtung gemäß einer Ausführungsform darstellt;
2 ist ein Diagramm, das einen beispielhaften Aufbau einer Signalverarbeitungseinheit in 1 darstellt;
3 ist ein Diagramm, das eine beispielhafte Transmittanzeigenschaft eines optischen Bandpassfilters in 1 und 2 darstellt;
4 ist eine schematische Ansicht eines beispielhaften Matrixmusters in einem Farbfilter eines Bildaufnahmeelements in 1 und 2;
5 ist eine Tabelle, die eine beispielhafte Beziehung zwischen jedem Pixel in dem Bildaufnahmeelement und einem Ausgangssignal von dem Bildaufnahmeelement in 1 und 2 darstellt;
6 ist ein Diagramm, das eine beispielhafte Eigenschaft der Multiplizierersteuerung entsprechend einem Luminanzpegel darstellt, gemäß der Ausführungsform;
7 ist ein Diagramm, das eine beispielhafte Eigenschaft der Weißabgleichsteuerung entsprechend dem Luminanzpegel darstellt, gemäß der Ausführungsform;
8 ist ein Diagramm, das eine beispielhafte Eigenschaft der Farbverstärkungssteuerung entsprechend dem Luminanzpegel darstellt, gemäß der Ausführungsform; und
9 ist ein Diagramm zum Erläutern eines durch die Multiplizierersteuerung erlangten Bildsignals, das dem Luminanzpegel entspricht, gemäß der Ausführungsform.

Beschreibung von Ausführungsformen
Nachstehend sind Ausführungsformen einer Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnung beschrieben.
Herkömmlich ist als Sichtunterstützung, um dem Fahrer ein zusätzliches Sichtfeld zu geben, ein Fahrzeug mit einer Rückkamera an einem hinteren Bereich und mit einer Seitenkamera neben einem Seitenspiegel ausgestattet. In dieser Beziehung gibt es zum Verbessern der Fahrzeugsicherheit eine bekannte Technik zum Erfassen einer Person oder eines Objekts durch ein Verwenden eines durch eine Kamera aufgenommenen Bildes und dann Ausgeben einer Warnung an den Fahrer oder die Steuerung des Fahrzeugs auf Grundlage eines Erfassungsergebnisses.
Als Fahrzeugsteuerung mit einem durch eine Kamera aufgenommenen Bild war beispielsweise eine automatische Parkfunktion bekannt, die auf Grundlage eines Bildes umgesetzt wird, das das gesamte durch eine Kamera aufgenommene Umfeld eines Fahrzeugs enthält. Jedoch befindet sich beispielsweise der Aufnahmebereich einer Seitenkamera oft in einer dunklen Umgebungssituation, wie etwa einer Situation, wo Licht von dem Fahrzeug den Aufnahmebereich der Seitenkamera nicht erreicht. Daher hat eine Kamera für sichtbares Licht, die imstande ist, sichtbares Licht mit der Wellenlänge eines sichtbaren Bereichs zu erfassen, Schwierigkeiten, ein Bild bei einer angemessenen Empfindlichkeit aufzunehmen.
Im Gegensatz zu dem Obigen besteht eine bekannte Technik, ein Bild durch ein Verwenden einer Kamera mit zwei Wellenlängenbändern sogar in einer Umgebung zu erlangen, wo die Menge an sichtbarem Licht klein ist, wie etwa zur Nachtzeit. Eine solche Kamera enthält ein Bildaufnahmeelement, das imstande ist, nicht nur sichtbares Licht zu erfassen, sondern auch Nahinfrarotlicht mit einer Wellenlänge eines Nahinfrarotbereichs.
Jedoch tritt in einer Umgebung, wo die Menge an sichtbarem Licht groß ist, wie etwa zur Tageszeit, wahrscheinlich eine Verschlechterung bei der Bildqualität ein, wie etwa eine Verschlechterung bei der Farbreproduzierbarkeit eines Bildes eines Objekts aufgrund von zusätzlich zu sichtbarem Licht erfasstem Nahinfrarotlicht. Darüber hinaus ist es, wenn für das Verhindern der Verschlechterung der Bildqualität eine Steuerung durchgeführt wird, die Verwendung des Nahinfrarotlichts zwischen einer Umgebung, wo die Lichtmenge groß ist und einer Umgebung umzuschalten, wo die Lichtmenge klein ist, wahrscheinlich, dass ein Auftreten eines Unterschieds in der Bildqualität beim Umschalten in der Steuerung einem Benutzer ein unbehagliches Gefühl gibt.
In Anbetracht des Obigen sieht die vorliegende Offenbarung eine Bildaufnahmevorrichtung vor, die imstande ist, eine Optimierung der Bildqualität mit einer Verhinderung einer Verschlechterung der Farbreproduzierbarkeit eines Objekts aufgrund von Nahinfrarotlicht umzusetzen.
Die Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung ist beispielsweise jede von in einem Fahrzeug eingebauten Fahrzeug-Bordkameras. Die Fahrzeug-Bordkameras umfassen beispielsweise vier an einem vorderen Bereich, einem hinteren Bereich, einem linken Seitenbereich und einem rechten Seitenbereich des Fahrzeugs angebrachte Kameras.
Der vordere Bereich des Fahrzeugs ist beispielsweise ein Firmenzeichenbereich des Fahrzeugs. Die vordere Fahrzeug-Bordkamera ist in einer solchen Stellung angebracht, dass sie beispielsweise schräg nach unten auf die Fahrbahnfläche vor dem Fahrzeug schaut. Das heißt, die vordere Fahrzeug-Bordkamera ist so vorgesehen, dass sie einen vorgegebenen Aufnahmebereich aufnimmt, wo eine Fläche vor dem Fahrzeug in der Mitte liegt.
Der hintere Bereich des Fahrzeugs ist beispielsweise der hintere Kennzeichenmontagebereich des Fahrzeugs. Die hintere Fahrzeug-Bordkamera ist in einer solchen Stellung angebracht, dass sie beispielsweise schräg nach unten auf die Fahrbahnfläche hinter dem Fahrzeug schaut. Das heißt, die hintere Fahrzeug-Bordkamera ist so vorgesehen, dass sie einen vorgegebenen Aufnahmebereich aufnimmt, wo eine Fläche hinter dem Fahrzeug in der Mitte liegt.
Der linke Seitenbereich und der rechte Seitenbereich des Fahrzeugs, das heißt die seitlichen Bereiche des Fahrzeugs, sind beispielsweise die Seitenspiegelbereiche des Fahrzeugs. Die seitlichen Fahrzeug-Bordkameras sind jeweils in einer solchen Stellung angebracht, dass sie beispielsweise nach unten auf die Fahrbahnfläche seitlich vom Fahrzeug schauen. Das heißt, die seitlichen Fahrzeug-Bordkameras sind so vorgesehen, dass sie einen vorgegebenen Aufnahmebereich aufnehmen, wo eine Fläche der Seite seitlich vom Fahrzeug in der Mitte liegt.
Anzumerken ist, dass beispielsweise angrenzende der Fahrzeug-Bordkameras so angeordnet sind, dass sich die jeweiligen Aufnahmebereiche teilweise überlappen. In diesem Fall werden durch die Fahrzeug-Bordkameras erhaltene Bilder so kombiniert, dass sie aneinander anschließen, sodass ein Bild erzeugt werden kann, das die gesamte Umgebung des Fahrzeugs angibt.
Anzumerken ist, dass Beispiele eines mit der Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung auszustattenden Fahrzeugs ein Fahrrad, ein Motorrad, ein Automobil und einen Zug umfassen, und dass verschiedene Typen von Fahrzeugen geeignet verwendet werden können. Die Bildaufnahmevorrichtung gemäß der vorliegenden Offenbarung kann nicht nur in ein Fahrzeug, sondern auch in verschiedene Typen von beweglichen Objekten eingebaut werden, wie etwa ein Schiff und ein Luftfahrzeug. Verschiedene Typen von beweglichen Objekten einschließlich Fahrzeugen können bemannt oder unbemannt sein. Solche beweglichen Objekte können jeweils durch einen Benutzer gesteuert werden, sich zu bewegen, oder können jeweils autonom gesteuert werden.
1 ist ein Diagramm, das einen beispielhaften Aufbau einer Bildaufnahmevorrichtung 1 gemäß einer Ausführungsform darstellt. 2 ist ein Diagramm, das einen beispielhaften Aufbau einer Signalverarbeitungseinheit 30 in 1 darstellt.
Wie in 1 und 2 dargestellt, enthält die Bildaufnahmevorrichtung 1 eine Bildaufnahmeeinheit 10 und die Signalverarbeitungseinheit 30. Die Bildaufnahmeeinheit 10 nimmt nacheinander einen vorgegebenen Aufnahmebereich bei einer vorgegebenen Bildrate auf und gibt ein ausgelesenes Pixelsignal an die Signalverarbeitungseinheit 30 aus. Das Pixelsignal enthält ein RGB-Signal und ein IR-Signal. Das RGB-Signal und das IR-Signal sind nachstehend genau beschrieben. Die Signalverarbeitungseinheit 30 ist ausgelegt, eine Signalverarbeitung nahtloser Subtraktion und Addition zwischen dem RGB-Signal und dem IR-Signal auf Grundlage von durch die Bildaufnahmeeinheit 10 gegebenen Matrixinformationen des RGB-Signals durchzuführen. Die Bildaufnahmevorrichtung 1 gibt ein Bildsignal 50 aus, an dem die Signalverarbeitung durch die Signalverarbeitungseinheit 30 durchgeführt worden ist.
Wie in 1 dargestellt, enthält die Bildaufnahmeeinheit 10 ein optisches Bildaufnahmesystem 11 und ein Bildaufnahmeelement 12. Die Bildaufnahmeeinheit 10 gibt an die Signalverarbeitungseinheit 30 ein Pixelsignal bei einem Signalpegel aus, der der empfangenen Lichtintensität eines Lichtstroms eines Objekts entspricht, der durch das optische Bildaufnahmesystem 11 auf der Bildaufnahmefläche des Bildaufnahmeelements 12 gebildet ist.
Wie in 1 dargestellt, enthält die Bildaufnahmeeinheit 11 ein optisches Bandpassfilter (BPF) 111 und ein Objektiv 112.
Das optische BPF 111 ist ein Filter, das eine Wellenlängenselektivität aufweist, die ein selektives Durchlassen von Licht mit einer bestimmten Wellenlänge ermöglicht. 3 ist ein Diagramm, das eine beispielhafte Transmittanzeigenschaft (BPF) des optischen BPF 111 in 1 und 2 darstellt. In einer in 3 dargestellten Grafik stellen die vertikale Achse und die horizontale Achse jeweils die Transmittanz [%] und die Wellenlänge [nm] dar. Man beachte, dass in der in 3 dargestellten Grafik, zusätzlich zu der Transmittanzeigenschaft (BPF) des optischen BPF 111, die spektralen Eigenschaften (R, G, B) hinsichtlich des sichtbaren Lichts des Bildaufnahmeelements 12 und das Emissionsspektrum (LED) einer Leuchtdiode (LED), die Nahinfrarotlicht emittiert, angegeben sind. Wie in 3 dargestellt, ist das optische BPF 111 ausgelegt, sichtbares Licht als Licht mit der Wellenlänge eines sichtbaren Bereichs und Nahinfrarotlicht mit der Wellenlänge eines Nahinfrarotbereichs selektiv durchzulassen.
Das Objektiv 112 ist ein optisches Element, das einen Lichtstrom eines Objekts auf der Bildaufnahmefläche des Bildaufnahmeelements 12 bildet. Es ist anzumerken, dass in 1 und 2 das Objektiv 112 beispielhaft als eine einzelne Linse dargestellt ist, aber nicht darauf beschränkt ist. Während es erforderlich ist, dass das Objektiv 112 eine gewünschte Bildgebungsleistung durch mindestens ein optisches Element mit einer Leistung aufweist, kann das Objektiv 112 ein zusammengesetztes Objektiv sein, das mindestens eine einzelne Linse enthält oder einen Linsenbestandteil und einen reflektierenden Bestandteil in Kombination enthalten kann.
Das Bildaufnahmeelement 12 ist ausgelegt, ein Pixelsignal bei einem Signalpegel auszugeben, der der empfangenen Lichtintensität eines Lichtstroms eines Objekts entspricht, der durch das optische Bildaufnahmesystem 11 auf der Bildaufnahmefläche gebildet ist. Als das Bildaufnahmeelement 12 kann zum Beispiel ein Festkörper-Bildaufnahmeelement, wie etwa ein ladungsgekoppeltes Bauelement (CCD) oder ein komplementärer Metall-Oxid-Halbleiter (CMOS), geeignet verwendet sein. Das Bildaufnahmeelement 12 ist an der Position angeordnet, an der das Objektiv 112 einen Lichtstrom eines Objekts bildet. Das Bildaufnahmeelement 12 besteht aus Lichtempfangseinheiten, die zweidimensional angeordnet sind, um Pixel zu bilden. Beispielsweise sind die Lichtempfangseinheiten jeweils eine Fotodiode. Die Lichtempfangseinheiten sind jeweils imstande, sichtbares Licht mit der Wellenlänge eines sichtbaren Bereichs und Nahinfrarotlicht mit der Wellenlänge eines Nahinfrarotbereichs zu erfassen. Die Lichtempfangseinheiten erzeugen jeweils elektrische Ladungen, die der optischen Intensität empfangenen Lichts entsprechen, d.h. der Menge empfangenen Lichts. Die erzeugten elektrischen Ladungen werden in einem mit der entsprechenden Lichtempfangseinheit verbundenen Kondensator gesammelt. Die in dem Kondensator gesammelte elektrische Ladung wird als ein Pixelsignal ausgelesen.
Ein Farbfilter 121 ist auf der Objektseite der Bildaufnahmefläche des Bildaufnahmeelements 12 vorgesehen. Das Farbfilter 121 weist eine Pixelmatrix auf, in der in einer Bayer-Matrixstruktur die R-Pixel durch SW-Pixel (schwarze Pixel) ersetzt sind und ein Teil der B-Pixel durch R-Pixel ersetzt ist. Die Bayer-Matrixstruktur bezieht sich auf eine Farbfiltermatrixstruktur, in der Reihen von alternierend in der horizontalen Richtung arrangierten R- und G-Pixeln und Reihen von alternierend in der horizontalen Richtung arrangierten B- und G-Pixeln alternierend in der vertikalen Richtung angeordnet sind.
4 ist eine schematische Ansicht eines beispielhaften Matrixmusters in dem Farbfilter 121 des Bildaufnahmeelements 12 in 1 und 2. Genauer weist, wie in 4 dargestellt, das Farbfilter 121 gemäß der Ausführungsform eine Matrixstruktur auf, bei der Reihen von vier Pixeln aus einem B-Pixel, einem G-Pixel, einem R-Pixel und einem G-Pixel in dieser Reihenfolge wiederholt in der horizontalen Richtung arrangiert sind und Reihen von G- und SW-Pixeln, die alternierend in der horizontalen Richtung arrangiert sind, alternierend in der vertikalen Richtung angeordnet sind.
Anzumerken ist, dass eine Differenz in der horizontalen Richtung von zwei Pixeln vorhanden ist zwischen vertikal angrenzenden zwei Reihen aus den Reihen, in denen vier Pixel aus einem B-Pixel, einem G-Pixel, einem R-Pixel und einem G-Pixel in dieser Reihenfolge wiederholt in der horizontalen Richtung arrangiert sind. Mit anderen Worten, die Matrixstruktur des Farbfilters 121 gemäß der Ausführungsform enthält eine Pixelgruppe, in der ein B-Pixel, ein G-Pixel, ein SW-Pixel und ein G-Pixel in dieser Reihenfolge im Uhrzeigersinn arrangiert sind, und eine Pixelgruppe, in der ein R-Pixel, ein G-Pixel, ein SW-Pixel und ein G-Pixel in dieser Reihenfolge im Uhrzeigersinn arrangiert sind.
Anzumerken ist, dass das Matrixmuster im Farbfilter 121 nicht auf die in 4 dargestellte Matrixstruktur beschränkt ist. Zum Beispiel kann die Matrixstruktur des Farbfilters 121 eine Pixelmatrix sein, in der in einer Bayer-Matrixstruktur ein Teil der G-Pixel durch SW-Pixel (schwarze Pixel) ersetzt ist.
Ein von jedem der Pixel des Bildaufnahmeelements 12 ausgegebenes Pixelsignal ist beschrieben. 5 ist eine Tabelle, die eine beispielhafte Beziehung zwischen jedem Pixel in dem Bildaufnahmeelement 12 und ein Ausgangssignal von dem Bildaufnahmeelement 12 in 1 und 2 darstellt. Das Pixelsignal von dem Bildaufnahmeelement 12 enthält ein RGB-Signal und ein SW-Signal. Wie in 2 und 5 dargestellt, enthält das RGB-Signal ein R'-Signal, ein G'-Signal und ein B'-Signal.
Das R'-Signal ist ein aus einem R-Pixel ausgelesenes Signal. Das G'-Signal ist ein aus einem G-Pixel ausgelesenes Signal. Das B'-Signal ist ein aus einem B-Pixel ausgelesenes Signal. Das SW-Signal ist ein aus einem SW-Pixel ausgelesenes IR-Signal. Anzumerken ist, dass die spektrale Eigenschaft hinsichtlich Nahinfrarotlichts des Bildaufnahmeelements 12 beispielsweise dem in 3 dargestellten Emissionsspektrum (LED) der LED entspricht, die Nahinfrarotlicht emittiert.
Wie oben beschrieben, ist das optische BPF 111 ausgelegt, Nahinfrarotlicht durchzulassen. Die Lichtempfangseinheiten in dem Bildaufnahmeelement 12 sind jeweils imstande, sichtbares Licht und Nahinfrarotlicht zu erfassen. Bei einer solchen Anordnung sind die jeweiligen Filter in dem Farbfilter 121, die dem R-Pixel, dem G-Pixel und dem B-Pixel entsprechen, imstande, nicht nur jeweils rotes Licht, grünes Licht und blaues Licht, sondern auch Nahinfrarotlicht durchzulassen. Zum Beispiel sind in einem Fall, wo die empfangene Lichtintensität der sichtbaren Lichtkomponente eines Lichtstroms eines Objekts kleiner ist als die Erfassungsempfindlichkeit des Bildaufnahmeelements 12, das R'-Signal, das G'-Signal und das B'-Signal jeweils dem SW-Signal äquivalent.
Daher ist, wie in 5 angegeben, das R'-Signal ein Signal, äquivalent der Summe aus einem R-Signal bei einem Signalpegel, der der empfangenen Lichtintensität von rotem Licht entspricht, und einem IR-Signal bei einem Signalpegel, der der empfangenen Lichtintensität von Nahinfrarotlicht entspricht. Das G'-Signal ist ein Signal, äquivalent der Summe aus einem G-Signal bei einem Signalpegel, der der empfangenen Lichtintensität von grünem Licht entspricht, und dem IR-Signal. Das B'-Signal ist ein Signal, äquivalent der Summe aus einem B-Signal bei einem Signalpegel, der der empfangenen Lichtintensität von blauem Licht entspricht, und dem IR-Signal. Demgemäß kann ausgedrückt werden, dass das Bildaufnahmeelement 12 ein RGB-Signal bei einem Signalpegel, der der empfangenen Lichtintensität von sichtbarem Licht und Nahinfrarotlicht durch das optische BPF 111 entspricht, und ein IR-Signal bei einem Signalpegel ausgibt, der der empfangenen Lichtintensität von Nahinfrarotlicht durch das optische BPF 111 entspricht. Das RGB-Signal ist ein Beispiel des ersten Signals. Das IR-Signal ist ein Beispiel des zweiten Signals.
Wie in 2 dargestellt, enthält die Signalverarbeitungseinheit 30 einen Subtrahierer 31, einen Addierer 32, einen Multiplizierer 33, eine AE/AWB/y-Verarbeitungseinheit 34, eine Luminanzsignalverarbeitungseinheit 35, eine Farbsignalverarbeitungseinheit 36, eine Luminanzmatrix (Luminanz-MTX) 37 und eine Luminanzpegelbestimmungseinheit 38.
Der Subtrahierer 31, der Addierer 32, der Multiplizierer 33, die Luminanzsignalverarbeitungseinheit 35, die Farbsignalverarbeitungseinheit 36, die Luminanz-MTX 37 und die Luminanzpegelbestimmungseinheit 38 sind jeweils durch eine Logikschaltung umgesetzt, wie etwa einen digitalen Signalprozessor (DSP), einen anwendungsspezifischen integrierten Schaltkreis (ASIC) oder eine feldprogrammierbare Gatteranordnung (FPGA).
Anzumerken ist, dass mindestens zwei aus dem Subtrahierer 31, dem Addierer 32, dem Multiplizierer 33, der Luminanzsignalverarbeitungseinheit 35, der Farbsignalverarbeitungseinheit 36, der Luminanz-MTX 37 und der Luminanzpegelbestimmungseinheit 38 durch eine einzige Logikschaltung umgesetzt sein können. Der Subtrahierer 31, der Addierer 32, der Multiplizierer 33, die Luminanzsignalverarbeitungseinheit 35, die Farbsignalverarbeitungseinheit 36, die Luminanz-MTX 37 und die Luminanzpegelbestimmungseinheit 38 können jeweils durch zwei oder mehr Logikschaltungen umgesetzt sein.
Der Subtrahierer 31 dient als ein Schaltungsblock, der ein in einen Minus-Eingangsanschluss eingegebenes Signal von einem in einen Plus-Eingangsanschluss eingegebenen Signal subtrahiert und ein Signal ausgibt, das die Differenz zwischen den beiden Eingangssignalen angibt. Dieses Signal, das die Differenz angibt, ist ein Beispiel des dritten Signals. Die beiden Eingangsanschlüsse des Subtrahierers 31 sind mit Ausgangsanschlüssen des Bildaufnahmeelements 12 elektrisch verbunden. Ein Ausgangsanschluss des Subtrahierers 31 ist mit einem von zwei Eingangsanschlüssen des Addierers 32 elektrisch verbunden, der verschieden ist von dem anderen Eingangsanschluss, an den der Multiplizierer 33 angeschlossen ist.
Der Addierer 32 dient als ein Schaltungsblock, der zwei in die beiden Eingangsanschlüsse eingegebene Signale addiert und ein Bildsignal ausgibt, das die Summe der beiden Eingangssignale angibt. Die beiden Eingangsanschlüsse des Addierers 32 sind jeweils mit dem Ausgangsanschluss des Subtrahierers 31 und dem Ausgangsanschluss des Multiplizierers 33 elektrisch verbunden. Ein Ausgangsanschluss des Addierers 32 ist mit einem Eingangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 elektrisch verbunden.
Der Multiplizierer 33 dient als ein Schaltungsblock, der ein in einen Eingangsanschluss eingegebenes Signal mit einem Signal multipliziert, das einen in einen Steueranschluss eingegebenen Multiplikationswert angibt, und gibt ein Signal aus, das das Produkt des in den Eingangsanschluss eingegebenen Signals und des den Multiplikationswert angebenden Signals an. Anzumerken ist, dass der Signalpegel des das Produkt angebenden Signals niedriger als oder gleich dem Signalpegel des in den Eingangsanschluss eingegebenen Signals ist. Das heißt, der Multiplikationswert ist eine reelle Zahl von 0 bis 1 inclusive. Der Multiplikationswert ist ein Beispiel des Steuerwerts. Das das Produkt angebende Signal ist ein Beispiel des vierten Signals. Der Eingangsanschluss des Multiplizierers 33 ist mit dem Ausgangsanschluss des Bildaufnahmeelements 12 parallel zum Minus-Eingangsanschluss des Subtrahierers 31 elektrisch verbunden. Der Steueranschluss des Multiplizierers 33 ist mit einem der Ausgangsanschlüsse der Luminanzpegelbestimmungseinheit 38 elektrisch verbunden. Der Ausgangsanschluss des Multiplizierers 33 ist mit einem der beiden Eingangsanschlüsse des Addierers 32 elektrisch verbunden, der verschieden ist von dem anderen Eingangsanschluss, an den der Subtrahierer 31 angeschlossen ist.
Der Eingangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 ist mit dem Ausgangsanschluss des Addierers 32 elektrisch verbunden. Ein Steueranschluss der AE/AWB/y-Verarbeitungseinheit 34 ist mit einem der Ausgangsanschlüsse der Luminanzpegelbestimmungseinheit 38 elektrisch verbunden. Ein Ausgangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 ist mit den jeweiligen Eingangsanschlüssen der Luminanzsignalverarbeitungseinheit 35, der Farbsignalverarbeitungseinheit 36 und der Luminanz-MTX 37 elektrisch verbunden. Die AE/AWB/y-Verarbeitungseinheit 34 enthält einen Prozessor, wie etwa eine Zentraleinheit (CPU), und einen Speicher, wie etwa einen Flash-Speicher. Wenn der Prozessor ein in den Speicher geladenes Programm ausführt, funktioniert die AE/AWB/y-Verarbeitungseinheit 34 als eine AE-Verarbeitungseinheit 341, eine AWB-Verarbeitungseinheit 342 und eine γ-Verarbeitungseinheit 343. Die AE/AWB/y-Verarbeitungseinheit 34 ist ein Beispiel einer Verarbeitungseinheit.
Anzumerken ist, dass die AE/AWB/y-Verarbeitungseinheit 34 durch eine Logikschaltung umgesetzt sein kann, wie etwa einen DSP, einen ASIC oder einen FPGA. In diesem Fall können mindestens zwei aus dem Subtrahierer 31, dem Addierer 32, dem Multiplizierer 33, der AE/AWB/y-Verarbeitungseinheit 34, der Luminanzsignalverarbeitungseinheit 35, der Farbsignalverarbeitungseinheit 36, der Luminanz-MTX 37 und der Luminanzpegelbestimmungseinheit 38 durch eine einzige Logikschaltung umgesetzt sein. Die AE/AWB/y-Verarbeitungseinheit 34 kann durch zwei oder mehr Logikschaltungen umgesetzt sein.
Die AE-Verarbeitungseinheit 341 führt eine automatische Belichtungssteuerungsverarbeitung (AE-Steuerungsverarbeitung) durch. Genauer stellt die AE-Verarbeitungseinheit 341 auf Grundlage eines AE-Bewertungswerts, der die Luminanz eines Objekts in Bilddaten angibt, die Aufnahmebedingungen ein, die Blendenwertkorrekturen entsprechen, wie etwa eine Verstärkung für das Bildaufnahmeelement 12 und einen Verschlussgeschwindigkeitswert. Mit anderen Worten, die AE-Verarbeitungseinheit 341 optimiert die Helligkeit des durch das Bildaufnahmesignal 50 gezeigten Bildes.
Gemäß einem Steuersignal von der Luminanzpegelbestimmungseinheit 38 führt die AWB-Verarbeitungseinheit 342 eine automatische Weißabgleichsteuerungsverarbeitung (AWB-Steuerungsverarbeitung) durch. Bei der AWB-Steuerungsverarbeitung justiert die AWB-Verarbeitungseinheit 342 den Signalpegel des vom Bildaufnahmeelement 12 ausgegebenen RGB-Signals gemäß der Farbtemperatur eines Lichtstroms des Objekts. Zum Beispiel justiert die AWB-Verarbeitungseinheit 342 auf Grundlage des Durchschnittswerts oder integrierten Werts der Pixelwerte von Pixeln identischer Farbe für jede vorgegebene Pixelgruppe des Bildaufnahmeelements 12 den Signalpegel des RGB-Signals so, dass die jeweiligen Signalpegel des R-Signals und des B-Signals identisch mit dem Signalpegel des G-Signals sind. Anzumerken ist, dass die AWB-Verarbeitungseinheit 342 den Durchschnittswert oder integrierten Wert der Pixelwerte von Pixeln identischer Farbe auf Grundlage des Signals berechnet, das die spektrale Transmittanzeigenschaft des optischen Bildaufnahmesystems 11 und die spektrale Empfindlichkeitseigenschaft des Bildaufnahmeelements 12 durchlaufen hat.
Die γ-Verarbeitungseinheit 343 führt eine Gammaumwandlungsverarbeitung durch. Bei der Gammaumwandlungsverarbeitung justiert die γ-Verarbeitungseinheit 343 einen Gammawert, um den Kontrast des durch das Bildsignal 50 gezeigten Bildes zu justieren, und verbessert dadurch die Erkennbarkeit des Bildes.
Die Luminanzsignalverarbeitungseinheit 35 dient als ein Schaltungsblock, der eine Luminanzsignalverarbeitung durchführt. Die Luminanzsignalverarbeitungseinheit 35 enthält beispielsweise eine Luminanz-MTX-Schaltung, ausgelegt, Luminanzinformationen von dem RGB-Signal auszugeben, und eine Schaltung, ausgelegt, eine Konturkorrekturverarbeitung durchzuführen, um das Bild deutlicher zu machen. Ein Eingangsanschluss der Luminanzsignalverarbeitungseinheit 35 ist mit dem Ausgangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 elektrisch verbunden.
Die Farbsignalverarbeitungseinheit 36 dient als ein Schaltungsblock, der eine Farbsignalverarbeitung durchführt. Die Farbsignalverarbeitungseinheit 36 enthält beispielsweise eine Farbsignal-MTX-Schaltung, eine Schaltung, die eine Farbkorrekturverarbeitung durchführt, und eine Schaltung, die eine Farbverstärkungsjustierverarbeitung durchführt. Ein Eingangsanschluss der Farbsignalverarbeitungseinheit 36 ist mit dem Ausgangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 parallel zum Eingangsanschluss der Luminanzsignalverarbeitungseinheit 35 elektrisch verbunden. Die Farbsignalverarbeitungseinheit 36 weist einen Steueranschluss auf, der mit einem der Ausgangsanschlüsse der Luminanzpegelbestimmungseinheit 38 elektrisch verbunden ist.
Ein Ausgangsanschluss der Luminanzsignalverarbeitungseinheit 35 und ein Ausgangsanschluss der Farbsignalverarbeitungseinheit 36 sind mit einem Ausgangsanschluss der Signalverarbeitungseinheit 30 über einen nicht dargestellten Koppler elektrisch verbunden. Das heißt, das vom Ausgangsanschluss der Signalverarbeitungseinheit 30 ausgegebene Bildsignal 50 ist ein Signal, erhalten durch ein Kombinieren eines Ausgangssignals von der Luminanzsignalverarbeitungseinheit 35 und eines Ausgangssignals von der Farbsignalverarbeitungseinheit 36.
Die Luminanz-MTX 37 dient als ein Schaltungsblock, der gemäß dem RGB-Signal Luminanzinformationen über den sichtbaren Bereich ausgibt. Ein Eingangsanschluss der Luminanz-MTX 37 ist mit dem Ausgangsanschluss der AE/AWB/y-Verarbeitungseinheit 34 parallel zum Eingangsanschluss der Luminanzsignalverarbeitungseinheit 35 und zum Eingangsanschluss der Farbsignalverarbeitungseinheit 36 elektrisch verbunden. Ein Ausgangsanschluss der Luminanz-MTX 37 ist mit einem Eingangsanschluss der Luminanzpegelbestimmungseinheit 38 elektrisch verbunden.
Als Beispiel geben die Luminanz-MTX-Schaltung der Luminanzsignalverarbeitungseinheit 35 und die Luminanz-MTX 37 jeweils Luminanzinformationen aus, indem sie ein Luminanzsignal (Y) für jedes der Pixel des Bildaufnahmeelements 12 gemäß einem Luminanz-MTX-Ausdruck ausgeben, der den SD-Standard (BT601) erfüllt. Der den SD-Standard (BT601) erfüllende Luminanz-MTX-Ausdruck ist als Ausdruck (1) angegeben. Im Ausdruck (1) stellen R, G und B jeweils den Signalpegel des R-Signals, den Signalpegel des G-Signals und den Signalpegel des B-Signals an. $Y = 0,3 R + 0,59 G + 0,11 B$
Als weiteres Beispiel geben die Luminanz-MTX-Schaltung der Luminanzsignalverarbeitungseinheit 35 und die Luminanz-MTX 37 jeweils Luminanzinformationen aus, indem sie ein Luminanzsignal (Y) gemäß einem Luminanz-MTX-Ausdruck ausgeben, der den HD-Standard (BT709) erfüllt. Der den HD-Standard (BT709) erfüllende Luminanz-MTX-Ausdruck ist als Ausdruck (2) angegeben. Im Ausdruck (2) stellen R, G und B jeweils den Signalpegel des R-Signals, den Signalpegel des G-Signals und den Signalpegel des B-Signals an. $Y = 0,21 R + 0,72 G + 0,07 B$
Anzumerken ist, dass die Luminanz-MTX-Schaltung der Luminanzsignalverarbeitungseinheit 35 und die Luminanz-MTX 37 als ein einziger Körper integriert sein können. Zum Beispiel dient die Luminanzsignalverarbeitungseinheit 35 als ein Schaltungsblock, der die Luminanz-MTX 37 enthält und die Luminanzsignalverarbeitung an dem Bildsignal auf Grundlage der Luminanzinformationen von der Luminanz-MTX 37 durchführt. Dieser Aufbau ermöglicht eine Verringerung der Anzahl von Schaltungsbauteilen oder eine Verringerung der Schaltungsgröße. Eine Verringerung der Anzahl von Schaltungsbauteilen und eine Verringerung der Schaltungsgröße tragen zu einer Verringerung der Kosten der Bildaufnahmevorrichtung 1 und einer Verringerung der Größe der Bildaufnahmevorrichtung 1 bei.
Die Luminanzpegelbestimmungseinheit 38 dient als ein Schaltungsblock, der den Betrieb der Signalverarbeitungseinheit 30 auf Grundlage der Luminanzinformationen steuert. Genauer steuert die Luminanzpegelbestimmungseinheit 38 den Betrieb der Signalverarbeitungseinheit 30 gemäß dem Signalpegel des Luminanzsignals, das heißt des Luminanzsignals des sichtbaren Bereichs, für jedes in den Luminanzinformationen enthaltene Pixel. Ein Eingangsanschluss der Luminanzpegelbestimmungseinheit 38 ist mit dem Ausgangsanschluss der Luminanz-MTX 37 elektrisch verbunden. Die Luminanzpegelbestimmungseinheit 38 weist drei Ausgangsanschlüsse auf, die jeweils mit dem Steueranschluss des Multiplizierers 33, dem Steueranschluss der AE/AWB/y-Verarbeitungseinheit 34 und dem Steueranschluss der Farbsignalverarbeitungseinheit 36 elektrisch verbunden sind.
Die Luminanzpegelbestimmungseinheit 38 ist ausgelegt, den Luminanzpegel des sichtbaren Bereichs auf Grundlage des Luminanzsignals von jedem der Pixel zu bestimmen, das durch die Luminanz-MTX 37 ausgegeben wird. Als Beispiel bestimmt die Luminanzpegelbestimmungseinheit 38 einen Luminanzpegel für jeden vorgegebenen Bereich auf der Bildaufnahmefläche des Bildaufnahmeelements 12. Der vorgegebene Bereich ist beispielsweise ein Bereich von 8 Pixeln, bestehend aus 2 × 4 Pixeln oder 4 × 2 Pixeln, ein Bereich von 16 Pixeln, bestehend aus 4 × 4 Pixeln oder ein Bereich einer beliebigen Kombination davon in der in 4 dargestellten Matrix. Darüber hinaus kann der vorgegebene Bereich ein Bereich sein, in dem die Anzahl von Pixeln zwischen einem zentralen Teil und einem peripheren Teil in der Bildaufnahmefläche verschieden ist.
Als weiteres Beispiel bestimmt die Luminanzpegelbestimmungseinheit 38 einen Luminanzpegel hinsichtlich eines bestimmten Bereichs auf der Bildaufnahmefläche des Bildaufnahmeelements 12. Der bestimmte Bereich ist beispielsweise ein Bereich von Pixeln in einem zentralen Teil oder einem peripheren Teil in der Bildaufnahmefläche. Der bestimmte Bereich ist wahlfrei in der Größe und ist beispielsweise ein Bereich von 8 Pixeln, bestehend aus 2 × 4 Pixeln oder 4 × 2 Pixeln, ein Bereich von 16 Pixeln, bestehend aus 4 × 4 Pixeln oder ein Bereich einer beliebigen Kombination davon in der in 4 dargestellten Matrix. Zwei oder mehr bestimmte Bereiche können im zentralen Bereich oder im peripheren Bereich vorgesehen sein. Der bestimmte Bereich kann sowohl im zentralen Bereich als auch im peripheren Bereich vorgesehen sein.
Als noch weiteres Beispiel bestimmt die Luminanzpegelbestimmungseinheit 38 einen Luminanzpegel hinsichtlich des gesamten Bereichs der Bildaufnahmefläche des Bildaufnahmeelements 12.
Die Luminanzpegelbestimmungseinheit 38 ist ausgelegt zu steuern, dass der Signalpegel des IR-Signals zu dem RGB-Signal gemäß dem Luminanzpegel addiert wird. 6 ist ein Diagramm, das eine beispielhafte Eigenschaft der Multiplizierersteuerung entsprechend dem Luminanzpegel darstellt, gemäß der Ausführungsform.
In einem Fall, wo der Luminanzpegel größer ist als ein vorgegebener Schwellenwert br12, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss des Multiplizierers 33 „0“ als einen Wert des Multiplikationswerts zu. In einer „hellen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs hoch ist, wird der Signalpegel des Ausgangssignals vom Multiplizierer 33 zu „0“, sodass der Addierer 32 nichts zu dem Ausgangssignal vom Subtrahierer 31 addiert. Dann werden das R-Signal, das G-Signal und das B-Signal der AE/AWB/y-Verarbeitungseinheit 34 zugeführt.
In einem Fall, wo der Luminanzpegel niedriger als oder gleich einem vorgegebenen Schwellenwert br11 ist, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss des Multiplizierers 33 „1“ als einen Wert des Multiplikationswerts zu. In einer „extrem dunklen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs extrem niedrig ist, gibt der Multiplizierer 33 das IR-Signal ohne Änderungen aus, sodass der Addierer 32 das durch den Subtrahierer 31 subtrahierte IR-Signal addiert. Dann werden das R'-Signal, das G'-Signal und das B'-Signal der AE/AWB/y-Verarbeitungseinheit 34 zugeführt.
Indessen führt in einem Fall, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br11 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br12 ist, die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss des Multiplizierers 33 einen Wert, der dem Luminanzpegel entspricht und in dem Bereich von „0“ bis „1“ liegt, als einen Wert des Multiplikationswerts zu. Das heißt, die „dunkle Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs niedrig ist, wird, je niedriger der Luminanzpegel des sichtbaren Bereichs wird, der Signalpegel des Ausgangssignals vom Multiplizierer 33 umso höher, und dadurch erhöht sich das Ausmaß der Addition des IR-Signals durch den Addierer 32 zum Ausgangssignal vom Subtrahierer 31. Der Bereich, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br11 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br12 ist, ist ein Beispiel eines ersten Bereichs. Der vorgegebene Schwellenwert br11 ist ein Beispiel für einen unteren Grenzwert des ersten Bereichs. Der vorgegebene Schwellenwert br12 ist ein Beispiel für einen oberen Grenzwert des ersten Bereichs.
Anzumerken ist, dass in dem in 6 dargestellten Beispiel in dem Bereich, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br11 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br12 ist, die Beziehung zwischen einem Wert des Multiplikationswerts und dem Luminanzpegel linear ist, aber nichtlinear sein kann.
Wie oben beschrieben, führt die Luminanzpegelbestimmungseinheit 38 auf Grundlage der Luminanzinformationen von der Luminanz-MTX 37 dem Multiplizierer 33 den Multiplikationswert zu, der ein Wert ist, der dem Luminanzpegel des sichtbaren Bereichs entspricht. Somit führt die Signalverarbeitungseinheit 30 eine ständige Addition zwischen dem IR-Signal und jedem aus dem R-Signal, dem G-Signal und dem B-Signal durch. Die Bildaufnahmevorrichtung 1 ist imstande zu verhindern, dass der Benutzer ein unbehagliches Gefühl hat aufgrund eines unstetigen Umschaltens zwischen einer Steuerung zum Addieren des IR-Signals und einer Steuerung zum Addieren keines IR-Signals.
Anzumerken ist, dass in einem Fall, wo der Luminanzpegel der vorgegebene Schwellenwert br11 ist, der Multiplikationswert, der dem Luminanzpegel entspricht, dem Steueranschluss des Multiplizierers 33 zugeführt werden kann. In einem Fall, wo der Luminanzpegel der vorgegebene Schwellenwert br12 ist, kann „0“ als Wert des Multiplikationswerts dem Steueranschluss des Multiplizierers 33 zugeführt werden.
Die Luminanzpegelbestimmungseinheit 38 ist ausgelegt, die Weißabgleichsteuerung zwischen EIN und AUS gemäß dem Luminanzpegel umzuschalten. 7 ist ein Diagramm, das eine beispielhafte Eigenschaft der Weißabgleichsteuerung entsprechend dem Luminanzpegel darstellt, gemäß der Ausführungsform.
In einem Fall, wo der Luminanzpegel größer ist als ein vorgegebener Schwellenwert br21, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss der AE/AWB/y-Verarbeitungseinheit 34 ein Steuersignal zum Schalten der Weißabgleichsteuerung in einen EIN-Zustand zu. Andererseits führt die Luminanzpegelbestimmungseinheit 38 in einem Fall, wo der Luminanzpegel niedriger als oder gleich dem vorgegebenen Schwellenwert br21 ist, dem Steueranschluss der AE/AWB/y-Verarbeitungseinheit 34 ein Steuersignal zum Schalten der Weißabgleichsteuerung in einen AUS-Zustand zu. Der vorgegebene Schwellenwert br21 ist ein Beispiel für einen ersten Schwellenwert.
Wie oben beschrieben, unterbricht die Luminanzpegelbestimmungseinheit 38 in einem Zustand niedriger Beleuchtung, wo der Luminanzpegel des sichtbaren Bereichs niedrig ist, das heißt in der „extrem dunklen Umgebung“, die Weißabgleichsteuerung. Daher ist die Bildaufnahmevorrichtung 1 imstande, jede negative Wirkung aufgrund der Weißabgleichsteuerung auf einen Bereich mit weniger Farbinformationen zu verhindern.
Anzumerken ist, dass ein Steuersignal zum Schalten der Weißabgleichsteuerung in einen EIN-Zustand dem Steueranschluss der AE/AWB/y-Verarbeitungseinheit 34 in einem Fall zugeführt werden kann, wo der Luminanzpegel der vorgegebene Schwellenwert br21 ist.
Die Luminanzpegelbestimmungseinheit 38 ist ausgelegt, die Verstärkung der Farbsignalverarbeitung gemäß dem Luminanzpegel zu steuern. 8 ist ein Diagramm, das eine beispielhafte Eigenschaft der Farbverstärkungssteuerung entsprechend dem Luminanzpegel darstellt, gemäß der Ausführungsform.
In einem Fall, wo der Luminanzpegel größer ist als ein vorgegebener Schwellenwert br32, das heißt in der „hellen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs hoch ist, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss der Farbsignalverarbeitungseinheit 36 „1“ als den Wert der Farbverstärkung zu. In einem Fall, wo der Luminanzpegel niedriger als oder gleich dem vorgegebenen Schwellenwert br31 ist, das heißt in der „extrem dunklen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs extrem niedrig ist, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss der Farbsignalverarbeitungseinheit 36 „0“ als den Wert der Farbverstärkung zu. Indessen führt in einem Fall, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br31 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br32 ist, das heißt, in der „dunklen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs niedrig ist, führt die Luminanzpegelbestimmungseinheit 38 dem Steueranschluss der Farbsignalverarbeitungseinheit 36 einen Wert als den Wert der Farbverstärkung zu, der dem Luminanzpegel entspricht und in dem Bereich von „0“ bis „1“ liegt. In diesem Fall sinkt, je niedriger der Luminanzpegel des sichtbaren Bereichs wird, der Wert der Farbverstärkung umso mehr. Der Bereich, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br31 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br32 ist, ist ein Beispiel eines zweiten Bereichs.
Anzumerken ist, dass in dem in 8 dargestellten Beispiel in dem Bereich, wo der Luminanzpegel höher als der vorgegebene Schwellenwert br31 ist und niedriger als oder gleich dem vorgegebenen Schwellenwert br32 ist, die Beziehung zwischen dem Wert der Farbverstärkung und dem Luminanzpegel linear ist, aber nichtlinear sein kann.
Wie oben beschrieben, unterdrückt die Signalverarbeitungseinheit 30 in einem Zustand niedriger Beleuchtung, wo der Luminanzpegel niedrig ist, den Signalpegel eines Farbsignals. Das heißt, er wird zu einem monochromen Zustand. Daher ist die Bildaufnahmevorrichtung 1 imstande, eine Verschlechterung der Bildqualität unter niedriger Beleuchtung mit einer Verringerung von Farbrauschen unter niedriger Beleuchtung zu verhindern.
Anzumerken ist, dass der dem Luminanzpegel entsprechende Wert der Farbverstärkung dem Steueranschluss der Farbsignalverarbeitungseinheit 36 in einem Fall zugeführt werden kann, wo der Luminanzpegel der vorgegebene Schwellenwert br31 ist. In einem Fall, wo der Luminanzpegel der vorgegebene Schwellenwert br32 ist, kann „1“ als der Wert der Farbverstärkung dem Steueranschluss der Farbsignalverarbeitungseinheit 36 zugeführt werden.
Anzumerken ist, dass der vorgegebene Schwellenwert br11, der vorgegebene Schwellenwert br21 und der vorgegebene Schwellenwert br31 identisch oder verschieden im Luminanzpegel sein können. Ähnlich können der vorgegebene Schwellenwert br12 und der vorgegebene Schwellenwert br32 identisch oder verschieden im Luminanzpegel sein.
Eine beispielhafte Arbeitsweise der Bildaufnahmevorrichtung 1 gemäß der Ausführungsform ist beschrieben. Der folgende Ablauf wird nacheinander an einem Pixelsignal durchgeführt, das durch eine sequenzielle Bildaufnahme bei einer vorgegebenen Bildrate erlangt ist.
Das Bildaufnahmeelement 12 erzeugt ein R'-Signal, ein G'-Signal und ein B'-Signal, die jeweils der empfangenen Lichtintensität von sichtbarem Licht und Nahinfrarotlicht entsprechen, durch das optische BPF 111 und führt dann das erzeugte R'-Signal, G'-Signal und B'-Signal dem Plus-Eingangsanschluss des Subtrahierers 31 zu. Das Bildaufnahmeelement 12 erzeugt ein IR-Signal, das der empfangenen Lichtintensität von Nahinfrarotlicht entspricht, durch das optische BPF 111 und führt dann das erzeugte IR-Signal jedem aus dem Minus-Eingangsanschluss des Subtrahierers 31 und dem Eingangsanschluss des Multiplizierers 33 zu.
Der Subtrahierer 31 subtrahiert das IR-Signal von dem R'-Signal, dem G'-Signal und dem B'-Signal und gibt dann ein R-Signal, ein G-Signal und ein B-Signal zum Addierer 32 aus. Der Multiplizierer 33 multipliziert das IR-Signal mit einem Multiplikationswert, der von der Luminanzpegelbestimmungseinheit 38 kommt, und gibt zum Addierer 32 ein Signal bei einem Signalpegel aus, der niedriger als oder gleich dem Signalpegel des eingegebenen IR-Signals ist. Danach addiert der Addierer 32 die vom Subtrahierer 31 ausgegebenen Signale und das vom Multiplizierer 33 ausgegebene Signal zueinander und gibt dann zur AE/AWB/y-Verarbeitungseinheit 34 ein durch die Addition erlangtes Bildsignal aus.
Die AE/AWB/y-Verarbeitungseinheit 34 führt eine AE-Steuerungsverarbeitung auf Grundlage des vom Addierer 32 ausgegebenen Bildsignals durch. Darüber hinaus wird eine Bildverarbeitung, wie etwa eine AWB-Steuerungsverarbeitung oder Gammaumwandlungsverarbeitung, an dem vom Addierer 32 ausgegebenen Bildsignal durchgeführt. Anzumerken ist, dass die Bestimmung, ob die AWB-Steuerungsverarbeitung durchzuführen ist, auf Grundlage eines Steuersignals von der Luminanzpegelbestimmungseinheit 38 erfolgt. Die AE/AWB/y-Verarbeitungseinheit 34 führt das Bildsignal, an dem die Bildverarbeitung durchgeführt worden ist, der Luminanzsignalverarbeitungseinheit 35, der Farbsignalverarbeitungseinheit 36 und der Luminanz-MTX 37 zu.
Danach führt die Luminanzsignalverarbeitungseinheit 35 eine Luminanzsignalverarbeitung an dem Bildsignal von der AE/AWB/γ-Verarbeitungseinheit 34 durch. Die Farbsignalverarbeitungseinheit 36 führt eine Farbsignalverarbeitung an dem Bildsignal von der AE/AWB/y-Verarbeitungseinheit 34 unter Verwendung der Farbverstärkung von der Luminanzpegelbestimmungseinheit 38 durch. Das durch die Luminanzsignalverarbeitungseinheit 35 verarbeitete Bildsignal und das durch die Farbsignalverarbeitungseinheit 36 verarbeitete Bildsignal werden kombiniert und dann als das Bildsignal 50 für das aktuelle Bild ausgegeben.
Die Luminanz-MTX 37 gibt Luminanzinformationen über den sichtbaren Bereich entsprechend dem Bildsignal von der AE/AWB/y-Verarbeitungseinheit 34 aus. Die Luminanzpegelbestimmungseinheit 38 bestimmt den Luminanzpegel des sichtbaren Bereichs auf Grundlage der Luminanzinformationen von der Luminanz-MTX 37. Die Luminanzpegelbestimmungseinheit 38 führt dem Multiplizierer 33 einen Multiplikationswert zu, der dem bestimmten Luminanzpegel entspricht, und erlangt dadurch Eigenschaften entsprechend dem Luminanzpegel der Multiplizierersteuerung.
9 ist ein Diagramm zum Erläutern des durch die Multiplizierersteuerung erlangten Bildsignals 50, das dem Luminanzpegel entspricht, gemäß der Ausführungsform.
In der „hellen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs hoch ist, ist der Multiplikationswert, der von der Luminanzpegelbestimmungseinheit 38 dem Multiplizierer 33 zuzuführen ist, „0“. Wie in 9 dargestellt, wird das Bildsignal 50 nur unter Verwendung des R-Signals, des G-Signals und des B-Signals erzeugt, die jeweils der empfangenen Lichtintensität von sichtbarem Licht entsprechen.
In der „dunkeln Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs niedrig ist, ist der Multiplikationswert, der von der Luminanzpegelbestimmungseinheit 38 dem Multiplizierer 33 zuzuführen ist, ein Wert, der dem Luminanzpegel entspricht. Das heißt, wie in 9 dargestellt, wird das Bildsignal 50 durch eine Addition des IR-Signals bei einem Signalpegel, der dem Luminanzpegel entspricht, zum R-Signal, zum G-Signal und zum B-Signal erzeugt, die der empfangenen Lichtintensität von sichtbarem Licht entsprechen.
In der „extrem dunklen Umgebung“, wo der Luminanzpegel des sichtbaren Bereichs extrem niedrig ist, ist der Multiplikationswert, der von der Luminanzpegelbestimmungseinheit 38 dem Multiplizierer 33 zuzuführen ist, „1“. Das heißt, wie in 9 dargestellt, wird das Bildsignal 50 durch eine Addition des IR-Signals entsprechend der empfangenen Lichtintensität von Nahinfrarotlicht zum R-Signal, zum G-Signal und zum B-Signal erzeugt, die der empfangenen Lichtintensität von sichtbarem Licht entsprechen.
Die Luminanzpegelbestimmungseinheit 38 führt der AE/AWB/y-Verarbeitungseinheit 34 ein Steuersignal zu, das dem bestimmten Luminanzpegel entspricht, und erlangt dadurch dem Luminanzpegel entsprechende Eigenschaften der Weißabgleichsteuerung. Die Luminanzpegelbestimmungseinheit 38 führt der Farbsignalverarbeitungseinheit 36 die dem bestimmten Luminanzpegel entsprechende Farbverstärkung zu, und erlangt dadurch dem Luminanzpegel entsprechende Eigenschaften der Farbverstärkungssteuerung.
Wie oben beschrieben, ist die Bildaufnahmevorrichtung 1 ausgelegt, nacheinander einen vorgegebenen Aufnahmebereich mit einer vorgegebenen Bildrate aufzunehmen und dann das Bildsignal 50 auszugeben. Die Bildaufnahmevorrichtung 1 ist ausgelegt, eine nahtlose Subtraktionsverarbeitung oder nahtlose Additionsverarbeitung an dem RGB-Signal und dem IR-Signal auf Grundlage von Matrixinformationen über das RGB-Signal durchzuführen.
Daher ist die Bildaufnahmevorrichtung 1 gemäß der Ausführungsform fähig, die Bildqualität mit einer Verhinderung der Verschlechterung der Farbreproduzierbarkeit eines Objekts aufgrund von Nahinfrarotlicht zu optimieren. Ferner ist die Bildaufnahmevorrichtung 1 gemäß der Ausführungsform imstande, eine nahtlose Überlagerung des IR-Signals auf dem RGB-Signal durchzuführen, sodass ein unbehagliches Gefühl für den Benutzer verringert sein kann mit einem Verhindern einer Änderung der Bildqualität aufgrund der Subtraktion oder Addition zwischen dem RGB-Signal und dem IR-Signal.
Anzumerken ist, dass, wie in 1 dargestellt, die Bildaufnahmevorrichtung 1 gemäß der vorliegenden Offenbarung ferner eine Beleuchtungseinheit 70 enthalten kann, die Nahinfrarotlicht emittiert. Die Beleuchtungseinheit 70 dient als eine LED, die imstande ist, Nahinfrarotlicht mit dem beispielsweise in 3 dargestellten Emissionsspektrum (LED) zu emittieren. Dieser Aufbau ermöglicht eine weitere Verbesserung der Qualität eines erlangten Bildes in einer Umgebung, wo die Menge an sichtbarem Licht klein ist, wie etwa zur Nachtzeit. Die Technik gemäß der Ausführungsform ermöglicht eine Verhinderung einer Änderung der Bildqualität aufgrund eines Umschaltens der Beleuchtungseinheit 70 zwischen EIN und AUS.
Anzumerken ist, dass die Bildaufnahmevorrichtung 1 gemäß der vorliegenden Offenbarung wahlweise nicht nur bei einer Fahrzeug-Bordkamera angewendet werden kann, sondern auch bei einer Kamera zur Verwendung in einer Umgebung, wo sich die Menge von Umgebungslicht ändert, wie etwa eine Überwachungskamera.
Anzumerken ist, dass ein Teil oder die Gesamtheit der Verarbeitung, die in der Bildaufnahmevorrichtung 1 gemäß der vorliegenden Ausführungsform durchzuführen ist, durch Software umgesetzt sein kann.
Ein in der Bildaufnahmevorrichtung 1 gemäß der vorliegenden Ausführungsform auszuführendes Programm ist in einem installierbaren Dateiformat oder einem ausführbaren Dateiformat auf einem computerlesbaren Aufzeichnungsmedium wie einer CD-ROM, einer flexiblen Platte (FD), einer CD-R oder DVD (Digital Versatile Disk) aufgezeichnet.
Das durch die Bildaufnahmevorrichtung 1 gemäß der vorliegenden Ausführungsform auszuführende Computerprogramm kann auf einem mit einem Netzwerk, wie etwa dem Internet, verbundenen Computer gespeichert werden und kann zum Vorsehen über das Netzwerk heruntergeladen werden. Das in der Bildaufnahmevorrichtung 1 gemäß der vorliegenden Ausführungsform auszuführende Programm kann über ein Netzwerk, wie etwa das Internet, vorgesehen oder verteilt werden.
Das in der Bildaufnahmevorrichtung 1 gemäß der vorliegenden Ausführungsform auszuführende Programm kann auf einem ROM oder dergleichen zum Vorsehen vorinstalliert sein.
Mindestens eine der oben beschriebenen Ausführungsformen ist imstande, eine Optimierung der Bildqualität mit einer Verhinderung einer Verschlechterung der Farbreproduzierbarkeit eines Objekts aufgrund von Nahinfrarotlicht zu erzielen.
Die oben beschriebenen Ausführungsformen der vorliegenden Erfindung sind nur beispielhaft und sollen den Geltungsbereich der Erfindung nicht einschränken. Die Ausführungsformen können in verschiedenen Formen ausgeführt werden, und somit können verschiedene Auslassungen, Ersetzungen und Modifikationen vorgenommen werden, ohne vom Kern der Erfindung abzuweichen. Diese Ausführungsformen und Modifikationen davon sollen im Geltungsbereich und Erfindungsgeist der Erfindung enthalten sein und sollen im Geltungsbereich der Erfindung in den Ansprüchen und Äquivalenten davon enthalten sein.
Bezugszeichenliste

1: Bildaufnahmevorrichtung
10: Bildaufnahmeeinheit
11: optisches Bildaufnahmesystem
111: optisches Bandpassfilter (BPF)
112: Objektiv
12: Bildaufnahmeelement
121: Farbfilter
30: Signalverarbeitungseinheit
31: Subtrahierer
32: Addierer
33: Multiplizierer
34: AE/AWB/y-Verarbeitungseinheit (Verarbeitungseinheit)
341: AE-Verarbeitungseinheit
342: AWB-Verarbeitungseinheit
343: γ-Verarbeitungseinheit
35: Luminanzsignalverarbeitungseinheit
36: Farbsignalverarbeitungseinheit
37: Luminanzmatrix (MTX)
38: Luminanzpegelbestimmungseinheit
50: Bildsignal
70: Beleuchtungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2008289001 A [0003]

Claims

Bildaufnahmevorrichtung, umfassend: ein optisches Bandpassfilter, ausgelegt, sichtbares Licht und Nahinfrarotlicht selektiv durch das optische Bandpassfilter hindurchtreten zu lassen, wobei das sichtbare Licht eine Wellenlänge eines sichtbaren Bereichs aufweist und das Nahinfrarotlicht eine Wellenlänge eines Nahinfrarotbereichs aufweist; ein Bildaufnahmeelement, ausgelegt, ein erstes Signal und ein zweites Signal auszugeben, wobei das erste Signal einen Signalpegel entsprechend der empfangenen Lichtintensität des sichtbaren Lichts und des Nahinfrarotlichts aufweist, die jeweils durch das optische Bandpassfilter hindurchtreten, und das zweite Signal einen Signalpegel entsprechend der empfangenen Lichtintensität des Nahinfrarotlichts aufweist, das durch das optische Bandpassfilter hindurchtritt; einen Subtrahierer, ausgelegt, ein drittes Signal durch ein Subtrahieren des zweiten Signals von dem ersten Signal auszugeben; einen Multiplizierer, ausgelegt, ein viertes Signal bei einem Signalpegel auszugeben, der niedriger als oder gleich dem Signalpegel des zweiten Signals ist, indem er das zweite Signal mit einem Steuerwert multipliziert; einen Addierer, ausgelegt, ein Bildsignal auszugeben, indem er das vierte Signal zu dem dritten Signal addiert; eine Luminanzmatrix, ausgelegt, Luminanzinformationen über den sichtbaren Bereich auszugeben, die dem Bildsignal entsprechen; und eine Luminanzpegelbestimmungseinheit, ausgelegt, auf Grundlage der Luminanzinformationen von der Luminanzmatrix dem Multiplizierer den Steuerwert zuzuführen, der ein Wert ist, der einem Luminanzpegel des sichtbaren Bereichs entspricht.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Luminanzpegelbestimmungseinheit den Luminanzpegel auf Grundlage der Luminanzinformationen bestimmt.
Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei, in einem Fall, wo der Luminanzpegel innerhalb eines ersten Bereichs liegt, die Luminanzpegelbestimmungseinheit einen Wert des Steuerwerts verringert, wenn sich der Luminanzpegel erhöht.
Bildaufnahmevorrichtung nach Anspruch 3, wobei der Steuerwert eine reelle Zahl von 0 bis 1 inclusive ist, und die Luminanzpegelbestimmungseinheit einen Wert von 1 als den Steuerwert in einem Fall einstellt, in dem der Luminanzpegel höher ist als ein oberer Grenzwert des ersten Bereichs, und einen Wert von 0 als den Steuerwert in einem Fall einstellt, in dem der Luminanzpegel niedriger ist als ein unterer Grenzwert des ersten Bereichs.
Bildaufnahmevorrichtung nach einem beliebigen der Ansprüche 1 bis 4, weiter umfassend eine Verarbeitungseinheit, ausgelegt, eine Weißabgleichsteuerung zum Justieren des Weißabgleichs des Bildsignals durchzuführen, wobei in einem Fall, wo der Luminanzpegel niedriger als oder gleich einem ersten Schwellenwert ist, die Luminanzpegelbestimmungseinheit der Verarbeitungseinheit ein Steuersignal zum Schalten der Weißabgleichsteuerung in einen AUS-Zustand zuführt.
Bildaufnahmevorrichtung nach einem beliebigen der Ansprüche 1 bis 5, weiter umfassend eine Farbsignalverarbeitungseinheit, ausgelegt, eine Farbsignalverarbeitung an dem Bildsignal gemäß einem Wert der Farbverstärkung durchzuführen, wobei in einem Fall, wo der Luminanzpegel innerhalb eines zweiten Bereichs liegt, die Luminanzpegelbestimmungseinheit den der Farbsignalverarbeitungseinheit zuzuführenden Wert der Farbverstärkung erhöht, wenn sich der Luminanzpegel erhöht.
Bildaufnahmevorrichtung nach einem beliebigen der Ansprüche 1 bis 6, weiter umfassend eine Luminanzsignalverarbeitungseinheit, ausgelegt, eine Luminanzsignalverarbeitung an dem Bildsignal auf Grundlage der Luminanzinformationen von der Luminanzmatrix durchzuführen.