DE102014010776B4

DE102014010776B4 - Camera system and method for providing image information in a motor vehicle

Info

Publication number: DE102014010776B4
Application number: DE102014010776.0A
Authority: DE
Inventors: Stefan Christmann; Scott Kaighin
Original assignee: eSolutions GmbH
Current assignee: E.SOLUTIONS GMBH, DE
Priority date: 2014-07-21
Filing date: 2014-07-21
Publication date: 2019-04-25
Anticipated expiration: 2034-07-22
Also published as: DE102014010776A1

Abstract

Kamerasystem (10) zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug (12), umfassend:- einen ersten Bildsensor (14), der zum Detektieren von Licht im sichtbaren Wellenlängenbereich, das von einer Person (40) im Kraftfahrzeug (12) reflektiert wird, ausgebildet ist;- eine IR-Lichtquelle (18), welche zum Senden von IR-Licht in Richtung der Person (40) im Kraftfahrzeug (12) ausgebildet ist;- einen zweiten Bildsensor (16), der zum Detektieren des IR-Lichts, das von der Person (40) reflektiert wird, ausgebildet ist; und- eine Prozessoreinrichtung (50), die ausgebildet ist zum- Kommunizieren mit einer außerhalb des Kamerasystems (10) angeordneten Systemfunktion (60) des Kraftfahrzeugs (12), um einen auf die Umgebungshelligkeit im Kraftfahrzeug (12) hindeutenden Parameter zu erhalten;- Auswerten (102) des über die Kommunikation mit der Systemfunktion (60) erhaltenen Parameters sowie eines Signalwerts eines Ausgangssignals des ersten Bildsensors (14); und- Bereitstellen (106, 108, 128) von Bildinformationen auf Grundlage des Ausgangssignals wenigstens des ersten Bildsensors (14) dann, wenn der ausgewertete Parameter und der ausgewertete Signalwert auf eine ausreichende Umgebungshelligkeit hindeuten, und auf Grundlage eines Ausgangssignals wenigstens des zweiten Bildsensors (16) dann, wenn der ausgewertete Parameter und der ausgewertete Signalwert auf eine unzureichende Umgebungshelligkeit hindeuten.A camera system (10) for providing image information in a motor vehicle (12), comprising: - a first image sensor (14) adapted to detect light in the visible wavelength range reflected by a person (40) in the motor vehicle (12) an IR light source (18) adapted to transmit IR light toward the person (40) in the motor vehicle (12); a second image sensor (16) for detecting the IR light; is reflected by the person (40) is formed; and - a processor device (50) which is designed to communicate with a system function (60) of the motor vehicle (12) arranged outside the camera system (10) in order to obtain a parameter indicative of the ambient brightness in the motor vehicle (12); (102) the parameter obtained via the communication with the system function (60) and a signal value of an output signal of the first image sensor (14); and providing (106, 108, 128) image information based on the output of at least the first image sensor (14) when the evaluated parameter and the evaluated signal value indicate sufficient ambient brightness, and based on an output of at least the second image sensor (16 ), if the evaluated parameter and the evaluated signal value indicate an insufficient ambient brightness.

Description

Technisches GebietTechnical area

Die vorliegende Offenbarung betrifft allgemein das technische Gebiet von Kamerasystemen. Sie betrifft insbesondere ein Kamerasystem und ein Verfahren zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug, beispielsweise zur Videotelefonie oder Fahrer-Aufmerksamkeitserkennung.The present disclosure generally relates to the technical field of camera systems. It relates in particular to a camera system and a method for providing image information in a motor vehicle, for example for video telephony or driver attention recognition.

Hintergrundbackground

Kamerasysteme finden in den letzten Jahren vermehrt Einzug in Kraftfahrzeuge. Dabei handelt es sich beispielsweise um Kamerasysteme zur Überwachung des Straßenverkehrs und Kamerasysteme zur Aufnahme von Kraftfahrzeuginsassen. Mögliche Anwendungen der letzteren sind zum Beispiel Videotelefonie im Kraftfahrzeug oder Aufmerksamkeitserkennung des Fahrers.Camera systems are increasingly finding their way into motor vehicles in recent years. These are, for example, camera systems for monitoring road traffic and camera systems for receiving vehicle occupants. Possible applications of the latter are, for example, video telephony in the motor vehicle or attention recognition of the driver.

Die natürliche Umgebungshelligkeit (bedingt z.B. durch Tageszeit oder Wetterverhältnisse) wirkt sich auf die das Kraftfahrzeug betreffenden Lichtverhältnisse ebenso aus wie schnelle Umgebungshelligkeitsveränderungen, etwa bei der Fahrt durch einen Tunnel. So gelangt bei Dämmerung wenig und bei Nacht annähernd kein Tageslicht auf den Bildsensor eines für ein Kraftfahrzeug vorgesehenen Kamerasystems. Bei manchen Anwendungen wird die aus unzureichender Umgebungshelligkeit entstehende Beeinträchtigung der Bildqualität durch den Einsatz externer Beleuchtung in Form von Scheinwerfern vermindert. Innerhalb des Kraftfahrzeugs kann eine derartige Beleuchtung jedoch zu Irritationen des Fahrers sowie anderer Teilnehmer des Straßenverkehrs führen.The natural ambient brightness (conditioned, for example, by time of day or weather conditions) affects the car's lighting conditions as well as rapid changes in ambient brightness, such as driving through a tunnel. At daylight, for example, there is little or no daylight at daylight on the image sensor of a camera system provided for a motor vehicle. In some applications, the degradation of image quality due to insufficient ambient brightness is diminished by the use of external lighting in the form of headlamps. Within the motor vehicle, however, such lighting can lead to irritation of the driver and other road users.

Die Patentschrift DE 100 46 309 C1 beschreibt eine Sensoranordnung zur Bilderkennung, welche beispielsweise zur Videotelefonie im Kraftfahrzeug genutzt wird. Die Sensoranordnung umfasst eine Matrix aus Sensorelementen, welche auf Licht im sichtbaren Wellenbereich ansprechen, und Sensorelementen, welche auf Infrarot(IR)-Licht ansprechen, sowie einen IR-Scheinwerfer zur Beleuchtung des Bildobjekts.The patent DE 100 46 309 C1 describes a sensor arrangement for image recognition, which is used for example for video telephony in the motor vehicle. The sensor arrangement comprises a matrix of sensor elements, which respond to light in the visible wave range, and sensor elements, which respond to infrared (IR) light, and an IR headlight for illuminating the image object.

In der Veröffentlichungsschrift GB 2 215 040 A wird die Überwachung eines Fahrers eines Kraftfahrzeugs offenbart. Dabei wird der Fahrer mit IR-Licht beleuchtet und reflektiertes IR-Licht von einer IR-sensitiven Kamera detektiert. Eine Anpassung an unterschiedliche Lichtverhältnisse wird mittels eines Kameraobjektivs realisiert, welches einen Mechanismus zur automatischen Blendenverstellung aufweist.In the publication font GB 2 215 040 A the supervision of a driver of a motor vehicle is disclosed. The driver is illuminated with IR light and reflected IR light is detected by an IR-sensitive camera. An adaptation to different lighting conditions is realized by means of a camera lens, which has a mechanism for automatic aperture adjustment.

Aus der US-Patentschrift US 8,368,741 B2 sind eine Vorrichtung und ein System zum Verbessern der Bildqualität zur Videotelefonie bekannt. Dabei werden Bildinformationen basierend auf der Detektion von Licht im sichtbaren Wellenlängenbereich mit Bildinformationen basierend auf der Aussendung und Detektion von IR-Licht zu einem zusammengesetzten Bild überlagert. Das Licht im sichtbaren Wellenlängenbereich und das IR-Licht wird dabei entweder von zwei verschiedenen Sensoren gleichzeitig oder von einem Sensor in schneller zeitlicher Abfolge nacheinander detektiert.From the US patent US 8,368,741 B2 For example, an apparatus and system for improving picture quality for video telephony are known. In this case, image information based on the detection of light in the visible wavelength range is superimposed with image information based on the emission and detection of IR light to form a composite image. The light in the visible wavelength range and the IR light is thereby detected either by two different sensors simultaneously or by a sensor in rapid succession in succession.

In der Veröffentlichungsschrift EP 2 742 118 A1 werden ein Verfahren und ein System zur Überwachung eines Kraftfahrzeugfahrers beschrieben. Eine dazu verwendete Kamera zur Detektion von Licht im sichtbaren Wellenlängenbereich und zur Detektion von IR-Licht wird vor Beginn der Überwachung beispielsweise anhand von Umgebungslichtverhältnissen im Kraftfahrzeug kalibriert.In the publication font EP 2 742 118 A1 For example, a method and system for monitoring a vehicle driver are described. A camera used for detecting light in the visible wavelength range and for detecting IR light is calibrated, for example, based on ambient light conditions in the motor vehicle before starting the monitoring.

Die Offenlegungsschrift DE 10 2011 109 564 A1 betrifft ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Kraftfahrzeug, wobei ein aktueller Vitalparameterwert eines Vitalparameters des Fahrzeuginsassen und ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs ermittelt werden. Zum Ermitteln des aktuellen Vitalparameterwerts wird eine Bilderfassungseinheit, welche eine Vitalparametersensoreinheit bildet, bereitgestellt, welche Bilder des Fahrzeuginsassen erfasst und mittels einer Bildverarbeitungseinheit auswertet.The publication DE 10 2011 109 564 A1 relates to a method for monitoring at least one vehicle occupant in a motor vehicle, wherein a current vital parameter value of a vital parameter of the vehicle occupant and a current environmental parameter value of at least one environmental parameter of an external environment of the vehicle are determined. To determine the current vital parameter value, an image acquisition unit, which forms a vital parameter sensor unit, is provided, which acquires images of the vehicle occupant and evaluates them by means of an image processing unit.

In der Offenlegungsschrift DE 196 13 614 A1 wird eine Vorrichtung zu Bearbeitung eines Bildes eines Gesichts beschrieben.In the published patent application DE 196 13 614 A1 An apparatus for processing an image of a face is described.

Kurzer AbrissShort outline

Es ist eine verbesserte Lösung zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug anzugeben.It is an improved solution for providing image information in a motor vehicle specify.

Gemäß einem ersten Aspekt wird ein Kamerasystem zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug angegeben. Das Kamerasystem umfasst einen ersten Bildsensor, der ausgebildet ist zum Detektieren von Licht im sichtbaren Wellenlängenbereich, das von einer Person im Kraftfahrzeug reflektiert wird, eine IR-Lichtquelle, welche zum Senden von IR-Licht in Richtung der Person im Kraftfahrzeug ausgebildet ist, einen zweiten Bildsensor, der ausgebildet ist zum Detektieren des IR-Lichts, das von einer Person reflektiert wird, und eine Prozessoreinrichtung, die ausgebildet ist zum Kommunizieren mit einer außerhalb des Kamerasystems angeordneten Systemfunktion des Kraftfahrzeugs, um wenigstens einen auf die Umgebungshelligkeit im Kraftfahrzeug hindeutenden Parameter zu erhalten, zum Auswerten des über die Kommunikation mit der Systemfunktion erhaltenen Parameters sowie eines Signalwerts eines Ausgangssignals des ersten Bildsensors und zum Bereitstellen von Bildinformationen auf Grundlage eines Ausgangssignals wenigstens des ersten Bildsensors dann, wenn die ausgewerteten Parameter auf eine ausreichende Umgebungshelligkeit hindeuten, und auf Grundlage eines Ausgangssignals wenigstens des zweiten Bildsensors dann, wenn die ausgewerteten Parameter auf eine unzureichende Umgebungshelligkeit hindeuten.According to a first aspect, a camera system for providing image information in a motor vehicle is specified. The camera system comprises a first image sensor, which is designed to detect light in the visible wavelength range, which is reflected by a person in the motor vehicle, an IR light source, which is designed to transmit IR light in the direction of the person in the motor vehicle, a second An image sensor configured to detect the IR light reflected by a person and a processor device configured to communicate with a system function of the motor vehicle disposed outside the camera system to obtain at least one parameter indicative of the ambient brightness in the motor vehicle, to evaluate the parameter obtained via the communication with the system function and a signal value of an output signal of the first image sensor and to provide image information based on an output signal of at least the first image sensor if the evaluated parameters indicate sufficient ambient brightness, and based on an output signal of at least the second image sensor when the evaluated parameters indicate insufficient ambient brightness.

Es kann die Umgebungshelligkeit beispielsweise für Licht im sichtbaren Wellenlängenbereich (ca. 300 nm bis 700 nm) berücksichtigt werden. Dieses Licht kann die Person im Kraftfahrzeug beleuchten und von dieser reflektiert werden. Dabei kann es sich um Licht handeln, welches von außerhalb des Kraftfahrzeugs in das Kraftfahrzeuginnere fällt.The ambient brightness, for example, for light in the visible wavelength range (about 300 nm to 700 nm) can be taken into account. This light can illuminate the person in the vehicle and be reflected by this. It may be light, which falls from outside the vehicle into the interior of the vehicle.

Der auf eine Umgebungshelligkeit hindeutende Parameter kann aus einem Signalwert eines Umgebungslichtsensors, einer Tageszeit, einer Jahreszeit und einem geografischen Standort ausgewählt sein. Parameterkombinationen können ebenfalls ausgewertet werden.The ambient brightness indicative parameter may be selected from a signal value of an ambient light sensor, a time of day, a season, and a geographic location. Parameter combinations can also be evaluated.

Bei dem Sensor-Ausgangssignal kann es sich um ein Spannungssignal handeln. Der Signalwert kann beispielsweise ein Signal-Rauschverhältnis (SNR) beschreiben. Dabei kann der Signalwert des Ausgangssignals auf eine Qualität des Ausgangssignals (z.B. auch auf eine Bildqualität) hindeuten.The sensor output signal may be a voltage signal. The signal value may, for example, describe a signal-to-noise ratio (SNR). In this case, the signal value of the output signal may indicate a quality of the output signal (for example, also to an image quality).

Die Prozessoreinrichtung ist zur Kommunikation mit einer außerhalb des Kamerasystems angeordneten Systemfunktion ausgebildet, um den auf die Umgebungshelligkeit hindeutenden Parameter zu erhalten. Die Systemfunktion kann beispielsweise zu einem Kraftfahrzeug (Kraftfahrzeugfunktion) oder zu einem anderen System gehören. Dabei kann die Kommunikation drahtgebunden (z.B. via USB oder UART) oder drahtlos (z.B. via Bluetooth, WLAN oder Ultrabreitband) erfolgen. Die Systemfunktion kann beispielsweise aus einer Systemuhrfunktion, einer Standortbestimmungsfunktion, einer Umgebungslichtbestimmungsfunktion und einer Lichtaktivierungsfunktion ausgewählt sein. Dabei kann die Lichtaktivierungsfunktion beispielsweise eine Messung einer Umgebungshelligkeit außerhalb des Kraftfahrzeugs zum automatisierten Aktivieren und Deaktivieren einer Kraftfahrzeug-Beleuchtung (z.B. mittels einer herkömmlichen Scheinwerferregelung) umfassen. Allgemein kann die Umgebungshelligkeit außerhalb des Kraftfahrzeugs als Hinweis auf die Umgebungshelligkeit im Kraftfahrzeug dienen.The processor device is designed to communicate with a system function arranged outside the camera system in order to obtain the parameter indicating the ambient brightness. The system function may, for example, belong to a motor vehicle (motor vehicle function) or to another system. The communication may be wired (e.g., via USB or UART) or wireless (e.g., via Bluetooth, WLAN or ultra-broadband). For example, the system function may be selected from a system clock function, a location determination function, an ambient light determination function, and a light activation function. The light activation function may include, for example, a measurement of ambient brightness outside the motor vehicle for automatically activating and deactivating automotive lighting (e.g., by means of conventional headlight control). In general, the ambient brightness outside of the motor vehicle can serve as an indication of the ambient brightness in the motor vehicle.

Die Prozessoreinrichtung ist ferner ausgebildet, Bildinformationen auf der Grundlage des Ausgangssignals wenigstens (z.B. ausschließlich) des ersten Bildsensors bereitzustellen, wenn der wenigstens eine ausgewertete Parameter auf eine ausreichende Umgebungshelligkeit hindeutet. Zusätzlich ist die Prozessoreinrichtung ausgebildet, Bildinformationen auf der Grundlage des Ausgangssignals wenigstens (z.B. ausschließlich) des zweiten Bildsensors bereitzustellen, wenn der wenigstens eine ausgewertete Parameter auf eine unzureichende Umgebungshelligkeit hindeutet.The processor device is further configured to provide image information based on the output of at least (e.g., excluding) the first image sensor when the at least one evaluated parameter indicates sufficient ambient brightness. In addition, the processor device is configured to provide image information based on the output signal of at least (e.g., excluding) the second image sensor when the at least one evaluated parameter indicates insufficient ambient brightness.

Der ausgewertete Parameter kann darauf hindeuten, dass die Umgebungshelligkeit langfristig unzureichend ist (z.B. bestimmt durch die Systemuhrfunktion bei einer Nachtfahrt) und/oder dass die Umgebungshelligkeit zumindest kurzfristig unzureichend ist (z.B. bestimmt durch ein kleines SNR des Ausgangssignals bei einer Fahrt durch einen Tunnel). Zum Auswerten des Parameters kann beispielsweise vorgesehen sein, dass die Prozessoreinrichtung ausgebildet ist, den gegenwärtig gültigen Parameter mit einem Schwellenwert zu vergleichen.The evaluated parameter may indicate that the ambient brightness is insufficient in the long term (e.g., determined by the system clock function on a night cruise) and / or that the ambient brightness is insufficient, at least in the short term (e.g., determined by a small SNR of the output signal when driving through a tunnel). For evaluating the parameter, it may be provided, for example, that the processor device is designed to compare the currently valid parameter with a threshold value.

Die Prozessoreinrichtung kann zum Ansteuern des ersten Bildsensors, des zweiten Bildsensors und/oder der IR-Lichtquelle basierend auf dem wenigstens einen ausgewerteten Parameter ausgebildet sein. Dabei kann das Ansteuern des ersten Bildsensors und/oder des zweiten Bildsensors ein Aktivieren des wenigstens einen Bildsensors zum Detektieren von Licht umfassen. Es kann beispielsweise vorgesehen sein, den ersten Bildsensor anzusteuern, wenn der wenigstens eine ausgewertete Parameter auf eine ausreichende Umgebungshelligkeit hindeutet und/oder den zweiten Bildsensor und die IR-Lichtquelle anzusteuern, wenn der wenigstens eine ausgewertet Parameter auf eine unzureichende Umgebungshelligkeit hindeutet. Weiter kann vorgesehen sein, den ersten Bildsensor sowie den zweiten Bildsensor und die IR-Lichtquelle anzusteuern, wenn der wenigstens eine Parameter auf eine unzureichende Umgebungshelligkeit hindeutet. Es kann ferner vorgesehen sein, einen aus dem ersten Bildsensor und dem zweiten Bildsensor und/oder die IR-Lichtquelle unabhängig von dem wenigstens einen ausgewerteten Parameter anzusteuern.The processor device may be designed to drive the first image sensor, the second image sensor and / or the IR light source based on the at least one evaluated parameter. In this case, the driving of the first image sensor and / or the second image sensor may include activating the at least one image sensor for detecting light. It can be provided, for example, to control the first image sensor if the at least one evaluated parameter indicates sufficient ambient brightness and / or to control the second image sensor and the IR light source if the at least one evaluated parameter indicates an insufficient ambient brightness. Furthermore, it can be provided to control the first image sensor as well as the second image sensor and the IR light source if the at least one parameter indicates an insufficient ambient brightness. It can also be provided to control one of the first image sensor and the second image sensor and / or the IR light source independently of the at least one evaluated parameter.

Die Prozessoreinrichtung kann weiter zum Senden der bereitgestellten Bildinformationen an eine Kommunikationseinrichtung im Kraftfahrzeug ausgebildet sein. Die Kommunikationseinrichtung kann zur Videotelefonie auf Grundlage der empfangenen Bildinformationen ausgebildet sein. Dabei kann eine Datenübertragung zwischen der Kommunikationseinrichtung und einer Mobilfunkschaltung zur Kommunikation über ein drahtloses Kommunikationsnetzwerk (z.B. GSM, GPRS, UMTS, LTE oder ein anderes digitales Mobilfunknetzwerk) vorgesehen sein. Die Mobilfunkschaltung kann im Kraftfahrzeug fest verbaut oder in ein mobiles Endgerät im Kraftfahrzeug integriert sein.The processor device can further be designed to send the provided image information to a communication device in the motor vehicle. The communication device can be designed for video telephony on the basis of the received image information. In this case, a data transmission between the communication device and a mobile radio circuit for communication via a wireless communication network (eg GSM, GPRS, UMTS, LTE or another digital mobile radio network) may be provided. The mobile radio circuit can be permanently installed in the motor vehicle or integrated in a mobile terminal in the motor vehicle.

Zusätzlich oder alternativ hierzu kann die Prozessoreinrichtung zum Senden der bereitgestellten Bildinformationen an eine Einrichtung zur Fahrer-Aufmerksamkeitserkennung ausgebildet sein. Dabei kann die Einrichtung zur Fahrer-Aufmerksamkeitserkennung ausgebildet sein, die Bildinformationen dahingehend auszuwerten, ob der Fahrer des Kraftfahrzeugs die Augen für eine längere Zeit geschlossen hält oder von der Fahrbahn abwendet.Additionally or alternatively, the processor device may be configured to send the provided image information to a driver attention recognition device. In this case, the device for driver attention recognition can be designed to evaluate the image information to the effect whether the driver of the motor vehicle keeps his eyes closed for a longer time or turns away from the roadway.

Der erste Bildsensor und der zweite Bildsensor können getrennte, voneinander beabstandet angeordnete Sensoren sein. Alternativ hierzu können die beiden Bildsensoren Funktionseinheiten oder Funktionen einer einzigen Bildsensoreinrichtung sein. Beispielsweise kann vorgesehen sein, dass die Bildsensoreinrichtung eine Sensorik umfasst, die funktional zum gleichzeitigen Detektieren von Licht im sichtbaren Wellenlängenbereich und IR-Licht ausgebildet ist. Dabei kann eine funktionale Trennung der Bildinformationen, welche auf der Detektion von Licht im sichtbaren Wellenlängenbereich basieren, und der Bildinformationen, welche auf der Detektion von IR-Licht basieren, vorgesehen sein. Die Trennung kann beispielsweise durch die Prozessoreinrichtung erfolgen.The first image sensor and the second image sensor may be separate, spaced-apart sensors. Alternatively, the two image sensors may be functional units or functions of a single image sensor device. For example, it can be provided that the image sensor device comprises a sensor which is functionally designed for the simultaneous detection of light in the visible wavelength range and IR light. In this case, a functional separation of the image information, which is based on the detection of light in the visible wavelength range, and the image information, which is based on the detection of IR light, may be provided. The separation can be done for example by the processor device.

Es kann ferner vorgesehen sein, das Kamerasystem als integrales Bauteil auszubilden. Alternativ hierzu kann vorgesehen sein, den Prozessor und wenigstens einen der Bildsensoren oder die Bildsensoren und die Infrarotlichtquelle als integrales Bauteil auszubilden.It can also be provided to form the camera system as an integral component. Alternatively, it can be provided to form the processor and at least one of the image sensors or the image sensors and the infrared light source as an integral component.

Gemäß einem zweiten Aspekt wird ein Kraftfahrzeug vorgestellt, welches das hier vorgestellte Kamerasystem umfasst. Das Kraftfahrzeug kann weiter ein Haltesystem zur lösbaren Aufnahme des Kamerasystems oder eines das Kamerasystem enthaltenen mobilen Endgeräts umfassen.According to a second aspect, a motor vehicle is presented which comprises the camera system presented here. The motor vehicle may further comprise a holding system for releasably receiving the camera system or a mobile terminal included in the camera system.

Es kann vorgesehen sein, dass die IR-Lichtquelle räumlich beabstandet von wenigstens einem der Bildsensoren im Kraftfahrzeug angeordnet ist. Dabei können mehrere IR-Lichtquellen im Kraftfahrzeug angeordnet sein, welche IR-Licht aus unterschiedlichen Richtungen in Richtung der zu beleuchtenden Person im Kraftfahrzeug senden.It can be provided that the IR light source is spatially spaced from at least one of the image sensors in the motor vehicle. In this case, a plurality of IR light sources can be arranged in the motor vehicle, which send IR light from different directions in the direction of the person to be illuminated in the motor vehicle.

Gemäß einem dritten Aspekt wird ein mobiles Endgerät bereitgestellt, welches das hier vorgestellte Kamerasystem umfasst. Das mobile Endgerät kann ein Tablet-PC, ein Smartphone oder ein Teil einer Multimediaeinheit des Kraftfahrzeugs sein.According to a third aspect, a mobile terminal is provided which comprises the camera system presented here. The mobile terminal may be a tablet PC, a smartphone or a part of a multimedia unit of the motor vehicle.

Gemäß einem fünften Aspekt wird ein Verfahren zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug angegeben, wobei das Kraftfahrzeug einen ersten Bildsensor, der ausgebildet ist zum Detektieren von Licht im sichtbaren Wellenlängenbereich, das von einer Person im Kraftfahrzeug reflektiert wird, eine IR-Lichtquelle, welche zum Senden von IR-Licht in Richtung der Person im Kraftfahrzeug ausgebildet ist, und einen zweiten Bildsensor, welcher ausgebildet ist zum Detektieren des IR-Lichts, das von der Person reflektiert wird, aufweist. Das Verfahren umfasst die Schritte des Kommunizierens mit einer außerhalb des Kamerasystems angeordneten Systemfunktion des Kraftfahrzeugs, um wenigstens einen auf die Umgebungshelligkeit im Kraftfahrzeug hindeutenden Parameter zu erhalten, des Auswertens des über die Kommunikation mit der Systemfunktion erhaltenen Parameters sowie eines Signalwerts eines Ausgangssignals des ersten Bildsensors, und des Bereitstellens von Bildinformationen auf Grundlage eines Ausgangssignals wenigstens des ersten Bildsensors dann, wenn die ausgewerteten Parameter auf eine ausreichende Umgebungshelligkeit hindeuten, und auf Grundlage eines Ausgangssignals wenigstens des zweiten Bildsensors dann, wenn die ausgewerteten Parameter auf eine unzureichende Umgebungshelligkeit hindeuten.According to a fifth aspect, a method is provided for providing image information in a motor vehicle, wherein the motor vehicle has a first image sensor, which is designed to detect light in the visible wavelength range, which is reflected by a person in the motor vehicle, an IR light source, which Transmitting IR light in the direction of the person is formed in the motor vehicle, and a second image sensor, which is adapted to detect the IR light, which is reflected by the person having. The method comprises the steps of communicating with a system function of the motor vehicle arranged outside the camera system in order to obtain at least one parameter indicative of the ambient brightness in the motor vehicle, evaluating the parameter obtained via the communication with the system function and a signal value of an output signal of the first image sensor, and providing image information based on an output signal of at least the first image sensor when the evaluated parameters indicate sufficient ambient brightness and based on an output signal of at least the second image sensor when the evaluated parameters indicate insufficient ambient brightness.

Dabei kann das Bereitstellen der Bildinformationen beispielsweise Aufbereiten der Ausgangssignale, Empfangen, Zwischenspeichern oder Weiterverarbeiten (z.B. Komprimieren für Folgeanwendungen) der Bildinformationen oder eine Kombination hiervon umfassen.The providing of the image information may include, for example, rendering the output signals, receiving, latching or further processing (e.g., compressing for subsequent applications) the image information, or a combination thereof.

Es kann vorgesehen sein, dass eine im Kraftfahrzeug angeordnete Prozessoreinrichtung wenigstens einen der Schritte des Auswertens, des Bereitstellens und des Bestimmens ausführt. Die Prozessoreinrichtung kann Teil eines Kraftfahrzeug-Infotainmentsystems sein.It can be provided that a processor device arranged in the motor vehicle executes at least one of the steps of evaluating, providing and determining. The processor device may be part of a motor vehicle infotainment system.

Gemäß einem sechsten Aspekt wird ein Computerprogrammprodukt bereitgestellt, welches auf einem Computer-lesbaren Speichermedium gespeichert ist, funktionsfähig, eine Prozessoreinrichtung zu veranlassen, das Verfahren gemäß dem fünften Aspekt auszuführen.According to a sixth aspect, there is provided a computer program product stored on a computer-readable storage medium operable to cause a processor device to carry out the method according to the fifth aspect.

Figurenlistelist of figures

Weitere Vorteile, Einzelheiten und Merkmale der hier beschriebenen Lösung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen sowie aus den Figuren. Es zeigen:

1A und 1B schematische Darstellung von Ausführungsbeispielen eines Kamerasystems in einem Kraftfahrzeug;
2 eine schematische Darstellung eines Ausführungsbeispiels eines Kamerasystems zum Bereitstellen von Bildinformationen einer Person;
3A und 3B schematische Darstellungen von Ausführungsbeispielen zur Verwendung eines Kamerasystems in einem Kraftfahrzeug;
4A und 4B Flussdiagramme von Ausführungsbeispielen eines Verfahrens zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug; und
5 ein Diagramm zur Erläuterung eines beispielhaften Zusammenhangs zwischen einem Signalwert eines Ausgangssignals eines Umgebungslichtsensors und einer Umgebungshelligkeit.

Further advantages, details and features of the solution described here will become apparent from the following description of exemplary embodiments and from the figures. Show it:

1A and 1B schematic representation of embodiments of a camera system in a motor vehicle;
2 a schematic representation of an embodiment of a camera system for providing image information of a person;
3A and 3B schematic representations of embodiments for use of a camera system in a motor vehicle;
4A and 4B Flowcharts of embodiments of a method for providing image information in a motor vehicle; and
5 a diagram for explaining an exemplary relationship between a signal value of an output signal of an ambient light sensor and an ambient brightness.

Detaillierte BeschreibungDetailed description

Die 1A und 1B zeigen Ausführungsbeispiele eines Kamerasystems, allgemein mit 10 bezeichnet, in einem Kraftfahrzeug 12. Dabei umfasst das Kamerasystem 10 einen ersten Bildsensor 14 zum Detektieren von Licht im sichtbaren Wellenlängenbereich, einen zweiten Bildsensor 16 zum Detektieren von IR-Licht und eine Mehrzahl von IR-Lichtquellen 18.The 1A and 1B show embodiments of a camera system, generally designated 10, in a motor vehicle 12 , This includes the camera system 10 a first image sensor 14 for detecting light in the visible wavelength range, a second image sensor 16 for detecting IR light and a plurality of IR light sources 18 ,

Die 1A und 1B zeigen jeweils eine Frontalansicht auf ein Armaturenbrett 20 des Kraftfahrzeugs 12. Im Ausführungsbeispiel gemäß 1A sind der erste Bildsensor 14, der zweite Bildsensor 16 und zwei der insgesamt vier IR-Lichtquellen 18 des Kamerasystems 10 als integrales Bauteil 24 ausgebildet. Das integrale Bauteil 24 ist hinter einem Lenkrad 22 des Kraftfahrzeugs 12 angeordnet und die zwei weiteren IR-Lichtquellen 18 sind beabstandet vom integralen Bauteil 24 seitlich des Lenkrads 22 in das Armaturenbrett 20 aufgenommen. Außerdem weist das Kraftfahrzeug 12 eine Anzeigeeinrichtung 26 auf, welche in das Armaturenbrett 20 im Bereich der Mittelkonsole integriert ist. Die Anzeigeeinrichtung 26 kann einer herkömmlichen Multimediaeinheit eines Kraftfahrzeugs 12 entsprechen, welches beispielsweise zur Nutzung und/oder Steuerung von Infotainment-Funktionen verwendet wird.The 1A and 1B each show a frontal view of a dashboard 20 of the motor vehicle 12 , In the embodiment according to 1A are the first image sensor 14 , the second image sensor 16 and two of the four IR light sources 18 of the camera system 10 as an integral component 24 educated. The integral component 24 is behind a steering wheel 22 of the motor vehicle 12 arranged and the two other IR light sources 18 are spaced from the integral component 24 side of the steering wheel 22 in the dashboard 20 added. In addition, the motor vehicle 12 a display device 26 on which in the dashboard 20 integrated in the area of the center console. The display device 26 can a conventional multimedia unit of a motor vehicle 12 which is used, for example, for the use and / or control of infotainment functions.

In einem nicht dargestellten Ausführungsbeispiel kann das integrale Bauteil 24 wenigstens eine Komponente aus dem ersten Bildsensor 14, dem zweiten Bildsensor 16 und den IR-Lichtquellen 18 nicht umfassen oder der erste Bildsensor 14, der zweite Bildsensor 16 und die IR-Lichtquellen 18 können als jeweils getrennt verbaute Komponenten ausgebildet sein. Die Anzahl der Bildsensoren 14, 16 und/oder der IR-Lichtquellen 18 kann sich von dem in 1A gezeigten Ausführungsbeispiel unterscheiden. Weiterhin kann mindestens eine Komponente des Kamerasystems 10 und/oder die Anzeigeeinrichtung 26 an anderen Stellen im Kraftfahrzeug 12 angebracht oder integriert werden. So kann beispielsweise vorgesehen sein, den ersten Bildsensor 14 und den zweiten Bildsensor 16 in einer (nicht dargestellten) Rückspiegelvorrichtung des Kraftfahrzeugs 12 und/oder mindestens eine IR-Lichtquelle 18 im Lenkrad 22 aufzunehmen.In an embodiment not shown, the integral component 24 at least one component from the first image sensor 14 , the second image sensor 16 and the IR light sources 18 do not include or the first image sensor 14 , the second image sensor 16 and the IR light sources 18 can be designed as separately built components. The number of image sensors 14 . 16 and / or IR light sources 18 can be different from the one in 1A different embodiment shown. Furthermore, at least one component of the camera system 10 and / or the display device 26 in other places in the motor vehicle 12 be attached or integrated. For example, the first image sensor may be provided 14 and the second image sensor 16 in a (not shown) rearview mirror device of the motor vehicle 12 and / or at least one IR light source 18 in the steering wheel 22 take.

Das Ausführungsbeispiel in 1B zeigt die Verwendung eines mobilen Endgeräts 28, welches das Kamerasystem 10 umfasst, in einem Kraftfahrzeug 12. Das Kraftfahrzeug 12 besitzt ein Haltesystem 30 zur lösbaren Aufnahme des mobilen Endgeräts 28. Bei dem mobilen Endgerät 28 kann es sich beispielsweise um einen Tablet-PC, ein Smartphone oder einen Teil einer Multimediaeinheit des Kraftfahrzeugs 12 handeln.The embodiment in 1B shows the use of a mobile terminal 28 which the camera system 10 includes, in a motor vehicle 12 , The car 12 owns a holding system 30 for releasably receiving the mobile terminal 28 , At the mobile terminal 28 It may be, for example, a tablet PC, a smartphone or a part of a multimedia unit of the motor vehicle 12 act.

Das mobile Endgerät 28 umfasst ein Gehäuse 32 und eine auf einer Vorderseite des mobilen Endgeräts 28 in das Gehäuse 32 integrierte Anzeigeeinrichtung 34. Weiterhin sind im gezeigten Ausführungsbeispiel der erste Bildsensor 14, der zweite Bildsensor 16 und zwei IR-Lichtquellen 18 auf der Vorderseite des mobilen Endgeräts 28 oberhalb der Anzeigeeinrichtung 34 in das Gehäuse 32 integriert. In einem anderen Ausführungsbeispiel können der erste Bildsensor 14, der zweite Bildsensor 16 und/oder die IR-Lichtquellen 18 an einer anderen Stelle am mobilen Endgerät integriert sein. Ferner kann das mobile Endgerät 28 mehr oder weniger als zwei IR-Lichtquellen 18 aufweisen.The mobile device 28 includes a housing 32 and one on a front side of the mobile terminal 28 in the case 32 integrated display device 34 , Furthermore, in the exemplary embodiment shown, the first image sensor 14 , the second image sensor 16 and two IR light sources 18 on the front of the mobile device 28 above the display device 34 in the case 32 integrated. In another embodiment, the first image sensor 14 , the second image sensor 16 and / or the IR light sources 18 be integrated elsewhere on the mobile device. Furthermore, the mobile terminal 28 more or less than two IR light sources 18 respectively.

Das Haltesystem 30 umfasst im gezeigten Ausführungsbeispiel einen Rastmechanismus, der mit den seitlichen Bereichen des mobilen Endgeräts 28 in Eingriff steht. In anderen Ausführungsbeispielen kann das Haltesystem 30 eine andere Art von Rastmechanismus oder eine andere Befestigungslösung zur Aufnahme des mobilen Endgeräts 28 umfassen. Ferner ist das Haltesystem 30 am Armaturenbrett 20 im Bereich der Mittelkonsole des Kraftfahrzeugs 12 montiert. Alternativ hierzu kann das Haltesystem 30 an anderen Stellen im Kraftfahrzeug 12 angebracht oder in Komponenten, wie beispielsweise der Mittelkonsole, des Kraftfahrzeugs 12 aufgenommen sein. Das Kraftfahrzeug 12 kann Schnittstellen umfassen, die beispielsweise zur Kommunikation mit dem mobilen Endgerät 28 oder zur Stromversorgung des mobilen Endgeräts 28 ausgebildet sind.The holding system 30 includes in the illustrated embodiment, a latching mechanism, with the lateral areas of the mobile terminal 28 engaged. In other embodiments, the retaining system 30 another type of locking mechanism or other mounting solution for receiving the mobile terminal 28 include. Furthermore, the holding system 30 on the dashboard 20 in the area of the center console of the motor vehicle 12 assembled. Alternatively, the holding system 30 in other places in the motor vehicle 12 attached or in components such as the center console of the motor vehicle 12 be included. The car 12 may include interfaces, for example, for communication with the mobile terminal 28 or to power the mobile terminal 28 are formed.

2 zeigt ein weiteres Ausführungsbeispiel eines Kamerasystems 10 zum Bereitstellen von Bildinformation einer Person 40 in einem Kraftfahrzeug 12. Das Kamerasystem 10 umfasst einen (nicht dargestellten) ersten Bildsensor 14 zum Detektieren von Licht im sichtbaren Wellenlängenbereich, zwei IR-Lichtquellen 18 und einen zweiten Bildsensor 16 zum Detektieren von IR-Licht. Die IR-Lichtquellen 18 und der zweite Bildsensor 16 sind im vorliegenden Ausführungsbeispiel als integrales Bauteil 24 mit einem gemeinsamen Gehäuse (vgl. z.B. 1A) ausgebildet. Der erste Bildsensor 14 in das Bauteil 24 integriert oder getrennt vom Bauteil 24 im Kraftfahrzeug 12 angeordnet sein. 2 shows a further embodiment of a camera system 10 for providing image information of a person 40 in a motor vehicle 12 , The camera system 10 includes one (not shown) first image sensor 14 for detecting light in the visible wavelength range, two IR light sources 18 and a second image sensor 16 for detecting IR light. The IR light sources 18 and the second image sensor 16 are in the present embodiment as an integral component 24 with a common housing (cf., eg 1A) educated. The first image sensor 14 into the component 24 integrated or separate from the component 24 in the motor vehicle 12 be arranged.

Die IR-Lichtquellen 18 sind zum Senden von IR-Licht in Richtung der Person 40 angeordnet. Die gepunkteten Linien markieren die Transversalausdehnung der durch die IR-Lichtquellen 18 ausgesendeten IR-Lichtkegel. Der zweite Bildsensor 16 ist zum Detektieren von IR-Licht, das von der Person 40 reflektiert wird, ausgebildet. Dabei markieren die gestrichelten Linien einen Longitudinalschnitt des Bereichs, innerhalb dessen reflektiertes IR-Licht vom zweiten Bildsensor 16 detektiert werden kann.The IR light sources 18 are for sending IR light towards the person 40 arranged. The dotted lines mark the transverse extent of the through the IR light sources 18 emitted IR light cone. The second image sensor 16 is for detecting IR light from the person 40 is reflected, trained. The dashed lines mark a longitudinal section of the area within which reflected IR light from the second image sensor 16 can be detected.

Im gezeigten Ausführungsbeispiel sind die IR-Lichtquellen 18 derart angeordnet, dass die dem Kamerasystem 10 zugewandte Oberfläche der Person 40 vollständig beleuchtet wird (wie durch die Überschneidung der IR-Lichtkegel angedeutet). Ein Schattenwurf kann auf diese Weise reduziert werden. In einem anderen Ausführungsbeispiel kann vorgesehen sein, eine größere Anzahl von IR-Lichtquellen 18 zu verwenden, um beispielsweise mehrere Personen 40 im Kraftfahrzeug 12 oder allgemein einen größeren Bereich zu beleuchten. Weiter können die IR-Lichtquellen 18 räumlich beanstandet zum zweiten Bildsensor 16 und/oder mit verschiedenen Orientierungen bezüglich des zu beleuchtenden Bereichs angeordnet sein.In the exemplary embodiment shown, the IR light sources 18 arranged such that the camera system 10 facing surface of the person 40 is completely illuminated (as indicated by the intersection of the IR light cone). A shadow cast can be reduced in this way. In another embodiment, it may be provided, a larger number of IR light sources 18 to use, for example, several people 40 in the motor vehicle 12 or generally to illuminate a larger area. Next, the IR light sources 18 spatially complained to the second image sensor 16 and / or with different orientations with respect to the area to be illuminated.

3A zeigt in einem Blockdiagramm ein Ausführungsbeispiel eines weiteren Kamerasystems 10 in einem Kraftfahrzeug 12. Dabei kann es sich um das Kamerasystem 10, wie in den 1A und 2 gezeigt, handeln. Das Kamerasystem 10 umfasst einen ersten Bildsensor 14 zum Detektieren von Licht im sichtbaren Wellenlängenbereich, eine IR-Lichtquelle 18, einen zweiten Bildsensor 16 zum Detektieren von IR-Licht, einen Umgebungslichtsensor 48, eine Prozessoreinrichtung 50 und eine Kommunikationseinrichtung 52. 3A shows a block diagram of an embodiment of another camera system 10 in a motor vehicle 12 , This can be the camera system 10 as in the 1A and 2 shown, act. The camera system 10 includes a first image sensor 14 for detecting light in the visible wavelength range, an IR light source 18 , a second image sensor 16 for detecting IR light, an ambient light sensor 48 , a processor device 50 and a communication device 52 ,

Der erste Bildsensor 14, der zweite Bildsensor 16 und der Umgebungslichtsensor 48 sind als lichtempfindliche Sensoren ausgebildet. Dabei kann es sich beispielsweise um CCD-Sensoren (charge coupled device) und/oder CMOS-Sensoren (complementary metal oxcide silicon) handeln. Die Sensoren 14, 16, 48 weisen aus Silizium bestehende Fotodioden auf, welche in der Lage sind, Licht im Wellenlängenbereich von ca. 300 nm bis 1100 nm zu detektieren. Alternativ hierzu können die Fotodioden auch aus Germanium oder einem anderen Halbleitermaterial (z.B. einem organischen Halbleitermaterial) bestehen.The first image sensor 14 , the second image sensor 16 and the ambient light sensor 48 are designed as photosensitive sensors. These may be, for example, CCD sensors (charge coupled device) and / or CMOS sensors (complementary metal oxcide silicon). The sensors 14 . 16 . 48 have silicon existing photodiodes, which are able to detect light in the wavelength range of about 300 nm to 1100 nm. Alternatively, the photodiodes may also be germanium or other semiconductor material (eg, an organic semiconductor material).

Im gezeigten Ausbildungsbeispiel sind der erste Bildsensor 14 und der Umgebungslichtsensor 48 ausgebildet, Licht im sichtbaren Wellenlängenbereich (z.B. nicht weniger als ungefähr 300 nm und nicht mehr als ungefähr 700 nm) zu detektieren. Dabei umfassen der erste Bildsensor 14 und der Umgebungslichtsensor 48 einen Filter, der zum Blockieren von Wellenlängen, die über dem sichtbaren Wellenlängenbereich liegen, in Licht-Einfallsrichtung vor den Fotodioden angeordnet ist. Der Filter kann beispielsweise als Interferenzfilter oder dichroitischer Filter ausgebildet sein. Es ist weiter vorgesehen, dass der erste Bildsensor 14 einen hinter den Fotodioden angeordneten Farbfilter, wie beispielsweise einen Bayerfilter, zum Erhalten von Farbinformationen aufweist.In the exemplary embodiment shown, the first image sensor 14 and the ambient light sensor 48 designed to detect light in the visible wavelength range (eg not less than about 300 nm and not more than about 700 nm). In this case, the first image sensor include 14 and the ambient light sensor 48 a filter arranged in front of the photodiodes in the light incident direction for blocking wavelengths which are above the visible wavelength range. The filter may be formed, for example, as an interference filter or dichroic filter. It is further envisaged that the first image sensor 14 a color filter disposed behind the photodiodes, such as a Bayer filter, for obtaining color information.

Der zweite Bildsensor 16 ist ausgebildet, reflektiertes IR-Licht zu detektieren. Dabei umfasst der zweite Bildsensor 16 einen vor den Fotodioden angeordneten Filter zum Herausfiltern von einfallendem Licht im sichtbaren Wellenbereich, sodass der detektierbare Wellenlängenbereich auf nicht weniger als ungefähr 700 nm und nicht mehr als ungefähr 1100 nm eingegrenzt wird. Der Filter kann Glas oder Kunststoff umfassen und beispielsweise mit Kunstharz eingefärbt sein.The second image sensor 16 is designed to detect reflected IR light. In this case, the second image sensor comprises 16 a filter arranged in front of the photodiodes for filtering out incident light in the visible wavelength range such that the detectable wavelength range is limited to not less than about 700 nm and not more than about 1100 nm. The filter may comprise glass or plastic and, for example, be colored with synthetic resin.

In einem alternativen Ausführungsbeispiel kann vorgesehen sein, dass mindestens einer der Bildsensoren 14, 16 einen mechanisch bewegbaren Filter umfasst. Ein mechanisch bewegbarer Filter könnte dabei zwischen einer aktiven (z.B. vor den Fotodioden im Bereich des einfallenden Lichts angeordnet) und einer inaktiven (z.B. nicht im Bereich des einfallenden Lichts angeordnet) Position bewegt werden. Die beschriebene Bewegung des Filters kann beispielsweise mittels eines Filterrads realisiert werden. Dabei kann weiter vorgesehen sein, dass das Kamerasystem 10 gemäß 3A nur einen der Bildsensoren 14, 16 umfasst, der beispielsweise im Fall der aktiven Position des bewegbaren Filters Licht im sichtbaren Wellenlängenbereich detektiert und im Fall der inaktiven Position des Filters Licht im gesamten Empfindlichkeitsbereich der Fotodiode des Bildsensors 14, 16 (ca. 300 nm bis 1100 nm) detektiert.In an alternative embodiment it can be provided that at least one of the image sensors 14 . 16 comprises a mechanically movable filter. In this case, a mechanically movable filter could be moved between an active position (for example arranged in front of the photodiodes in the region of the incident light) and an inactive position (for example, not arranged in the region of the incident light). The described movement of the filter can be realized for example by means of a filter wheel. It can further be provided that the camera system 10 according to 3A only one of the image sensors 14 . 16 which, for example, detects light in the visible wavelength range in the case of the active position of the movable filter and, in the case of the inactive position of the filter, light in the entire sensitivity range of the photo diode of the image sensor 14 . 16 (about 300 nm to 1100 nm) detected.

In einem alternativen Ausführungsbeispiel kann eine (nicht dargestellte) Bildsensoreinrichtung vorgesehen sein. Diese kann eine Sensorik zum Detektieren von Licht im sichtbaren Wellenlängenbereich und im IR-Wellenlängenbereich umfassen. Bei der Sensorik kann es sich beispielsweise um eine Fotodiode, wie von den Bildsensoren 14, 16 gemäß 3A umfasst, handeln. Es kann vorgesehen sein, die Bildinformationen, welche auf der Detektion von Licht im sichtbaren Wellenlängenbereich basieren, und die Bildinformationen, welche auf der Detektion von Licht im IR-Wellenlängenbereich basiert, zu trennen. Das Trennen der Bildinformationen kann beispielsweise Software-basiert durch die Prozessoreinrichtung 50 oder Hardwarebasiert durch zusätzliche, in das Kamerasystem 10 integrierte Komponenten erfolgen.In an alternative embodiment, an image sensor device (not shown) may be provided. This may include a sensor for detecting light in the visible wavelength range and in the IR wavelength range. The sensor may be, for example, a photodiode, such as the image sensors 14 . 16 according to 3A includes, act. It can be provided, the image information, which is based on the detection of Be based on light in the visible wavelength range, and the image information, which is based on the detection of light in the IR wavelength range to separate. The separation of the image information may, for example, be software-based by the processor device 50 or hardware-based through additional, into the camera system 10 integrated components take place.

Bei der IR-Lichtquelle handelt es sich im Ausführungsbeispiel gemäß 3A um eine IR-LED, welche dazu ausgebildet ist, IR-Licht in einen Wellenlängenbereich von ca. 700 nm bis 1100 nm zu emittieren. Die IR-LED kann beispielsweise auf Gallium-Arsenid oder Aluminium-Gallium-Arsenid basieren. Alternativ hierzu kann eine andere IR-Lichtquelle, wie beispielsweise eine IR-OLED oder eine Laserdiode, vorgesehen sein.The IR light source is in the embodiment according to 3A an IR-LED, which is designed to emit IR light in a wavelength range of about 700 nm to 1100 nm. For example, the IR LED may be based on gallium arsenide or aluminum gallium arsenide. Alternatively, another IR light source, such as an IR OLED or a laser diode, may be provided.

Die Prozessoreinrichtung 50 umfasst einen Prozessor 51 (z.B. eine CPU) und einen Speicher 54. Der Speicher 54 ist ausgebildet, Bildinformationen und mindestens ein Computerprogrammprodukt (Programm) 56 zu speichern. Das Computerprogrammprodukt 56 steuert von dem Prozessor 51 auszuführende Operationen. Bei dem Speicher 54 kann es sich beispielsweise um einen Festplattenspeicher, einen Wechselspeicher oder einen Halbleiterspeicher handeln.The processor device 50 includes a processor 51 (eg a CPU) and a memory 54 , The memory 54 is trained to provide image information and at least one computer program product (program) 56 save. The computer program product 56 controls from the processor 51 operations to be performed. At the store 54 it may be, for example, a hard disk space, a removable storage or a semiconductor memory.

Im gezeigten Ausführungsbeispiel ist die Prozessoreinrichtung 50 über Kommunikationsleitungen (z.B. ein I2C- oder ein anderes Bussystem) mit dem ersten Bildsensor 14, der IR-Lichtquelle 18 und dem zweiten Bildsensor 16 verbunden. Die Prozessoreinrichtung 50 ist dazu ausgebildet, die Bildsensoren 14, 16 und die IR-Lichtquelle 18 anzusteuern und Bildinformationen, welche auf dem Ausgangssignal wenigstens eines der Bildsensoren 14, 16 basieren, zu empfangen. Dabei kann beispielsweise ein (nicht dargestellter) A/D-Wandler, wie in einer herkömmlichen Digitalkamera verbaut, zur Umwandlung der Ausgangssignale zu digitalen Bildinformationen vorgesehen sein. Der A/D-Wandler kann auch von den Bildsensoren 14, 16 umfasst sein oder als zusätzliche Komponente im Kamerasystem 10 zwischen den Bildsensoren 14, 16 und der Prozessoreinrichtung 50 angeordnet sein. In einem anderen Ausführungsbeispiel kann vorgesehen sein, dass die Prozessoreinrichtung 50 den A/D-Wandler umfasst und zum Empfangen des analogen Ausgangssignals wenigstens eines der Bildsensoren 14, 16 ausgebildet ist.In the embodiment shown, the processor device 50 via communication lines (eg an I2C or another bus system) with the first image sensor 14 , the IR light source 18 and the second image sensor 16 connected. The processor device 50 is designed to be the image sensors 14 . 16 and the IR light source 18 to drive and image information, which on the output signal of at least one of the image sensors 14 . 16 are based to receive. In this case, for example, an (not shown) A / D converter, as installed in a conventional digital camera, be provided for converting the output signals to digital image information. The A / D converter can also be used by the image sensors 14 . 16 includes or as an additional component in the camera system 10 between the image sensors 14 . 16 and the processor device 50 be arranged. In another embodiment, it may be provided that the processor device 50 comprises the A / D converter and for receiving the analog output signal of at least one of the image sensors 14 . 16 is trained.

Die Prozessoreinrichtung 50 ist weiter zur Kommunikation mit der Kommunikationseinrichtung 52 und dabei insbesondere zur Übertragung von Bildinformationen ausgebildet. Die Kommunikationseinrichtung 52 des Kamerasystems 10 kommuniziert mit einer im Kraftfahrzeug 12 angeordneten, komplementären Kommunikationseinrichtung 58 durch uni- oder bidirektionaler Datenübertragung. Im vorliegenden Ausführungsbeispiel erfolgt die Datenübertragung bidirektional und drahtlos, wie beispielsweise via Bluetooth, WLAN oder Ultrabreitband. In einem anderen Ausführungsbeispiel kann die Datenübertragung auch drahtgebunden erfolgen (z. B. über USB, UART, CAN oder ein anderes Bussystem).The processor device 50 is for communication with the communication device 52 and in particular designed for the transmission of image information. The communication device 52 of the camera system 10 communicates with one in the motor vehicle 12 arranged, complementary communication device 58 through uni- or bidirectional data transmission. In the present embodiment, the data transmission is bidirectional and wireless, such as via Bluetooth, WLAN or ultra-broadband. In another embodiment, the data transmission can also be wired (eg via USB, UART, CAN or another bus system).

Die Kommunikationseinrichtung 58 des Kraftfahrzeugs 12 ist mit Systemfunktionen 60 des Kraftfahrzeugs 12 gekoppelt. Die Systemfunktionen 60 umfassen beispielsweise eine Systemuhrfunktion 62, eine Standortempfängerfunktion 64 und eine Lichtaktivierungsfunktion 66. Die Auswahl an Systemfunktionen 60 ist beliebig kombinierbar und erweiterbar. Im gezeigten Ausführungsbeispiel ist die Prozessoreinrichtung 50 dazu ausgebildet, über die Kommunikation mit den Systemfunktionen 60 wenigstens einen Parameter zu bestimmen, welcher auf eine Umgebungshelligkeit im Kraftfahrzeug 12 hindeutet (z.B. Tageszeit oder Aktivierung der Kraftfahrzeug-Beleuchtung).The communication device 58 of the motor vehicle 12 is with system functions 60 of the motor vehicle 12 coupled. The system functions 60 include, for example, a system clock function 62 , a location receiver function 64 and a light activation function 66 , The selection of system functions 60 can be combined and expanded as desired. In the embodiment shown, the processor device 50 trained to communicate with the system functions 60 to determine at least one parameter, which on an ambient brightness in the motor vehicle 12 indicates (eg time of day or activation of motor vehicle lighting).

Die Kommunikationseinrichtung 58 des Kraftfahrzeugs 12 ist ferner zur Videotelefonie auf Grundlage der von der Kommunikationseinrichtung 52 des Kamerasystems 10 empfangen Bildinformationen ausgebildet. Dabei ist die Kommunikationseinrichtung 58 mit einer im Kraftfahrzeug fest verbauten Mobilfunkschaltung 68 gekoppelt. Die Mobilfunkschaltung 68 ist zur Datenübertragung über eine Antenne 70 eingerichtet. Die Datenübertragung kann über ein zelluläres Kommunikationsnetzwerk, wie beispielsweise GSM, GPRS, UMTS, LTE oder ein anderes digitales Mobilfunknetzwerk, erfolgen.The communication device 58 of the motor vehicle 12 is also for video telephony based on that of the communication device 52 of the camera system 10 receive image information. Here is the communication device 58 with a permanently installed in the motor vehicle mobile radio circuit 68 coupled. The mobile radio circuit 68 is for data transmission via an antenna 70 set up. The data transmission may be via a cellular communication network, such as GSM, GPRS, UMTS, LTE or other digital cellular network.

Im gezeigten Ausführungsbeispiel ist die Prozessoreinrichtung 50 des Kamerasystems 10 ferner dazu ausgebildet, über die Kommunikationseinrichtungen 52, 58 mit in das Kraftfahrzeug 12 integrierten Komponenten, wie beispielsweise einer Anzeigeeinrichtung 72 und/oder einer Einrichtung zur Aufmerksamkeitserkennung 74, zu kommunizieren. Die Anzeigeeinrichtung 72 kann dazu ausgebildet sein, Bildinformationen darzustellen. Dabei kann es sich beispielsweise um eine Multimediaeinheit zur Nutzung und/oder Steuerung von Infotainment-Funktionen handeln (vgl. die 1A und 1B). Die Einrichtung zur Aufmerksamkeitserkennung 74 kann dazu ausgebildet sein, empfangene Bildinformationen des Kamerasystems 10 auszuwerten. Dabei kann beispielsweise durch geeignete Algorithmen überprüft werden, ob der Fahrer des Kraftfahrzeugs 12 für eine längere Zeit die Augen geschlossen hält oder von der Fahrbahn abwendet. Wenn eine derartige Ablenkung des Fahrers durch die Einrichtung zur Aufmerksamkeitserkennung 74 erkannt wird, kann beispielsweise vorgesehen sein, eine Anpassung der Helligkeit und/oder der angezeigten Inhalte (z.B. eines Warnhinweises) auf der Anzeigeeinrichtung 74 auszuführen. Auch ein akustisches oder haptisches Warnsignal kann in diesem Fall ausgegeben werden.In the embodiment shown, the processor device 50 of the camera system 10 further adapted to be via the communication devices 52 . 58 with in the vehicle 12 integrated components, such as a display device 72 and / or a device for attention recognition 74 , to communicate. The display device 72 may be configured to display image information. This may, for example, be a multimedia unit for the use and / or control of infotainment functions (cf. 1A and 1B) , The device for attention recognition 74 may be configured to receive received image information of the camera system 10 evaluate. It can be checked, for example by suitable algorithms, whether the driver of the motor vehicle 12 Keep your eyes closed or away from the road for a longer period of time. If such distraction of the driver by the device for attention recognition 74 is detected, for example, be provided an adjustment of the brightness and / or the displayed content (eg, a warning) on the display device 74 perform. An acoustic or haptic warning signal can also be output in this case.

Zusätzlich oder alternativ zum in 3A gezeigten Ausführungsbeispiel umfasst das Kraftfahrzeug 12 im Ausführungsbeispiel gemäß 3B ein mobiles Endgerät 28, in welches der erste Bildsensor 14, die IR-Lichtquelle 18, der zweite Bildsensor 16, der (optionale) Umgebungslichtsensor 48, die Prozessoreinrichtung 50, die Kommunikationseinrichtung 52, die Anzeigeeinrichtung 72, die (optionale) Mobilfunkschaltung 68 und die (optionale) Antenne 70 integriert sind. Dabei kann es sich um das mobile Endgerät 28, wie mit Bezug zum Ausführungsbeispiel in 1B erläutert, handeln.Additionally or alternatively to in 3A embodiment shown includes the motor vehicle 12 in the embodiment according to 3B a mobile device 28 into which the first image sensor 14 , the IR light source 18 , the second image sensor 16 , the (optional) ambient light sensor 48 , the processor device 50 , the communication device 52 , the display device 72 , the (optional) mobile radio circuit 68 and the (optional) antenna 70 are integrated. This can be the mobile device 28 as related to the embodiment in FIG 1B explains, act.

Die Prozessoreinrichtung 50 gemäß 3B ist dazu ausgebildet, mit Systemfunktionen 80 des mobilen Endgeräts 28 zu kommunizieren. Die Systemfunktionen 80 umfassen beispielsweise eine Systemuhr 82 zum Bestimmen der Tageszeit und des Datums und einen Standortempfänger 84 zum Erfassen des Standorts des mobilen Endgeräts 28 (z.B. GPS-Empfänger).The processor device 50 according to 3B is designed to work with system functions 80 of the mobile terminal 28 to communicate. The system functions 80 include, for example, a system clock 82 for determining the time of day and the date and a location receiver 84 for detecting the location of the mobile terminal 28 (eg GPS receiver).

Weiter ist die Prozessoreinrichtung 50 dazu ausgebildet, die Anzeigeeinrichtung 72 anzusteuern und mit der Kommunikationseinrichtung 52 des mobilen Endgeräts 28 zu kommunizieren, welche zur Videotelefonie auf Grundlage der von der Prozessoreinrichtung 50 empfangen Bildinformationen über die im mobilen Endgerät 28 (oder im Kraftfahrzeug 12) integrierte Mobilfunkschaltung 68 ausgebildet ist.Next is the processor device 50 adapted to the display device 72 to drive and with the communication device 52 of the mobile terminal 28 for video telephony based on that of the processor device 50 receive picture information via the in the mobile terminal 28 (or in the motor vehicle 12 ) integrated mobile radio circuit 68 is trained.

In einem anderen Ausführungsbeispiel können ergänzend zum Ausführungsbeispiel gemäß 3B ein erster Bildsensor 14, ein zweiter Bildsensor 16 und/oder mindestens eine IR-Lichtquelle 18 im Kraftfahrzeug 12 (z.B. in das Lenkrad oder seitlich des Lenkrads im Armaturenbrett) integriert sein. Dabei kann vorgesehen sein, dass der erste Bildsensor 14, der zweite Bildsensor 16 und/oder mindestens eine IR-Lichtquelle 18 mit der Kommunikationseinrichtung 58 des Kraftfahrzeugs verbunden ist und vom Prozessorsystem 50 des mobilen Endgeräts 28 über die Kommunikationseinrichtungen 52, 58 angesteuert werden kann.In another embodiment, in addition to the embodiment according to 3B a first image sensor 14 , a second image sensor 16 and / or at least one IR light source 18 in the motor vehicle 12 (eg in the steering wheel or the side of the steering wheel in the dashboard) be integrated. It can be provided that the first image sensor 14 , the second image sensor 16 and / or at least one IR light source 18 with the communication device 58 of the motor vehicle and the processor system 50 of the mobile terminal 28 via the communication facilities 52 . 58 can be controlled.

Die 4A und 4B zeigen Flussdiagramme von Ausführungsbeispielen eines Verfahrens zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug 12 auf der Grundlage der Ausführungsbeispiele in den 1A bis 3B. Das Verfahren kann zur Durchführung durch das Kamerasystem 10 oder durch das das Kamerasystem 10 umfassende mobile Endgerät 28 im Kraftfahrzeug 12 vorgesehen sein. Das mobile Endgerät 28 kann dabei am Haltesystem 30 befestigt oder vom Haltesystem 30 gelöst innerhalb des Kraftfahrzeugs 12 angeordnet sein (vgl. 1B).The 4A and 4B show flowcharts of embodiments of a method for providing image information in a motor vehicle 12 based on the embodiments in the 1A to 3B , The method may be carried out by the camera system 10 or through that the camera system 10 comprehensive mobile device 28 in the motor vehicle 12 be provided. The mobile device 28 can do this on the holding system 30 attached or from the holding system 30 solved within the motor vehicle 12 be arranged (cf. 1B) ,

Gemäß dem Ausführungsbeispiel in 4A wird in einem ersten Verfahrensschritt 100 ein auf eine Umgebungshelligkeit innerhalb des Kraftfahrzeugs 12 hindeutender Parameter bestimmt. Der Parameter kann insbesondere auf die Beleuchtung der Person 40 im sichtbaren Wellenlängenbereich hinweisen. Mit Bezug zu den Ausführungsbeispielen in den 3A und 3B wird der Parameter beispielsweise von der Prozessoreinrichtung 50 aus den Systemfunktionen 80 des mobilen Endgeräts 28 ausgelesen oder durch eine Kommunikation mit den Systemfunktionen 60 des Kraftfahrzeugs 12 bereitgestellt. Ergänzend oder alternativ hierzu kann der Parameter aus einem Signalwert eines Ausgangssignals wenigstens eines der Bildsensoren 14, 16 oder des Umgebungslichtsensors 48 bestimmt werden. Der Signalwert des Ausgangssignals kann beispielsweise ein Signalrauschverhältnis (SNR) oder eine andere Größe, welche auf eine Qualität des Ausgangssignals (und der darauf basierenden Bildqualität) hindeutet, beschreiben.According to the embodiment in 4A is in a first step 100 on an ambient brightness within the motor vehicle 12 indicative parameter. The parameter may be specific to the lighting of the person 40 indicate in the visible wavelength range. With reference to the embodiments in the 3A and 3B For example, the parameter is supplied by the processor device 50 from the system functions 80 of the mobile terminal 28 or by communication with the system functions 60 of the motor vehicle 12 provided. Additionally or alternatively, the parameter may be a signal value of an output signal of at least one of the image sensors 14 . 16 or the ambient light sensor 48 be determined. The signal value of the output signal may, for example, describe a signal-to-noise ratio (SNR) or other quantity which indicates a quality of the output signal (and the image quality based thereon).

In einem zweiten Verfahrensschritt 102 wird der wenigstens eine, auf die Umgebungshelligkeit hindeutende Parameter ausgewertet. Wenn eine Überprüfung (Schritt 104) zeigt, dass der ausgewertete Parameter auf eine ausreichende Umgebungshelligkeit hindeutet, werden Bildinformationen auf Grundlage des Ausgangssignals wenigstens oder ausschließlich des ersten Bildsensors 14 in einem weiteren Verfahrensschritt 106 bereitgestellt. Angewandt auf die vorangehend gezeigten Ausführungsbeispiele ist der erste Bildsensor 14 ausgebildet, Licht im sichtbaren Wellenlängenbereich zu detektieren. Wenn der ausgewertete Parameter auf eine unzureichende Umgebungshelligkeit hindeutet (Schritt 104), werden in einem weiteren Verfahrensschritt 108 Bildinformationen auf Grundlage des Ausgangssignals wenigstens oder ausschließlich des zweiten Bildsensors 16 bereitgestellt. Mit Bezug zu den vorangegangen Ausführungsbeispielen ist der zweite Bildsensor 16 dazu ausgebildet, reflektiertes IR-Licht, welches beispielsweise von der IR-Lichtquelle 18 emittiert wurde, zu detektieren.In a second process step 102 the at least one parameter indicative of the ambient brightness is evaluated. If a review (step 104 ) indicates that the evaluated parameter indicates sufficient ambient brightness, image information is based on the output signal of at least or only the first image sensor 14 in a further process step 106 provided. Applied to the embodiments shown above, the first image sensor 14 designed to detect light in the visible wavelength range. If the evaluated parameter indicates insufficient ambient brightness (step 104 ), are in a further process step 108 Image information based on the output signal at least or exclusively of the second image sensor 16 provided. With reference to the preceding embodiments, the second image sensor is 16 adapted to reflected IR light, which, for example, from the IR light source 18 was emitted to detect.

In einer Variante ist vorgesehen, bei einer unzureichenden Umgebungshelligkeit Bildinformationen auf Grundlage überlagerter (ausgeführt z.B. durch das Programm 56 gemäß der 3A und 3B) oder zeitlich aufeinander folgender Ausgangssignale des ersten Bildsensors 14 und des zweiten Bildsensors 16 (z.B. zur Videotelefonie bei Dämmerung) bereitzustellen. Bei sehr geringer Umgebungshelligkeit (z.B. bei einer Nachtfahrt) kann ergänzend vorgesehen sein, Bildinformationen auf Grundlage des Ausgangssignals nur des zweiten Bildsensors 16 bereitzustellen. In einem anderen Ausführungsbeispiel kann vorgesehen sein, dass Bildinformationen eines der Bildsensoren 14, 16 unabhängig von der Umgebungshelligkeit bereitgestellt werden.In a variant, it is provided that in the case of insufficient ambient brightness, image information is based on superimposed (executed, for example, by the program 56 according to the 3A and 3B) or temporally successive output signals of the first image sensor 14 and the second image sensor 16 (eg for video telephony at dusk) provide. In the case of very low ambient brightness (eg during night driving), it is additionally possible to provide image information based on the output signal of only the second image sensor 16 provide. In another embodiment, it may be provided that image information of one of the image sensors 14 . 16 be provided regardless of the ambient brightness.

Die bereitgestellten Bildinformationen können in zwei weiteren Verfahrensschritten 110 und 112 an die Kommunikationseinrichtung 58 im Kraftfahrzeug 12 und die Einrichtung zur Fahrer-Aufmerksamkeitserkennung 74 des Kraftfahrzeug-Fahrers (vgl. die 3A und 3B) gesendet werden. Einer der Schritte 110 und 112 - oder beide - können fortgelassen oder durch einen anderen Schritt zur Verwertung der Bildinformationen ersetzt werden.The provided image information can be in two further steps 110 and 112 to the communication device 58 in the motor vehicle 12 and the driver attention recognition device 74 the motor vehicle driver (see 3A and 3B) be sent. One of the steps 110 and 112 - or both - can be omitted or replaced with another step to exploit the image information.

Gemäß dem auf 4A basierenden Ausführungsbeispiel in 4B wird, wenn sich beim Auswerten (Schritt 102) des wenigstens einen, auf eine Umgebungshelligkeit hindeutenden Parameters herausstellt, dass der ausgewertete Parameter auf eine Umgebungshelligkeit oberhalb eines ersten Schwellenwerts hindeutet (Schritt 118), in einem weiteren Verfahrensschritt 120 der erste Bildsensor 14 angesteuert. Im Fall einer Umgebungshelligkeit unterhalb des ersten Schwellenwerts wird in einem optionalen Verfahrensschritt 122 überprüft, ob der ausgewertete Parameter auf eine Umgebungshelligkeit unterhalb eines zweiten Schwellenwerts hindeutet. Im Fall einer Umgebungshelligkeit unterhalb des ersten und zweiten Schwellenwerts werden in zwei weiteren Verfahrensschritten der zweite Bildsensor 16 (Schritt 124) und die IR-Lichtquelle 18 (Schritt 126) angesteuert. Liegt die Umgebungshelligkeit zwischen dem ersten Schwellenwert und dem zweiten Schwellenwert, ist vorgesehen, den ersten Bildsensor 14 (Schritt 120), den zweiten Bildsensor 16 (Schritt 124) und die IR-Lichtquelle 18 (Schritt 126) anzusteuern. In einem anderen Ausführungsbeispiel kann vorgesehen sein, den ersten Bildsensor 14 (Schritt 120), den zweiten Bildsensor 16 (Schritt 124) und/oder die IR-Lichtquelle 18 (Schritt 126) unabhängig von der Umgebungshelligkeit anzusteuern. Angewandt auf die Ausführungsbeispiele in den 3A und 3B kann vorgesehen sein, das Ansteuern der Bildsensoren 14, 16 und/oder der IR-Lichtquelle 18 durch die Prozessoreinrichtung 50 auszuführen. Dabei kann das Ansteuern (Schritte 120, 124) der Bildsensoren 14, 16 ein Aktivieren der Bildsensoren 14, 16 zum Detektieren von Licht umfassen.According to the on 4A in accordance with 4B If, when evaluating (step 102 ) of the at least one parameter indicative of ambient brightness indicates that the evaluated parameter indicates ambient brightness above a first threshold (step 118 ), in a further process step 120 the first image sensor 14 driven. In the case of ambient brightness below the first threshold, in an optional process step 122 checks if the evaluated parameter indicates ambient brightness below a second threshold. In the case of an ambient brightness below the first and second threshold values, the second image sensor becomes two further process steps 16 (Step 124 ) and the IR light source 18 (Step 126 ). If the ambient brightness is between the first threshold and the second threshold, the first image sensor is provided 14 (Step 120 ), the second image sensor 16 (Step 124 ) and the IR light source 18 (Step 126 ). In another embodiment, the first image sensor may be provided 14 (Step 120 ), the second image sensor 16 (Step 124 ) and / or the IR light source 18 (Step 126 ) regardless of the ambient brightness. Applied to the embodiments in the 3A and 3B can be provided, the driving of the image sensors 14 . 16 and / or the IR light source 18 through the processor device 50 perform. In this case, the driving (steps 120 . 124 ) of the image sensors 14 . 16 activating the image sensors 14 . 16 for detecting light.

Das Ansteuern (Schritte 120, 124) der Bildsensoren 14, 16 kann auch ein Lesen und Schreiben von mindestens einem Einstellparameter und/oder ein Übertragen von digitalen Bildinformationen umfassen. Der mindestens eine Einstellparameter kann beispielsweise ausgewählt sein aus einer Belichtungszeit, einem Weißabgleich und einer Verstärkung. Bei den übertragenen Bildinformationen kann es sich beispielsweise um ein Farbsignal (z.B. RGB) oder einen Helligkeitswert pro Bildpixel handeln. Das Übertragen kann über einen schnellen Datenbus, wie beispielsweise via ein Parallelbussystem oder eine MIPI CSI (Camera Serial Interface)-Schnittstelle, erfolgen.Driving (steps 120 . 124 ) of the image sensors 14 . 16 may also include reading and writing at least one adjustment parameter and / or transmitting digital image information. The at least one adjustment parameter can be selected, for example, from an exposure time, a white balance and a gain. The transmitted image information may, for example, be a color signal (eg RGB) or a brightness value per image pixel. The transmission may be over a fast data bus, such as via a parallel bus system or a MIPI CSI (Camera Serial Interface) interface.

In einem darauffolgenden Verfahrensschritt 128 werden Bildinformationen auf Grundlage des Ausgangssignals des angesteuerten Bildsensors 14, 16 bereitgestellt. Mit Bezug zu den Ausführungsbeispielen in den 3A, 3B und 4A kann das Prozessorsystem 50 ausgebildet sein, mindestens einen der Schritte des Bestimmens des Parameters (Schritt 100), des Auswertens des Parameters (Schritt 102), des Überprüfens (104, 118, 122), des Ansteuerns (Schritt 120, 124, 126), des Bereitstellens von Bildinformationen (Schritt 128) und des Sendens der bereitgestellten Bildinformationen (Schritte 110, 112) durchzuführen. Dabei kann das Bereitstellen von Bildinformationen beispielsweise Aufbereiten von Ausgangssignalen der Bildsensoren 14, 16, Empfangen der Bildinformationen, Zwischenspeichern und/oder Weiterverarbeiten der Bildinformationen umfassen. So kann vorgesehen sein, die Bildinformationen in einer zur Videotelefonie geeigneten (z.B. komprimierten) Version an die Kommunikationseinrichtung 52 zu übertragen.In a subsequent process step 128 are image information based on the output of the driven image sensor 14 . 16 provided. With reference to the embodiments in the 3A . 3B and 4A can the processor system 50 be formed, at least one of the steps of determining the parameter (step 100 ), evaluating the parameter (step 102 ), the review ( 104 . 118 . 122 ), the driving (step 120 . 124 . 126 ), providing image information (step 128 ) and sending the provided image information (steps 110 . 112 ). In this case, the provision of image information, for example, processing of output signals of the image sensors 14 . 16 , Receiving the image information, caching and / or further processing the image information. Thus it can be provided that the image information in a suitable for video telephony (eg compressed) version to the communication device 52 transferred to.

In der Grafik gemäß 5 wird ein beispielhafter Zusammenhang zwischen einem SNR eines Ausgangssignals einer Umgebungslichtsensorik und einer Umgebungshelligkeit in einem Kraftfahrzeugs 12 verdeutlicht. Die Umgebungslichtsensorik kann dem ersten Bildsensor 14 (vgl. die 1A, 1B, 3A und 3B) oder dem Umgebungslichtsensor 48 (vgl. die 3A und 3B) entsprechen. Die durchgezogene Linie in 5 bezeichnet den näherungsweise linearen Zusammenhang zwischen Umgebungshelligkeit und SNR in einem Umgebungshelligkeitsbereich vor der Sättigung des Umgebungslichtsensors. Die mit Punkten gekennzeichnete Linie markiert ein SNR S1, welches auf einen ersten Schwellenwert B1 der Umgebungshelligkeit hindeutet. Die Strichlinie markiert ein SNR S2, welches auf einen zweiten Schwellenwert B2 der Umgebungshelligkeit hindeutet.In the graphic according to 5 An example relationship between an SNR of an output signal of an ambient light sensor and an ambient brightness in a motor vehicle 12 clarified. The ambient light sensor may be the first image sensor 14 (see the 1A . 1B . 3A and 3B) or the ambient light sensor 48 (see the 3A and 3B) correspond. The solid line in 5 indicates the approximately linear relationship between ambient brightness and SNR in an ambient brightness range prior to saturation of the ambient light sensor. The dotted line marks a SNR S1 which is at a first threshold B1 the ambient brightness indicates. The dashed line marks a SNR S2 which is at a second threshold B2 the ambient brightness indicates.

Angewandt auf das Ausführungsbeispiel in 4B kann im Verfahrensschritt 102 das SNR des Umgebungslichtlichtsensors 14, 48 ausgewertet werden. Wird ein SNR ≥ S1 berechnet, kann basierend auf einer Umgebungshelligkeit ≥ B1 vorgesehen sein, den Schritt des Ansteuerns des ersten Bildsensors 14 (Schritt 120) auszuführen. Ferner kann vorgesehen sein, im Fall eines SNR < S1 den zweiten Bildsensor 16 (Schritt 124), die IR-Lichtquelle 18 (Schritt 126) und in Abhängigkeit des SNR S2, welches auf den zweiten Schwellenwert B2 der Umgebungshelligkeit hindeutet, den ersten Bildsensor 14 (Schritt 120) anzusteuern.Applied to the embodiment in FIG. 4B, in the method step 102 the SNR of the ambient light sensor 14 . 48 be evaluated. If an SNR ≥ S1 is calculated, based on an ambient brightness ≥ B1, the step of driving the first image sensor may be provided 14 (Step 120 ). Furthermore, it can be provided, in the case of an SNR <S1, the second image sensor 16 (Step 124 ), the IR light source 18 (Step 126 ) and depending on the SNR S2 which is at the second threshold B2 the ambient brightness indicates the first image sensor 14 (Step 120 ).

Im gezeigten Ausführungsbeispiel entspricht der erste Schwellenwert B1 einer größeren Umgebungshelligkeit als der zweite Schwellenwert B2. Alternativ hierzu können sich in erster und zweiter Schwellenwert B1, B2 entsprechen.In the exemplary embodiment shown, the first threshold corresponds B1 a greater ambient brightness than the second threshold B2 , Alternatively, the first and second thresholds may be used B1 . B2 correspond.

Insgesamt kann vorgesehen sein, die Schritte der Verfahren gemäß der 4A und 4B wiederholt oder fortlaufend durchzuführen. Somit werden beispielsweise die Bildinformationen zur Videotelefonie den aktuellen Umgebungshelligkeitsveränderungen angepasst. Durch die wiederholte oder fortlaufende Auswertung des wenigstens einen, auf eine Umgebungshelligkeit hindeutenden Parameters (Schritt 102) können auch kurzfristige Schwankungen der Umgebungshelligkeit im Kraftfahrzeug 12 (z.B. bei der Fahrt durch einen Tunnel) berücksichtigt werden.Overall, it can be provided, the steps of the method according to the 4A and 4B repeatedly or continuously. Thus, for example, the image information for video telephony adapted to the current ambient brightness changes. By the repeated or continuous evaluation of the at least one parameter indicative of an ambient brightness (step 102 ) can also short-term fluctuations in the ambient brightness in the motor vehicle 12 (eg when driving through a tunnel) are taken into account.

Weiterhin können Anwendungen, wie Videotelefonie oder Aufmerksamkeitserkennung, bei schwacher Umgebungshelligkeit (z.B. bei schlechten Wetterverhältnissen und Dämmerung) oder bei äußerst schwacher Umgebungshelligkeit (z.B. bei Nacht) ohne den Einsatz externer Beleuchtung im sichtbaren Wellenlängenbereich genutzt werden, wodurch Irritationen des Fahrers sowie anderer Teilnehmer am Straßenverkehr vermieden werden können.Furthermore, applications such as video calling or attention recognition may be used in low ambient brightness (eg in bad weather and dusk) or in extremely low ambient brightness (eg at night) without the use of external visible light wavelengths, causing irritation to the driver and other road users can be avoided.

Die beschriebenen Ausführungsbeispiele stellen unterschiedliche Merkmale und Verwendungen eines Ansatzes zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug vor. In einem abweichenden Ausführungsbeispiel können diese Merkmale beliebig kombiniert werden.The described embodiments provide different features and uses of an approach to providing image information in a motor vehicle. In a different embodiment, these features can be combined as desired.

Claims

A camera system (10) for providing image information in a motor vehicle (12), comprising: - A first image sensor (14) adapted to detect light in the visible wavelength range, which is reflected by a person (40) in the motor vehicle (12) is formed; - An IR light source (18), which is designed for transmitting IR light in the direction of the person (40) in the motor vehicle (12); - a second image sensor (16) adapted to detect the IR light reflected by the person (40); and a processor device (50) which is designed for - communicating with a system function (60) of the motor vehicle (12) arranged outside the camera system (10) in order to obtain a parameter indicative of the ambient brightness in the motor vehicle (12); - evaluating (102) the parameter obtained via the communication with the system function (60) and a signal value of an output signal of the first image sensor (14); and Providing (106, 108, 128) image information based on the output signal of at least the first image sensor (14) when the evaluated parameter and the evaluated signal value indicate sufficient ambient brightness, and based on an output signal of at least the second image sensor (16). if the evaluated parameter and the evaluated signal value indicate an insufficient ambient brightness.

Camera system (10) after Claim 1 , wherein the signal value of the output signal of the first image sensor (14) indicates a quality of the output signal.

A camera system (10) according to any one of the preceding claims, wherein the system function (60) comprises a system clock function (62), a location determination function (64) and a light activation function (66).

Camera system (10) according to one of the preceding claims, wherein the processor device (50) is further configured for - driving (120, 124, 126) of the first image sensor (14), the second image sensor (16) and / or the IR light source (18) based on the evaluated parameter.

Camera system (10) according to one of the preceding claims, wherein the processor device (50) is further configured for - Sending (110) the provided image information to a communication device (58) in the motor vehicle (12).

Camera system (10) after Claim 5 wherein the communication device (58) is adapted for video telephony based on the image information.

Camera system (10) according to one of the preceding claims, wherein the processor device (50) is further configured for - Sending (112) the provided image information to a device (74) for driver attention recognition.

A camera system (10) according to any one of the preceding claims, wherein the first image sensor (14) and the second image sensor (16) are functional units or functions of a single image sensor device.

Camera system (10) according to one of the preceding claims, wherein the camera system (10) is designed as an integral component (24).

A motor vehicle (12) comprising a camera system (10) according to any one of Claims 1 to 9 ,

Motor vehicle (12) according to Claim 10 , further comprising a holding system (30) for releasably receiving the camera system (10) or a mobile terminal (28) containing the camera system (10).

A mobile terminal (28) comprising a camera system (10) according to any one of Claims 1 to 9 ,

Method for providing image information in a motor vehicle (12) with a first image sensor (14), which is designed to detect light in the visible wavelength range, which is reflected by a person (40) in the motor vehicle (12), an IR light source (18) adapted to transmit IR light towards the person (40) in the motor vehicle (12) and a second image sensor (16) which detects the IR light reflected by the person (40) , is formed, comprising the steps: - communicating with a system function (60) of the motor vehicle (12) arranged outside the camera system (10) in order to obtain a parameter indicative of the ambient brightness in the motor vehicle (12); - evaluating (102) the parameter obtained via the communication with the system function (60) and a signal value of an output signal of the first image sensor (14); and Providing (106, 108, 128) image information based on the output signal of at least the first image sensor (14) when the evaluated parameter and the evaluated signal value indicate sufficient ambient brightness, and based on an output signal of at least the second image sensor (16). if the evaluated parameter and the evaluated signal value indicate an insufficient ambient brightness.

Method according to Claim 13 , further comprising the step of: - driving (120, 124, 126) the first image sensor (14), the second image sensor (16) and / or the IR light source (18) based on the evaluated parameter.

Method according to Claim 14 wherein the driving (120, 124) of the first image sensor (14) and / or second image sensor (16) comprises activating the at least one image sensor (14, 16) for detecting light.

Method according to one of Claims 13 to 15 wherein the first image sensor (14) and the second image sensor (16) are functional units or functions of a single image sensor device.

A computer program product (56) stored on a computer readable memory (54) operable to cause a processor device (50) to perform the method of any one of Claims 13 to 16 perform.