DE102021113811A1 - System and method for monitoring the interior of a vehicle - Google Patents

System and method for monitoring the interior of a vehicle Download PDF

Info

Publication number
DE102021113811A1
DE102021113811A1 DE102021113811.6A DE102021113811A DE102021113811A1 DE 102021113811 A1 DE102021113811 A1 DE 102021113811A1 DE 102021113811 A DE102021113811 A DE 102021113811A DE 102021113811 A1 DE102021113811 A1 DE 102021113811A1
Authority
DE
Germany
Prior art keywords
unit
lighting
optical sensor
sensor unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021113811.6A
Other languages
German (de)
Inventor
Johannes Waldthausen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021113811.6A priority Critical patent/DE102021113811A1/en
Publication of DE102021113811A1 publication Critical patent/DE102021113811A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B60Q3/68—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects using ultraviolet light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein System (100) zur Innenraumüberwachung eines Fahrzeugs (10), umfassend: wenigstens eine erste optische Sensoreinheit (112) und wenigstens eine zweite optische Sensoreinheit (122); wenigstens eine erste Beleuchtungseinheit (114), die der wenigstens einen ersten optischen Sensoreinheit (112) zugeordnet ist; wenigstens eine zweite Beleuchtungseinheit (124), die der wenigstens einen zweiten optischen Sensoreinheit (122) zugeordnet ist; und wenigstens eine Steuereinheit (116, 126), die eingerichtet ist, um die wenigstens eine erste Beleuchtungseinheit (114) und die wenigstens eine zweite Beleuchtungseinheit (124) derart anzusteuern, dass eine Beleuchtung für eine Datenerfassung durch die wenigstens eine erste optische Sensoreinheit (112) und die wenigstens eine zweite optische Sensoreinheit (122) asynchron erfolgt.The present disclosure relates to a system (100) for monitoring the interior of a vehicle (10), comprising: at least one first optical sensor unit (112) and at least one second optical sensor unit (122); at least one first lighting unit (114) associated with the at least one first optical sensor unit (112); at least one second lighting unit (124) associated with the at least one second optical sensor unit (122); and at least one control unit (116, 126), which is set up to control the at least one first lighting unit (114) and the at least one second lighting unit (124) in such a way that lighting for data acquisition by the at least one first optical sensor unit (112 ) and the at least one second optical sensor unit (122) takes place asynchronously.

Description

Die vorliegende Offenbarung betrifft ein System zur Innenraumüberwachung eines Fahrzeugs, ein Fahrzeug mit einem solchen System, ein Verfahren zur Innenraumüberwachung eines Fahrzeugs und ein Speichermedium zum Ausführen des Verfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Vermeidung von Interferenzen zwischen Kamerasystemen mit aktiver Beleuchtung.The present disclosure relates to a system for monitoring the interior of a vehicle, a vehicle having such a system, a method for monitoring the interior of a vehicle and a storage medium for executing the method. In particular, the present disclosure relates to avoiding interference between camera systems with active lighting.

Stand der TechnikState of the art

Heutzutage werden in Fahrzeugen vermehrt Innenraumüberwachungssysteme verwendet, die zum Überwachen von Insassen und/oder zur Objekterkennung eingerichtet sein können. Derartige Innenraumüberwachungssysteme können zum Beispiel fahrerzustands- und fahrerverhaltensbezogene Informationen liefern, die als Eingangsgrößen für Fahrassistenzsysteme verwendet werden können. Beispielhafte Fahrassistenzsysteme, die unter Verwendung der fahrerzustands- und fahrerverhaltensbezogenen Informationen betrieben werden können, umfassen Notbrems-Assistenzsysteme, Spurhalteassistenten und Notruf-Assistenzsysteme.Today, interior monitoring systems that can be set up to monitor occupants and/or to detect objects are increasingly being used in vehicles. Such interior monitoring systems can, for example, provide driver status and driver behavior-related information that can be used as input variables for driver assistance systems. Exemplary driver assistance systems that may be operated using the driver condition and driver behavior related information include emergency brake assist systems, lane departure warning systems, and emergency call assist systems.

Um ein zuverlässiges Funktionieren der Fahrassistenzsysteme zu gewährleisten ist es vorteilhaft, wenn die Erfassungsdaten der Innenraumüberwachungssysteme qualitativ hochwertig sind.In order to ensure reliable functioning of the driver assistance systems, it is advantageous if the detection data from the interior monitoring systems are of high quality.

Offenbarung der ErfindungDisclosure of Invention

Es ist eine Aufgabe der vorliegenden Offenbarung, ein System zur Innenraumüberwachung eines Fahrzeugs, ein Fahrzeug mit einem solchen System, ein Verfahren zur Innenraumüberwachung eines Fahrzeugs und ein Speichermedium zum Ausführen des Verfahrens anzugeben, die verbesserte Erfassungsdaten bereitstellen können. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung, eine Zuverlässigkeit von Fahrassistenzsystemen zu verbessern.It is an object of the present disclosure to specify a system for monitoring the interior of a vehicle, a vehicle having such a system, a method for monitoring the interior of a vehicle and a storage medium for carrying out the method, which can provide improved detection data. In particular, it is an object of the present disclosure to improve the reliability of driver assistance systems.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This object is solved by the subject matter of the independent claims. Advantageous configurations are specified in the dependent claims.

Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein System zur Innenraumüberwachung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, angegeben. Das System umfasst wenigstens eine erste optische Sensoreinheit und wenigstens eine zweite optische Sensoreinheit; wenigstens eine erste Beleuchtungseinheit, die der wenigstens einen ersten optischen Sensoreinheit zugeordnet ist; wenigstens eine zweite Beleuchtungseinheit, die der wenigstens einen zweiten optischen Sensoreinheit zugeordnet ist; und wenigstens eine Steuereinheit, die eingerichtet ist, um die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit derart anzusteuern, dass eine Beleuchtung für eine Datenerfassung durch die wenigstens eine erste optische Sensoreinheit und die wenigstens eine zweite optische Sensoreinheit asynchron erfolgt. Anders gesagt erfolgen eine Beleuchtung durch die wenigstens eine erste optische Sensoreinheit und eine Datenerfassung durch die wenigstens eine zweite optische Sensoreinheit asynchron. Zudem erfolgen eine Beleuchtung durch die wenigstens eine zweite optische Sensoreinheit und eine Datenerfassung durch die wenigstens eine erste optische Sensoreinheit asynchron.According to an independent aspect of the present disclosure, a system for monitoring the interior of a vehicle, in particular a motor vehicle, is specified. The system comprises at least a first optical sensor unit and at least a second optical sensor unit; at least one first lighting unit associated with the at least one first optical sensor unit; at least one second lighting unit associated with the at least one second optical sensor unit; and at least one control unit that is set up to control the at least one first lighting unit and the at least one second lighting unit in such a way that lighting for data acquisition by the at least one first optical sensor unit and the at least one second optical sensor unit takes place asynchronously. In other words, illumination by the at least one first optical sensor unit and data acquisition by the at least one second optical sensor unit take place asynchronously. In addition, illumination by the at least one second optical sensor unit and data acquisition by the at least one first optical sensor unit take place asynchronously.

Erfindungsgemäß erfolgt eine Beleuchtung des Innenraums des Fahrzeugs zur Aufnahme von Sensordaten zu unterschiedlichen Zeitpunkten, wodurch Interferenzen vermieden werden können. Insbesondere kann vermieden werden, dass durch die Beleuchtungseinheit des einen Subsystems Störungen in den Sensordaten des anderen Subsystems auftreten. Im Ergebnis können qualitativ hochwertige Sensordaten bereitgestellt werden. Beispielsweise kann dies bei einer Insassenerfassung vorteilhaft sein, da die qualitativ hochwertigen Sensordaten eine Echtzeitfähigkeit des Systems unterstützen, d.h. es entsteht kein Verzug in der Erkennungsfunktionen z.B. durch qualitativ unzureichende Sensordaten. Zudem ist eine softwarebasierte Maßnahme bereitgestellt, so dass kein physikalisches Herausfiltern der Störungen in den Sensordaten erforderlich ist.According to the invention, the interior of the vehicle is illuminated for recording sensor data at different points in time, as a result of which interference can be avoided. In particular, it is possible to prevent the lighting unit of one subsystem from causing interference in the sensor data of the other subsystem. As a result, high-quality sensor data can be provided. For example, this can be advantageous when detecting occupants, since the high-quality sensor data support the real-time capability of the system, i.e. there is no delay in the detection functions, e.g. due to sensor data of insufficient quality. In addition, a software-based measure is provided so that no physical filtering out of the disturbances in the sensor data is required.

Vorzugsweise ist die wenigstens eine Steuereinheit eingerichtet, um die wenigstens eine erste Beleuchtungseinheit, die wenigstens eine zweite Beleuchtungseinheit, die wenigstens eine erste optische Sensoreinheit und die wenigstens eine zweite optische Sensoreinheit derart anzusteuern, dass:

  • - die Datenerfassung durch die wenigstens eine erste optische Sensoreinheit und die Beleuchtung durch die wenigstens eine erste Beleuchtungseinheit synchron erfolgen, und
  • - die Datenerfassung durch die wenigstens eine zweite optische Sensoreinheit und die Beleuchtung durch die wenigstens eine zweite Beleuchtungseinheit synchron erfolgen.
The at least one control unit is preferably set up to control the at least one first lighting unit, the at least one second lighting unit, the at least one first optical sensor unit and the at least one second optical sensor unit in such a way that:
  • - the data acquisition by the at least one first optical sensor unit and the illumination by the at least one first illumination unit take place synchronously, and
  • - the data acquisition by the at least one second optical sensor unit and the illumination by the at least one second illumination unit take place synchronously.

Beispielsweise kann die entsprechende optische Sensoreinheit den Takt vorgeben, so dass die Beleuchtung kurz vor dem Beginn der Datenerfassung aktiviert und kurz nach dem Ende der Datenerfassung deaktiviert wird.For example, the corresponding optical sensor unit can set the clock so that the lighting is activated just before the beginning of the data acquisition and deactivated just after the end of the data acquisition.

Der Begriff „asynchron“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, bezieht sich auf eine nicht gleichzeitige Beleuchtung durch die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit. Anders gesagt überlappen die Beleuchtungszeiten der wenigstens einen ersten Beleuchtungseinheit und der wenigstens einen zweiten Beleuchtungseinheit nicht, sondern die Beleuchtung erfolgt sequenziell.The term "asynchronous" as used in the context of the present disclosure, refers to non-simultaneous illumination by the at least one first illumination unit and the at least one second illumination unit. In other words, the lighting times of the at least one first lighting unit and the at least one second lighting unit do not overlap, but the lighting takes place sequentially.

Die erste optische Sensoreinheit und die zweite optische Sensoreinheit arbeiten mit einer aktiven Beleuchtung, z.B. im IR-Bereich. Diese Beleuchtung wird gepulst angesteuert, d.h. die Beleuchtung ist nur aktiv, wenn die Sensoreinheit Daten erfasst. Die gepulste Ansteuerung der Sensoreinheiten und der entsprechenden Beleuchtung kann eine Erwärmung und/oder einen Energieverbrauch des Systems reduzieren.The first optical sensor unit and the second optical sensor unit work with active lighting, e.g. in the IR range. This lighting is controlled in a pulsed manner, i.e. the lighting is only active when the sensor unit is recording data. The pulsed activation of the sensor units and the corresponding lighting can reduce heating and/or energy consumption of the system.

Die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine erste optische Sensoreinheit bilden ein erstes Subsystem, und die wenigstens eine zweite Beleuchtungseinheit und die wenigstens eine zweite optische Sensoreinheit bilden ein zweites Subsystem. Die vorliegende Offenbarung ist nicht auf das erste Subsystem und das zweite Subsystem begrenzt und das erfindungsgemäße System zur Innenraumüberwachung kann wenigstens ein weiteres Subsystem umfassen. Das wenigstens eine weitere Subsystem kann wenigstens eine weitere Beleuchtungseinheit und wenigstens eine weitere optische Sensoreinheit umfassen.The at least one first lighting unit and the at least one first optical sensor unit form a first subsystem, and the at least one second lighting unit and the at least one second optical sensor unit form a second subsystem. The present disclosure is not limited to the first sub-system and the second sub-system, and the interior monitoring system according to the present invention may include at least one other sub-system. The at least one additional subsystem can include at least one additional lighting unit and at least one additional optical sensor unit.

Vorzugsweise ist die wenigstens eine Steuereinheit eingerichtet, um die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit mit einem vorbestimmten zeitlichen Versatz für die Beleuchtung anzusteuern. Beispielsweise können das erste Subsystem und das zweite Subsystem zu einem bestimmten Zeitpunkt initialisiert werden, wobei der vorbestimmte zeitliche Versatz ausgehend vom Initialisierungszeitpunkt für beide Subsysteme angewendet wird, um die asynchrone Belichtung zu ermöglichen.The at least one control unit is preferably set up to control the at least one first lighting unit and the at least one second lighting unit with a predetermined time offset for the lighting. For example, the first subsystem and the second subsystem can be initialized at a specific point in time, with the predetermined time offset based on the initialization point in time being applied for both subsystems in order to enable the asynchronous exposure.

Vorzugsweise ist die wenigstens eine Steuereinheit eingerichtet, um die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit für eine Beleuchtung basierend auf einem Zeitstempel anzusteuern. Der Zeitstempel kann sicherstellen, dass beide Subsysteme im selben Zeitrahmen arbeiten bzw. zeitlich synchron laufen. Dadurch kann zum Beispiel der zeitliche Versatz für beide Subsysteme exakt implementiert werden.The at least one control unit is preferably set up to control the at least one first lighting unit and the at least one second lighting unit for lighting based on a time stamp. The time stamp can ensure that both subsystems work in the same time frame or run synchronously. In this way, for example, the time offset for both subsystems can be implemented exactly.

In einigen Ausführungsformen ist der Zeitstempel ein Zeitstempel, der im Fahrzeug für eine Sensorsynchronisation verwendet wird. Anders gesagt kann der Zeitstempel ein im Fahrzeug bereits vorhandener Zeitstempel sein, der zum Beispiel zur Synchronisierung von Sensoren im Rahmen einer Sensordatenfusion verwendet wird.In some embodiments, the timestamp is a timestamp used in the vehicle for sensor synchronization. In other words, the time stamp can be a time stamp that is already present in the vehicle and is used, for example, to synchronize sensors as part of a sensor data fusion.

Vorzugsweise ist die wenigstens eine Steuereinheit eingerichtet, um eine Neuinitialisierung der asynchronen Beleuchtung, insbesondere des Zeitstempels und/oder des vorbestimmten zeitlichen Versatzes, durchzuführen. Die Neuinitialisierung kann zum Beispiel dann erfolgen, wenn über die Betriebsdauer des Systems ein zeitlicher Drift in der Ansteuerung der Beleuchtung entsteht. Dann kann es zu einem Überlapp der Beleuchtungszeiten kommen, was durch den Neustart in Bezug auf den Zeitstempel und/oder den vorbestimmten zeitlichen Versatz verhindert werden kann.The at least one control unit is preferably set up to reinitialize the asynchronous lighting, in particular the time stamp and/or the predetermined time offset. The reinitialization can take place, for example, if there is a time drift in the activation of the lighting over the operating period of the system. The lighting times can then overlap, which can be prevented by the restart in relation to the time stamp and/or the predetermined time offset.

In einigen Ausführungsformen kann die Neuinitialisierung der asynchronen Beleuchtung regelmäßig in vorbestimmten Zeitintervallen und/oder unter bestimmten Umständen erfolgen. Beispielsweise kann die Neuinitialisierung der asynchronen Beleuchtung erfolgen, wenn in von der wenigstens einen ersten optischen Sensoreinheit und/oder der wenigstens einen zweiten optischen Sensoreinheit erfassten Daten Störungen erkannt werden, die eine Schwelle überschreiten. Die Störungen können durch die Beleuchtungseinheit des einen Subsystems in den Sensordaten des anderen Subsystems erzeugt werden, was ein Hinweis auf einen unerwünschten Überlapp der Beleuchtungszeiten sein kann. Durch den Neustart in Bezug auf den Zeitstempel und/oder den vorbestimmten zeitlichen Versatz kann dieser Überlapp beseitigt werden.In some embodiments, reinitialization of the asynchronous lighting may occur periodically at predetermined time intervals and/or under certain circumstances. For example, the asynchronous illumination can be reinitialized if faults that exceed a threshold are detected in the data recorded by the at least one first optical sensor unit and/or the at least one second optical sensor unit. The disturbances can be generated by the lighting unit of one subsystem in the sensor data of the other subsystem, which can be an indication of an undesired overlap of the lighting times. This overlap can be eliminated by the restart in relation to the time stamp and/or the predetermined time offset.

Vorzugsweise umfasst die wenigstens eine Steuereinheit eine erste Steuereinheit, die für eine Ansteuerung der wenigstens einen ersten Beleuchtungseinheit eingerichtet ist, und eine zweite Steuereinheit, die für eine Ansteuerung der wenigstens einen zweiten Beleuchtungseinheit eingerichtet ist. Die erste Steuereinheit, die für die Ansteuerung der wenigstens einen ersten Beleuchtungseinheit eingerichtet ist, kann zusammen mit der wenigstens einen ersten Beleuchtungseinheit und der wenigstens einen ersten Sensoreinheit das erste Subsystem bilden. Die zweite Steuereinheit, die für die Ansteuerung der wenigstens einen zweiten Beleuchtungseinheit eingerichtet ist, kann zusammen mit der wenigstens einen zweiten Beleuchtungseinheit und der wenigstens einen zweiten Sensoreinheit das zweite Subsystem bilden.Preferably, the at least one control unit comprises a first control unit, which is set up for controlling the at least one first lighting unit, and a second control unit, which is set up for controlling the at least one second lighting unit. The first control unit, which is set up for controlling the at least one first lighting unit, can form the first subsystem together with the at least one first lighting unit and the at least one first sensor unit. The second control unit, which is set up for controlling the at least one second lighting unit, can form the second subsystem together with the at least one second lighting unit and the at least one second sensor unit.

Vorzugsweise sind die erste Steuereinheit und die zweite Steuereinheit auf verschiedenen Steuergeräten des Fahrzeugs implementiert. Alternativ können die erste Steuereinheit und die zweite Steuereinheit auf demselben Steuergerät des Fahrzeugs implementiert sein. Steuergeräte dienen der Steuerung verschiedenster Fahrzeugfunktionen, wobei ein einzelnes Steuergerät für die Steuerung von einer oder mehreren Fahrzeugfunktionen eingerichtet sein kann. Steuergeräte arbeiten nach dem „EVA“-Prinzip: Sie empfangen Signale von Sensoren und Bedienelementen, werten diese aus und steuern Mittel and, die eingerichtet sind, die Signale des Steuergerätes in eine bestimmte Aktion umzusetzen. Steuergeräte können über einen Datenbus vernetzt sein und so miteinander kommunizieren.The first control unit and the second control unit are preferably implemented on different control units of the vehicle. Alternatively, the first control unit and the second control unit can be implemented on the same control unit of the vehicle. Control units are used to control a wide variety of vehicle functions, with a single control unit for controlling can be set up by one or more vehicle functions. Control units work according to the "EVA" principle: They receive signals from sensors and control elements, evaluate them and control means that are set up to convert the signals of the control unit into a specific action. Control units can be networked via a data bus and thus communicate with one another.

Vorzugsweise ist die wenigstens eine erste optische Sensoreinheit eine Kamera, wie zum Beispiel eine Infrarotkamera. Ergänzend oder alternativ ist die wenigstens eine zweite optische Sensoreinheit eine Kamera, wie zum Beispiel eine Infrarotkamera. Die wenigstens eine erste optische Sensoreinheit und die wenigstens eine zweite optische Sensoreinheit können vom gleichen Typ sein (z.B. Infrarotkameras), oder können unterschiedlich sein.Preferably, the at least one first optical sensor unit is a camera, such as an infrared camera. Additionally or alternatively, the at least one second optical sensor unit is a camera, such as an infrared camera. The at least one first optical sensor unit and the at least one second optical sensor unit can be of the same type (e.g. infrared cameras), or can be different.

Vorzugsweise ist die wenigstens eine erste Beleuchtungseinheit eine Infrarot-Beleuchtungseinheit. Ergänzend oder alternativ ist die wenigstens eine zweite Beleuchtungseinheit eine Infrarot-Beleuchtungseinheit. Die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit können vom gleichen Typ sein (z.B. Infrarot), oder können unterschiedlich sein.The at least one first lighting unit is preferably an infrared lighting unit. Additionally or alternatively, the at least one second lighting unit is an infrared lighting unit. The at least one first lighting unit and the at least one second lighting unit can be of the same type (e.g. infrared) or can be different.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzsystem für ein Fahrzeug, insbesondere eine Kraftfahrzeug, angegeben. Das Fahrassistenzsystem ist mit dem System zur Innenraumüberwachung gemäß den Ausführungsformen der vorliegenden Offenbarung kommunikativ verbunden oder umfasst das System zur Innenraumüberwachung gemäß den Ausführungsformen der vorliegenden Offenbarung.According to a further independent aspect of the present disclosure, a driver assistance system for a vehicle, in particular a motor vehicle, is specified. The driving assistance system is communicatively connected to the interior monitoring system according to the embodiments of the present disclosure or includes the interior monitoring system according to the embodiments of the present disclosure.

Das System zur Innenraumüberwachung kann zum Beispiel zum Erkennen und/oder Überwachen von Insassen und/oder Objekten eingerichtet sein. Das System zur Innenraumüberwachung kann zum Beispiel fahrerzustands- und fahrerverhaltensbezogene Informationen liefern. Das Fahrassistenzsystem kann die entsprechende Assistenzfunktion basierend auf diesen Informationen der Innenraumüberwachung ansteuern.The interior monitoring system can be set up, for example, to recognize and/or monitor occupants and/or objects. For example, the interior monitoring system may provide information related to driver status and behavior. The driver assistance system can activate the corresponding assistance function based on this information from the interior monitoring.

Beispielhafte Fahrassistenzsysteme, die eine Innenraumüberwachung verwenden können, umfassen Notbrems-Assistenzsysteme, Spurhalteassistenten und Notruf-Assistenzsysteme. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht hierauf begrenzt und andere Arten von Fahrassistenzsystemen, die eine Innenraumüberwachung verwenden können, sind denkbar.Exemplary driver assist systems that may use interior monitoring include emergency braking assist systems, lane departure warning systems, and emergency call assist systems. However, the embodiments of the present disclosure are not limited to this, and other types of driving assistance systems that can use interior monitoring are conceivable.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das System zur Innenraumüberwachung oder das Fahrassistenzsystem gemäß den Ausführungsformen der vorliegenden Offenbarung.According to a further independent aspect of the present disclosure, a vehicle, in particular a motor vehicle, is specified. The vehicle includes the interior monitoring system or the driving assistance system according to the embodiments of the present disclosure.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.The term vehicle includes cars, trucks, buses, mobile homes, motorcycles, etc., which are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zur Innenraumüberwachung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, angegeben. Das Verfahren umfasst ein Ansteuern wenigstens einer ersten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine erste optische Sensoreinheit zu beleuchten; und ein Ansteuern wenigstens einer zweiten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine zweite optische Sensoreinheit zu beleuchten, wobei das Beleuchten des Innenraums durch die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit asynchron erfolgt.According to a further independent aspect of the present disclosure, a method for monitoring the interior of a vehicle, in particular a motor vehicle, is specified. The method includes activating at least one first lighting unit in order to illuminate the interior for data acquisition by at least one first optical sensor unit; and activating at least one second lighting unit in order to illuminate the interior space for data acquisition by at least one second optical sensor unit, the interior space being illuminated asynchronously by the at least one first lighting unit and the at least one second lighting unit.

Das Verfahren kann die Aspekte des in diesem Dokument beschriebenen Systems zur Innenraumüberwachung eines Fahrzeugs und/oder des Fahrassistenzsystems für ein Fahrzeug implementieren.The method can implement the aspects of the system for monitoring the interior of a vehicle and/or the driver assistance system for a vehicle described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Innenraumüberwachung eines Fahrzeugs auszuführen.According to another independent aspect of the present disclosure, a software (SW) program is provided. The SW program can be set up to be executed on one or more processors and thereby to carry out the method for interior monitoring of a vehicle described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren zur Innenraumüberwachung eines Fahrzeugs auszuführen.According to another independent aspect of the present disclosure, a storage medium is provided. The storage medium can comprise a SW program which is set up to be executed on one or more processors and thereby to execute the method for monitoring the interior of a vehicle described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des Verfahrens zur Innenraumüberwachung eines Fahrzeugs auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.According to a further independent aspect of the present disclosure, software with program code for carrying out the method for monitoring the interior of a vehicle is to be executed when the software runs on one or more software-controlled devices.

Figurenlistecharacter list

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

  • 1 schematisch ein System zur Innenraumüberwachung eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung,
  • 2 einen Graphen der asynchronen Beleuchtung gemäß Ausführungsformen der vorliegenden Offenbarung,
  • 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung, und
  • 4 ein Flussdiagram eines Verfahrens zur Innenraumüberwachung eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung.
Exemplary embodiments of the disclosure are shown in the figures and are described in more detail below. Show it:
  • 1 schematically a system for interior monitoring of a vehicle according to embodiments of the present disclosure,
  • 2 a graph of asynchronous illumination according to embodiments of the present disclosure,
  • 3 schematically a vehicle with a driver assistance system according to embodiments of the present disclosure, and
  • 4 FIG. 12 is a flow chart of a method for monitoring an interior of a vehicle according to embodiments of the present disclosure.

Ausführungsformen der OffenbarungEmbodiments of the Disclosure

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.Unless otherwise noted, the same reference symbols are used below for the same elements and those with the same effect.

1 zeigt schematisch ein System 100 zur Innenraumüberwachung eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung. 1 FIG. 1 schematically shows a system 100 for monitoring the interior of a vehicle according to embodiments of the present disclosure.

Das System 100 umfasst ein erstes Subsystem 110 und ein zweites Subsystem 120. Das erste Subsystem 110 umfasst wenigstens eine erste optische Sensoreinheit 112, wenigstens eine erste Beleuchtungseinheit 114, die der wenigstens einen ersten optischen Sensoreinheit 112 zugeordnet ist, und eine erste Steuereinheit 116. Das zweite Subsystem 120 umfasst wenigstens eine zweite optische Sensoreinheit 122, wenigstens eine zweite Beleuchtungseinheit 124, die der wenigstens einen zweiten optischen Sensoreinheit 122 zugeordnet ist, und eine zweite Steuereinheit 126.The system 100 comprises a first subsystem 110 and a second subsystem 120. The first subsystem 110 comprises at least one first optical sensor unit 112, at least one first lighting unit 114, which is assigned to the at least one first optical sensor unit 112, and a first control unit 116. The second subsystem 120 comprises at least one second optical sensor unit 122, at least one second lighting unit 124, which is assigned to the at least one second optical sensor unit 122, and a second control unit 126.

In einigen Ausführungsformen ist die wenigstens eine erste optische Sensoreinheit 112 eine Kamera, wie zum Beispiel eine Infrarotkamera. Ergänzend oder alternativ kann die wenigstens eine zweite optische Sensoreinheit 122 eine Kamera, wie zum Beispiel eine Infrarotkamera, sein. In weiteren Ausführungsformen kann die wenigstens eine erste Beleuchtungseinheit 114 eine Infrarot-Beleuchtungseinheit sein. Ergänzend oder alternativ kann die wenigstens eine zweite Beleuchtungseinheit 124 eine Infrarot-Beleuchtungseinheit sein.In some embodiments, the at least one first optical sensor unit 112 is a camera, such as an infrared camera. Additionally or alternatively, the at least one second optical sensor unit 122 can be a camera, such as an infrared camera. In further embodiments, the at least one first lighting unit 114 can be an infrared lighting unit. Additionally or alternatively, the at least one second lighting unit 124 can be an infrared lighting unit.

Die erste Steuereinheit 116 kann in einem ersten Steuergerät des Fahrzeugs implementiert sein oder kann das erste Steuergerät des Fahrzeugs sein. Die zweite Steuereinheit 126 kann in einem zweiten Steuergerät des Fahrzeugs implementiert sein oder kann das zweite Steuergerät des Fahrzeugs sein. Die erste Steuereinheit 116 und die zweite Steuereinheit 126 können verschiedene Steuereinheiten, insbesondere verschiedene Steuergeräte, sein. Insbesondere können die erste Steuereinheit 116 und die zweite Steuereinheit 126 in getrennten Software- und/oder Hardware-Modulen realisiert sein.The first control unit 116 may be implemented in a first vehicle controller or may be the first vehicle controller. The second control unit 126 may be implemented in a second vehicle controller or may be the second vehicle controller. The first control unit 116 and the second control unit 126 can be different control units, in particular different control units. In particular, the first control unit 116 and the second control unit 126 can be implemented in separate software and/or hardware modules.

Die vorliegende Offenbarung ist jedoch nicht auf das Beispiel getrennter Steuereinheiten beschränkt und in alternativen Ausführungsformen kann dieselbe Steuereinheit zur Ansteuerung beider Subsysteme 110, 120 verwendet werden.However, the present disclosure is not limited to the example of separate control units and in alternative embodiments the same control unit can be used to drive both subsystems 110,120.

Die erste Steuereinheit 116 und die zweite Steuereinheit 126 können kommunikativ miteinander verbunden sein. Beispielsweise können die erste Steuereinheit 116 und die zweite Steuereinheit 126 über einen Datenbus 130 vernetzt sein und so bidirektional miteinander kommunizieren.The first control unit 116 and the second control unit 126 can be communicatively connected to one another. For example, the first control unit 116 and the second control unit 126 can be networked via a data bus 130 and can thus communicate bidirectionally with one another.

Die erste Steuereinheit 116 ist eingerichtet, um die wenigstens eine erste optische Sensoreinheit 112 und die wenigstens eine erste Beleuchtungseinheit 114 anzusteuern. Insbesondere kann die erste Steuereinheit 116 die wenigstens eine erste optische Sensoreinheit 112 zur Aufnahme von Sensordaten ansteuern, und kann die wenigstens eine erste Beleuchtungseinheit 114 ansteuern, damit diese belichtet, während die Aufnahme der Sensordaten durch die wenigstens eine erste optische Sensoreinheit 112 erfolgt.The first control unit 116 is set up to control the at least one first optical sensor unit 112 and the at least one first lighting unit 114 . In particular, the first control unit 116 can control the at least one first optical sensor unit 112 to record sensor data, and can control the at least one first illumination unit 114 so that it is exposed while the sensor data is recorded by the at least one first optical sensor unit 112.

Die zweite Steuereinheit 126 ist eingerichtet, um die wenigstens eine zweite optische Sensoreinheit 122 und die wenigstens eine zweite Beleuchtungseinheit 124 anzusteuern. Insbesondere kann die zweite Steuereinheit 126 die wenigstens eine zweite optische Sensoreinheit 122 zur Aufnahme von Sensordaten ansteuern, und kann die wenigstens eine zweite Beleuchtungseinheit 124 ansteuern, damit diese belichtet, während die Aufnahme der Sensordaten durch die wenigstens eine zweite optische Sensoreinheit 122 erfolgt.The second control unit 126 is set up to control the at least one second optical sensor unit 122 and the at least one second lighting unit 124 . In particular, the second control unit 126 can control the at least one second optical sensor unit 122 to record sensor data, and can control the at least one second illumination unit 124 so that it is exposed while the sensor data is recorded by the at least one second optical sensor unit 122.

Die Beleuchtung durch die wenigstens eine erste Beleuchtungseinheit 114 und die wenigstens eine zweite Beleuchtungseinheit 124 kann gepulst erfolgen, d.h. die Beleuchtung ist nur aktiv, wenn die entsprechende Sensoreinheit Daten aufnimmt. Die gepulste Ansteuerung der Sensoreinheiten und der entsprechenden Beleuchtung kann eine Erwärmung und/oder einen Energieverbrauch des Systems reduzieren.The lighting by the at least one first lighting unit 114 and the at least one second lighting unit 124 can be pulsed, i.e. the lighting is only active when the corresponding sensor unit is recording data. The pulsed activation of the sensor units and the corresponding lighting can reduce heating and/or energy consumption of the system.

Das System 100 sorgt dafür, dass die Beleuchtung für die Datenerfassung durch die wenigstens eine erste optische Sensoreinheit 112 und die wenigstens eine zweite optische Sensoreinheit 122 asynchron erfolgt. Anders gesagt ist die wenigstens eine erste Beleuchtungseinheit 114 aktiv und die wenigstens eine zweite Beleuchtungseinheit 124 inaktiv, während die wenigstens eine erste optische Sensoreinheit 112 aktiv ist und Sensordaten erfasst. Entsprechend ist die wenigstens eine zweite Beleuchtungseinheit 124 aktiv und die wenigstens eine erste Beleuchtungseinheit 114 inaktiv, während die wenigstens eine zweite optische Sensoreinheit 122 aktiv ist und Sensordaten erfasst.The system 100 ensures that the lighting for the data acquisition by the at least one first optical sensor unit 112 and the at least one second optical sensor unit 122 is asynchronous. In other words, the at least one first lighting unit 114 is active and the at least one second lighting unit 124 is inactive, while the at least one first optical sensor unit 112 is active and is capturing sensor data. Accordingly, the at least one second lighting unit 124 is active and the at least one first lighting unit 114 is inactive, while the at least one second optical sensor unit 122 is active and is capturing sensor data.

Dadurch kann vermieden werden, dass durch die Beleuchtungseinheit des einen Subsystems Störungen in den Sensordaten des anderen Subsystems auftreten. Im Ergebnis können qualitativ hochwertige Sensordaten bereitgestellt werden. Beispielsweise kann dies bei einer Insassenerfassung vorteilhaft sein, da die qualitativ hochwertigen Sensordaten eine Echtzeitfähigkeit des Systems unterstützen, d.h. es entsteht kein Verzug in der Erkennungsfunktionen z.B. durch qualitativ unzureichende Sensordaten.This can prevent the lighting unit of one subsystem from causing interference in the sensor data of the other subsystem. As a result, high-quality sensor data can be provided. For example, this can be advantageous when detecting occupants, since the high-quality sensor data support the real-time capability of the system, i.e. there is no delay in the detection functions, e.g. due to sensor data of insufficient quality.

2 zeigt einen Graphen der asynchronen Beleuchtung gemäß Ausführungsformen der vorliegenden Offenbarung. Insbesondere sind Pulse, die eine aktive Beleuchtung angeben, in Abhängigkeit der Zeit t für ein erstes Subsystem A und ein zweites Subsystem B eines erfindungsgemäßen Systems zur Innenraumüberwachung dargestellt. 2 FIG. 12 shows a graph of asynchronous illumination in accordance with embodiments of the present disclosure. In particular, pulses that indicate active lighting are shown as a function of time t for a first subsystem A and a second subsystem B of an interior monitoring system according to the invention.

Eine Zeitspanne einer aktiven Beleuchtung des ersten Subsystems (d.h. die aktive Pulsdauer bzw. Pulsbreite) kann gleich oder kürzer sein als eine inaktive Zeitspanne (d.h. die inaktive Pulsdauer bzw. Pulsbreite) der Beleuchtung des zweiten Subsystems. Zudem kann eine Zeitspanne einer aktiven Beleuchtung des zweiten Subsystems (d.h. die aktive Pulsdauer bzw. Pulsbreite) gleich oder kürzer sein als eine inaktive Zeitspanne (d.h. die inaktive Pulsdauer bzw. Pulsbreite) der Beleuchtung des ersten Subsystems. Dadurch kann verhindert werden, dass die Belichtungszeiten der Subsysteme überlappen.A period of active illumination of the first subsystem (i.e., the active pulse duration or pulse width) may be equal to or shorter than an inactive period of time (i.e., the inactive pulse duration or pulse width) of the illumination of the second subsystem. In addition, a period of active illumination of the second subsystem (i.e. the active pulse duration or pulse width) may be equal to or shorter than an inactive period of time (i.e. the inactive pulse duration or pulse width) of the illumination of the first subsystem. This can prevent the exposure times of the subsystems from overlapping.

Vorzugsweise ist die Zeitspanne der aktiven Beleuchtung des ersten Subsystems im Wesentlichen gleich der Zeitspanne der aktiven Beleuchtung des zweiten Subsystems. Ergänzend oder alternativ kann die inaktive Zeitspanne der Beleuchtung des ersten Subsystems im Wesentlichen gleich der inaktiven Zeitspanne der Beleuchtung des zweiten Subsystems sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und die aktiven Zeitspannen und/oder die inaktiven Zeitspannen der Subsysteme können unterschiedlich lang sein.Preferably, the period of active illumination of the first subsystem is substantially equal to the period of active illumination of the second subsystem. In addition or as an alternative, the inactive time span of the lighting of the first subsystem can be essentially the same as the inactive time span of the lighting of the second subsystem. However, the present disclosure is not limited to this, and the active time periods and/or the inactive time periods of the subsystems can be of different lengths.

In einigen Ausführungsformen kann die Beleuchtung basierend auf einem Zeitstempel erfolgen. Der Zeitstempel kann sicherstellen, dass beide Subsysteme im selben Zeitrahmen arbeiten bzw. zeitlich synchron laufen. Der Zeitstempel kann zum Beispiel ein Zeitstempel sein, der im Fahrzeug für eine Sensorsynchronisation verwendet wird. Anders gesagt kann der Zeitstempel ein im Fahrzeug bereits vorhandener Zeitstempel sein, der zum Beispiel zur Synchronisierung von Sensoren im Rahmen einer Sensordatenfusion verwendet wird.In some embodiments, the lighting may be based on a timestamp. The time stamp can ensure that both subsystems work in the same time frame or run synchronously. For example, the timestamp can be a timestamp used in the vehicle for sensor synchronization. In other words, the time stamp can be a time stamp that is already present in the vehicle and is used, for example, to synchronize sensors as part of a sensor data fusion.

Die Beleuchtung mittels der wenigstens einen ersten Beleuchtungseinheit und der wenigstens einen zweiten Beleuchtungseinheit kann mit einem vorbestimmten und/oder variabel konfigurierbaren zeitlichen Versatz Δ erfolgen. Beispielsweise können das erste Subsystem und das zweite Subsystem basierend auf dem Zeitstempel initialisiert werden, wobei der vorbestimmte zeitliche Versatz Δ ausgehend vom Initialisierungszeitpunkt für beide Subsysteme angewendet wird, um die asynchrone Belichtung zu ermöglichen.The illumination by means of the at least one first illumination unit and the at least one second illumination unit can take place with a predetermined and/or variably configurable time offset Δ. For example, the first subsystem and the second subsystem can be initialized based on the time stamp, with the predetermined time offset Δ starting from the initialization time being applied for both subsystems in order to enable asynchronous exposure.

In einigen Ausführungsformen kann das System eine Neuinitialisierung der asynchronen Beleuchtung, insbesondere in Bezug auf den Zeitstempel und/oder den vorbestimmten zeitlichen Versatz, durchzuführen. Die Neuinitialisierung kann zum Beispiel dann erfolgen, wenn über die Nutzungsdauer des Systems ein zeitlicher Drift in der Ansteuerung der Beleuchtung entsteht. Dann kann es zu einem Überlapp der Beleuchtungszeiten kommen, was durch den Neustart in Bezug auf den Zeitstempel und/oder den vorbestimmten zeitlichen Versatz verhindert werden kann.In some embodiments, the system can reinitialize the asynchronous lighting, in particular with regard to the time stamp and/or the predetermined time offset. The reinitialization can take place, for example, if there is a time drift in the activation of the lighting over the period of use of the system. The lighting times can then overlap, which can be prevented by the restart in relation to the time stamp and/or the predetermined time offset.

In einigen Ausführungsformen kann die Neuinitialisierung der asynchronen Beleuchtung regelmäßig in vorbestimmten Zeitintervallen und/oder unter bestimmten Umständen erfolgen. Beispielsweise kann die Neuinitialisierung der asynchronen Beleuchtung erfolgen, wenn in von der wenigstens einen ersten optischen Sensoreinheit und/oder der wenigstens einen zweiten optischen Sensoreinheit erfassten Daten Störungen erkannt werden, die eine Schwelle überschreiten. Die Störungen können durch die Beleuchtungseinheit des einen Subsystems in den Sensordaten des anderen Subsystems erzeugt werden, was ein Hinweis auf einen unerwünschten Überlapp der Beleuchtungszeiten sein kann. Durch den Neustart in Bezug auf den Zeitstempel und/oder den vorbestimmten zeitlichen Versatz kann dieser Überlapp beseitigt werden.In some embodiments, reinitialization of the asynchronous lighting may occur periodically at predetermined time intervals and/or under certain circumstances. For example, the asynchronous illumination can be reinitialized if faults that exceed a threshold are detected in the data recorded by the at least one first optical sensor unit and/or the at least one second optical sensor unit. The disturbances can be generated by the lighting unit of one subsystem in the sensor data of the other subsystem, which can be an indication of an undesired overlap of the lighting times. This overlap can be eliminated by the restart in relation to the time stamp and/or the predetermined time offset.

3 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung. 3 FIG. 1 schematically shows a vehicle 10 with a driver assistance system 300 for automated driving according to embodiments of the present disclosure.

Das Fahrassistenzsystem 300 kann zum automatisierten Fahren eingerichtet sein. Beim automatisierten Fahren erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.Driver assistance system 300 can be set up for automated driving. At the car automated driving, the longitudinal and/or lateral guidance of the vehicle 10 takes place automatically. The driver assistance system 300 thus takes over the vehicle guidance. For this purpose, driver assistance system 300 controls drive 20, transmission 22, hydraulic service brake 24 and steering 26 via intermediate units that are not shown.

Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug 10 wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein oder mehrere LiDAR-Systeme, ein oder mehrere Radar-Systeme einen oder mehrere Laserscanner und/oder eine oder mehrere Kameras umfassen.In order to plan and implement automated driving, environmental information from an environmental sensor system that monitors the vehicle environment is received by driver assistance system 300 . In particular, the vehicle 10 can include at least one surroundings sensor 12 which is set up to record surroundings data which indicate the surroundings of the vehicle. The at least one environment sensor 12 can include, for example, one or more LiDAR systems, one or more radar systems, one or more laser scanners and/or one or more cameras.

Das Fahrzeug 10 umfasst weiter das System 100 zur Innenraumüberwachung gemäß den Ausführungsformen der vorliegenden Offenbarung. Das System 100 kann kommunikativ mit dem Fahrassistenzsystem 300 verbunden sein. Alternativ kann das System 100 zur Innenraumüberwachung im Fahrassistenzsystem 300 umfasst bzw. im Fahrassistenzsystem 300 integriert sein.The vehicle 10 further includes the interior monitoring system 100 according to the embodiments of the present disclosure. The system 100 can be communicatively connected to the driver assistance system 300 . Alternatively, the system 100 for interior monitoring can be included in the driver assistance system 300 or integrated in the driver assistance system 300 .

Das System 300 zur Innenraumüberwachung kann zum Beispiel fahrerzustands- und fahrerverhaltensbezogene Informationen erzeugen, die dem Fahrassistenzsystem 300 bereitgestellt werden. Das Fahrassistenzsystem 300 kann die entsprechende Assistenzfunktion basierend auf diesen Informationen der Innenraumüberwachung ansteuern.For example, interior monitoring system 300 may generate information related to driver status and behavior that is provided to driver assistance system 300 . Driver assistance system 300 can control the corresponding assistance function based on this information from the interior monitoring.

Beispielhafte Fahrassistenzsysteme, die eine Innenraumüberwachung verwenden können, umfassen Notbrems-Assistenzsysteme, Spurhalteassistenten und Notruf-Assistenzsysteme. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht hierauf begrenzt und andere Arten von Fahrassistenzsystemen, die eine Innenraumüberwachung verwenden können, sind denkbar.Exemplary driver assist systems that may use interior monitoring include emergency braking assist systems, lane departure warning systems, and emergency call assist systems. However, the embodiments of the present disclosure are not limited to this, and other types of driving assistance systems that can use interior monitoring are conceivable.

4 zeigt schematisch ein Flussdiagramm eines Verfahrens 400 zur Innenraumüberwachung eines Fahrzeugs gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 400 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. 4 FIG. 4 schematically shows a flow diagram of a method 400 for monitoring the interior of a vehicle according to embodiments of the present disclosure. Method 400 may be implemented by appropriate software executable by one or more processors (eg, a CPU).

Das Verfahren 400 umfasst im Block 410 ein Ansteuern wenigstens einer ersten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine erste optische Sensoreinheit zu beleuchten; und im Block 420 ein Ansteuern wenigstens einer zweiten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine zweite optische Sensoreinheit zu beleuchten, wobei das Beleuchten des Innenraums durch die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit asynchron erfolgt.In block 410, method 400 includes activating at least one first lighting unit in order to illuminate the interior for data acquisition by at least one first optical sensor unit; and in block 420 activation of at least one second lighting unit in order to illuminate the interior for data acquisition by at least one second optical sensor unit, the interior being illuminated asynchronously by the at least one first lighting unit and the at least one second lighting unit.

Erfindungsgemäß erfolgt eine Beleuchtung des Innenraums des Fahrzeugs zur Aufnahme von Sensordaten zu unterschiedlichen Zeitpunkten, wodurch Interferenzen vermieden werden können. Insbesondere kann vermieden werden, dass durch die Beleuchtungseinheit des einen Subsystems Störungen in den Sensordaten des anderen Subsystems auftreten. Im Ergebnis können qualitativ hochwertige Sensordaten bereitgestellt werden. Beispielsweise kann dies bei einer Insassenerfassung vorteilhaft sein, da die qualitativ hochwertigen Sensordaten eine Echtzeitfähigkeit des Systems unterstützen, d.h. es entsteht kein Verzug in der Erkennungsfunktionen z.B. durch qualitativ unzureichende Sensordaten. Zudem ist eine softwarebasierte Maßnahme bereitgestellt, so dass kein physikalisches Herausfiltern der Störungen in den Sensordaten erforderlich ist.According to the invention, the interior of the vehicle is illuminated for recording sensor data at different points in time, as a result of which interference can be avoided. In particular, it is possible to prevent the lighting unit of one subsystem from causing interference in the sensor data of the other subsystem. As a result, high-quality sensor data can be provided. For example, this can be advantageous when detecting occupants, since the high-quality sensor data support the real-time capability of the system, i.e. there is no delay in the detection functions, e.g. due to sensor data of insufficient quality. In addition, a software-based measure is provided so that no physical filtering out of the disturbances in the sensor data is required.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in more detail by means of preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the protective scope of the invention. It is therefore clear that a large number of possible variations exist. It is also understood that the exemplary embodiments given are really only examples and should not be construed as limiting in any way the scope, applications or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art, knowing the disclosed inventive idea, can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without having to Leaving the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

Claims (10)

System (100) zur Innenraumüberwachung eines Fahrzeugs (10), umfassend: wenigstens eine erste optische Sensoreinheit (112) und wenigstens eine zweite optische Sensoreinheit (122); wenigstens eine erste Beleuchtungseinheit (114), die der wenigstens einen ersten optischen Sensoreinheit (112) zugeordnet ist; wenigstens eine zweite Beleuchtungseinheit (124), die der wenigstens einen zweiten optischen Sensoreinheit (122) zugeordnet ist; und wenigstens eine Steuereinheit (116, 126), die eingerichtet ist, um die wenigstens eine erste Beleuchtungseinheit (114) und die wenigstens eine zweite Beleuchtungseinheit (124) derart anzusteuern, dass eine Beleuchtung für eine Datenerfassung durch die wenigstens eine erste optische Sensoreinheit (112) und die wenigstens eine zweite optische Sensoreinheit (122) asynchron erfolgt.System (100) for monitoring the interior of a vehicle (10), comprising: at least one first optical sensor unit (112) and at least one second optical sensor unit (122); at least one first illumination unit (114) associated with the at least one first optical sensor unit (112); at least one second lighting unit (124) associated with the at least one second optical sensor unit (122); and at least one control unit (116, 126), which is set up to control the at least one first lighting unit (114) and the at least one second lighting unit (124) in such a way that lighting for data acquisition by the at least one first optical sensor unit (112 ) and the at least one second optical sensor unit (122) takes place asynchronously. Das System (100) nach Anspruch 1, wobei die wenigstens eine Steuereinheit eingerichtet (116, 126) ist, um die wenigstens eine erste Beleuchtungseinheit (114), die wenigstens eine zweite Beleuchtungseinheit (124), die wenigstens eine erste optische Sensoreinheit (112) und die wenigstens eine zweite optische Sensoreinheit (122) derart anzusteuern, dass: - die Datenerfassung durch die wenigstens eine erste optische Sensoreinheit (112) und die Beleuchtung durch die wenigstens eine erste Beleuchtungseinheit (114) synchron erfolgen, und - die Datenerfassung durch die wenigstens eine zweite optische Sensoreinheit (122) und die Beleuchtung durch die wenigstens eine zweite Beleuchtungseinheit (124) synchron erfolgen.The system (100) after claim 1 , wherein the at least one control unit is set up (116, 126) to control the at least one first lighting unit (114), the at least one second lighting unit (124), the at least one first optical sensor unit (112) and the at least one second optical sensor unit ( 122) in such a way that: - the data acquisition by the at least one first optical sensor unit (112) and the illumination by the at least one first illumination unit (114) take place synchronously, and - the data acquisition by the at least one second optical sensor unit (122) and the illumination by the at least one second illumination unit (124) takes place synchronously. Das System (100) nach Anspruch 1 oder 2, wobei die wenigstens eine Steuereinheit eingerichtet (116, 126) ist, um die wenigstens eine erste Beleuchtungseinheit (114) und die wenigstens eine zweite Beleuchtungseinheit (124) mit einem vorbestimmten zeitlichen Versatz (Δ) für die Beleuchtung anzusteuern; und/oder wobei die wenigstens eine Steuereinheit (116, 126) eingerichtet ist, um die wenigstens eine erste Beleuchtungseinheit (114) und die wenigstens eine zweite Beleuchtungseinheit (124) für eine Beleuchtung basierend auf einem Zeitstempel anzusteuern, insbesondere einem Zeitstempel, der im Fahrzeug (10) für eine Sensorsynchronisation verwendet wird.The system (100) after claim 1 or 2 , wherein the at least one control unit is set up (116, 126) to control the at least one first lighting unit (114) and the at least one second lighting unit (124) with a predetermined time offset (Δ) for the lighting; and/or wherein the at least one control unit (116, 126) is set up to control the at least one first lighting unit (114) and the at least one second lighting unit (124) for lighting based on a time stamp, in particular a time stamp in the vehicle (10) is used for sensor synchronization. Das System (100) nach einem der Ansprüche 1 bis 3, wobei die wenigstens eine Steuereinheit (116, 126) eingerichtet ist, um eine Neuinitialisierung der asynchronen Beleuchtung durchzuführen, insbesondere wenn in von der wenigstens einen ersten optischen Sensoreinheit (112) und/oder der wenigstens einen zweiten optischen Sensoreinheit (122) erfassten Daten Störungen erkannt werden, die eine Schwelle überschreiten.The system (100) according to one of Claims 1 until 3 , wherein the at least one control unit (116, 126) is set up to reinitialize the asynchronous illumination, in particular if there are faults in the data recorded by the at least one first optical sensor unit (112) and/or the at least one second optical sensor unit (122). are detected that exceed a threshold. Das System (100) nach einem der Ansprüche 1 bis 4, wobei die wenigstens eine Steuereinheit (116, 126) eine erste Steuereinheit (116), die für eine Ansteuerung der wenigstens einen ersten Beleuchtungseinheit (114) eingerichtet ist, und eine zweite Steuereinheit (126), die für eine Ansteuerung der wenigstens einen zweiten Beleuchtungseinheit (124) eingerichtet ist, umfasst, insbesondere wobei die erste Steuereinheit (116) und die zweite Steuereinheit (126) auf verschiedenen Steuergeräten des Fahrzeugs (10) implementiert sind, oder wobei die erste Steuereinheit (116) und die zweite Steuereinheit (126) auf demselben Steuergerät des Fahrzeugs (10) implementiert sind.The system (100) according to one of Claims 1 until 4 , wherein the at least one control unit (116, 126) comprises a first control unit (116), which is set up for controlling the at least one first lighting unit (114), and a second control unit (126), which is designed for controlling the at least one second lighting unit (124) is set up, in particular wherein the first control unit (116) and the second control unit (126) are implemented on different control units of the vehicle (10), or wherein the first control unit (116) and the second control unit (126) on are implemented in the same control unit of the vehicle (10). Das System (100) nach einem der Ansprüche 1 bis 5, wobei die wenigstens eine erste optische Sensoreinheit (112) eine Kamera, insbesondere eine Infrarotkamera, ist, und/oder wobei die wenigstens eine zweite optische Sensoreinheit (122) eine Kamera, insbesondere eine Infrarotkamera, ist.The system (100) according to one of Claims 1 until 5 , wherein the at least one first optical sensor unit (112) is a camera, in particular an infrared camera, and/or wherein the at least one second optical sensor unit (122) is a camera, in particular an infrared camera. Das System (100) nach einem der Ansprüche 1 bis 6, wobei die wenigstens eine erste Beleuchtungseinheit (114) eine Infrarot-Beleuchtungseinheit ist, und/oder wobei die wenigstens eine zweite Beleuchtungseinheit (124) eine Infrarot-Beleuchtungseinheit ist.The system (100) according to one of Claims 1 until 6 , wherein the at least one first lighting unit (114) is an infrared lighting unit, and/or wherein the at least one second lighting unit (124) is an infrared lighting unit. Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das System (100) zur Innenraumüberwachung nach einem der Ansprüche 1 bis 7.Vehicle (10), in particular a motor vehicle, comprising the system (100) for monitoring the interior according to one of Claims 1 until 7 . Verfahren (400) zur Innenraumüberwachung eines Fahrzeugs, umfassend: Ansteuern (410) wenigstens einer ersten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine erste optische Sensoreinheit zu beleuchten; und Ansteuern (420) wenigstens einer zweiten Beleuchtungseinheit, um den Innenraum für eine Datenerfassung durch wenigstens eine zweite optische Sensoreinheit zu beleuchten, wobei das Beleuchten des Innenraums durch die wenigstens eine erste Beleuchtungseinheit und die wenigstens eine zweite Beleuchtungseinheit asynchron erfolgt.Method (400) for monitoring the interior of a vehicle, comprising: activating (410) at least one first lighting unit in order to illuminate the interior for data acquisition by at least one first optical sensor unit; and Controlling (420) at least one second lighting unit in order to illuminate the interior for data acquisition by at least one second optical sensor unit, wherein the interior space is illuminated asynchronously by the at least one first lighting unit and the at least one second lighting unit. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (400) gemäß Anspruch 9 auszuführen.Storage medium comprising a software program arranged to be executed on one or more processors, and thereby the method (400) according to claim 9 to execute.
DE102021113811.6A 2021-05-28 2021-05-28 System and method for monitoring the interior of a vehicle Pending DE102021113811A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021113811.6A DE102021113811A1 (en) 2021-05-28 2021-05-28 System and method for monitoring the interior of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021113811.6A DE102021113811A1 (en) 2021-05-28 2021-05-28 System and method for monitoring the interior of a vehicle

Publications (1)

Publication Number Publication Date
DE102021113811A1 true DE102021113811A1 (en) 2022-12-01

Family

ID=83997279

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021113811.6A Pending DE102021113811A1 (en) 2021-05-28 2021-05-28 System and method for monitoring the interior of a vehicle

Country Status (1)

Country Link
DE (1) DE102021113811A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212918A1 (en) 2022-12-01 2024-06-06 Robert Bosch Gesellschaft mit beschränkter Haftung Control device for a passenger monitoring device in a motor vehicle, driver monitoring module and method for passenger monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014118387A1 (en) 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
DE102017207206A1 (en) 2017-04-28 2018-10-31 Robert Bosch Gmbh A method and apparatus for driving a driver observation system to observe a driver of a vehicle
DE102018201154A1 (en) 2018-01-25 2019-07-25 HELLA GmbH & Co. KGaA Method for calibrating sensors and / or sensor arrangements
DE102019130372A1 (en) 2019-11-11 2021-05-12 Valeo Schalter Und Sensoren Gmbh Synchronization of sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014118387A1 (en) 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
DE102017207206A1 (en) 2017-04-28 2018-10-31 Robert Bosch Gmbh A method and apparatus for driving a driver observation system to observe a driver of a vehicle
DE102018201154A1 (en) 2018-01-25 2019-07-25 HELLA GmbH & Co. KGaA Method for calibrating sensors and / or sensor arrangements
DE102019130372A1 (en) 2019-11-11 2021-05-12 Valeo Schalter Und Sensoren Gmbh Synchronization of sensors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212918A1 (en) 2022-12-01 2024-06-06 Robert Bosch Gesellschaft mit beschränkter Haftung Control device for a passenger monitoring device in a motor vehicle, driver monitoring module and method for passenger monitoring

Similar Documents

Publication Publication Date Title
EP2766235B1 (en) Vehicle and method for controlling a vehicle
EP1868851B1 (en) Calculation of the plausibility of sensor signals in the event of a collision
EP2631878A1 (en) Diagnostic method and diagnostic device for a vehicle component of a vehicle
DE102008006028A1 (en) Method and device for automatically switching on and off an internal combustion engine
EP2331383B1 (en) Device and method for controlling an electric steering system
DE102018118568A1 (en) REDUNDANT ACTIVE CONTROL SYSTEM COORDINATION
DE102005048015A1 (en) Device for plausibilisation of sensor signals derived from vehicle system
DE102018200388A1 (en) Method for operating a vehicle with a driver assistance system engaging in lateral dynamics of the vehicle
EP3625092A1 (en) Method for determining autonomous emergency braking, method for performing the emergency braking, and control device for a driving-dynamics system
DE102021113811A1 (en) System and method for monitoring the interior of a vehicle
DE102017103724B4 (en) Device and method for controlling a sensor component of a safety system of an object, control system for an automotive vehicle and sensor component for a safety system of an automotive vehicle
DE102014008490A1 (en) Method and device for carrying out a functional test of a vehicle component of a motor vehicle
DE102018207339A1 (en) Method, apparatus and computer-readable storage medium with instructions for monitoring and validating operating data in the actuator system of an autonomous motor vehicle
DE102018204883B4 (en) Method for operating a control device, motor vehicle and computer program
EP2386464B1 (en) Method for parking or leaving a parking space and avoiding a vehicle collision and corresponding assistance system and vehicle
DE102010004057B4 (en) Methods and systems for monitoring vehicle movement
EP2539183B1 (en) Monitoring method for vehicle systems during the vehicle servicing
DE102011014706A1 (en) Method for assisting driver of vehicle by triggered pedestrian protection unit, involves determining past and current driving course during operation of vehicle by detecting signals of vehicle sensor
DE102012022801B4 (en) Steering monitoring method and steering system
DE102017109175A1 (en) Control device, driver assistance system, motor vehicle and method for controlling a driver assistance function
DE102005019062B3 (en) Motor vehicle controlling method, involves verifying whether safe driving condition is present with respect to wheel speed, and repealing vehicle failure with positive result of verification and causing re-closure with negative result
DE102013214401A1 (en) Method and device for operating a driver assistance system
EP2105341B1 (en) Power supply device for a vehicle
DE102017113322B4 (en) A method of controlling a wiper unit and a washer unit for a rear window
DE102017221968A1 (en) Method for operating a steering device and steering device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication