DE102022206390A1

DE102022206390A1 - Verfahren und Fahrzeugregelungssystem zur Einstellung angenehmer Temperaturen

Info

Publication number: DE102022206390A1
Application number: DE102022206390.2A
Authority: DE
Inventors: Martin Pöttcher; Philip Albert Prediger
Original assignee: Continental Engineering Services GmbH
Current assignee: Continental Engineering Services GmbH
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2024-01-04
Also published as: WO2023246990A1

Abstract

Verfahren zur Erfassung thermischer Informationen/Daten wenigstens eines Fahrzeuginsassen, wobei mittels einer ersten Kamera (NIR), welche als Nahinfrarotkamera ausgebildet ist, geometrische Informationen und/oder Ortsinformationen bezüglich der Gestalt und/oder Positionierung des Kopfes und/oder von definierten Kopfpartien eines erfassten Fahrzeuginsassen erfasst werden und davon abhängig, insbesondere in einer Signalverarbeitungseinrichtung (SigV), daraus Positionsdaten des Kopfes und/oder von definierten Kopfpartien, erzeugt werden und diese Positionsdaten einer zweiten Kamera (FIR), welche als Wärmebildkamera ausgebildet ist, bereitgestellt werden und die zweite Kamera (FIR) in Abhängigkeit der Positionsdaten Temperaturinformationen erfasst und Temperaturdaten über den Kopf und/oder definierte Kopfpartien des Fahrzeuginsassen erzeugt werden.

Description

Die Erfindung betrifft ein Verfahren und ein Fahrzeugregelungsystem, mittels welchem Temperaturinformationen eines Fahrzeuginsassen erfasst werden.
Die Erfindung hat sich die Aufgabe gestellt, Temperaturinformationen eines Fahrzeuginsassen zu erfassen und diese Erfassung insbesondere zu verbessern und/oder zu präzisieren und/oder zu vereinfachen.
Diese Aufgabe wird erfindungsgemäß gelöst durch das Verfahren gemäß Anspruch 1 und das Fahrzeugregelungssystem nach Anspruch 13.
Unter einem Fahrzeuginsassen wird vorzugsweise ein Passagier des Fahrzeugs, welcher auf einer Sitzeinrichtung im Fahrzeug sitzt und insbesondere den Fahrer des Fahrzeugs auf dem Fahrersitz verstanden.
Ein Informations-/Daten-/Signalverarbeitungsschritt in einer der beiden Kameras erfolgt alternativ vorzugsweise in der Signalverarbeitungseinrichtung und/oder der elektronischen Kontrolleinheit.
Der Erfindung liegt vorzugweise der Gedanke zu Grunde, zur Erfassung thermischer Informationen/ Daten wenigstens eines Fahrzeuginsassen, mittels einer ersten Kamera, welche als Nahinfrarotkamera ausgebildet ist, geometrische Informationen und/oder Ortsinformationen bezüglich der Gestalt und/oder Positionierung des Kopfes und/oder von definierten Kopfpartien eines erfassten Fahrzeuginsassen zu erfassen und davon abhängig, insbesondere in einer Signalverarbeitungseinrichtung, daraus Positionsdaten des Kopfes und/oder von definierten Kopfpartien, zu erzeugen und diese Positionsdaten einer zweiten Kamera, welche als Wärmebildkamera ausgebildet ist, bereitzustellen und/oder einer die zweite Kamera ansteuernde Signalverarbeitungseinrichtung und die zweite Kamera in Abhängigkeit und/oder unter Berücksichtigung der Positionsdaten Temperaturinformationen erfasst und Temperaturdaten über den Kopf und/oder definierte Kopfpartien des Fahrzeuginsassen erzeugt werden, insbesondere werden die Temperaturdaten in der Signalverarbeitungseinrichtung erzeugt bzw. berechnet.
Unter einem Fahrzeuginsassen wird vorzugsweise ein Passagier eines Kraftfahrzeugs verstanden, zweckmäßigerweise der Fahrer des Kraftfahrzeugs.
Hinsichtlich der Erzeugung der Positionsdaten und/oder zu deren weiteren Nutzung, insbesondere mittels der zweiten Kamera, wird zweckmäßigerweise eine Koordinatentransformation durchgeführt und/oder es werden dabei die Positionsdaten in Abhängigkeit von Bildpunkten bzw. Pixel und/oder Bildpunktwolken erfasst oder es werden Bildpunkten bzw. Bildpunktwolken, erfasst durch die zweite Kamera, Positionsdaten, die anhand der ersten Kamera bestimmt werden, zugeordnet.
Unter einem Bildpunkt der Kamera wird vorzugsweise ein Pixel verstanden.
Es ist bevorzugt, dass die Signalverarbeitungseinrichtung und die elektronische Kontrolleinheit die gleiche Einrichtung oder eine integrierte Einrichtung sind und ein oder mehrere Signalverarbeitungs- und/oder Datenverarbeitungsschritte in einer der beiden Einrichtungen oder in beiden gemeinsam oder in der integrierten Einrichtung ausgeführt werden.
Es ist bevorzugt, dass die Erfassung durch die zweite Kamera, insbesondere ihre Ausrichtung hinsichtlich des Kopfes und/oder hinsichtlich definierter Kopfpartien, und/oder ihrer Auswertung der von ihr erfassten Temperaturinformationen, in Abhängigkeit der Positionsdaten erfolgt.
Es ist zweckmäßig, dass die zweite Kamera zu jedem Bildpunkt oder zu definierten Bildpunkten jeweils eine Temperaturinformation erfasst.
Vorzugsweise wird die Erfassung und/oder Auswertung und/oder Signalverarbeitung der zweiten Kamera in Abhängigkeit der Positionsdaten kalibriert.
Es ist bevorzugt, dass die erste Kamera und die zweite Kamera sowie die Signalverarbeitungseinrichtung Teil eines Erfassungssystems sind das Erfassungssystem zusätzlich eine Infrarotbeleuchtungseinheit aufweist, welche insbesondere im Wesentlichen gemeinsam mit der ersten Kamera ausgerichtet ist und/oder wird.
Es ist bevorzugt, dass die erste Kamera frontal auf das Gesicht des zu erfassenden Fahrzeuginsassen ausgerichtet ist, dabei ist die erste Kamera so ausgerichtet, dass sie mit ihrer Erfassungsrichtung und/oder optischen Achse zu einer Normalen auf dem Gesicht des zu erfassenden Fahrzeuginsassen einen Winkel von weniger als 45°, insbesondere einen Winkel von weniger als 20° aufweist.
Es ist zweckmäßig, dass die zu erfassenden Kopfpartien Stirn und/oder Mund und/oder Nase und/oder Ohr/en und/oder die Halsschlagader sind und das Erfassungssystem zur Erkennung und/oder Identifikation dieser Kopfpartien eine Mustererkennung durchführt, insbesondere zurückgreifend auf abgespeicherte Musterdaten und/oder Algorithmen, besonders bevorzugt zur Erkennung des Gesichts und/oder der Kopfpartien, beispielsweise Augen, Nase, Mund und/oder Stirn, wobei ganz besonders bevorzugt die wichtigste Kopfpartei die Stirn ist, dann Mund und Nase, Ohr, Halsschlagader. Zweckmäßigerweise werden dabei für einen oder mehrere dieser Kopfpartien, 3D-Daten erzeugt und/oder eine statische Betrachtung einzelner markanter Referenzpunkt der Kopfpartie durchgeführt, woraus insbesondere Abstände zwischen den Referenzpunkten berechnet werden und daraus werden vorzugsweise 3D-Daten als Positionsdaten einer oder mehrerer der Kopfpartien erzeugt.
Es ist bevorzugt, dass in Abhängigkeit der Temperaturdaten die Signalverarbeitungseinrichtung diese Temperaturdaten einer elektronischen Kontrolleinheit bereitstellt, welche eine Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit ansteuert, welche insbesondere die Temperatur für unterschiedliche Luftauslassöffnungen separat ansteuert.
Zweckmäßigerweise erfolgt dabei die Erfassung durch das Erfassungssystem und die Ansteuerung der Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit in Abhängigkeit der Temperaturdaten als Regelung, insbesondere hinsichtlich einer einstellbaren Zieltemperatur und/oder in Abhängigkeit gespeicherter Temperaturoptimalwerte für die Kopfpartie/n.
Es ist bevorzugt, dass die zu erfassenden Kopfpartien, denen Temperaturdaten zugeordnet werden zumindest die Stirn eines Fahrzeuginsassen und/oder der Augeninnenwinkel bzw. der medialen Augenwinkels eines oder beider Augen und zumindest diese Kopfpartie/n werden durch die erste Kamera und die erfassten geometrischen Informationen und/oder Ortsinformationen durch die Signalverarbeitungseinrichtung erkannt und/oder erfasst und Positionsdaten zugeordnet werden, in Abhängigkeit welcher dann die zweite Kamera Temperaturinformationen diese Kopfpartie/n erfasst.
Es ist zweckmäßig, dass in Abhängigkeit der für eine oder mehrere identifizierte Kopfpartien durch die erste Kamera und den zugeordneten Temperaturdaten mittels der zweiten Kamera, in der Signalverarbeitungseinrichtung und/oder der elektronischen Kontrolleinheit zumindest eine Stoffwechselinformation und/oder eine Aufmerksamkeitsinformation, beispielsweise mittels der Auswertung, ob einen starrer bzw. für einen definierten Zweitraum unveränderter Blick vorliegt, und/oder eine Müdigkeitsinformation, beispielsweise erkennbar durch definierte Temperatur und/oder eine Lidschlagsfrequenz in einem definierten Bereich, und/oder eine Fahreridentifikation, welche beispielsweise über Positionsdaten und/oder Musterinformationen erfolgen kann, welche insbesondere gespeichert sind, einer oder mehrerer und/oder definierter erfasster Kopfpartien, und/oder eine Emotionsdetektion und/oder eine Lebensfunktionsdetektion, beispielsweise zur Erkennung, ob es sich bei dem erfassten Objekt um einen Kopf bzw. wenigstens eine Kopfpartie handelt, besonders bevorzugt, um eine mögliche Manipulation bzw. Täuschung zu erkennen, und/oder eine Gesundheitsinformation.
Es ist bevorzugt, dass die Regelung und Ansteuerung der Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit wenigstens zwei Modi umfasst, einen Regelungsmodus für den gesamten Fahrzeuginnenraum und einen zweiten, insbesondere damit verknüpften Modus, welche die Regelung für einen Sitzplatz ermöglicht.
Die erste Kamera und die zweite Kamera sind vorzugsweise maximal 50mm bzw. 10mm voneinander beabstandet, wobei dieser Abstand insbesondere als der Abstand der beiden Mittelachsenaustritte aus dem Objektiv/Linse der jeweiligen Kamera zueinander definiert ist.
Die erste und die zweite Kamera befinden sich zweckmäßigerweise in einer definierten und festen Position und Winkel zueinander. Das Erfassungssystem ist dabei insbesondere so ausgebildet, dass Positionen und Winkel der ersten und der zweiten Kamera dabei Software-seitig einmalig kalibriert werden/ sind.
Es ist bevorzugt, dass die erste Kamera (NIR) und die zweite Kamera (FIR) in einem gemeinsamen Gehäuse angeordnet sind.
Es ist bevorzugt, dass der Abstand zwischen der ersten und zweiten Kamera, insbesondere jeweils hinsichtlich ihres Mittelpunkts der äußeren Objektivfläche/ Linsenfläche einen Abstand von weniger als 5cm aufweist.
Vorzugsweise sind die erste und die zweite Kamera im Wesentlichen fest und unbeweglich angeordnet sind.
Es ist bevorzugt, dass die erste oder die zweite Kamera im und/oder an einem Armaturenbrett des Kraftfahrzeugs angeordnet ist und die zweite oder die erste Kamera, also insbesondere die andere Kamera, in und/oder an einem Innenraumspiegel oder in und/oder an einem Dachhimmel und/oder in und/oder an einer A-Säule im Innenraum des Kraftfahrzeugs angeordnet ist.
Es ist zweckmäßig, dass die erste und die zweite Kamera auf eine gemeinsame Zone und/oder im Wesentlichen auf einen gemeinsamen Punkt ausgerichtet sind, insbesondere den Kopfbereich und/oder die Kopfposition eines Sitzplatzes des Kraftfahrzeugs, insbesondere des Fahrersitzplatzes.
Vorzugsweise ist das Erfassungssystem so ausgebildet, dass die erste und die zweite Kamera gemeinsam kalibriert sind, insbesondere mittels einer gemeinsamen Signalverarbeitungseinrichtung, zweckmäßigerweise sind die erste und die zweite Kamera sowie die Signalverarbeitungseinrichtung in dem gemeinsamen Gehäuse angeordnet.
Bevorzugt ist das Erfassungssystem so ausgebildet, dass der Abstand und/oder Winkel zwischen der ersten und zweiten Kamera, insbesondere hinsichtlich deren Mittelachsen ihrer Erfassung und/oder der Winkel zwischen den beiden zentralen Erfassungsachsen, mehr als 10° beträgt, insbesondere mehr als 30°, dabei maximal 90°, besonders bevorzugt im Wesentlichen 60°.
Die erste Kamera, als Nahinfrarotkamera, ist bevorzugt so ausgebildet, dass sie zur Erfassung von Wellenlängen größer als 940nm ausgebildet ist, dabei insbesondere im nicht sichtbaren Wellenlängenbereich.
Die zweite Kamera, als Wärmebildkamera, ist bevorzugt so ausgebildet, dass sie zur Erfassung von Wellenlängen von 3000 bis 7000nm oder einem Zwischenintervall dieses Wellenlängenintervalls ausgebildet ist.
Unter der Erfassungsachse bzw. Mittelachse einer Kamera wird vorzugsweise deren optische Achse verstanden.
Die zweite Kamera, als Wärmebildkamera, ist vorzugsweise als Thermographiekameraeinheit bzw. Themographiekamera ausgebildet, insbesondere ist die zweite Kamera dabei so ausgebildet, dass sie für jeden Pixel bzw. Erfassungspunkt eine Temperatur erfasst bzw. ein Temperaturdatum zu jedem Pixel erfasst/ bereitstellt/ errechnet.
Die Erfindung betrifft außerdem zweckmäßigerweise ein Fahrzeugregelungssystem, umfassend die Erfassungseinrichtung sowie eine Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit und insbesondere eine elektronische Kontrolleinheit, wobei das Fahrzeugregelungssystem zur Durchführung des Verfahrens geeignet ist.
Die Erfindung betrifft außerdem insbesondere ein Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren auszuführen.

1 zeigt ein beispielhaftes Erfassungssystem in einer schematischen Darstellung.

Das Erfassungssystem umfasst beispielhaft eine erste Kamera (NIR) und eine zweite Kamera (FIR), wobei die erste Kamera (NIR) als Nahinfrarotkamera ausgebildet ist und die zweite Kamera (FIR) als Wärmebildkamera ausgebildet ist sowie eine gemeinsamen Signalverarbeitungseinrichtung (SigV), wobei die erste und die zweite Kamera (NIR), (FIR) sowie die gemeinsame Signalverarbeitungseinrichtung (SigV) in einem gemeinsamen Gehäuse angeordnet sind. Das sind die erste und die zweite Kamera (NIR), (FIR) so ausgebildet und angeordnet, dass der Abstand (d) zwischen der ersten (NIR) und zweiten (FIR) Kamera, jeweils hinsichtlich ihres Mittelpunkts (a, b) der äußeren Objektivfläche/ Linsenfläche weniger als 5cm beträgt. Die Mittelachsen m1, m2 ihrer Erfassung und/oder der Winkel zwischen den beiden zentralen Erfassungsachsen der beiden Kameras weisen zueinander einen Winkel bzw. Schnittwinkel von im Wesentlichen 30° auf. Das Erfassungssystem ist dabei beispielgemäß so ausgebildet und im Fahrzeug angeordnet und ausgerichetet, dass der Bereich des Schnittpunkts der beiden Mittelachsen m1, m2 im Kopfbereich eines Sitzplatzes des Kraftfahrzeugs, insbesondere des Fahrersitzplatzes, ausgeordnet ist, also beispielhaft liegt dieser Schnittpunkt im Kopfbereich des Fahrersitzplatzes. Die erste und die zweite Kamera (NIR), (FIR) sind dabei so angeordnet, dass ihre Objektive/ Linsen auf /angrenzend an einer gemeinsamen Außenfläche des Gehäuses 1 angeordnet sind, wobei diese Außenfläche beispielgemäß nicht plan ausgebildet ist, dies aber alternativ beispielhaft sein kann.

Claims

Verfahren zur Erfassung thermischer Informationen/Daten wenigstens eines Fahrzeuginsassen, wobei mittels einer ersten Kamera (NIR), welche als Nahinfrarotkamera ausgebildet ist, geometrische Informationen und/oder Ortsinformationen bezüglich der Gestalt und/oder Positionierung des Kopfes und/oder von wenigstens einer definierten Kopfpartie eines erfassten Fahrzeuginsassen erfasst werden und davon abhängig, insbesondere in einer Signalverarbeitungseinrichtung (SigV), daraus Positionsdaten des Kopfes und/oder von definierten Kopfpartien, erzeugt werden und diese Positionsdaten einer zweiten Kamera (FIR), welche als Wärmebildkamera ausgebildet ist, bereitgestellt werden und die zweite Kamera (FIR) in Abhängigkeit und/oder unter Berücksichtigung der Positionsdaten Temperaturinformationen erfasst und Temperaturdaten über den Kopf und/oder definierte Kopfpartien des Fahrzeuginsassen erzeugt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung durch die zweite Kamera (FIR), insbesondere ihre Ausrichtung hinsichtlich des Kopfes und/oder hinsichtlich definierter Kopfpartien, und/oder ihrer Auswertung der von ihr erfassten Temperaturinformationen, in Abhängigkeit der Positionsdaten erfolgt.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Kamera zu jedem Bildpunkt oder zu definierten Bildpunkten jeweils eine Temperaturinformation erfasst.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassung und/oder Auswertung und/oder Signalverarbeitung der zweiten Kamera in Abhängigkeit der Positionsdaten kalibriert wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Kamera und die zweite Kamera sowie die Signalverarbeitungseinrichtung Teil eines Erfassungssystems sind das Erfassungssystem zusätzlich eine Infrarotbeleuchtungseinheit aufweist, welche insbesondere im Wesentlichen gemeinsam mit der ersten Kamera ausgerichtet ist und/oder wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Kamera frontal auf das Gesicht des zu erfassenden Fahrzeuginsassen ausgerichtet ist, dabei ist die erste Kamera so ausgerichtet, dass sie mit ihrer Erfassungsrichtung und/oder optischen Achse zu einer Normalen auf dem Gesicht des zu erfassenden Fahrzeuginsassen einen Winkel von weniger als 45°, insbesondere einen Winkel von weniger als 20° aufweist.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zu erfassenden Kopfpartien Stirn und/oder Mund und/oder Nase und/oder Ohr/en und/oder die Halsschlagader sind und das Erfassungssystem zur Erkennung und/oder Identifikation dieser Kopfpartien eine Mustererkennung durchführt, insbesondere zurückgreifend auf abgespeicherte Musterdaten und/oder Algorithmen.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der Temperaturdaten die Signalverarbeitungseinrichtung (SigV) diese Temperaturdaten einer elektronischen Kontrolleinheit bereitstellt, welche eine Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit ansteuert, welche insbesondere die Temperatur für unterschiedliche Luftauslassöffnungen separat ansteuert.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Erfassung durch das Erfassungssystem und die Ansteuerung der Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit in Abhängigkeit der Temperaturdaten als Regelung erfolgt, insbesondere hinsichtlich einer einstellbaren Zieltemperatur und/oder in Abhängigkeit gespeicherter Temperaturoptimalwerte für die Kopfpartie/n.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zu erfassenden Kopfpartien, denen Temperaturdaten zugeordnet werden zumindest die Stirn eines Fahrzeuginsassen und/oder der Augeninnenwinkel eines oder beider Augen sind und zumindest diese Kopfpartie/n durch die erste Kamera und die erfassten geometrischen Informationen und/oder Ortsinformationen durch die Signalverarbeitungseinrichtung (SigV) erkannt und/oder erfasst werden und Positionsdaten zugeordnet werden, in Abhängigkeit welcher dann die zweite Kamera Temperaturinformationen diese Kopfpartie/n erfasst.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der für eine oder mehrere identifizierte Kopfpartien durch die erste Kamera und den zugeordneten Temperaturdaten mittels der zweiten Kamera, in der Signalverarbeitungseinrichtung (SigV) und/oder der elektronischen Kontrolleinheit zumindest eine Stoffwechselinformation und/oder eine Aufmerksamkeitsinformation und/oder eine Müdigkeitsinformation und/oder eine Fahreridentifikation und/oder eine Emotionsdetektion und/oder eine Lebensfunktionsdetektion und/oder eine Gesundheitsinformation.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Regelung und Ansteuerung der Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit wenigstens zwei Modi umfasst, einen Regelungsmodus für den gesamten Fahrzeuginnenraum und einen zweiten, insbesondere damit verknüpften Modus, welche die Regelung für einen Sitzplatz ermöglicht.
Fahrzeugregelungssystem, umfassend die Erfassungseinrichtung sowie eine Klimaanlage und/oder Lüftungsanlage und/oder Heizungseinheit und insbesondere eine elektronische Kontrolleinheit, wobei das Fahrzeugregelungssystem zur Durchführung des Verfahrens gemäß mindestens einem der vorhergehenden Ansprüche geeignet ist.