DE102019117348A1

DE102019117348A1 - Verfahren und Vorrichtung zum Bestimmen einer thermischen Behaglichkeit

Info

Publication number: DE102019117348A1
Application number: DE102019117348.5A
Authority: DE
Inventors: Foti Coleca; Sebastian Loew
Original assignee: Gestigon GmbH
Current assignee: Gestigon GmbH
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2020-12-31
Also published as: WO2020260328A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer thermischen Behaglichkeit bezüglich einer in einem bestimmten Raumbereich befindlichen Person. Das Verfahren weist auf: Erfassen eines drei räumliche Dimensionen, 3D, abbildenden 3D-Bilds eines ersten Oberflächenbereichs an der Oberfläche der Person mittels eines 3D-Bildsensors; Erfassen eines Thermobilds eines mit dem ersten Oberflächenbereich in einem Überlappbereich überlappenden zweiten Oberflächenbereichs an der Oberfläche der Person mittels eines thermischen Bildsensors; Anwenden einer Bildregistrierungstransformation auf das 3D-Bild, das Thermobild, oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen; Identifizieren von verschiedenen in dem Überlappbereich abgebildeten Körperteilen der Person mittels entsprechenden Segmentierens des 3D-Bilds; Zuordnen jeweils zumindest eines aus dem Thermobild gewonnenen thermischen Werts zu jedem der in dem 3D-Bild identifizierten Körperteile auf Basis der Bildregistrierungstransformation; und Modellbasiertes Bestimmen eines Schätzwerts für die thermische Behaglichkeit der Person in Abhängigkeit von den den identifizierten Körperteilen jeweils zugeordneten thermischen Werten.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer thermischen Behaglichkeit. Des Weiteren betrifft die Erfindung darauf aufbauend ein Verfahren und eine Vorrichtung zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person geeigneten Raumbereichs, wie beispielsweise eines Fahrgastbereichs eines Fahrzeugs.
Während in der Vergangenheit die Klimatisierung von Räumen oftmals manuell gesteuert wurde, etwa mittels eines Reglers zur Einstellung einer Raumtemperatur, sind inzwischen Klimatisierungssysteme bekannt, bei denen deren Einstellung automatisch erfolgt, insbesondere in Abhängigkeit von einer oder mehreren sensorisch bestimmten Eingangsgrößen. Zu diesem Zweck ist es insbesondere bekannt, die Ansteuerung solcher Klimatisierungssysteme in Abhängigkeit von einer als „thermische Behaglichkeit“ bezeichneten Eingangsgröße vorzunehmen. Eine gängige Norm zur Bestimmung der thermischen Behaglichkeit in Form eines sogenannten Thermal Comfort Index (TCI) ist die ISO Norm EN ISO 7730. Die thermische Behaglichkeit bzw. der TCI beschreiben das menschliche Wohlbefinden in Abhängigkeit von der Temperatur. Beispiele für TCIs gemäß dieser Norm sind der PMV (Predicted Mean Vote)-Index und der PPD (Predicted Percentage of Dissatisfied)-Index.
In den meisten Fällen, insbesondere gemäß EN ISO 7730, wird die thermische Behaglichkeit in Abhängigkeit von mehreren Parametern definiert, die alle unabhängig voneinander sein und verändert werden können. Sie kann insbesondere durch folgende Haupteinflussgrößen bestimmt sein: Raumlufttemperatur, mittlere innere Oberflächentemperaturen der raumumschließenden Flächen, Wärmeableitung dieser Oberflächen, Luftgeschwindigkeit, relative Feuchte der Raumluft. Ferner kann sie abhängig von personenbezogenen Parametern, wie etwa deren Tätigkeit, Bekleidung oder Aufenthaltsdauer in dem Raum festgelegt sein.
Der Erfindung liegt die Aufgabe zugrunde, das automatische Bestimmen einer thermischen Behaglichkeit einer Person in einem Raumbereich weiter zu verbessern, insbesondere im Hinblick auf deren Genauigkeit und somit Zuverlässigkeit. Des Weiteren liegt Erfindung, darauf aufbauend, die Aufgabe zugrunde, eine verbesserte automatische Klimatisierung eines solchen Raumbereichs zum Zwecke einer Optimierung der thermischen Behaglichkeit einer oder mehrerer Personen in dem Raumbereich zu erreichen.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer thermischen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex TCI, bezüglich einer in einem bestimmten Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person. Das Verfahren weist auf: (i) Erfassen eines drei räumliche Dimensionen (3D) abbildenden 3D-Bilds eines ersten Oberflächenbereichs an der Oberfläche der Person mittels eines 3D-Bildsensors; (ii) Erfassen eines Thermobilds eines mit dem ersten Oberflächenbereich in einem Überlappbereich überlappenden zweiten Oberflächenbereichs an der Oberfläche der Person mittels eines thermischen Bildsensors; (iii) Anwenden einer Bildregistrierungstransformation auf das 3D-Bild, das Thermobild, oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen; (iv) Identifizieren von verschiedenen in dem Überlappbereich abgebildeten Körperteilen der Person mittels entsprechenden Segmentierens des 3D-Bilds; (v) Zuordnen jeweils zumindest eines aus dem Thermobild gewonnenen thermischen Werts zu jedem der in dem 3D-Bild identifizierten Körperteile auf Basis der Bildregistrierungstransformation; und (vi) Modellbasiertes Bestimmen eines Schätzwerts für die thermische Behaglichkeit der Person in Abhängigkeit von den den identifizierten Körperteilen jeweils zugeordneten thermischen Werten.
Das genannte Fahrzeug kann insbesondere ein Personenkraftwagen, ein Lastkraftwagen oder ein Bus sein.
Der Begriff „dreidimensional“ bzw. „3D“ im Sinne der Erfindung bezieht sich auf Datenmodelle, bei denen der Raum in drei Dimensionen abgebildet wird. Neben „echten“ 3D Datenmodellen sollen hier auch sogenannte zweieinhalbdimensionale (kurz: 2,5D) Datenmodelle unter den Begriff „dreidimensional“ bzw. „3D“ fallen, bei denen die dritte Dimension nicht vollwertig bezogen auf die 2D-Lageinformation gespeichert ist, sondern die dritte Dimension lediglich als Attribut der zweidimensional modellierten Objekte verfügbar ist. Zur Illustration des - für den Begriff „3D“ im Sinne der Erfindung jedoch nicht relevanten - Unterschieds zwischen „echten“ 3D-Datenmodellen und 2,5D-Datenmodellen wird auf das Beispiel digitaler Höhenmodelle verwiesen, bei denen in der Regel die Geländehöhe als Funktion der Lage modelliert ist. Zu jeder 2D-Lagekoordinate existiert in einem solchen Modell nur ein Höhenwert. Senkrechte Wände, Überhänge, Hohlräume, Tunnel und Brücken lassen sich in einem solchen Modell nicht integrieren, da dort in der Realität Punkte verschiedener Höhe übereinander liegen. Um auszudrücken, dass trotz 3D-Modell (es wird Lage und Höhe modelliert) nicht alle 3D-Formen modellierbar sind, wird häufig die abschwächende Bezeichnung „2,5D“ verwendet.
Dementsprechend werden hierin unter dem Begriff 3D-Bildsensor auch 2,5D-Bildsensoren verstanden, wie etwa Time-of-Flight (TOF) Kameras. Unter einer „TOF-Kamera“ ist insbesondere ein 3D-Kamerasystem zu verstehen, das auf Basis eines Laufzeitverfahren (englisch: time of flight, „TOF“) Distanzen misst. Das Messprinzip beruht darauf, dass die aufzunehmende Szene mittels eines Lichtpulses ausgeleuchtet wird, und die Kamera für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht misst. Diese benötigte Zeit ist aufgrund der Konstanz der Lichtgeschwindigkeit direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Die Verwendung eines TOF-Kamerasystems stellt eine besonders effektive und hochauflösende Implementierungsmöglichkeit, für einen 3D-Bildsensor zum Einsatz im Rahmen der Erfindung dar.
Unter einem „thermischen Bildsensor“ im Sinne der Erfindung ist ein thermografischer Sensor, zu verstehen. Ein solcher Sensor wird auch oft als Wärmebildkamera bezeichnet. Die Thermografie ist ein bildgebendes Verfahren zur Anzeige der Oberflächentemperatur von Objekten. Dabei wird die Intensität der Infrarotstrahlung, die von einem Punkt ausgeht, als Maß für dessen Temperatur gedeutet. Eine Wärmebildkamera wandelt die für das menschliche Auge unsichtbare Infrarotstrahlung in Signale, insbesondere elektrische Signale, um. Daraus kann dann ein Bild („Wärmebild“ bzw. gleichbedeutend „Thermobild“), beispielsweise ein Falschfarbenbild oder ein Graustufenbild erzeugt werden, beispielsweise durch die Kamera selbst oder durch eine nachgelagerte Datenverarbeitungsvorrichtung. Insbesondere sind sog. FIR-Sensoren („Far Infrared“-Sensoren) thermische Bildsensoren im Sinne der Erfindung.
Unter einer „Bildregistrierungstransformation“ ist im Sinne der Erfindung eine Transformation zu verstehen, die dazu dient, zwei oder mehrere Bilder derselben Szene, oder zumindest ähnlicher Szenen, bestmöglich oder zumindest in für den erforderlichen Zweck ausreichendem Maße in Übereinstimmung miteinander zu bringen. Dabei wird häufig, ohne dass dies als Einschränkung zu verstehen wäre, eines der Bilder als Referenzbild festgelegt und das zumindest eine andere Bild jeweils als „Objektbild“ bezeichnet. Um das bzw. die Objektbilder optimal an das Referenzbild anzupassen, wird eine ausgleichende Transformation, eben die Bildregistrierungstransformation, berechnet. Es ist jedoch grundsätzlich auch denkbar, dass zum Zwecke der Erreichung einer bestmöglichen bzw. ausreichenden Übereinstimmung mehrere, insbesondere sämtliche, der in Übereinstimmung zu bringenden Bilder einer jeweiligen Bildregistrierungstransformation unterworfen werden. Die zu registrierenden Bilder unterscheiden sich in der Regel insbesondere schon dadurch voneinander, dass sie von unterschiedlichen Positionen, zu unterschiedlichen Zeitpunkten oder mit unterschiedlichen Sensoren aufgenommen wurden.
Unter dem Begriff „Segmentierung“ ist im Sinne der Erfindung die Erzeugung von inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium zu verstehen. Bei der vorliegenden Erfindung können insbesondere Bildpunkte (Voxel des 3D-Bilds), welche dasselbe Körperteil, beispielsweise den Kopf oder den Torso oder einen Arm, der abgebildeten Person abbilden, zu einem Segment zusammengefasst werden. Zu den zur Segmentierung grundsätzlich verwendbaren Verfahren gehören insbesondere „Connected-component labeling“ (eine algorithmisch Anwendung der Graphentheorie, bei der Untermengen von verbundenen Komponenten eines Graphs (sog. connected components) auf Basis einer vorbestimmten Heuristik eineindeutig klassifiziert werden. Auch bekannte Clusterverfahren können grundsätzlich als Segmentierungsverfahren eingesetzt werden.
Unter einem „modellbasierten Bestimmen“ eines Schätzwerts für die thermische Behaglichkeit ist im Sinne der Erfindung ein Bestimmen, insbesondere ein Berechnen, eines Schätzwerts für thermische Behaglichkeit anhand eines Modells, etwa einer mathematischen bzw. physikalischen Formel oder einer Wertetabelle, zu verstehen, wobei das Modell dazu dient, den Schätzwert in Abhängigkeit von den Eingangsgrößen des Modells zu bestimmen. Das Model kann insbesondere mittels einer Norm, wie etwa der eingangs genannten ISO Norm EN ISO 7730 festgelegt sein.
Unter einer „Person“ ist im Sinne der Erfindung stets eine lebende Person zu verstehen. Wenngleich die Erfindung hier im Zusammenhang mit Menschen als „Personen“ erläutert wird, ist sie gleichermaßen auf viele andere Lebewesen, insbesondere Säuger, wie etwa Hunde oder Katzen oder andere Haustiere oder Nutztiere, anwendbar, so dass in diesen Fällen der Begriff „Person“ im Sinne der Erfindung auch auf solche anderen Lebewesen anwendbar ist. Beispielsweise kann die Erfindung auch im Rahmen der Stall- oder Käfighaltung von Tieren zum Einsatz kommen. Dementsprechend kann dazu ein auf die jeweilige Art des Lebewesens angepasstes Modell zur Bestimmung des Schätzwerts für dessen thermische Behaglichkeit verwendet werden.
Bei dem Verfahren gemäß dem ersten Aspekt der Erfindung wird der Raumbereich sowohl mittels zumindest eines 3D Bildsensors als auch mittels zumindest eines thermischen Bildsensors erfasst, und die entsprechend resultierenden Bilder werden im Sinne einer Bildregistrierung in Übereinstimmung gebracht. Dadurch ist es möglich, Informationen aus einem Bild entsprechenden Informationen aus dem anderen Bild zuzuordnen. Anhand der Segmentierung des 3D-Bilds können insbesondere verschiedene in den Bildern abgebildete Körperteile der Person identifiziert und diesen mittels der entsprechenden Informationen aus dem Thermobild jeweils Temperaturwerte zugeordnet werden. Dies ermöglicht es unter anderem, auf eine bestimmte körperliche Aktivität und eine Bekleidung der Person Rückschlüsse zu ziehen, wobei körperliche Aktivität und die Bekleidung wiederum jeweils einen Einfluss auf die thermische Behaglichkeit haben können.
Mithilfe des Verfahrens gemäß dem ersten Aspekt der Erfindung kann somit vorteilhaft eine Verbesserung bei der Bestimmung der thermischen Behaglichkeit erreicht werden, da anders als bei bekannten Lösungen nicht nur Messwerte für Temperaturen, Sonneneinstrahlung oder Luftströmungen als Eingangsgrößen für die Bestimmung der thermischen Behaglichkeit verwendet werden können, sondern ebenso personenspezifische und teilweise dynamische Eingangsgrößen, wie etwa deren spezifische Bekleidung, deren Bewegungen und deren Oberflächentemperatur an verschiedenen Körperteilen. Somit lässt sich insbesondere eine genauere und optional auch zeitabhängige Abschätzung der thermischen Behaglichkeit der Personen erreichen.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Bestimmen der Bildregistrierungstransformation, vor deren Durchführung, auf Basis eines mit dem 3D-Bildsensors erfassten Bilds, welches insbesondere ein 3D-Bild oder ein 2D-Amplitudenbild sein kann, und eines mittels des thermischen Bildsensors erfassten Thermobilds auf. Dazu können bekannte Methoden zur Bestimmung der Bildregistrierungstransformation verwendet werden. Solche Methoden können insbesondere merkmalsbasierte Verfahren sein, bei denen (im Falle von zwei Bildern) zwei Mengen von Merkmalen aus den in Übereinstimmung zu bringenden Bildern entnommen werden. Die eine Menge enthält die Merkmale im Objektbild, die andere die Merkmale im Referenzbild. Die Merkmale werden durch sogenannte Kontrollpunkte repräsentiert. Dies können die Merkmale selbst sein, falls es sich bei den Merkmalen um Punkte handelt, oder Endpunkte von Linien, Schwerpunkte von Regionen oder ähnliches. Ziel der Merkmalsanpassung ist es dann, die paarweise Korrespondenz der Merkmale des Objektbildes mit denen des Referenzbildes herzustellen. Insbesondere bekannte flächenbasierte Methoden zur Bestimmung der Bildregistrierungstransformation verwendet werden, bei denen unter Verwendung einer Kreuzkorrelationsfunktion ein sog. Template-Matching vorgenommen wird.
Bei diesen vorgenannten Ausführungsformen weist das Verfahren somit selbst die zum Festlegen der Bildregistrierungstransformation, d. h. zur geometrischen Kalibrierung des 3D-Bilds und des Thermobilds, erforderlichen Schritte auf, was es insbesondere auch ermöglicht, wiederholt, insbesondere periodisch oder fortlaufend, im Rahmen des Verfahrens eine Nachkalibrierung zum Zwecke des Erhalts der erforderlichen Genauigkeit der Bildregistrierung vorzunehmen. Dies ist insbesondere bei der Verwendung des Verfahrens in Fahrzeugen hilfreich, da aufgrund der im Fahrbetrieb auftretenden Beschleunigungen, insbesondere Erschütterungen, möglicherweise im Laufe der Zeit eine Dekalibrierung der verschiedenen Bildsensoren auftreten könnte, die einen negativen Einfluss auf die Zuverlässigkeit und Genauigkeit der Bestimmung der thermischen Behaglichkeit zur Folge haben könnte.
Bei einigen solcher Ausführungsformen weist das Bestimmen der Bildregistrierungstransformation auf: (i) Gleichzeitiges Erfassen eines Oberflächenabschnitts eines Referenzobjekts mittels des 3D-Bildsensors und des thermischen Bildsensors, wobei der Oberflächenabschnitt des Referenzmodels in abgegrenzte Bereiche unterteilt ist, die sich sowohl bezüglich ihrer Temperatur als auch optisch voneinander unterscheiden; und (ii) Bestimmen der Bildregistrierungstransformation auf Basis einer Zuordnung von zueinander korrespondierenden Bildpunkten auf dem von dem 3D-Bildsensor einerseits und dem thermischen Sensor andererseits erfassten Bildern des Oberflächenabschnitts des Referenzobjekts. Die Verwendung eines solchen Referenzobjekts, welches insbesondere ein Schachbrettmuster aufweisen kann, erlaubt es mithilfe ein und desselben Referenzobjekts die zum Bestimmen der Bildregistrierungstransformation erforderlichen 3D- bzw. Thermobilder zu erzeugen.
Insbesondere kann das Referenzobjekt so gestaltet sein, dass die verschiedenen abgegrenzten Bereiche unterschiedliche thermischen und optische Absorptionskoeffizienten aufweisen, sodass sie sich beim strahlungsbedingten Erwärmen und/oder Beleuchten mit Licht im sichtbaren Wellenlängenbereich unterschiedlich schnell aufheizen, und somit nicht nur optisch im 3D-Bild, sondern auch thermisch im Thermobild voneinander unterscheidbar sind. So lassen sich die entsprechenden zueinander korrespondierenden Bildpunkte, insbesondere an Grenzlinien oder Grenzpunkten dieser abgegrenzten Bereiche, gut mittels eines geeigneten Bilderkennungsverfahrens, beispielsweise einer sog. „Canny“-Kantener-kennung (auch als Canny-Algorithmus bekannt) und/oder einer „Harris“-Eckenerkennung, aus den Bildern extrahieren.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Identifizieren der Person sowie zumindest einen der folgenden Prozesse auf: (i) Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von der erkannten Identität der Person; (ii) Festlegen eines Zugangs der Person zu Konfigurationsmöglichkeiten für das Verfahren bzw. ein das Verfahren ausführenden Systems in Abhängigkeit von der erkannten Identität der Person. Auf diese Weise lässt sich das Verfahren individualisiert durchführen, was es insbesondere ermöglicht, die Bestimmung der thermischen Behaglichkeit in Abhängigkeit von zu der identifizierten Person bereits vorab bekannten Informationen (insbesondere Benutzerprofil) zu bestimmen. Des Weiteren kann gemäß Option (ii) eine vorhandene Konfigurationsmöglichkeit für das Verfahren beziehungsweise die zu seiner Ausführung bestimmte Vorrichtung vor unbefugter Benutzung geschützt werden, sodass nur eine oder mehrere autorisierte Personen eine entsprechend geschützte Konfiguration durchführen können.
Insbesondere kann dabei gemäß einiger verwandter Ausführungsformen das Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels Erfassung einer der identifizierten Person zugeordneten Benutzereingabe an einer Mensch-Maschine-Schnittstelle bestimmt werden. Beispielsweise könnte die Person an der Mensch-Maschine-Schnittstelle eine Eingabe vornehmen, mit der eine höhere oder niedrigere Temperatur angefordert wird, sodass das Modell auf Basis dieser Eingabe entsprechend angepasst werden kann, um zukünftig einen entsprechend niedrigeren oder höheren Schätzwert für die thermische Behaglichkeit bei gleichen bzw. vergleichbaren Werten für die Eingangsgrößen zu liefern und somit eine Individualisierung der Schätzwertbestimmung umzusetzen.
Zusätzlich oder alternativ dazu kann gemäß einiger weiterer Ausführungsformen das Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels eines auf maschinellem Lernen beruhenden Anpassungsverfahrens erfolgen, welches mittels zumindest einer der folgenden Maßnahmen trainiert wird: (i) eine oder mehrere der identifizierten Person zugeordnete Benutzereingaben an einer Mensch-Maschine-Schnittstelle; (ii) aus dem 3D-Bild, dem Thermobild und/oder einem oder mehreren weiteren sensorisch erfassten und der Person oder dem Raumbereich zugeordneten Sensorwerten abgeleiteten Körperzustände oder Verhaltensweisen der identifizierten Person. Somit kann das Modell insbesondere dynamisch und/oder ohne aufwändige Erstkonfiguration bestimmt und fortlaufend verbessert bzw. an zeitlich veränderliche Umstände angepasst werden. Insbesondere können diesem Zusammenhang zum Zwecke des maschinellen Lernens und der Modellbildung künstliche neuronale Netze, etwa Convolutional Neural Networks (CNN), zum Einsatz kommen.
Des Weiteren kann gemäß einiger weiterer Ausführungsformen der identifizierten Person ein Benutzerprofil zugeordnet werden und das Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von in dem Benutzerprofil der identifizierten Person enthaltenen oder ihm zugeordneten personenindividuellen Anpassungsinformationen erfolgen. Auf diese Weise lassen sich benutzerbezogene Anpassungsraten bzw. Parameter des Modells mittelst eines entsprechenden Benutzerprofils speichern und ohne signifikanten Zeitverlust abrufen, was insbesondere dann vorteilhaft genutzt werden kann, wenn die Person, für die deren thermische Behaglichkeit bestimmt werden soll, im Laufe der Zeit ausgetauscht wird, beispielsweise wenn eine Person das Fahrzeug verlässt und stattdessen eine andere Person den Raumbereich, d. h. hier den Fahrgastbereich, des Fahrzeugs eintritt. Sobald die neu eingetretene Person identifiziert ist, kann deren Benutzerprofil unmittelbar herangezogen werden, um sofort das entsprechende Modell zur Bestimmung des Schätzwertes damit zu parametrisierten, ohne dass zunächst eine nochmalige, insbesondere zeitraubende, Erstkonfiguration des Modells erforderlich wäre.
Bei einigen Ausführungsformen erfolgt das Segmentieren des erfassten 3D-Bilds zur Identifikation von verschiedenen Körperteilen der Person mittels eines auf maschinellem Lernen beruhenden Segmentierungsverfahrens, welches auf Basis einer entsprechenden Klassifizierung der Bildpunkte des 3D-Bilds im Überlappbereich diesen in verschiedene Bildbereiche klassifiziert. Dabei weist die Klassifikation dieser Bildbereiche jeweils eine Klasse auf, die einem unbedeckten Körperteil einer Person, einem bekleideten Körperteil einer Person bzw. einem nicht zu einer Person gehörenden Bildhintergrund zugeordnet ist. Zudem erfolgt die Bestimmung der den identifizierten Körperteilen der Person jeweils zugeordneten thermischen Werte in Abhängigkeit von der Zuordnung der verschiedenen Bildbereiche und somit identifizierten Körperteile zu dieser Klassifikation. Ein beispielhaftes Segmentierungsfahren dieser Art ist das „Efficient Human Pose Estimation from Single Depth Images“-Verfahren von Jamie Shotton et al. (Shotton J. et al. (2013) Efficient Human Pose Estimation from Single Depth Images. In: Criminisi A., Shotton J. (eds) Decision Forests for Computer Vision and Medical Image Analysis. Advances in Computer Vision and Pattern Recognition. Springer, London; auch verfügbar unter https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/main-39.pdf).
Auf diese Weise ist es möglich, zum einen eine Extraktion der die Person darstellenden Bildanteile gegenüber dem Bildhintergrund vorzunehmen und zum anderen eine Unterscheidung zwischen unbedeckten und begleiteten Körperteilen der Person, welche typischerweise mit der gemessenen Temperatur dieser jeweiligen Körperteile korreliert ist, bei der Bestimmung der thermischen Behaglichkeit zu berücksichtigen. So sind die mittels des Thermobilds bestimmten Oberflächentemperaturen von unbedeckten Körperteilen einer Person, d. h. deren Hauttemperatur, typischerweise höher, als die entsprechend bestimmten Oberflächentemperaturen von Kleidungsstücken welche die Person gerade trägt, die ein aller Regel zu einem gewissen Grad eine thermische Isolationsschicht darstellen, sodass die tatsächliche Oberflächentemperatur der darunterliegenden Körperteile durch die Oberflächentemperatur des Kleidungsstücks nicht korrekt wiedergegeben wird. Gemäß dieser Ausführungsformen wird jedoch eine entsprechende Temperaturkorrektur ermöglicht, als deren Folge die Zuverlässigkeit und Genauigkeit der Bestimmung der thermischen Behaglichkeit verbessert werden kann. Auch entfällt eine indirekte Berechnung der Temperaturkorrekturen auf Basis anderer gemessener Werte oder auf Basis von statischen Annahmen, so dass auch aus diesem Grunde eine Verbesserung der Genauigkeit erreicht werden kann.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein sensorisches Erfassen eines Typs oder Materials der Bekleidung der Person auf und das modellbasierte Bestimmen des Schätzwerts für die thermische Behaglichkeit der Person erfolgt zusätzlich in Abhängigkeit von dem erfassten Typs oder Material der Bekleidung der Person (P). Aus Typ bzw. Material der Bekleidung kann insbesondere auf eine damit verbundene thermische Isolationswirkung der Bekleidung geschlossen werden, beispielsweise auf Basis von Referenzdaten in einer entsprechenden Datenbank, und diese Isolationswirkung mittels einem oder mehreren Parametern dargestellt werden, deren Werte in die Bestimmung des Schätzwerts für die thermische Behaglichkeit der Person eingehen. So lässt sich insbesondere die Genauigkeit und Zuverlässigkeit der Schätzwertbestimmung weiter erhöhen. Bei einigen Varianten dieser Ausführungsformen kann insbesondere ein Verfahren zur Bestimmung der Bekleidung der Person verwendet werden, das in Qiang Chen et.al. - Deep Domain Adaptation for Describing People Based on Fine-Grained Clothing Attributes (verfügbar Internet unter: http://openaccess.thecvf.com/content cvpr 2015/papers/Chen Deep Domain Adaptation 2015 CVPR paper.pdf) beschrieben ist. Auch eine Erweiterung dieser Verfahren dahingehend ist möglich, dass, insbesondere anstelle eines reinen 2D-RGB-Bilds, die Bilddaten des 3D-Bildsensors als Eingangsgrößen Verwendung finden. So können 3D-Informationen zur Erkennung des Kleidungstyps bzw. Materials herangezogen werden, wodurch die Genauigkeit und Zuverlässigkeit dieser Erkennung weiter erhöht werden kann.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Dynamisches Erfassen des 3D-Bildes und des Thermobilds der Person; (ii) Erkennen eines jeweiligen Bewegungszustands der anhand der Segmentierung identifizierten Körperteile mittels eines Bewegungserkennungsalgorithmus; (iii) Bestimmen einer Stoffwechselrate (engl. metabolic rate) der Person mittels eines Stoffwechselratenmodells auf Basis der den einzelnen identifizierten Körperteilen jeweils zugeordneten thermischen Werte und erkannten Bewegungszustände. Dabei erfolgt das modellbasierte Bestimmen des Schätzwerts für die thermische Behaglichkeit der Person in Abhängigkeit von der so bestimmten Stoffwechselrate.
Beispielhafte bekannte Verfahren und Referenzwerte zur Bestimmung einer Stoffwechselrate oder deren dynamischen Veränderung sind beschrieben in:

(i) Streinu-Cercel Adrian et.al - Models for the indices of thermal comfort - https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5654073/ verfügbar im Internet unter https://www.enaineerinatoolbox.com/met-metabolic-rate-d 733.html;
(ii) https://www.enaineerinatoolbox.com/met-metabolic-rate-d 733.html; und
(iii) http://www.me.utexas.edu/~neptune/Papers/gait%26posture23(3).pdf.

Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Prüfen, ob sich eine Person in dem Raumbereich aufhält mittels Abgleichens eines mittels des 3D-Bildsensors erfassten 3D-Bilds des Raumbereichs mit einem mittels des thermischen Bildsensors erfassten Thermobilds des Raumbereichs; und (ii) Durchführen der zur Bestimmung des Schätzwerts erforderlichen Verfahrensschritte nur dann, wenn sich bei dem Prüfen ergibt, dass sich eine Person in dem Raumbereich befindet. Auf diese Weise kann zum einen der Aufwand zur Bestimmung des Schätzwerts vermieden werden, wenn sich gar keine Personen im Raumbereich befindet und somit eine Bestimmung des Schätzwertes obsolet ist. Zum anderen kann aber insbesondere in Fällen, bei denen das Modell wiederholt angepasst wird, insbesondere auf Basis eines maschinellen Lernens, eine Stabilisierung des Modells erreicht werden, da somit verhindert werden kann, dass Messungen, die sich gar nicht auf eine Person, sondern den leeren Raumbereich beziehen, in die wiederholte Modellanpassung einfließen.
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum Bestimmen einer thermischen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex, bezüglich einer in einem bestimmten Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person, wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß der ersten Aspekt der Erfindung auszuführen. Die Vorrichtung kann insbesondere eine Steuerungsvorrichtung für eine Klimatisierungsvorrichtung zur Klimatisierung des Raumbereichs sein.
Unter „konfiguriert“ ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits eingerichtet ist oder einstellbar - d.h. konfigurierbar - ist, eine bestimmte Funktion zu erfüllen. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person geeigneten Raumbereichs, wobei das Verfahren aufweist: (i) Bestimmen einer thermischen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex, bezüglich einer in dem Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person gemäß dem Verfahren nach dem ersten Aspekt der Erfindung; und (ii) Ansteuern einer Klimatisierungsvorrichtung zur automatischen Klimatisierung des Raumbereichs in Abhängigkeit von der bestimmten thermischen Behaglichkeit der Person. Somit kann gemäß diesem Verfahren die erfindungsgemäße Bestimmung der thermischen Behaglichkeit unmittelbar dazu genutzt werden, automatisch eine automatische Klimatisierung des Raumbereichs in Abhängigkeit von der bestimmten thermischen Behaglichkeit durchzuführen. Wenngleich dies, wie schon vorausgehende erläutert, eine Individualisierung des Modells zur Bestimmung der thermischen Behaglichkeit, und somit auch eine Individualisierung der daraus folgenden Thematisierung auf manuelle Weise, insbesondere mittels entsprechender Eingaben an einer Mensch-Maschine-Schnittstelle, erlaubt, kann die Ansteuerung der entsprechenden Klimavorrichtung auf Basis des Modells automatisch, insbesondere vollautomatisch, erfolgen.
Unter dem Begriff „Steuern“ kann hier sowohl ein Steuern als auch ein Regeln im Sinne der bekannten Begrifflichkeiten aus der Steuerungs- und Regelungstechnik verstanden werden.
Bei einigen Ausführungsformen dieses Verfahrens wird das Verfahren individuell für zumindest zwei in dem Raumbereich befindlichen Personen durchgeführt. Dabei erfolgt das Ansteuern der Klimatisierungsvorrichtung so, dass dadurch für die Personen in Abhängigkeit von der für sie jeweils bestimmten thermischen Behaglichkeit jeweils eine durch die Klimatisierungsvorrichtung bewirkte individuelle Klimatisierung für einen Teilbereich des Raumbereichs, in dem sie sich jeweils, zumindest anteilig, befinden, eingestellt wird. Auf diese Weise lässt sich auch bei Anwesenheit einer Mehrzahl von Personen in dem Raumbereich eine personenindividuelle Klimatisierung auf automatische Weise und auf Basis einer personenindividuell bestimmten thermische Behaglichkeit erreichen. Im Falle eines Fahrzeugs, das mit einem Fahrer und einem Beifahrer besetzt ist, kann so etwa eine unterschiedliche Einstellung für die Temperatur und Menge der Luftzufuhr über entsprechende Lüftungsschlitze im Fahrer- bzw. Beifahrerbereich an der automatischen Klimatisierungsvorrichtung eingestellt werden.
Ein vierter Aspekt der Erfindung betrifft eine Vorrichtung zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person geeigneten Raumbereichs, wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß dem dritten Aspekt der Erfindung auszuführen.
Gemäß einiger Ausführungsformen können die Vorrichtung gemäß dem zweiten Aspekt der Erfindung und/oder die Vorrichtung gemäß dem vierten Aspekt der Erfindung zur personenindividuellen Bilderfassung eine Mehrzahl von 3D-Bildsensoren und jeweils zumindest einen dem jeweiligen 3D-Bildsensor zugeordneten thermische Bildsensor aufweisen. Auf diese Weise lässt sich besonders vorteilhaft und mit hoher Bildauflösung je Person eine personenindividuelle Erfassung von personenbezogenen Eingangsgrößen zur Bestimmung der der jeweiligen Person zugeordneten thermischen Behaglichkeit erreichen.
Gemäß einiger Ausführungsformen weist die Vorrichtung gemäß dem zweiten Aspekt der Erfindung und/oder die Vorrichtung gemäß dem vierten Aspekt der Erfindung den 3D-Bildsensor bzw. zumindest einen 3D-Bildsensor und den jeweils zugeordneten thermischen Bildsensor auf, wobei zumindest einer der thermischen Bildsensoren eine gegenüber der Bildauflösung des zugeordneten 3D-Bildsensors geringerer Bildauflösung aufweist. Damit kann vorteilhaft die Komplexität der entsprechenden Vorrichtung reduziert werden, ohne dass damit die Genauigkeit der Bestimmung des Schätzwertes für die thermische Behaglichkeit beeinträchtigt werden muss, da der Auflösungsunterschied, insbesondere mittels einer entsprechenden Bildskalierung des Thermobilds auf Basis der Informationen aus dem 3D-Bild, zumindest im Wesentlichen kompensiert werden kann. Da die Herstellungs- bzw. Bezugskosten für den thermischen Bildsensor in der Regel einen Hauptkostenfaktor bei der Herstellung der entsprechenden Vorrichtung bilden, lassen sich zudem auf diese Weise Kosten einsparen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.
Dabei zeigt:

1 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsgemäßen Verfahren zur Bestimmung der thermischen Behaglichkeit und zur davon abhängigen Steuerung einer automatischen Klimatisierung des Raumbereichs, sowie schematisch eine entsprechende Ausführungsform einer Vorrichtung zur Durchführung der Verfahren;
2 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsgemäßen Verfahren im Hinblick auf die Bestimmung einer Stoffwechselrate der Person als Eingangsgröße in das Modell zur Bestimmung des Schätzwerts für die thermische Behaglichkeit der Person;
3 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsgemäßen Verfahren im Hinblick auf die Identifikation der Person;
4 eine Darstellung zur Veranschaulichung einer Erzeugung einer zur Bestimmung des Schätzwerts für die thermische Behaglichkeit als Eingangsgröße nutzbaren und mittels des Verfahrens nach dem ersten Aspekt der Erfindung erhältlichen 3D-Punktwolkenbildes zur Darstellung von Körperteilbezogenen Temperaturverteilungen;
5 eine Darstellung eines beispielhaften Tiefenbilds (3D-Bild, bei dem die Tiefeninformation durch verschiedene Grauwerte dargestellt ist) und eines dazu korrespondierenden Thermobilds geringerer Auflösung sowie eine schematische Darstellung einer Ausgangssituation für die Bestimmung der Bildregistrierung beider Bilder, gemäß einer Ausführungsform der Erfindung; und
6 eine fotografische Darstellung eines beispielhaften Referenzobjekts für die Bestimmung der Bildregistrierung gemäß einer Ausführungsform der Erfindung; und
7 eine schematische Darstellung zur Illustration bevorzugter Positionen des 3D-Bildsensors und des Thermosensors innerhalb eines Fahrzeugcockpits.

Das in 1 dargestellte Verfahren 100 soll nun im Weiteren am nichtlimitierenden Beispiel einer Bestimmung der thermischen Behaglichkeit eines Fahrgastes bzw. einer Person P in einer Fahrgastzelle eines Fahrzeugs, insbesondere eines PKWs, und einer davon abhängigen Steuerung einer automatischen Klimatisierung der Fahrgastzelle erläutert werden. Im Rahmen des Verfahrens, welches von einer entsprechenden zu seiner Ausführung konfigurierten Vorrichtung 10 durchgeführt werden kann (die Darstellung in 1 soll andeuten, dass die Vorrichtung 10 zur Ausführung des Verfahrens 100 konfiguriert ist), wird in einem Schritt 101 die Fahrgastzelle zum einen mittels eines 3D-Bildsensors in Form einer TOF-Kamera und zum anderen in einem parallel ablaufenden Schritt 102 mittels eines thermischen Bildsensors in Form einer FIR-Wärmebildkamera sensorisch erfasst. Die beiden Bildsensoren wurden bereits vorab gegeneinander im Sinne einer Bildregistrierung kalibriert, wie nachfolgend unter Bezugnahme auf die 5 und 6 im Einzelnen erläutert werden wird.
In einem weiteren Schritt 103, der wie hier gezeigt, sequenziell nachfolgend oder aber auch vor oder gleichzeitig mit der vorausgehend beschriebenen bildsensorischen Erfassung der Fahrgastzelle erfolgen kann, wird festgestellt, ob sich tatsächlich eine Person P in der Fahrgastzelle befindet. Dies kann insbesondere auf bekannte Weise mittels Sitzbelegungssensorik oder aber auch durch Auswertung des bzw. der bereits erfassten Bilder zumindest eines der vorgenannten Bildsensoren 101 oder 102 und Abgleich von deren Bild bzw. Bildern mit einem jeweiligen Referenzbild, welches insbesondere zu einer nicht mit einer Person besetzten Fahrgastzelle korrespondieren kann, erfolgen. Eine kombinierte Auswertung des 3D-Bilds und des thermischen Bilds kann dabei vor allem dazu verwendet werden die Zuverlässigkeit der Anwesenheitsprüfung zu erhöhen. Während beispielsweise eine rein optische Analyse auf Basis des 3D-Bilds eine lebende Person unter Umständen nur unzuverlässig von einer Schaufensterpuppe oder einem sog. „Dummy“, wie sie für Crashtests zum Einsatz kommen, unterscheiden kann, ist eine solche Unterscheidung unter Hinzuziehung der thermischen Informationen aus dem Thermobild in der Regel mit hoher Zuverlässigkeit möglich, da damit etwa typische Temperaturunterschiede der Kopfoberfläche gegenüber der Torso-Oberfläche einer lebenden Person erfasst und zur Differenzierung genutzt werden können.
Wird bei der Anwesenheitsüberprüfung festgestellt, dass sich keine Person in der Fahrgastzelle, d. h. dem überwachten Raumbereich, befindet, kann das Verfahren beendet werden oder aber in einer Schleife zum ersten Schritt, der Bilderfassung, zurückkehren, um fortlaufend festzustellen, ob sich am Belegungsstatus der Fahrgastzelle etwas geändert hat. Bevorzugt wird das Verfahren 100 jedoch erst dann erneut durchlaufen, wenn eine dazu vorgesehene Sensorik, beispielsweise eine Sensorik die das Öffnen einer Zugangsöffnung zur Fahrgastzelle, etwa einer Fahrzeugtür, detektieren kann, ein entsprechendes Signal ausgibt, welches die Möglichkeit oder eines Zustiegs oder einen tatsächlichen Zustieg einer Person anzeigt.
Im Folgenden wird davon ausgegangen, dass die Prüfung im Schritt 103 das Vorhandensein einer Person P in der Fahrgastzelle bestätigt hat. Im Rahmen des Verfahrens 100 folgt sodann ein weiterer Schritt 104, bei dem die Person P identifiziert wird. Grundsätzlich kann dies mittels eines beliebigen dazu geeigneten Identifikationsverfahrens erfolgen, beispielsweise auf Basis der sog. „Eigengesichter“-Ttechnik (engl. Eigenfaces) oder einem Gesichtsabtastungsverfahren, wie es bei der bekannten „Face ID“ von Apple, Inc. zur Entsperrung elektronischer Endgeräte zum Einsatz kommt. Insbesondere kann die Identifikation jedoch nach dem unter Bezugnahme auf 3 nachfolgend beschriebenen Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung erfolgen, wozu die bereits von den Bildsensoren den Schritten 101 und 102 erfassten Bilder herangezogen werden. Auf Basis dieser Identifikation der Person P wird sodann im Schritt 105 ein gegebenenfalls für die Person P bereits vorhandenes Benutzerprofil abgerufen, beispielsweise aus einem dazu vorgesehenen (nicht dargestellten) lokalen Speicher in der Vorrichtung 10 oder aus einer über eine Kommunikationsverbindung, etwa über das Internet, zugreifbaren Datenbank.
Das Benutzerprofil enthält der identifizierten Person P zugeordnete Nutzerprofildaten, die historisch, beispielsweise durch früher erfasste Benutzereingaben an einer Mensch-Maschine-Schnittstelle oder sensorisch erfasste, personenspezifische Anpassungswünsche bezüglich der Klimatisierung repräsentieren, wie etwa den Wunsch nach einer grundsätzlich erhöhten oder einer erniedrigten Temperatureinstellung der Klimatisierung. Dabei dient das Benutzerprofil als eine der Eingangsgrößen für die Bestimmung der individuellen thermischen Behaglichkeit der Person P in Form eines bestimmten TCI in einem Schritt 110 des Verfahrens.
Weitere Eingangsgrößen für die TCI-Bestimmung werden im Schritt 106 aus den in den Schritten 101 und 102 gewonnenen Bilddaten abgeleitet. Solche Eingangsgrößen können insbesondere aus dem Thermobild gewonnene Temperaturdaten oder aus dem 3D-Bild gewonnene Informationen zum Bewegungszustand der Person P sein. Ein weiteres Beispiel für eine solche Eingangsgröße ist eine aus zumindest einem der beiden Bilder, bevorzugt aus beiden, abgeleitete Stoffwechselrate (metabolische Rate). Letzteres wird im Weiteren unter Bezugnahme auf 2 erläutert werden.
Ein einfaches Verfahren zur Detektion des Bewegungszustands auf Basis eines ersten Bildframes zum Zeitpunkt t-1 und eines nachfolgenden Bildframes zum Zweitpunkt t kann beispielsweise folgende Schritte aufweisen: Es werden zwei Schwellwerte d und n festgelegt. Dabei stellt d eine Schwelle für den Grad der Änderung eines 2D- oder 3D-Bildpunktwerts (z.B. Grau- oder Farbwerts) beim Übergang vom Zeitpunkt t-1 zum Zeitpunkt tdar, anhand dessen bestimmt wird, ob sich der Bildpunktwert eines bestimmten Bildpunkts im zweiten Bildframe ausreichend gegenüber dem entsprechenden Bildpunktwert im ersten Bildframe verändert hat, um als relevante Änderung berücksichtigt zu werden. Der Wert n stellt zudem eine Schwelle für die erforderliche Mindestanzahl solcher zu berücksichtigender Bildpunkte dar, um diese Änderungen insgesamt als eine Bewegung beim Übergang vom Zeitpunkt t-1 zum Zeitpunkt t zu klassifizieren. Das Verfahren kann sodann den Bewegungszustand beispielsweise dadurch in Form entsprechender Daten oder Signale liefern, dass allein das Auftreten einer erkannten Bewegung, oder sogar ein Grad der Bewegung, etwa auf Basis der berücksichtigen Bildpunkte, geliefert wird.
Als weitere Eingangsgrößen können im Schritt 107 Messwerte der Fahrzeugsensorik, etwa zur Temperatur, zu Luftbewegungen oder zur Sonneneinstrahlung im bzw. in den Raumbereich (hier Fahrgastzelle) berücksichtigt werden, die zum einen unmittelbar als Eingangsgrößen zum Schritt 110 dienen und/oder zum anderen in die Bestimmung eines noch nicht anhand des Benutzerprofils individualisierten TCI-Werts (z.B. PMV) für die Person P im Schritt 108 einfließen. Zur TCI-Berechnung im Schritt 108 kann insbesondere die eingangs genannte ISO Norm EN ISO 7730 als Berechnungsgrundlage, d.h. insbesondere als Berechnungsmodell, herangezogen werden.
Im Schritt 110 kann sodann auf Basis des im Schritt 108 gewonnen vorläufigen TCI-Werts unter weiterer Berücksichtigung des im Schritt 105 bereitgestellten Benutzerprofils ein individualisierter TCI-Schätzwert bestimmt werden, in dessen Bestimmung nun auf Basis des Benutzerprofils die individuellen Bedürfnisse oder Vorlieben der Person P bezüglich der Klimatisierung des Fahrgastraums einfließen.
Auf Basis des im Schritt 110 bestimmten TCI-Schätzwerts kann im Schritt 111 eine Ansteuerung der Klimatisierungsfunktion bzw. -vorrichtung des Fahrzeugs für den Fahrgastbereich oder Teile davon im Sinne einer Steuerung oder Regelung erfolgen, um im Fall einer Abweichung des bestimmen TCI von einem personenunabhängigen oder im Rahmen des Benutzerprofils personenbezogenen TCI-Sollwert bzw. TCI-Sollwertbereich den Ist-TCI in zumindest annähernde Übereinstimmung mit diesem Sollwert bzw. Sollwertbereich zu bringen.
Zudem kann dann in einem weiteren Schritt 112 eine Benutzereingabe an einer Mensch-Maschine-Schnittstelle erfolgen, mittels derer die Person P eine weitere Anpassung - bzw. allgemeiner - eine Rückmeldung zu ihrer empfundenen thermischen Behaglichkeit vornehmen kann. Hierbei kann es sich insbesondere wieder um einen Anpassungswunsch an die Temperatur im Raumbereich handeln.
In einem Schritt 109 kann sodann auf Basis dieser Benutzereingabe und den aktuellen Werten der verschiedenen Eingangsgrößen für die TCI-Bestimmung eine Anpassung des zur individuellen TCI-Bestimmung im Schritt 110 benutzten Berechnungsmodells erfolgen. Dies kann insbesondere mithilfe maschinellen Lernens erfolgen. Dazu kann etwa ein künstliches neuronales Netz, etwa vom Typ CNN (convolutional neural network) oder RNN (recurrent neural network) eingesetzt werden, das auf diese Weise wiederholt trainiert werden kann und dessen Ausgaben zum einen zur Anpassung des Benutzerprofils sowie als weitere Eingangsgröße für einen nächsten Durchlauf des Schritts 110 verwendet werden können, um so den Bedürfnissen oder Vorlieben der Person P bezüglich der Raumklimatisierung nachhaltig Rechnung tragen zu können.
Unter Bezugnahme auf 2 soll nun im Folgenden eine Ausführungsform des erfindungsgemäßen Verfahrens im Hinblick auf die in einem optionalen, dem Schritt 106 zuzuordnenden Prozess 200 erfolgende Bestimmung einer Stoffwechselrate der Person als Eingangsgröße in das Modell zur Bestimmung des TCI-Schätzwerts für die thermische Behaglichkeit der Person P erläutert werden. Da verschiedenen Personen in derselben Umgebung und bei vergleichbarer körperlicher Aktivität verschiedene Körpertemperaturen bzw. Körperoberflächentemperaturen aufweisen können, reicht zur zuverlässigen Bestimmung der mit der körperlichen Aktivität korrelierten Stoffwechselrate einer Person P grundsätzlich eine reine Temperaturmessung nicht aus.
Die Schritte 201 und 202 des Prozesses 200 entsprechen den Schritten 101 bzw. 102 aus 1. Eine Anwesenheitsprüfung im Schritt 204 kann darüber hinaus auf dieselbe Weise erfolgen, wie im Schritt 103, oder mit diesem zusammenfallen. Aus Schritt 101 resultieren insbesondere mithilfe des 3D-Bildsensors gewonnene Tiefendaten (Tiefenkarte) 203 die eine 3D-Punktwolke 208 repräsentieren. Aus Schritt 202 resultieren mittels des thermischen Sensors gewonnene Thermobilddaten 205. Dabei bilden die Tiefendaten 203 und die Thermobilddaten 205 jeweils den Raumbereich (Fahrgastzelle) oder zumindest eines Ausschnitt davon ab.
Im Rahmen der Anwesenheitsprüfung im Schritt 204 kann nicht nur bestimmt werden, ob eine Person P in dem Raumbereich anwesend ist, sondern es kann auch deren Bewegung im Raum, insbesondere auch körperteilbezogen, ermittelt werden. Durch geeignete Auswertung 209 der Tiefendaten 203, der Thermobilddaten 205 und der Ergebnisse der Anwesenheitsprüfung 204 können sodann Rückschlüsse auf die Bewegung der verschiedenen Körperteile der Person P, deren aktuellen Temperaturen und der durch sie gebildeten Körperpose gezogen werden. Die Auswertung 209 kann dazu insbesondere die Bewegungen mithilfe eines Bewegungsdetektionsalgorithmus bestimmen und mithilfe eines Segmentierungsverfahrens im Sinne der Bildverarbeitung eine Hintergrundextraktion der Unterdrückung sowie eine Extraktion der Abbilder einzelner Körperteile der Person aus den 3D-Bilddaten vornehmen. Insbesondere können solche Bewegungsdetektionsalgorithmen darauf beruhen, durch die Verwendung eines robusten Hintergrundmodells den Hintergrund vom Vordergrund zu trennen, um die Bewegung zu erkennen und zu lokalisieren.
Zur Bestimmung des Zusammenhangs zwischen der detektierten Bewegung eines Körperteils und seinem Einfluss auf die körperliche Gesamtaktivität bzw. Stoffwechselrate der Person in einem Schritt 214 kann eine Datenbank, insbesondere in Form einer sogenannten Lookup-Tabelle bzw. Wertetabelle vorgesehen sein. Die entsprechenden Ergebnisse für die verschiedenen Körperteile können in einem Vektor 213 oder einer anderen Datenstruktur zusammengefasst werden, der bzw. die als zeitabhängige Eingangsgröße für einen Schritt 215 dient, bei dem mithilfe eines auf maschinellem Lernen beruhenden Modells oder eines sonstigen Regressionsverfahrens ein Rückschluss auf die Stoffwechselrate gezogen wird, um für diese einen Schätzwert 216 zu bestimmen. Wie schon unter Bezugnahme auf 1 erläutert kann dieser Schätzwert 216 als eine der Eingangsgrößen für die Bestimmung des Schätzwerts für die thermische Behaglichkeit in den Schritten 108 bzw. 110 verwendet werden.
Unter Bezugnahme auf 3 soll nun eine beispielhafte Ausführungsform des Prozesses aus Schritt 104 der 1 zur Identifikation der Person P erläutert werden. Die Schritte 301 und 302 des Prozesses 300 entsprechen den Schritten 101 bzw. 102 aus 1. Die 3D-Bilderfassung aus Schritt 301 liefert insbesondere zum einen ein 2D-Amplitudenbild 303 sowie zum anderen ein Tiefenbild (Tiefenkarte) 305, während die thermische Bilderfassung ein zweidimensionales Thermobild 310 liefert. Alle diese Bilder werden durch entsprechende digitale Bilddaten repräsentiert.
Auf Basis des 2D-Amplitudenbilds 303 kann mittels eines geeigneten Gesichtsdetektionsalgorithmus, beispielsweise auf Basis von sog. „Haar-Kaskaden“ bzw. „Haar-Like Features“, im Schritt 304 eine Erkennung des das Gesicht der Person P darstellenden Bildbereichs vorgenommen werden, während wie schon vorausgehend beschrieben auf Basis des Tiefenbilds 305 und des Thermobilds 310 im Schritt 306 eine Anwesenheitsprüfung hinsichtlich der Anwesenheit einer (lebenden) Person in dem durch die Bilder abgebildeten Raumbereich durchgeführt wird. Aus der Kombination aus dem Tiefenbild 305 und dem Thermobild 310 kann zudem - wie schon erläutert - eine Detektion 307 verschiedener Körperteile der Person P und in der Folge insbesondere für den Kopf eine Bildsegmentierung 308, insbesondere in Gesicht und andere Kopfbereiche, vorgenommen werden. Im Schritt 309 werden schließlich die so aus den verschiedenen Bildern abgeleiteten Informationen zum Zwecke der Gesichtserkennung und damit Identifikation der Person P anhand ihres Gesichts zusammengeführt und ausgewertet, um im Schritt 311 ein entsprechendes Identifikationsergebnis auszugeben.
4 zeigt eine Darstellung 400 zur Veranschaulichung einer Erzeugung einer zur Bestimmung des Schätzwerts für die thermische Behaglichkeit als Eingangsgröße nutzbaren und mittels des Verfahrens nach dem ersten Aspekt der Erfindung, insbesondere nach 1, erhältlichen 3D-Punktwolkenbildes. Dabei werden ein von dem 3D-Bildsensor geliefertes Amplitudenbild 401 sowie ein dazu korrespondierendes als Grauwertbild dargestelltes Thermobild 402 (Wärmebild) von dem thermischen Bildsensor, welches im dargestellten Fall eine deutlich geringere Auflösung aufweist als das Amplitudenbild 401, zunächst im Sinne einer Bildregistrierung kalibriert. Somit kann darauf beruhend anschließend mittels der zueinander korrespondierenden Informationen aus den beiden Bildern mithilfe eines entsprechenden Klassifikationsalgorithmus, der insbesondere mittels eines auf maschinellem Lernen beruhenden Systems durchgeführt werden kann und insbesondere ein künstliches neuronales Netzwerk nutzen kann, eine Klassifikation des Bildes bezüglich verschiedener Körperteile der darin dargestellten Person P vorgenommen werden. Das Ergebnis dieser Klassifikation kann dabei insbesondere in Form eines Falschfarben- oder Grauwertbilds 403 bzw. entsprechender Bilddaten zur Verfügung gestellt werden. Den mittels dieser Klassifikation identifizierten einzelnen Körperteilen können somit auf Basis des Thermobilds 402 jeweils wiederum entsprechende Temperaturen oder Temperaturverläufe zugeordnet werden, und insbesondere in Form einer in Form eines Beispiels in Bild 404 als Grauwertbild oder alternativ als Falschfarbenbild dargestellten Punktwolke wiedergegeben werden. Auf diese Weise ist somit eine Zuordnung von Temperaturen zu Körperteilen möglich, was wiederum als Ausgangspunkt für die Bestimmung einer körperlichen Aktivität der Person P, insbesondere einer Stoffwechselrate, dienen kann, wie schon vorausgehend unter Bezugnahme auf 2 im Einzelnen beschrieben.
Unter Bezugnahme auf die 5 und 6 soll nun noch eine beispielhafte Ausführungsform für die Bildregistrierung bzw. Kalibrierung des 3D-Bildsensors und des thermischen Bildsensors erläutert werden. Dazu ist in 5 übersichtsartig das Grundprinzip dargestellt, bei dem ein von dem 3D-Bildsensor geliefertes Bild, beispielsweise ein Tiefenbild 501, als Referenzbild dient, bezüglich dessen ein von dem thermischen Bild sensorgeliefertes Thermobild 502 (als Objektbild) registriert werden soll. Die Bildregistrierung soll dabei eine Transformation sein, mittels derer jeder Bildpunkt des Referenzbildes 501 mit einem entsprechenden Referenzbildpunkt des Objektbildes verknüpft wird bzw. umgekehrt. Wenn sich, wie im vorliegenden Beispiel, die Auflösungen der beiden Bilder unterscheiden, kann auf bekannte Weise eine entsprechende Auflösungsskalierung zumindest eines der Bilder, bevorzugt des Bildes mit der niedrigeren Auflösung (Upsampling), erfolgen, um die Auflösungen bei der Bilder anzugleichen.
Das zur Bildregistrierung bzw. Kalibrierung verwendete Verfahren muss dabei geeignet sein, ein Bild im sichtbaren Bereich des elektronischen Spektrums mit einem Bild im Infrarotbereich abzugleichen. Dies kann beispielsweise dadurch erreicht werden, dass ein Referenzobjekt, insbesondere ein eines, welches ein Referenzmuster aufweist, das sowohl im optischen als auch im Infrarotbereich sichtbar ist, gleichzeitig durch beide Bildsensoren detektiert wird.
Ein beispielhaftes Referenzobjekt, welches ein Schachbrettmuster aufweist, ist in 6 vierfach für verschiedene Fälle dargestellt. Die vier verschiedenen Fälle korrespondieren zu einem Bildregistrierungsverfahren, welches darauf beruht, dass das Referenzobjekt aus verschiedenen Materialien so zusammengesetzt ist, dass die verschiedenen Schachbrettfelder sowohl im sichtbaren Bereich als auch im Infrarotbereich unterschiedliche Absorptionskoeffizienten aufweisen, sodass jeweils die weißen und die schwarzen Felder des Schachbrettmusters aufgrund ihres entsprechenden Kontrastes unterschieden werden können. In 6 zeigt Bild 601 das mittels des thermischen Bildsensors generierte Bild des Schachbrettmusters bei einer niedrigen Ausgangstemperatur, bevor das Referenzobjekt einer Wärmestrahlungsquelle ausgesetzt wird. Da sich zu diesem Zeitpunkt mangels ausreichender Wärmezufuhr die verschiedenen Operationskoeffizienten für Infrarotstrahlung noch nicht stark auswirken konnten, ist das Schachbrettmuster im Thermobild nicht beziehungsweise nur sehr schlecht zu erkennen.
Das gleichzeitig vom 3D-Bildsensor im optischen Bereich des Spektrums aufgenommene Bild 602 dagegen lässt das Schachbrettmuster bereits deutlich erkennen, da hier die Wärmezufuhr kaum eine Rolle spielt. Folglich können bereits, wie durch die einzelnen Kreise in Bild 602 beispielhaft markiert, einzelne Bildpunkte zum Zwecke der Bestimmung der Transformation zu Bildregistrierung identifiziert und festgelegt werden. Dasselbe gilt auch nach der Erwärmung, da diese die optischen Eigenschaften des Referenzobjekts nur unwesentlich beeinflusst, sodass auch im zugehörigen Bild 604 die Referenzpunkte klar erkennbar sind.
Nach der Erwärmung sind die entsprechenden Referenzpunkte auch im Thermobild 603 identifizierbar, welches nun aufgrund der unterschiedlichen Absorptionskoeffizienten der schwarzen und weißen Schachbrettfelder das dadurch hervorgerufene schachbrettartige Temperaturprofil zeigt. Auf Basis der Bilder 603 und 604 kann somit mittels Bestimmung einer entsprechenden geometrischen Transformation der zueinander korrespondierenden jeweiligen Referenzpunkte die Bildregistrierungstransformation bestimmt werden. Dazu sind in der Regel im Hinblick auf eine ausreichend zuverlässige Transformationsbestimmung mindestens zwei Referenzpunkte pro Bild erforderlich, die zu entsprechenden Referenzpunkten im jeweils anderen Bild korrespondieren.
7 zeigt eine schematische Übersichtsdarstellung 700 zur Illustration bevorzugter Positionen 701 bis 704 des 3D-Bildsensors und des Thermosensors innerhalb eines Fahrzeugcockpits. Dazu können der 3D-Bildsensor und der Thermosensor insbesondere als Baueinheit ausgeführt sein, was insbesondere den Vorteil hat, dass ihre relative Lage zueinander unveränderlich und vorab bekannt ist, ohne nachträglich bei der Installation oder Inbetriebnahme des Systems erst gemessen oder kalibriert werden zu müssen. Dies kann insbesondere zur Vereinfachung der Bildregistrierung genutzt werden. Gemäß 7 können die Sensoren bzw. die Baueinheit insbesondere am Armaturenbrett (Position 701), etwa in horizontal zentraler Lage; im Bereich der unteren Begrenzung der Windschutzscheibe auf der Fahrerseite (Position 702); im vorderen Bereich des Dachhimmels auf der Fahrerseite (Position 703), oder zentral im vorderen Bereich des Dachhimmels (Position 704) angeordnet sein oder werden. Insbesondere dann, wenn die Sensorik bzw. die Baueinheit an Position 704 oder deren unmittelbarer Umgebung angeordnet ist, könne sowohl der Fahrerbereich und somit ein sich darin aufhaltender Fahrer, als auch etwaige auf einem oder mehreren der weiteren Fahrzeugsitze befindliche Personen bildlich erfasst werden und deren jeweilige thermische Behaglichkeit erfindungsgemäß bestimmte werden.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
Bezugszeichenliste

P: Person
10: Vorrichtung zur Bestimmung der thermischen Behaglichkeit
100: Verfahren zur Bestimmung einer thermischen Behaglichkeit einer Person P
200: Verfahren zur Bestimmung einer Stoffwechselrate der Person P
300: Verfahren zur Identifikation der Person P
400: Verfahren zur Zuordnung von Temperaturen zu Körperteilen der Person P
401: Amplitudenbild des 3D-Bildsensors
402: Thermobild des thermischen Bildsensors
403: Grauwertbild zur Segmentierung bzw. Klassifikation verschiedener Körperteile
404: Grauwertbild zur Zuordnung verschiedener Temperaturen zu den verschiedenen Körperteilen
500: Verfahren zur Bildregistrierung
501: Tiefenbild des 3D-Bildsensors
502: Thermobild des thermischen Bildsensors
600: optische und Wärmebilder eines Referenzobjekts vor bzw. nach Erwärmung
601: Wärmebild des Referenzobjekts vor Erwärmung
602: optisches Bild des Referenzobjekts vor Erwärmung
603: Wärmebild des Referenzobjekts nach Erwärmung
604: optisches Bild des Referenzobjekts nach Erwärmung
700: Übersicht verschiedener Anordnungsmöglichkeiten 701 - 704 für Bildsensorik, insbesondere 3D-Bildsensor und Thermosensor
701: am Armaturenbrett, insbesondere in horizontal zentraler Lage
702: im Bereich der unteren Begrenzung der Windschutzscheibe auf der Fahrerseite
703: im vorderen Bereich des Dachhimmels auf der Fahrerseite
704: zentral im vorderen Bereich des Dachhimmels

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Shotton J. et al. (2013) Efficient Human Pose Estimation from Single Depth Images. In: Criminisi A., Shotton J. (eds) Decision Forests for Computer Vision and Medical Image Analysis. Advances in Computer Vision and Pattern Recognition. Springer, London; auch verfügbar unter https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/main-39.pdf [0026]

Claims

Verfahren (100, 200) zum Bestimmen einer thermischen Behaglichkeit bezüglich einer in einem bestimmten Raumbereich befindlichen Person (P), wobei das Verfahren aufweist: Erfassen (101; 201) eines drei räumliche Dimensionen, 3D, abbildenden 3D-Bilds (203) eines ersten Oberflächenbereichs an der Oberfläche der Person (P) mittels eines 3D-Bildsensors; Erfassen (102; 202) eines Thermobilds (205) eines mit dem ersten Oberflächenbereich in einem Überlappbereich überlappenden zweiten Oberflächenbereichs an der Oberfläche der Person (P) mittels eines thermischen Bildsensors; Anwenden einer Bildregistrierungstransformation (500) (500) auf das 3D-Bild (203), das Thermobild (205), oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen; Identifizieren (207) von verschiedenen in dem Überlappbereich abgebildeten Körperteilen der Person (P) mittels entsprechenden Segmentierens (400) des 3D-Bilds; Zuordnen jeweils zumindest eines aus dem Thermobild (205) gewonnenen thermischen Werts zu jedem der in dem 3D-Bild (203) identifizierten Körperteile auf Basis der Bildregistrierungstransformation (500); Modellbasiertes Bestimmen (108, 110) eines Schätzwerts für die thermische Behaglichkeit der Person (P) in Abhängigkeit von den den identifizierten Körperteilen jeweils zugeordneten thermischen Werten.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Bestimmen der Bildregistrierungstransformation (500), vor deren Durchführung, auf Basis eines mittels des 3D-Bildsensors erfassten Bilds (203) und eines mittels des thermischen Bildsensors erfassten Thermobilds (205).
Verfahren nach Anspruch 2, wobei das Bestimmen der Bildregistrierungstransformation (500) aufweist: Gleichzeitiges Erfassen eines Oberflächenabschnitts eines Referenzobjekts mittels des 3D-Bildsensors und des thermischen Bildsensors, wobei der Oberflächenabschnitt des Referenzmodels in abgegrenzte Bereiche unterteilt ist, die sich sowohl bezüglich ihrer Temperatur als auch optisch voneinander unterscheiden; und Bestimmen der Bildregistrierungstransformation (500) auf Basis einer Zuordnung von zueinander korrespondierenden Bildpunkten auf dem von dem 3D-Bildsensor einerseits und dem thermischen Sensor andererseits erfassten Bildern (203; 205) des Oberflächenabschnitts des Referenzobjekts.
Verfahren nach einem der vorausgehenden Ansprüche wobei das Verfahren des Weiteren ein Identifizieren (104; 300) der Person (P) sowie zumindest einen der folgenden Prozesse aufweist: Anpassen (110) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von der erkannten Identität der Person (P); Festlegen eines Zugangs der Person (P) zu Konfigurationsmöglichkeiten für das Verfahren bzw. ein das Verfahren ausführenden Systems in Abhängigkeit von der erkannten Identität der Person (P).
Verfahren nach Anspruch 4, wobei das Anpassen (110) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels Erfassung (112) einer der identifizierten Person (P) zugeordneten Benutzereingabe an einer Mensch-Maschine-Schnittstelle bestimmt wird.
Verfahren nach Anspruch 4 oder 5, wobei das Anpassen (110) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels eines auf maschinellem Lernen beruhenden Anpassungsverfahrens erfolgt, welches mittels zumindest einer der folgenden Maßnahmen trainiert wird: - eine oder mehrere der identifizierten Person (P) zugeordnete Benutzereingaben (112) an einer Mensch-Maschine-Schnittstelle; - aus dem 3D-Bild (203), dem Thermobild (205) und/oder einem oder mehreren weiteren sensorisch erfassten und der Person (P) oder dem Raumbereich zugeordneten Sensorwerten abgeleiteten Körperzustände oder Verhaltensweisen der identifizierten Person (P).
Verfahren nach einem der Ansprüche 4 bis 6, wobei der identifizierten Person (P) ein Benutzerprofil (105) zugeordnet wird und das Anpassen (110) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von in dem Benutzerprofil (105) der identifizierten Person (P) enthaltenen oder ihm zugeordneten personenindividuellen Anpassungsinformationen erfolgt.
Verfahren nach einem der vorausgehenden Ansprüche, wobei: das Segmentieren (400) des erfassten 3D-Bilds (203) zur Identifikation von verschiedenen Körperteilen der Person (P) mittels eines auf maschinellem Lernen beruhenden Segmentierungsverfahrens erfolgt, welches auf Basis einer entsprechenden Klassifizierung der Bildpunkte des 3D-Bilds (203) im Überlappbereich diesen in verschiedene Bildbereiche klassifiziert, wobei die Klassifikation dieser Bildbereiche jeweils eine Klasse aufweist, die einem unbedeckten Körperteil einer Person (P), einem bekleideten Körperteil einer Person (P) bzw. einem nicht zu einer Person (P) gehörenden Bildhintergrund zugeordnet ist; und die Bestimmung der den identifizierten Körperteilen der Person (P) jeweils zugeordneten thermischen Werte in Abhängigkeit von der Zuordnung der verschiedenen Bildbereiche und somit identifizierten Körperteile zu dieser Klassifikation erfolgt.
Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend: Sensorisches Erfassen eines Typs oder Materials der Bekleidung der Person (P); Wobei das modellbasierte Bestimmen (108, 110) des Schätzwerts für die thermische Behaglichkeit der Person (P) zusätzlich in Abhängigkeit von dem erfassten Typs oder Material der Bekleidung der Person (P) erfolgt.
Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend: Dynamisches Erfassen des 3D-Bildes und des Thermobilds (205) der Person (P); Erkennen eines jeweiligen Bewegungszustands der anhand der Segmentierung identifizierten Körperteile mittels eines Bewegungserkennungsalgorithmus; Bestimmen (106, 200) einer Stoffwechselrate der Person (P) mittels eines Stoffwechselratenmodells (215) auf Basis der den einzelnen identifizierten Körperteilen jeweils zugeordneten thermischen Werte und erkannten Bewegungszustände; wobei das modellbasierte Bestimmen (108, 110) des Schätzwerts für die thermische Behaglichkeit der Person (P) in Abhängigkeit von der so bestimmten Stoffwechselrate erfolgt.
Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend: Prüfen (103), ob sich eine Person (P) in dem Raumbereich aufhält mittels Abgleichens eines mittels des 3D-Bildsensors erfassten 3D-Bilds (203) des Raumbereichs mit einem mittels des thermischen Bildsensors erfassten Thermobilds (205) des Raumbereichs; und Durchführen der zur Bestimmung des Schätzwerts erforderlichen Verfahrensschritte nur dann, wenn sich bei dem Prüfen ergibt, dass sich eine Person (P) in dem Raumbereich befindet.
Vorrichtung (10) zum Bestimmen einer thermischen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex, bezüglich einer in einem bestimmten Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person (P), wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß einem der vorausgehenden Ansprüche auszuführen.
Verfahren (100) zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person (P) geeigneten Raumbereichs, wobei das Verfahren aufweist: Bestimmen einer thermischen Behaglichkeit bezüglich einer in dem Raumbereich befindlichen Person (P) gemäß dem Verfahren nach einem der Ansprüche 1 bis 11; und Ansteuern (111) einer Klimatisierungsvorrichtung zur automatischen Klimatisierung des Raumbereichs in Abhängigkeit von der bestimmten thermischen Behaglichkeit der Person (P).
Verfahren nach Anspruch 13, wobei das Verfahren individuell für zumindest zwei in dem Raumbereich befindlichen Personen (P) durchgeführt wird, wobei das Ansteuern der Klimatisierungsvorrichtung so erfolgt, dass dadurch für die Person (P)en in Abhängigkeit von der für sie jeweils bestimmten thermischen Behaglichkeit jeweils eine durch die Klimatisierungsvorrichtung bewirkte individuelle Klimatisierung für einen Teilbereich des Raumbereichs, in dem sie sich jeweils befinden, eingestellt wird.
Vorrichtung (10) zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person (P) geeigneten Raumbereichs, wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß Anspruch 13 oder 14 auszuführen.
Vorrichtung (10) nach Anspruch 12 oder 15, wobei die Vorrichtung zur personenindividuellen Bilderfassung eine Mehrzahl von 3D-Bildsensoren und jeweils zumindest einen dem jeweiligen 3D-Bildsensor zugeordneten thermische Bildsensor aufweist.
Vorrichtung (10) nach einem der Ansprüche 12, 15 oder 16, wobei die Vorrichtung den 3D-Bildsensor bzw. zumindest einen 3D-Bildsensor und den jeweils zugeordneten thermischen Bildsensor aufweist, wobei zumindest einer der thermischen Bildsensoren eine gegenüber der Bildauflösung des zugeordneten 3D-Bildsensors geringerer Bildauflösung aufweist.