JP2022518005A - １つまたは複数のサーモグラフィカメラおよび１つまたは複数のｒｇｂ－ｄセンサを使用して構築空間内の１人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること - Google Patents

Abstract

構築空間内の１人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法が提示される。本方法は、１つまたは複数のサーモグラフィカメラと、１つまたは複数の赤、緑、および青の深度（ＲＧＢ－Ｄ）センサとを使用する。本方法は、いくつかのステップを有する。一例では、本方法は、サーモグラフィカメラを介して人間の居住者の熱画像を取り込むことと、ＲＧＢ－Ｄカメラを介して人間の居住者のＲＧＢ－Ｄ画像を取り込むこととを含む。本方法は、取り込まれた熱画像を使用して、および取り込まれたＲＧＢ－Ｄ画像を使用して、人間の居住者の顔の皮膚温度を抽出することをさらに含む。そして、本方法は、抽出された顔の皮膚温度を使用して、人間の居住者の熱的快適性を推定することを含む。

Description

連邦政府による資金提供を受けた研究に関する声明
本明細書に記載の１つまたは複数の発明は、全米科学財団（ＮＳＦ）によって授与された助成金第１４０７９０８号、第１３４９９２１号、および第１８０４３２１号の下で政府の支援を受けてなされた。政府は、本発明の１つまたは複数に一定の権利を有し得る。

技術分野
本開示は、様々な構築空間内の個人の熱的快適性の評価に関し、より詳細には、構築空間内の暖房、換気、および空調（ＨＶＡＣ）システムを制御する目的で熱的快適性を評価することに関する。

人の熱的快適性は、人の健康および幸福に影響を及ぼす。熱的に不快な環境、すなわち、暑すぎたり、寒すぎたりする環境は、オフィスの職場環境における居住者の生産性を低下させ、輸送車両のオペレータの集中を低下させ、他の欠点の中でも「シックハウス症候群」として知られる状態の一因にさえなることが示されている。さらに、いくつかの推定値は、建物が世界中で生成されるエネルギーの約４０％を消費し、暖房、換気、および空調（ＨＶＡＣ）システムが建物におけるエネルギー消費の最大量を占めることを示している。

人の熱的快適性を評価することは課題である。まず、熱的快適性はしばしば客観的よりも主観的であり、ある人にとって寒すぎる熱的状態は、別の人にとってちょうど良いと感じることがある。また、特定の設定では、熱的感覚および好みが経時的に変化する傾向があり、例えば、夏の空調された部屋は、最初は快適に感じることがあるが、その後、身体が徐々に熱を失うので、寒すぎると感じることがある。さらに、人の熱的快適性は、一般に、生理学的（例えば、性別、ボディーマス指数）、心理学的（例えば、期待、ストレス）、および行動的（例えば、衣服、活動レベル）要因によって左右される。熱的快適性を評価するための以前の取り組みは、データ収集の侵入手段としてしばしば観察されるものを伴っていた。この手段は、電話ベースまたはウェブベースのアプリケーションまたは何らかの他の方法を介して継続的な人間のフィードバックを必要とすることを含み、他の取り組みの中でも、人の身体と直接接触するように配置されたセンサなどのデバイスを含んでいた。これらの手段のいくつかは、信頼性がなく非実用的であることが証明されており、いくつかは、広範な非実験的実施に必要なスケーラビリティおよび柔軟性を欠いている。

発明の概要
本開示の一態様によれば、構築空間内の１人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法は、１つまたは複数のサーモグラフィカメラならびに１つまたは複数の赤、緑、および青の深度（ＲＧＢ－Ｄ）センサの使用を用いる。本方法は、いくつかのステップを有し得る。本方法は、構築空間にサーモグラフィカメラを設けることと、構築空間にＲＧＢ－Ｄセンサを設けることとを含み得る。本方法は、サーモグラフィカメラによって構築空間内の人間の居住者の熱画像を取り込むことと、ＲＧＢ－Ｄセンサによって構築空間内の人間の居住者のＲＧＢ－Ｄ画像を取り込むこととをさらに含み得る。本方法はまた、取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を使用して、人間の居住者の顔の皮膚温度を抽出することを含み得る。顔の皮膚温度を抽出することは、取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を登録することを含み得る。また、本方法は、人間の居住者の抽出された顔の皮膚温度を使用して、構築空間内の人間の居住者の熱的快適性を推定することを含み得る。

本開示の別の態様によれば、構築空間内の１人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法は、１つまたは複数のサーモグラフィカメラならびに１つまたは複数の赤、緑、および青の深度（ＲＧＢ－Ｄ）センサの使用を用いる。本方法は、いくつかのステップを有し得る。本方法は、様々な距離および様々な角度からサーモグラフィカメラによって構築空間内の人間の居住者の熱画像を取り込むことと、様々な距離および様々な角度からＲＧＢ－Ｄセンサによって構築空間内の人間の居住者のＲＧＢ－Ｄ画像を取り込むこととを含み得る。様々な距離および様々な角度は、サーモグラフィカメラおよびＲＧＢ－Ｄセンサに対する人間の居住者の様々な距離および様々な角度である。本方法はまた、取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を使用して、人間の居住者の顔の皮膚温度を抽出することを含み得る。ＲＧＢ－Ｄセンサから提供された距離データは、抽出ステップにおいてサーモグラフィカメラから提供された温度データと共に使用され得る。また、本方法は、人間の居住者の抽出された顔の皮膚温度を使用して、構築空間内の人間の居住者の熱的快適性を推定することを含み得る。

本開示のさらに別の態様によれば、構築空間内の１人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法は、１つまたは複数のサーモグラフィカメラならびに１つまたは複数の赤、緑、および青の深度（ＲＧＢ－Ｄ）センサの使用を用いる。本方法は、いくつかのステップを有し得る。本方法は、サーモグラフィカメラによって構築空間内の人間の居住者の熱画像を取り込むことと、ＲＧＢ－Ｄセンサによって構築空間内の人間の居住者のＲＧＢ－Ｄ画像を取り込むこととを含み得る。本方法はまた、取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を使用して、人間の居住者の顔の皮膚温度を抽出することを含み得る。抽出ステップは、取り込まれたＲＧＢ－Ｄ画像内の座標を取り込まれた熱画像上に配置することをさらに含み得る。本方法は、人間の居住者の抽出された顔の皮膚温度を使用して、構築空間内の人間の居住者の熱的快適性を推定することを含み得る。また、本方法は、人間の居住者の推定された熱的快適性に基づいて、構築空間の暖房、換気、および空調（ＨＶＡＣ）を制御することを含み得る。

図面の簡単な説明
例示的な実施形態は、添付の図面と併せて以下に説明され、同様の符号は同様の要素を示す。

熱的快適性推定およびその後の暖房、換気、および空調（ＨＶＡＣ）システムの制御を行う方法の一実施形態の概略図である。 重心追跡アルゴリズムの概略図である。 カメラノードおよび居住者の例示的なネットワークのグラフ抽象化表現である。 ステレオビジョン較正プロセスの概略図である。 ステレオビジョン較正プロセスで使用することができる格子縞パターンのいくつかの図である。 単一のカメラノードからの取り込まれたＲＧＢ－Ｄ画像および取り込まれた熱画像の図である。 異なる距離での顔の皮膚温度収集の研究結果を示す一対のグラフであり、メートル（ｍ）単位の距離がｘ軸にプロットされ、摂氏（℃）単位の温度がｙ軸にプロットされている。 加熱、冷却、および定常状態段階における居住者の最大顔皮膚温度の実験結果を示すグラフであり、時間（分）がｘ軸にプロットされ、顔の皮膚温度（摂氏（℃））がｙ軸にプロットされている。 例示的な居住者についての個人向け快適性予測モデルのランダムフォレスト構造である。 熱的設定点最適化プロセスの一実施形態の概略図である。

いくつかの例示的な実施形態において、構築空間内の１人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法が本明細書で詳述される。本方法は、複数のステップを含み、１つまたは複数のサーモグラフィカメラと、１つまたは複数の赤、緑、および青の深度（ＲＧＢ－Ｄ）センサとのネットワークの使用を相乗的な目的のために用いる。熱的快適性を評価する以前の取り組みと比較して、本明細書に詳述される方法は、意図的な人間のフィードバックなしで、および個人の身体と直接接触する装置なしで、連続的に非侵入的に熱的快適性を推定する。本方法は、構築空間内で様々な姿勢を示し、様々な動きに関与する複数の居住者の熱的快適性を同時に推定することができ、その結果、個人間ならびにサーモグラフィカメラおよびＲＧＢ－Ｄセンサ間の任意の異なる距離および角度が得られる。以前の取り組みのより受動的なアプローチとは異なり、本明細書に詳述される方法は、自動化されたデータ駆動のユーザ中心のアプローチである。さらに、本方法は、非実験的な構築空間および設定で容易に実施できるように、スケーラビリティおよび柔軟性を伴って設計および構築される。本方法で熱的快適性を推定すると、構築空間に向けられた暖房、換気、および空調（ＨＶＡＣ）を、最終的に居住者の熱的快適性を改善し、ＨＶＡＣシステムによるエネルギー消費を最小限に抑えるために、推定値に部分的またはそれ以上に基づいて制御することができる。

本明細書で使用される場合、「構築空間」という用語は拡張的な意味を有する。この用語は、他の例の中でも、住宅、商業ビル、職場オフィスおよび会議室、病院および養護施設、ならびに教室に見られる部屋およびホールならびに他の領域などの屋内空間を指す。また、構築空間は、自動車の車室、飛行機のコックピット、電車の乗車エリアなど、輸送車両内の空間でもある。さらに、「構築空間」という用語は、他の環境および他の車両における他の空間を指すことができる。

構築空間内の人間の居住者の熱的快適性推定を行う方法は、他の可能な要因の中でも、本方法が意図する特定の構築空間、ならびに使用されるサーモグラフィカメラおよびＲＧＢ－Ｄセンサの特定のネットワークに応じて、異なる実施形態において異なり得る。この説明が発展すると、本方法は、図面を参照して記載されたステップより多い、少ない、および／または異なるステップを有することができることが当業者に明らかになるであろう。方法の一例（参照番号１０）を図１に示す。この実施形態では、構築空間内の人間の居住者の熱的快適性推定を行う方法は、ｉ）サーモグラフィカメラおよびＲＧＢ－Ｄセンサ（参照符号１２）を設けることと、ｉｉ）サーモグラフィカメラを介して人間の居住者の熱画像を取り込み、ＲＧＢ－Ｄセンサ（１２）を介して人間の居住者のＲＧＢ－Ｄ画像を取り込むことと、ｉｉｉ）取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像（参照符号１４）を使用することによって人間の居住者の顔の皮膚温度を抽出することと、ｉｖ）抽出された顔の皮膚温度（１４）を使用することによって人間の居住者の熱的快適性を推定することと、ｖ）推定された熱的快適性（参照番号１６）に部分的またはそれ以上に基づいて、構築空間のＨＶＡＣを制御することと、を含む。

サーモグラフィカメラは、本方法における温度測定および温度データに利用される。サーモグラフィカメラは、構築空間内の人間の居住者の熱画像を連続的に取り込む。設けられるサーモグラフィカメラは、様々なタイプのものとすることができ、様々な仕様を有することができる。一例では、サーモグラフィカメラは、放射測定用長波赤外線（ＬＷＩＲ）カメラであり、例えば、米国オレゴン州ウィルソンビル所在のＦＬＩＲシステムズ社の製品であるレプトン（登録商標）２．５モデル熱カメラが挙げられ、これは比較的低コストのサーモグラフィカメラであり、本明細書に記載の方法における使用に適している。この例示的な熱カメラの仕様は、寸法８．５×１１．７×５．６ｍｍ、解像度８０（ｈ）×６０（ｖ）画素、熱感度＜５０ｍＫ、読み取り精度：作業範囲内の±５℃または±５％、ならびに視野（ＦＯＶ）５１°（ｈ）および４２°（ｖ）を含む。さらに、他のタイプのサーモグラフィカメラが適切であり得、サーモグラフィカメラの他の仕様が適切であり得る。本方法では、ＲＧＢ－Ｄセンサは、ＲＧＢカメラ機能を介した人間検出、ＲＧＢカメラ機能を介した特徴検出、および深度センサ機能を介した距離データに利用される。ＲＧＢ－Ｄセンサは、構築空間内の人間の居住者のＲＧＢ－Ｄ画像を連続的に取り込む。サーモグラフィカメラと同様に、設けられるＲＧＢ－Ｄセンサは、様々なタイプのものとすることができ、様々な仕様を有することができる。一例では、ＲＧＢ－Ｄセンサは、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの製品であるＫｉｎｅｃｔ（商標）ＲＧＢ－Ｄカメラである。この例示的なＲＧＢ－Ｄカメラの仕様は、解像度６４０（ｈ）×４８０（ｖ）画素、ＦＯＶ５７°（ｈ）および４３°（ｖ）、有効深度センサ範囲０．８～５．０ｍ、ならびに深度精度：最大動作範囲（５．０ｍ）で±４ｃｍを含む。さらに、他のタイプのＲＧＢ－Ｄセンサが適切であり得、ＲＧＢ－Ｄセンサの他の仕様が適切であり得る。サーモグラフィカメラおよびＲＧＢ－Ｄセンサの機能は、互いに補完し合い、開示された方法の全体的な有効性を高めることが確認されている。後述するように、ＲＧＢ－Ｄセンサは、顔の皮膚温度を抽出するために人間の顔の検出および位置特定でサーモグラフィカメラを支援し、ＲＧＢ－Ｄセンサからの距離データも、サーモグラフィカメラの温度測定値に対する距離の影響を説明するために使用される。ＲＧＢ－Ｄセンサは、サーモグラフィカメラよりも高い解像度を有し、ＲＧＢ－Ｄ画像は、一般に、熱画像よりも多くの色データを含み、したがって、より高度な検出アルゴリズムにより適している。

サーモグラフィカメラおよびＲＧＢ－Ｄセンサは共に、カメラおよびセンサのネットワークを形成する。特定の構築空間に応じて、人間の居住者の熱的快適性推定を行う方法は、単一のＲＧＢ－Ｄセンサと共に単一のサーモグラフィカメラを有することができ、または各々が１つのＲＧＢ－Ｄセンサと対になる複数のサーモグラフィカメラを有することができる。特定の構築空間内のサーモグラフィカメラおよびＲＧＢ－Ｄセンサの正確な数は、少なくともいくつかの例では、構築空間のサイズ、ならびに予想される居住者の数、位置、姿勢、および動きによって決定され得る。単一のＲＧＢ－Ｄセンサと共に単一のサーモグラフィカメラで十分であり得る構築空間の一例は、セミトレーラトラックの客室および飛行機コックピットであるが、もちろん、これらの空間に複数のサーモグラフィカメラおよびＲＧＢ－Ｄセンサを装備することもできる。図１は、複数のサーモグラフィカメラおよびＲＧＢ－Ｄセンサを有する構築空間１８の一例を示す。この例における構築空間１８は、多数の居住者が様々な姿勢で様々な場所に座ったままであり得る一方で、他の居住者が様々な方法で動き回る可能性がある職場オフィスをモデルとしている。５つのカメラノード２０は、付随するサーモグラフィカメラおよびＲＧＢ－Ｄセンサが様々な距離および角度からすべての居住者の画像を取り込むために構築空間１８内のすべての領域をカバーし観察する視野を示すように、構築空間１８内の異なる場所に配置されるが、構築空間１８には多くの居住者がいる。各カメラノード２０は、ユニットとして一緒に対になった単一のサーモグラフィカメラ２２および単一のＲＧＢ－Ｄセンサ２４を含む。ユニットは、構築空間１８内のその場所に堅固に取り付けられている。

熱的快適性推定を行う方法の一実施形態では、単一のサーモグラフィカメラ２２および単一のＲＧＢ－Ｄセンサ２４で構成される単一のカメラノード２０は、構築空間１８内の多くの居住者の中から個々のおよび別個の居住者を区別することができ、各居住者の動きを追跡することができる。一例では、重心追跡アルゴリズムがこの目的のために使用されるが、さらに、他の実施形態では他の手段が使用されてもよい。重心追跡アルゴリズムは、現在の取り込まれた画像フレーム内の各居住者の各顔の重心を最初に検出するが、これは、例えば、オープンソースコンピュータビジョン（ＯｐｅｎＣＶ３．３）のライブラリに見られるディープニューラルネットワーク（ＤＮＮ）の顔検出モジュールを介して実行することができ、さらに、他の実施形態では、居住者を区別し、その動きを追跡する他の手段が使用されてもよい。構築空間１８内に２人の居住者がいる例では、
時刻ｔ＋１において、重心追跡アルゴリズムは、時刻ｔおよびｔ＋１における２つの連続する画像フレーム内の顔重心の各対の間のユークリッド距離を計算し、次いで、画像フレームｔ内の最も近い顔重心によって画像フレームｔ＋１内の居住者ＩＤを更新し、

式中、M_tは、時間tにおける構築空間１８内のすべての居住者の顔重心のセットであり、ｍは、セットM_t内の１つの顔重心であり、ｘ_t+1は、（更新される必要がある）時間t+1における特定の居住者の顔重心であり、||・||はL2－ノルムである。重心追跡アルゴリズムは、図２に概略的に示されている。

熱的快適性推定を行う方法の一実施形態では、サーモグラフィカメラ２２を介して構築空間１８内で人間の居住者の総数を決定し、計数することができる。この決定は、様々な方法および様々なステップで実行することができる。一例では、決定および計数は、形態学的操作を使用してサーモグラフィカメラ２２によって取り込まれた熱画像を処理することを含む。決定および計数は、ブロブ検出方法論を使用して形態学的に変換された熱画像内の人間の居住者の位置を特定することをさらに含むことができる。

サーモグラフィカメラ２２およびＲＧＢ－Ｄセンサ２４のネットワークは、本明細書に開示される方法の異なる実施形態によれば、異なる構築空間１８において異なる設計を有することができる。ネットワークは、ノードおよびエッジから構成されるグラフ抽象化表現で表すことができる。図３は、３人の居住者２６および２つのカメラノード２０を有する例示的なネットワークを示す。図３のグラフ抽象化表現は、３つのタイプのノード、すなわち（１）カメラノード２０、（２）居住者ノード（居住者２６）、および（３）３次元世界における原点を示す世界座標ノード２８を有する。ノードを接続するエッジは、観測値３０および制約３２を含む。観測値３０は、特定のカメラノード２０と居住者ノード２６との間の姿勢を表す。観測値３０は、居住者２６が姿勢を変え、構築空間１８内を動き回るときに変化し得る。観測値３０は、その後、後にこの説明に記載されるピンホールカメラモデルを使用して計算することができる。制約３２は、既知の所定の幾何学的関係を表す。各カメラノード２０内に存在する制約３２は、特定のカメラノード２０のサーモグラフィカメラ２２とＲＧＢ－Ｄセンサ２４との間の相対姿勢を示す。図３の別個のカメラノード２０間にまたがる唯一の制約３２は、構築空間１８内のそれらの取り付けられた場所に応じたそれらの２つのカメラノード２０間の相対姿勢を示す。これらの制約３２は、構築空間１８内のサーモグラフィカメラ２２およびＲＧＢ－Ｄセンサ２４のネットワークの初期設計作業の最中に決定することができ、構築空間１８内の居住者２６の数、位置、姿勢、および動きの影響を受けない。さらに、取り付けられた場所におけるカメラノード２０の位置が既知であるため、ネットワークの初期設計作業の最中に、１つのカメラノード２０と世界座標ノード２８との間にまたがる１つの制約３２を決定することもできる。

一実施形態では、本方法における人間の居住者の顔の皮膚温度を抽出するステップは、ＲＧＢ－Ｄセンサを介して人間の居住者の顔を検出することを含む。人間の顔は、血管の密度が高く、一般に人間の身体の他の領域のように衣服で覆われていないため、温度抽出のための理想的な対象領域であることが分かっている。ＯｐｅｎＣＶ３．３ライブラリのＤＮＮ顔検出モジュールは、人間の顔を検出するのに適していることが分かっており、さらに、他の実施形態では、顔検出の他の手段および他のアルゴリズムが使用されてもよい。

さらに、一実施形態では、本方法における人間の居住者の顔の皮膚温度を抽出するステップは、ＲＧＢ－Ｄ画像の検出された顔の座標が熱画像上にマッピングされ、位置特定され得るように、取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を登録することを含む。一例では、ピンホールカメラモデルがこの目的のために使用されるが、さらに、他の実施形態では他の手段が使用されてもよい。ピンホールカメラモデルでは、３次元世界座標は、透視変換（式１００）を介して２次元画像座標に投影される。

より簡潔な形式では、式１００は次のようになり、
s m= K[R│T]M
式中、Mは、３次元世界座標空間における３次元点の同次座標を表す４×１ベクトルであり、mは、画像座標における２次元点の同次座標を表す３×１ベクトルであり、Kは、焦点距離(f_xf_y)および主点(C_xC_y)から構成されるカメラの３×３の固有行列であり、[R│T]は、回転Rおよび並進Tから構成される３×４の外部行列であり、ｓはスケーリング係数である。

単一のサーモグラフィカメラ２２および単一のＲＧＢ－Ｄセンサ２４を有するカメラノード２０において、登録のための較正は、熱カメラＫ_ＩＲの内部行列、ＲＧＢ－Ｄセンサ２４のＲＧＢカメラＫ_ＲＧＢの内部行列、およびサーモグラフィカメラ２２とＲＧＢカメラとの間の同次変換行列[R│T]を推定することを含む。これらの推定が行われると、式１００のピンホールカメラモデルを介して、２つのカメラにおける点の対応関係を決定することができる。実際には、カメラノード２０の較正は、ＭａｔｈＷｏｒｋｓ（登録商標）によってＭＡＴＬＡＢ（登録商標）で利用可能なものなどのステレオ視覚較正プロセスを用いて実行することができるが、さらに、他の実施形態では他の手段が使用されてもよい。一般に、ステレオ視覚較正プロセスは、例として、最尤推定法を使用して未知数を決定するために、サーモグラフィカメラ２２およびＲＧＢ－Ｄセンサ２４が、２つ以上の異なる向きから、市松模様または正方格子パターンなどの平面的で予め定義されたパターンを観察することを含む。図４の概略図は、ステレオ視覚較正プロセスを示す。

パターンを横切って放射される赤外線エネルギーが同じままであるために、サーモグラフィカメラ２２がそのような較正目的のためにいくつかの白黒パターンを観察および取り込みできない可能性があるので、アルミニウム箔およびビニルポリマーの６×７格子縞パターンを準備した。図５は、銀色で示されたアルミニウム箔正方形３４および黒色で示されたビニルポリマー正方形３６を有する、準備された市松模様を示す。ビュー（ａ）は、市松模様の写真である。コントラスト色により、図５の格子縞パターンの画像は、パターン内の角点を抽出するためにＲＧＢ－Ｄセンサ２４によって取り込みおよび検出することができ、ビュー（ｃ）はこれを示している。熱画像化のために、アルミニウム箔正方形３４は、ビニルポリマー正方形３６よりも高い放射率を有し、したがって、より大きな赤外線エネルギーを放出する。結果として、格子縞パターンが加熱されたとき、アルミニウム箔正方形３４は、取り込まれた熱画像においてビニルポリマー正方形３６よりも明るく見え、図５のビュー（ｂ）はこれを示している。また、ビュー（ｄ）に示すように、サーモグラフィカメラ２２によって市松模様の角点を観察することができる。較正されると、取り込まれたＲＧＢ－Ｄ画像内の検出された顔の座標および距離データは、取り込まれた熱画像上にマッピングされ、位置特定され得る。図６は、これを単一のカメラノードから得られた異なるビューで示しており、ビュー（ａ）は、ＲＧＢ－Ｄセンサ２４からの深度／距離データを示し、ビュー（ｂ）は、ＲＧＢ－Ｄセンサ２４から取り込まれたＲＧＢ－Ｄ画像を、対象居住者の顔領域を囲む境界ボックス３８と共に示し、ビュー（ｃ）は、サーモグラフィカメラ２２から取り込まれた熱画像を、対象居住者の顔領域を囲むマッピングされた境界ボックス４０と共に示す。

人間の顔などの物体によって放出され、最終的にサーモグラフィカメラ２２によって取り込まれる赤外線エネルギーは、物体とサーモグラフィカメラ２２との間の距離によって影響を受ける可能性があることが分かっている。したがって、一実施形態では、特定の構築空間内のサーモグラフィカメラ２２と居住者の顔との間で測定された距離データを使用して、本方法の顔の皮膚温度を抽出するステップにおける赤外線エネルギー放射に対するこの影響を説明することができる。複数のサーモグラフィカメラ２２を有する例では、各サーモグラフィカメラ２２と各人間の顔との間で得られた距離データを、本明細書で説明するように使用することができる。距離データを説明するための較正目的で、０．０５ｍのステップサイズで０．８メートル（ｍ）～２．０ｍの距離でサーモグラフィカメラが対象の平均顔皮膚温度を収集する研究が行われた。この研究では、室温は２６℃であり、相対湿度は２８．５％であった。距離データはＫｉｎｅｃｔ（商標）ＲＧＢ－Ｄカメラによって提供され、このカメラは５ｍの作業範囲で±４センチメートル（ｃｍ）の深度測定精度を有することが示されている。距離データは１分の時間枠内で収集されたため、特定の対象の顔の皮膚温度は、その時間枠の中で一定であると仮定した。各距離で３つのサンプルを収集し、平均して、特定の距離での顔の皮膚温度測定値を表した。図７は、研究の結果をグラフ形式で示す。グラフ（ａ）では、サンプル

から線形関係が明らかであり、顔の皮膚温度測定値は、研究で使用されたサーモグラフィカメラの距離が１メートル増加するごとに０．５℃減少し得ることを意味する。グラフ（ｂ）は、線形フィットの残差プロットを示す。ここで、残差プロットは０付近に幾分対称的に分布しており、明確なパターンが現れず、線形モデルの良好な適合を示していることが観察され得る。当業者は、他の同様の研究が他の結果をもたらし得ることを理解するであろう。

熱的快適性推定を行う方法の一実施形態では、複数のカメラノード２０（ここでも、各々が単一のサーモグラフィカメラ２２および単一のＲＧＢ－Ｄセンサ２４から構成される）は、複数の居住者２６の複数の取り込まれた熱的プロファイルを３次元世界の正しい居住者と関連付けることができる。これを居住者登録と呼ぶ。再び図３を参照すると、一例では、図中の番号１のカメラノード２０は、３人の居住者２６のうちの２人のみを観察して取り込むが、図中の番号２のカメラノード２０は、これら３人の居住者２６のうちの３人すべてを観察して取り込む。ここで、本方法は、番号２のカメラノード２０内の居住者２６の２つの熱的プロファイルを、番号１のカメラノード２０内の２つの対応する正しい居住者２６と関連付けることができる。このような例で居住者登録を実行するための特定の特徴ベースの方法は、カメラノード１および２の特徴点が幾分実質的に異なり得るため（例えば、カメラノード１は顔の正面を取り込み、カメラノード２は顔の側面のプロファイルを取り込む）、また特徴記述子の計算はリアルタイム実装のために計算集約的であり得るため、方法のすべての実施形態では適していない可能性があることが分かった。結果として、一実施形態では、位置に基づいて、式１００のピンホールカメラモデルおよびステレオ視覚較正プロセスを介して、居住者登録を実行することができる。しかしながら、居住者登録の目的のために、サーモグラフィカメラ２２およびＲＧＢ－Ｄセンサ２４を較正する代わりに、（ＲＧＢ－Ｄセンサ２４の）ＲＧＢ－Ｄカメラの各対を、同次変換行列[R│T]に到達するように較正することができる。この較正は、例えば、紙に印刷された市松模様パターンを用いて行うことができる。そして、世界座標ノード２８に対する各居住者２６の３次元世界座標[X Y Z 1]^Tを、式１００から求めることができる。最後に、この実施形態では、式２００を用いて、カメラノードｉ内の居住者ＩＤを、最も近い距離に基づいて異なる視点ｊからの居住者ＩＤにマッピングして位置特定することができ、

式中、M_jは、カメラノードｊ内のすべての居住者の３次元世界座標のセットであり、ｍは、セットＭ_ｊにおける１つの３次元世界座標であり、ｘ_ｉは、（登録の対象となる）カメラノードｉ内の特定の居住者の３次元世界座標であり、||・||はＬ２－ノルムである。したがって、このようにして、カメラネットワークは、異なるカメラノード２０に同じ居住者２６を再帰的に登録することができる。

さらに、別個のカメラノード２０間の通信のために、ユーザデータグラムプロトコル（ＵＤＰ）データ通信プロトコルを、熱的快適性推定を行う方法の一実施形態において実装することができる。交換される通信は、居住者登録目的のための居住者２６の３次元世界座標を含むことができる。

一実施形態では、本方法における人間の居住者の顔の皮膚温度を抽出するステップは、１つまたは複数の関心領域から皮膚温度を抽出することを含むことができる。関心領域は、額、鼻、頬、口、耳、および／または首などの人間の顔の領域を含むことができる。特定の関心領域内に位置する各画素のサーモグラフィカメラ２２からの温度測定値は、その特定の関心領域の皮膚温度の表現として機能するように平均化することができる。精度を高めるために、一実施形態では、特定の閾値（例えば、２８℃未満または３８℃超）を超える画素温度測定値をフィルタリングで除外し、各関心領域から除去することができる。そのような値は、決定されており、単に背景またはノイズである可能性が高く、結果的に顔の皮膚温度の測定を妨げる可能性がある。例えば、近くの電球が特定の関心領域の皮膚温度測定値に含まれる可能性があり、フィルタリングして除去しない場合、そのより高い測定温度は、同伴する居住者が実際よりも温かいという不正確な推定をもたらす可能性がある。この実施形態では、人間の顔およびその勾配について得られた最大顔皮膚温度測定値、ならびに各関心領域（すなわち、額、鼻、頬、口、耳、および首）の最大、最小、平均、および勾配温度を含む、合計２６個の顔皮膚温度測定値を抽出することができる。勾配温度について、５分間にわたる平均勾配は、式３００および４００（この順序で提示される）を用いて決定することができ、

式中、∇T_iは時間間隔iの勾配温度であり、T_cは、時間cにおける温度測定値であり、

は、特徴として選択された５分間にわたる平均勾配温度である。
別の実施形態では、上記の関心領域から温度を抽出する代わりに、本方法における人間の居住者の顔の皮膚温度を抽出するステップは、人間の顔全体から皮膚温度を抽出することを含むことができる。人間の顔全体は、この例では、顔の正面ならびに顔の側面のプロファイルを含む。この実施形態は、より小さい関心領域の熱画像を取り込むことがより困難であり得る実施形態においてより適切であり得る。この代替的な実施形態では、人間の顔全体から皮膚温度を抽出することは、（ｉ）検出された顔領域内のすべての画素の最高、最低、平均、および四分位（第１、第２、第３）の温度測定値（これらの温度測定値は、検出された顔領域にわたる顔の皮膚温度の全体的な分布を示す）、（ｉｉ）検出された顔領域内のすべての画素の皮膚温度変化（鼻、耳、および頬は、他の関心領域よりも大きな皮膚温度変化を有し、したがって、検出された顔領域にわたる大きな皮膚温度変化は、居住者が冷却ストレスを受けていることの指標として役立ち得ることが分かっている）、および（ｉｉｉ）式３００および式４００からの１分間ごとの勾配温度（勾配温度が熱／冷却ストレスの指標として機能し得ることが分かっている）を含むことができる。

さらに、顔の皮膚温度を抽出する実施形態では、人間の顔の特定の領域または部分が検出不能である場合、省略された温度データは、逆確率重み付け帰属技法などの方法を使用して、人間の顔の他の検出可能な領域または部分および／または過去の観察に基づいて帰属させることができる。

熱的快適性推定を行う方法の一実施形態では、温度データをクリーニングおよび平滑化して、潜在的な誤差のデータを取り除くことができる。誤差は、（１）観察間で変化し得るランダムな実験誤差（例えば、水を飲んでいる最中に居住者の口に隣接して位置する手は、データのスパイクに対応する可能性がある）、および（２）平均がゼロのガウス分布に従うと仮定できるサーモグラフィカメラ２２のランダム測定誤差を含む原因に起因し得る。これらの誤差を解決するために、一実施形態では、式５００を使用して隣接する測定値の差を確認することによって、取り込まれた熱画像フレームを毎分平均し、外れ値を除去することができ、

式中、d_iおよびd_i－1は、時間iおよびi－1で収集された温度データであり、σは、時間０から時間iまでに収集された温度データの標準偏差である。異常値が除去されると、ガウシアンフィルタを適用して生の温度データを平滑化することができる。図８は、加熱段階４２、冷却段階４４、および定常状態段階４６における居住者の最大顔皮膚温度の実験結果を示すグラフである。グラフの破線／一点鎖線は、実験で利用されたサーモグラフィカメラから直接収集した生の温度データを表し、より太い実線（参照番号４２、４４、４６で示される）は、異常値を除去して平滑化した後の処理済み温度データを表す。データ処理により、さらなる分析を適用する前に、より大きな測定誤差を除去することができ、平滑化された曲線が得られる。さらに、図８のグラフから、加熱段階４２における顔の皮膚温度の上昇傾向、冷却段階４４における顔の皮膚温度の低下傾向、および定常状態段階４６における顔の皮膚温度の比較的安定した傾向を観察することができる。当業者は、他の同様の実験が他の結果をもたらし得ることを理解するであろう。加熱段階４２、冷却段階４４、および定常状態段階４６の環境条件を表１に要約する。

人間の居住者の熱的快適性を推定するステップは、抽出された顔の皮膚温度を使用し、異なる実施形態において異なる方法で実行することができる。一実施形態では、熱的快適性嗜好の予測または推定は、居住者の嗜好が３つのカテゴリ値、すなわち、より暖かい、より冷たい、および中立である分類問題に変換することができる。ここで、快適性予測モデルは次TC=(T_facial∇_facial)のように定式化することができ、式中、TCは目標とする可変熱的快適性であり、(T_facial∇_facial)は各顔領域から抽出された顔の皮膚温度特徴および対応する勾配である。熱的快適性を分類する方法には、サポートベクターマシン、分類木、ランダムフォレストなどの機械学習方法が含まれる。本実施形態では、ランダムフォレスト法が採用されている。一般に、ランダムフォレスト法は、決定木の大きな集合を平均化することによってオブジェクトを分類するアンサンブル法である。本方法は、アグリゲーションを適用し、決定木から導入されるオーバーフィッティング問題を低減することができる。前述のように、例では、モデルトレーニング目的のために合計２６個の特徴が考慮された。ランダムフォレスト法は、トレーニングデータの分散を低減するために、分割ごとに２６個のトレーニング特徴をランダムにサンプリングする理想的な方法であることが分かっている。さらに、この実施形態では、個人向けモデルを開発するために、快適性予測モデルを各居住者の顔の皮膚温度データセットでトレーニングした。Ｐｙｔｈｏｎプログラミング言語のｓｃｉｋｉｔ－ｌｅａｒｎマシンラーニングライブラリを使用して、ランダムフォレストモデルをトレーニングした。性能最適化（すなわち、’ｎ＿ｅｓｔｉｍａｔｏｒｓ’：［３００，５００，７００，１０００］、’ｍａｘ＿ｆｅａｔｕｒｅｓ’：［’ａｕｔｏ’，’ｓｑｒｔ’，’ｌｏｇ２’］、’ｍａｘ＿ｄｅｐｔｈ’：［２，３，４，５］）のための各構成の精度を評価するために、グリッド探索を通じてハイパーパラメータを調整した。推定器において許容される特徴の最大数および最大ツリー深度は、オーバーフィッティングの問題を低減するために、より小さいサイズで制御された。図９は、居住者の５００個の分類木を有する例示的なランダムフォレスト構造を示す図である。この例では、各ツリーは、最大深度３および最大５個の特徴を有することができる。

各居住者の個人向け快適性予測モデルの最適なハイパーパラメータを表２に示す。

各居住者（すなわち、対象）について、３つの予測モデル、すなわち冷却段階で収集された温度データを用いて作成した冷却段階のモデル（表２に「冷却」と示す）、加熱段階で収集された温度データを用いて作成した加熱段階のモデル（表２に「加熱」と示す）、および３つすべての段階からの温度データを用いて作成した一般モデル（表２に「一般」と示す）を評価した。定常状態段階のモデルは、居住者の熱的嗜好がその段階全体にわたって概して変化しなかったため、作成しなかった。

ハイパーパラメータを調整した後、快適性予測モデルの予測精度を評価するために、１０倍の交差検証を行った。各居住者の個人向け快適性予測モデルの予測精度を表３に示す。

平均して、選択された顔の皮膚温度特徴を使用することにより、個人向け方法は、居住者の熱的快適性嗜好を予測する際に８５．０％の精度を達成することができ、冷却段階で９１．６％および加熱段階で９２．７％のより高い精度を達成することができる。

この実施形態の例では、熱的快適性予測に最も適した特徴を特定するために、選択された顔の皮膚温度の特徴を、損失関数を最小化するための寄与に従ってランク付けした。各居住者に最も適した５つの特徴を表４に示す。

適切な特徴は、居住者に依存することが観察され得る。さらに、特徴はデータ駆動型であり、経時的に異なる環境および空間でより多くの温度データが収集されるにつれて変化および発展し得る。

推定された熱的快適性に部分的またはそれ以上に基づいて構築空間１８のＨＶＡＣを制御するステップは、異なる実施形態において異なる方法で実行することができる。一実施形態では、熱的設定点は、構築空間１８の設定点最適化アルゴリズムを使用して決定される。設定値最適化アルゴリズムには、マルコフ決定プロセス（ＭＤＰ）として知られるものを用いることができる。ＭＤＰは、その決定プロセスにおいて顔の皮膚温度の時変特性を考慮に入れることができる。図１０は、ＭＤＰを使用する設定点最適化プロセスの概略図である。一般に、ＭＤＰは、各決定時間ステップにおけるシステムの状態に基づいて確率的システムを制御するための逐次的な決定プロセスである。以前から知られている手法とは異なり、ＭＤＰは、現在の熱的設定点の調整が居住者の将来の熱的快適性にどのように影響を与えるかを組み込んでおり、ＭＤＰは、現在および予測される将来の快適性レベルの両方に基づいて最適な設定点を動的に決定する。

この実施形態における熱的設定点を決定するために、熱的快適性レベルを表すシステム状態が定義される。一例として、単一の居住者を有する構築空間の場合、居住者の予測された熱的快適性嗜好（すなわち、より温かい、より冷たい、または中立）がシステム状態として採用される。一方、複数の居住者を有する構築空間では、部分的に観測されたマルコフ決定プロセスを使用し、システム状態を、その成分が各熱的快適性嗜好カテゴリ内の居住者の部分であるベクトルとして定義することによって、問題を定式化することができる。さらに図１０を参照すると、この例では、より温かい、より冷たい、および中立の３つの熱的快適性嗜好カテゴリでは、Ｓ_ｔで示される時間ｔにおけるシステム状態は、より温かい、より冷たい、および中立状態の居住者の割合のベクトル、すなわちＳ_ｔ＝［％加温、％冷却、％中立］になる。さらに、単一居住者および複数居住者の構築空間の両方において、将来のシステム状態（Ｓ_ｔ＋１）は、上述した快適性予測モデルを使用して、現在の状態（Ｓ_ｔ）および熱的設定点（ａ_ｔ）に基づいて予測することができる。

さらに、システム状態を、その報酬関数ｒ_ｔに関連付けることができる。報酬を定量化するための複数の選択肢が考えられ得る。例えば、複数居住者の構築空間では、報酬関数は、快適な居住者の部分、すなわち％中立であり得る。別の代替案は、熱的快適性嗜好の各部分に異なる重みを割り当て、重み付き和を使用することであり、例えば、より大きな重みを中立に与え、続いてより暖かくし、その後冬の間はより冷たくすることができる。エネルギーの過剰使用を最小限に抑えるために、エネルギー使用量も報酬関数に組み込むことができる。

この実施形態では、各決定時点において、残りの運転時間中に総報酬を最大化する目的で、熱的設定点ａ_ｔを決定することができる。ここで、設定点ａ_ｔは、総熱的不快時間を最小にするように、全時間間隔中の総熱的快適性レベルを最大にすることに基づいて決定することができる。具体的には、この例では、時間ｔにおいて、

を最大化することができる最適な熱的設定点ａ_ｔを見つけることができ、式中、v_t(S_ta_t)は、最後の決定エポックまでの総報酬を表し、Ｔ（例えば、１日の営業時間の終わり）およびδ_t（＜１）は、将来の予測不確実性を説明する割引係数である。最適な熱的設定点ａ_ｔを見つける際に、毎回行うことができる最小の変化であるために以前の設定からａ±１℃の温度変化を考慮することができ、より急激な温度変化を回避することができる。しかし、いくつかの実施形態では、より大きな温度変化（例えば±２℃以上）が適切であり得る。

さらに、この実施形態では、後ろ向き動的計画法または方策反復手順を使用して、最適な熱的設定点を見つけることができる。時間ｔにおいて、現在の状態Ｓ_ｔおよび将来の状態の予測される軌跡に基づいて、v_t(S_ta_t)を最小化する最適な熱的設定点ａ_ｔを決定することができる。次に、時間ｔ＋１において、更新された状態情報Ｓ_ｔ＋１を用いて、v_t+1(S_t+1,a_t+1)を最小化するように熱的設定点ａ_ｔ＋１を調整することができる。プロセスは、最後の決定エポックＴまで継続することができる。２つの連続する決定エポックＴ間の決定間隔、または時間の経過は、異なる実施形態において異なる場合があり、一実施形態では、例えば決定間隔は３０分であり得、他の実施形態では、決定間隔は３０分を超えるか、または３０分より短い可能性がある。

前述の説明は、本発明の１つまたは複数の好ましい例示的な実施形態のものであることを理解されたい。本発明は、本明細書に開示された特定の実施形態に限定されず、むしろ、以下の特許請求の範囲によってのみ定義される。さらに、前述の説明に含まれる記述は、特定の実施形態に関連し、用語または句が上記で明確に定義されている場合を除いて、本発明の範囲または特許請求の範囲で使用される用語の定義に対する限定として解釈されるべきではない。開示された実施形態に対する様々な他の実施形態および様々な変更および修正が当業者には明らかになるであろう。そのような他の実施形態、変更、および修正はすべて、添付の特許請求の範囲内に入ることが意図されている。

本明細書および特許請求の範囲で使用される場合、用語「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」、「例えば（ｅ．ｇ．）」、「例えば（ｆｏｒ ｉｎｓｔａｎｃｅ）」、および「など（ｓｕｃｈ ａｓ）」、ならびに動詞「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、およびそれらの他の動詞形は、１つまたは複数の構成要素または他の項目の列挙と組み合わせて使用される場合、それぞれオープンエンドとして解釈されるべきであり、列挙が他の追加の構成要素または項目を除外するものと見なされるべきではないことを意味する。他の用語は、異なる解釈を必要とする文脈で使用されない限り、それらの最も広い合理的な意味を使用して解釈されるべきである。

Claims (20)

1. 少なくとも１つのサーモグラフィカメラと少なくとも１つの赤、緑、および青の深度（ＲＧＢ－Ｄ）センサを使用して、構築空間内の少なくとも１人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
   前記構築空間に前記少なくとも１つのサーモグラフィカメラを設け、前記構築空間に前記少なくとも１つのＲＧＢ－Ｄセンサを設けるステップと、
   前記少なくとも１つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込み、前記少なくとも１つのＲＧＢ－Ｄセンサを介して前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップと、
   前記取り込まれた熱画像および前記取り込まれたＲＧＢ－Ｄ画像を使用して前記少なくとも１人の人間の居住者の顔の皮膚温度を抽出するステップであって、顔の皮膚温度を抽出するステップが、前記取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を登録することを含む、抽出するステップと、
   前記少なくとも１人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも１人の人間の居住者の熱的快適性を推定するステップと、
   を含む、方法。
2. 前記少なくとも１人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調（ＨＶＡＣ）を制御するステップをさらに含む、請求項１に記載の方法。
3. 前記構築空間の前記ＨＶＡＣを制御するステップが、前記少なくとも１人の人間の居住者の前記推定された熱的快適性に基づいて前記構築空間の熱的設定点を決定することを含む、請求項２に記載の方法。
4. 前記少なくとも１つのサーモグラフィカメラを前記構築空間に設けるステップが、前記構築空間に複数のサーモグラフィカメラを設けることを含み、前記少なくとも１つのＲＧＢ－Ｄセンサを前記構築空間に設けるステップが、前記構築空間に複数のＲＧＢ－Ｄセンサを設けることを含み、前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、前記複数のサーモグラフィカメラを介して前記構築空間内の複数の人間の居住者の熱画像を取り込むことを含み、前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、前記複数のＲＧＢ－Ｄセンサを介して前記構築空間内の複数の居住者のＲＧＢ－Ｄ画像を取り込むことを含む、請求項１に記載の方法。
5. 前記構築空間に前記少なくとも１つのサーモグラフィカメラを設けるステップが、前記構築空間に複数のサーモグラフィカメラを設けることを含み、前記構築空間に前記少なくとも１つのＲＧＢ－Ｄセンサを設けるステップが、前記構築空間に複数のＲＧＢ－Ｄセンサを設けることを含み、前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、前記複数のサーモグラフィカメラを介して複数の人間の居住者の熱画像を取り込むことを含み、前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、前記複数のＲＧＢ－Ｄセンサを介して前記複数の人間の居住者のＲＧＢ－Ｄ画像を取り込むことを含み、前記方法が、前記複数のサーモグラフィカメラ間および前記複数のＲＧＢ－Ｄセンサ間で前記複数の人間の居住者を登録するステップをさらに含む、請求項１に記載の方法。
6. 前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、前記少なくとも１つのサーモグラフィカメラに対する前記少なくとも１人の人間の居住者の様々な距離から前記熱画像を取り込むことを含み、前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、前記少なくとも１つのＲＧＢ－Ｄセンサに対する前記少なくとも１人の人間の居住者の様々な距離から前記ＲＧＢ－Ｄ画像を取り込むことを含む、請求項１に記載の方法。
7. 前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、前記少なくとも１つのサーモグラフィカメラに対する前記少なくとも１人の人間の居住者の様々な角度から前記熱画像を取り込むことを含み、前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、前記少なくとも１つのＲＧＢ－Ｄセンサに対する前記少なくとも１人の人間の居住者の様々な角度から前記ＲＧＢ－Ｄ画像を取り込むことを含む、請求項１に記載の方法。
8. 顔の皮膚温度を抽出するステップが、前記少なくとも１つのＲＧＢ－Ｄセンサを介して前記構築空間内の前記少なくとも１人の人間の居住者の存在を検出することを含む、請求項１に記載の方法。
9. 前記取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を登録するステップが、前記取り込まれたＲＧＢ－Ｄ画像内の座標を前記取り込まれた熱画像上に配置することを含む、請求項１に記載の方法。
10. 前記構築空間内の前記少なくとも１人の人間の居住者の熱的快適性を推定するステップが、より暖かい熱的快適性嗜好、より冷たい熱的快適性嗜好、または中立の熱的快適性嗜好を推定することを含む、請求項１に記載の方法。
11. 顔の皮膚温度を抽出するステップが、前記少なくとも１つのサーモグラフィカメラから提供された温度データを用いて前記少なくとも１つのＲＧＢ－Ｄセンサから提供された距離データを使用することを含む、請求項１に記載の方法。
12. 前記構築空間が輸送車両内にある、請求項２に記載の方法。
13. 少なくとも１つのサーモグラフィカメラと少なくとも１つの赤、緑、および青の深度（ＲＧＢ－Ｄ）センサを使用して、構築空間内の少なくとも１人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
    前記少なくとも１つのサーモグラフィカメラに対する前記少なくとも１人の人間の居住者の様々な距離および様々な角度から前記少なくとも１つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込み、前記少なくとも１つのＲＧＢ－Ｄセンサに対する前記少なくとも１人の人間の居住者の様々な距離および様々な角度から前記少なくとも１つのＲＧＢ－Ｄセンサを介して前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップと、
    前記取り込まれた熱画像および前記取り込まれたＲＧＢ－Ｄ画像を使用して前記少なくとも１人の人間の居住者の顔の皮膚温度を抽出し、前記少なくとも１つのＲＧＢ－Ｄセンサから提供された距離データを前記少なくとも１つのサーモグラフィカメラから提供された温度データと共に使用するステップと、
    前記少なくとも１人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも１人の人間の居住者の熱的快適性を推定するステップと、
    を含む、方法。
14. 前記少なくとも１人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調（ＨＶＡＣ）を制御するステップをさらに含む、請求項１３に記載の方法。
15. 前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、複数のサーモグラフィカメラを介して前記構築空間内の複数の人間の居住者の熱画像を取り込むことを含み、前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、複数のＲＧＢ－Ｄセンサを介して前記構築空間内の複数の居住者のＲＧＢ－Ｄ画像を取り込むことを含む、請求項１３に記載の方法。
16. 前記少なくとも１人の人間の居住者の熱画像を取り込むステップが、複数のサーモグラフィカメラを介して複数の人間の居住者の熱画像を取り込むことを含み、前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップが、複数のＲＧＢ－Ｄセンサを介して前記複数の人間の居住者のＲＧＢ－Ｄ画像を取り込むことを含み、前記方法が、前記複数のサーモグラフィカメラ間および前記複数のＲＧＢ－Ｄセンサ間で前記複数の人間の居住者を登録するステップをさらに含む、請求項１３に記載の方法。
17. 顔の皮膚温度を抽出するステップが、前記取り込まれた熱画像および取り込まれたＲＧＢ－Ｄ画像を登録することを含む、請求項１３に記載の方法。
18. 少なくとも１つのサーモグラフィカメラと少なくとも１つの赤、緑、および青の深度（ＲＧＢ－Ｄ）センサを使用して、構築空間内の少なくとも１人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
    前記少なくとも１つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも１人の人間の居住者の熱画像を取り込み、前記少なくとも１つのＲＧＢ－Ｄセンサを介して前記構築空間内の前記少なくとも１人の人間の居住者のＲＧＢ－Ｄ画像を取り込むステップと、
    前記取り込まれた熱画像および前記取り込まれたＲＧＢ－Ｄ画像を使用して前記少なくとも１人の人間の居住者の顔の皮膚温度を抽出するステップであって、顔の皮膚温度を抽出するステップが、前記取り込まれたＲＧＢ－Ｄ画像の座標を前記取り込まれた熱画像上に配置することを含む、抽出するステップと、
    前記少なくとも１人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも１人の人間の居住者の熱的快適性を推定するステップと、
    前記少なくとも１人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調（ＨＶＡＣ）を制御するステップと、
    を含む、方法。
19. 前記取り込まれた熱画像を使用して、前記構築空間内の人間の居住者の総数を決定するステップをさらに含む、請求項１８に記載の方法。
20. 請求項１３に記載の方法を実行する命令を格納した非一時的データ記憶装置を含む非一時的コンピュータ可読媒体。

Images