JP2017195454A - 監視装置、監視方法、およびプログラム - Google Patents

Abstract

【課題】監視対象の空間における人に関する情報を、より簡単に生成するための技術を提供する。【解決手段】本発明に係る監視装置（１）は、熱画像センサ（４＿１〜４＿ｘ）から単位熱画像（４０＿１〜４０＿ｘ）を取得する画像取得部（１０）と、前記画像取得部によって取得した単位熱画像に基づいて、監視対象の空間の２次元的な温度分布を表す熱画像データ（１５０）を生成する画像処理部（１１）と、熱画像データに基づいて、熱画像センサの画素毎に温度の最大値を算出する最大温度算出部（１２）と、熱画像データに基づいて、画素毎に温度の最小値を算出する最小温度算出部（１３）と、画素毎に、温度の最大値と温度の最小値との差分を、画素毎に算出する差分温度算出部（１４）とを有することを特徴とする。【選択図】図１

Description

本発明は、人を監視するための監視装置、監視方法、およびプログラムに関し、例えば熱画像センサによって取得した熱画像に基づいて人を監視する監視装置に関する。

人を監視するための監視装置として、監視カメラの画像に基づいて人を検知する監視装置が従来から知られている（特許文献１参照）。

特開２０１４−２２９０６８号公報

しかしながら、従来の監視カメラの画像から人を検知する監視装置では、以下に示す課題がある。
監視カメラのような通常のカメラで人を撮影した場合、日照条件、照明条件、および人の服装等の外的要因によって画像が変化することから、そのような変化する画像の中から人を正確に検知するためには複雑な処理が必要となる。例えば、撮影環境や服装等の変化によらず不変な人の特徴量を予め定義しておき、その定義した特徴量を取得した画像から検出するための検出処理を行う必要がある。このように、監視カメラを用いた監視装置では、日照条件や照明条件等の外的要因によらずに人を正確に検知するためのシステム構成が複雑になるという課題がある。

また、今後、従来の監視装置のように監視対象の空間における人の有無を検知する技術だけではなく、監視対象の空間における人の移動範囲の情報等の人に関する様々な情報を自動的に収集する技術が必要になると、本願発明者は考えた。

本発明は、上記の問題に鑑みてなされたものであり、本発明の目的は、監視対象の空間における人に関する情報を、より簡単に生成するための技術を提供することにある。

本発明に係る監視装置（１，１Ａ）は、熱画像センサ（４＿１〜４＿ｘ）から単位熱画像（４０＿１〜４０＿ｘ）を取得する画像取得部（１０）と、前記画像取得部によって取得した単位熱画像に基づいて、監視対象の空間の２次元的な温度分布を表す熱画像データ（１５０）を生成する画像処理部（１１）と、画像取得部によって繰り返し取得した前記単位熱画像に基づいて生成された時系列の熱画像データに基づいて、熱画像センサの画素毎に温度の最大値を算出する最大温度算出部（１２）と、画像取得部によって繰り返し取得した前記単位熱画像に基づいて生成された時系列の熱画像データに基づいて、画素毎に温度の最小値を算出する最小温度算出部（１３）と、画素毎に、温度の最大値と温度の最小値との差分を、画素毎に算出する差分温度算出部（１４）とを有することを特徴とする。

上記監視装置（１Ａ）において、差分温度算出部によって繰り返し算出した差分の平均値を、画素毎に算出する平均温度算出部（１７）を更に有してもよい。

上記監視装置において、最大温度算出部は、画素毎に、所定期間（Ｔ１）における時系列の熱画像データに含まれる上位Ｌａ（Ｌａは２以上の整数）個の温度の平均値に基づいて温度の最大値を算出してもよい。

上記監視装置において、最大温度算出部は、加重平均により上位Ｌａ個の温度の平均値を算出してもよい。

上記監視装置において、最大温度算出部は、画素毎に、所定期間における時系列の熱画像データに含まれる上位Ｌｃ（Ｌｃは２以上の整数）個の温度を除いた残りの温度に基づいて、温度の最大値を算出してもよい。

上記監視装置において、最大温度算出部は、画素毎に、所定期間における時系列の熱画像データに含まれる第１閾値よりも大きい温度に基づいて、温度の最大値を算出してもよい。

上記監視装置において、最小温度算出部は、画素毎に、所定期間における時系列の熱画像データに含まれる下位Ｌｂ（Ｌｂは２以上の整数）個の温度の平均値を算出し、温度の最小値としてもよい。

上記監視装置において、最小温度算出部は、加重平均により下位Ｌｂ個の温度の平均値を算出してもよい。

上記監視装置において、最小温度算出部は、画素毎に、所定期間における時系列の熱画像データに含まれる下位Ｌｄ（Ｌｄは２以上の整数）個の温度を除いた温度に基づいて、温度の最小値を算出してもよい。

上記監視装置において、最小温度算出部は、画素毎に、所定期間における時系列の熱画像データに含まれる第２閾値よりも小さい温度に基づいて、温度の最小値を算出してもよい。

なお、上記説明では、一例として、発明の構成要素に対応する図面上の参照符号を括弧を付して記載している。

以上説明したことにより、本発明によれば、監視対象の空間における人に関する情報を、より簡単に生成することが可能となる。

実施の形態１に係る監視装置を含む監視システムの構成を示す図である。 空間における複数の熱画像センサの配置例を示す図である。 熱画像センサの設置例を示す図である。 ある時刻における熱画像の一例を示す図である。 一つの熱画像センサから出力された熱画像データとその熱画像データに含まれる画素毎の単位画素データを説明するための図である。 熱画像センサの別の設置例を示す図である。 熱画像センサの別の設置例を示す図である。 熱画像センサの別の設置例を示す図である。 空間３０全体の最大温度データに基づく熱画像の一例を示す図である。 空間３０全体の最小温度データに基づく熱画像の一例を示す図である。 実施の形態１に係る監視装置による処理手順を示したフローチャートである。 空間３０全体の差分温度データに基づく熱画像の一例を示す図である。 実施の形態２に係る監視装置を含む監視システムの構成を示す図である。 実施の形態２に係る監視装置による処理手順を示したフローチャートである。 空間３０全体の平均温度データに基づく熱画像の一例を示す図である。

以下、本発明の実施の形態について図を参照して説明する。

≪実施の形態１≫
（１）監視システム
図１は、本発明の一実施の形態に係る監視装置を含む監視システムの構成を示す図である。
図１に示される監視システム１００は、建物内に設置された熱画像センサによって取得された熱画像に基づいて、建物内に存在する人を監視するシステムである。

具体的に、監視システム１００は、ビルや工場等の建物３に設置された複数の熱画像センサ４＿１〜４＿ｘ（ｘは２以上の整数）と、監視装置１と、表示装置２とから構成されている。

（２）熱画像センサ
熱画像センサ４＿１〜４＿ｘは、二次元的に配列されて、建物３内の監視対象の空間３０の２次元的な温度分布を表す熱画像を取得する機器である。具体的に、熱画像センサ４＿１〜４＿ｘは、夫々、所定のエリアの２次元的な温度分布を非接触で検出する赤外線検出センサである。本実施の形態では、個々の熱画像センサ４＿１〜４＿ｘがサーモパイルアレイセンサであるとして説明する。

ここで、サーモパイルアレイセンサは、熱電対より構成され、赤外線を検出する熱電変換素子（赤外線センサ）であるサーモパイルが複数２次元に配列されたセンサである。熱画像センサ４＿１〜４＿ｘとして、ｘ個のサーモパイルアレイセンサを天井等に二次元的に配列することによって監視対象の空間３０の２次元的な温度分布を把握することが可能となる。

本実施の形態では、一例として、一つの熱画像センサ４＿１が、３２×３１個のサーモパイルから構成され、各サーモパイルが一つの画素を夫々構成しているものとする。

図２は、監視対象の空間３０における熱画像センサ４＿１〜４＿ｘの配置例を示す図である。
ここで、空間３０は、例えば、建物３内の１フロア全体であってもよいし、一つのフロアにおける特定の領域（例えば、１つ居室または複数の居室）であってもよい。
図２に示されるように、建物３内の監視対象の空間３０を熱画像センサ４＿１〜４＿ｘの数と同じ複数のエリア３００＿１〜３００＿ｘに分割した場合、複数の熱画像センサ４＿１〜４＿ｘは、エリア３００＿１〜３００＿ｘ毎に対応して設けられる。熱画像センサ４＿１〜４＿ｘは、夫々対応する監視対象のエリア３００＿１〜３００＿ｘの熱画像４０＿１〜４０＿ｘを夫々生成する。以下、各熱画像センサ４＿１〜４＿ｘから出力される熱画像４０＿１〜４０＿ｘを、単位熱画像４０＿１〜４０＿ｘということがある。

図２には、一例として、空間３０を２２行６列に分割し、分割された各エリア３００＿１〜３００＿ｘに１つずつ熱画像センサ４＿１〜４＿ｘを配置した場合が示されている。

図３は、熱画像センサ４＿１〜４＿ｍの設置例を示す図である。
ある熱画像センサ４＿１〜４＿ｍは、空間３０のエリア３００における天井や壁面等に設置される。例えば、図３に示すように、熱画像センサ４＿１〜４＿ｘは、その撮像面４Ａが地面（床面）３００Ｂと対向する向きに、建物３の天井３００Ａの表面に設置されることが好ましい。また、各熱画像センサ４＿１〜４＿ｘの撮像面４Ａと地面（床面）３００Ｂとの距離が夫々等しくなるように、各熱画像センサ４＿１〜４＿ｘを設置することが好ましい。

上記のように熱画像センサ４＿１〜４＿ｘを設置することにより、監視対象の空間３０内の各エリア３００＿１〜３００＿ｘの下方空間における２次元的な温度分布をもれなく検出できる。

図４は、熱画像センサによって撮影された熱画像の一例を示す図である。
図４には、ある時刻において、熱画像センサ４＿１〜４＿ｘとしての“６×２２”個のサーモパイルアレイセンサによって撮影された居室の熱画像が示されている。
同図の熱画像では、色が白色に近づくほど、温度が高いことを表している。すなわち、熱画像を構成する画素の輝度が高いほど、対応する領域の温度が高いことを表している。一般に、オフィス等の居室の場合、その居室内に存在する人が最も高い温度を示す傾向がある。例えば、図４における参照符号４１等の白色部分は、人が存在することを示している。

図４における点線で囲まれた領域４０の画像は、一つの熱画像センサ４＿１〜４＿ｘから出力された熱画像である。

図５は、一つの熱画像センサから出力された熱画像とその熱画像に含まれる画素毎の単位画素データを説明するための図である。

図５に示されるように、一つの熱画像センサ４＿１〜４＿ｍから出力された単位熱画像４０＿１〜４０＿ｘには、その熱画像センサ４＿１〜４＿ｍを構成する夫々のサーモパイルに入力した赤外線量の強度に応じた値を示す単位画素データ４００が含まれている。
すなわち、１つの熱画像センサ４＿１〜４＿ｍが３２×３１個の画素（サーモパイル）を有するサーモパイルアレイセンサである場合、１つの熱画像センサ４＿１〜４＿ｍから出力される１つの単位熱画像４０は、順序付けられた３２×３１個の単位画素データ４００から構成され、熱画像センサ４＿１〜４＿ｘから出力される夫々の熱画像４０＿１〜４０＿ｘを合成することにより、図４に示されるような空間３０全体の２次元的な温度分布を示す熱画像データ１５０が生成される。
なお、以下の説明では、監視対象の空間３０の２次元的な温度分布を表す熱画像データ１５０を「空間３０の熱画像データ１５０」ということがある。

熱画像センサ４＿１〜４＿ｘは、例えば、単位時間毎に、対応するエリア３００＿１〜３００＿ｘを含む領域の熱画像４０＿１〜４０＿ｘを夫々生成する。熱画像センサ４＿１〜４＿ｘは、例えば、建物３内に設置されたサーバ（図示せず）に接続され、上記サーバを介して無線または有線により、熱画像４０＿１〜４０＿ｘを監視装置１に送信する。例えば、各熱画像センサ４＿１〜４＿ｘは、１分間に３００枚の単位熱画像４０＿１〜４０＿ｘを生成し、それらを上記サーバを介して監視装置１に送信する。

（３）監視装置１
監視装置１は、熱画像センサ４＿１〜４＿ｘによって生成された単位熱画像４０＿１〜４０＿ｘに基づいて、監視対象の空間３０に存在する人に関する情報を生成する装置である。監視装置１は、例えば、建物３内の中央管理室や、建物３を含む複数のビルや工場等の施設を監視するビル管理システムにおける中央管理室等に設置される。

本実施の形態において、監視装置１は、空間３０内に存在する人に関する情報として、空間３０における所定期間の人の移動範囲を示す情報、すなわち空間３０における所定期間の人の軌跡を示す情報を生成する。以下、監視装置１について詳細に説明する。

図１に示すように、監視装置１は、画像取得部１０、画像処理部１１、最大温度算出部１２、最小温度算出部１３、差分温度算出部１４、記憶部１５、および表示制御部１６を有している。

監視装置１は、例えば、ハードウェア資源であるコンピュータと、このコンピュータにインストールされたプログラムとから実現される。より具体的には、上記コンピュータは、ＣＰＵ等のプログラム処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ、およびＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶装置と、キーボード、マウス、ポインティングデバイス、操作ボタン、およびタッチパネル等の外部から情報を入力するための入力装置と、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線を介して各種情報の送受信を有線または無線で行うための通信装置とを備えたＰＣ等である。

すなわち、上記のハードウェア資源がプログラムによって制御されることにより、上述した、画像取得部１０、画像処理部１１、最大温度算出部１２、最小温度算出部１３、差分温度算出部１４、記憶部１５、および表示制御部１６が実現される。なお、上記プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供されるようにしてもよいし、ネットワークを介して監視装置１内の記憶装置に記憶されてもよい。

画像取得部１０は、各熱画像センサ４＿１〜４＿ｘよって撮影された空間３０の熱画像４０＿１〜４０＿ｘを取得する機能部である。画像取得部１０は、各熱画像センサ４＿１〜４＿ｘによって単位時間毎に取得された熱画像４０＿１〜４０＿ｘを順次取得する。

画像処理部１１は、画像取得部１０によって取得した各熱画像センサ４＿１〜４＿ｘの単位熱画像４０＿１〜４０＿ｘに基づいて、監視対象の空間３０の２次元的な温度分布を表す熱画像データ１５０を生成する。例えば、熱画像データ生成部１１は、取得した単位熱画像４０＿１〜４０＿ｘを合成する等の画像処理を行うことにより、空間３０全体を表す１つの熱画像を生成し、熱画像データ１５０とする。

上記画像処理としては、単位熱画像４０＿１〜４０＿ｘを合成する処理に加えて、熱画像センサの設置場所の情報に基づいて各単位熱画像４０＿１〜４０＿ｎに含まれる監視対象物のサイズを正規化する処理を含んでもよい。

例えば、図６Ａに示すように、熱画像センサ４が設置される天井３００Ａの高さが均一でない場合には、上記高さが高くなるほど監視対象物（例えば人）が小さく見えることになる。この場合には、画像処理部１１は、各熱画像センサ４＿１〜４＿ｘの地面からの高さの情報に基づいて、対象の単位熱画像４０＿１〜４０＿ｘに対して倍率を調整することで各単位熱画像４０＿１〜４０＿ｘに含まれる監視対象物のサイズを正規化し、正規化した単位熱画像４０＿１〜４０＿ｘに基づいて熱画像データ１５０を生成すればよい。

また、図６Ｂに示すように、監視対象の空間３０における地面３００Ｂの高さが均一でない場合（例えば、映画館やスタジアム等）には、地面３００Ｂの高さが高くなるほど、監視対象物が大きく見えることになる。この場合には、図ｘの場合と同様に、画像処理部１１は、各熱画像センサ４＿１〜４＿ｘの地面からの高さの情報（監視対象のエリア３０における建物の構造に関する情報）に基づいて、対象の単位熱画像４０＿１〜４０＿ｘに対して倍率を調整することで各単位熱画像４０＿１〜４０＿ｘに含まれる監視対象物のサイズを正規化し、正規化した単位熱画像４０＿１〜４０＿ｘに基づいて熱画像データ１５０を生成すればよい。

更に、図６Ｃに示すように、熱画像センサ４の撮像面４Ａが均一でない場合には、撮像面４Ａの地面３００Ｂに対する角度によって、監視対象物の見え方が変わることになる。この場合には、画像処理部１１は、各熱画像センサ４＿１〜４＿ｘの撮像面４Ａの向き（撮像面４Ａの地面３００Ｂに対する角度）の情報に基づいて、対象の単位熱画像４０＿１〜４０＿ｘに対して射影変換を行うことで各単位熱画像４０＿１〜４０＿ｘに含まれる監視対象物のサイズを正規化し、正規化した単位熱画像４０＿１〜４０＿ｘに基づいて熱画像データ１５０を生成すればよい。

以上のように、画像処理部１１は、必要に応じて、各熱画像センサ４＿１〜４＿ｘの地面からの高さの情報、各熱画像センサ４＿１〜４＿ｘの撮像面４Ａの向きの情報、および監視対象のエリア３０における建物の構造の情報等の“熱画像センサの設置場所の情報”に基づいて、単位熱画像４０＿１〜４０＿ｘに含まれる監視対象物のサイズを正規化し、正規化した単位熱画像４０＿１〜４０＿ｘに基づいて熱画像データ１５０を生成してもよい。

記憶部１５は、監視装置１が人に関する情報を生成するための各種データを記憶する機能部である。例えば、記憶部１５には、上述した単位画像データ４０＿１〜４０＿ｘや時系列の熱画像データ１５０に加えて、後述する最大温度データ１５１、最小温度データ１５２、および差分温度データ１５３等が記憶される。

最大温度算出部１２は、画像取得部１０によって所定期間内に取得した単位画像データ４０＿１〜４０＿ｘに基づいて生成された時系列の熱画像データ１５０に基づいて、熱画像センサ４＿１〜４＿ｘの画素毎に、温度の最大値を算出する機能部である。

具体的に、最大温度算出部１２は、熱画像センサ４＿１〜４＿ｘの画素毎に、期間Ｔ１内に撮影された単位熱画像４０＿１〜４０＿ｘから生成した時系列のＮ枚の空間３０の熱画像データ１５０に含まれる最大の温度（輝度）を検出し、検出した温度を最大温度とする。より具体的には、最大温度算出部１２は、期間Ｔ１内に撮影された単位熱画像４０＿１〜４０＿ｘから生成した時系列のＮ枚の熱画像データ１５０の中から、熱画像センサ４＿１〜４＿ｘの画素毎に、温度（輝度）が最も高い単位画素データ４００を選択する。

例えば、Ｔ１＝１〔分〕、Ｎ＝３００とし、１つの熱画像センサ４＿１〜４＿ｘが３２×３１個の画素を有するサーモパイルアレイセンサから構成されている場合、最大温度算出部１２は、３２×３１（＝９９２）個の画素のうちｐ（１≦ｐ≦９９２の整数）番目の画素について、１分間に生成された３００枚の熱画像データ１５０の中で２０枚目の熱画像データ１５０が最も高い温度を示している場合には、２０枚目の熱画像データ１５０に含まれるｐ番目の画素の単位画素データ４００＿１を選択する。また、最大温度算出部１２は、ｓ（１≦ｐ≦９９２の整数，ｓ≠ｐ）番目の画素について、１分間に生成された３００枚の熱画像データ１５０のうち、１５０枚目の熱画像データ１５０が最も高い温度を示している場合には、１５０枚目の熱画像データ１５０に含まれるｓ番目の画素の単位画素データ４００＿２を選択する。

このように、最大温度算出部１２は、画素毎に最大温度を示す単位画素データ４００を選択し、それらを順序付けて合成することにより、図７に示すような、空間３０の最大温度の熱画像データ（以下、「最大温度データ」と称する。）１５１を生成し、記憶部１５に記憶する。

最小温度算出部１３は、最大温度算出部１２とは逆に、画像取得部１０によって所定期間内に取得した単位画像データ４０＿１〜４０＿ｘに基づいて生成された時系列の熱画像データ１５０に基づいて、熱画像センサ４＿１〜４＿ｘの画素毎に、温度の最小値を算出する機能部である。

具体的に、最小温度算出部１３は、熱画像センサ４＿１〜４＿ｘの画素毎に、期間Ｔ１内に撮影された単位熱画像４０＿１〜４０＿ｘから生成した時系列のＮ枚の空間３０の熱画像データ１５０に含まれる最小の温度（輝度）を検出し、検出した温度を最小温度とする。より具体的には、最小温度算出部１３は、期間Ｔ１内に撮影された単位熱画像４０＿１〜４０＿ｘから生成した時系列のＮ枚の熱画像データ１５０の中から、熱画像センサ４＿１〜４＿ｘの画素毎に、温度（輝度）が最も低い単位画素データ４００を選択する。

上述した最大温度算出部１２と同様の例の場合、最小温度算出部１３は、ｐ番目の画素について、１分間に生成された３００枚の熱画像データ１５０の中で１００枚目の熱画像データ１５０が最も低い温度を示している場合には、１００枚目の熱画像データ１５０に含まれるｐ番目の画素の単位画素データ４００＿１を選択する。また、最小温度算出部１３は、ｓ番目の画素について、１分間に生成された３００枚の熱画像データ１５０の中で４０枚目の熱画像データ１５０が最も低い温度を示している場合には、４０枚目の熱画像データ１５０に含まれるｓ番目の画素の単位画素データ４００＿２を選択する。

このように、最小温度算出部１３は、画素毎に最小温度を示す単位画素データ４００を選択し、それらを順序付けて合成することにより、図８に示すような、空間３０の最小温度の熱画像データ（以下、「最小温度データ」と称する。）１５２を生成し、記憶部１５に記憶する。

差分温度算出部１４は、画素毎に、最大温度算出部１２によって算出された温度の最大値と、最小温度算出部１３によって算出された温度の最小値との差分を算出し、その差分を示す温度データ（以下、「差分温度データ」と称する。）１５３を生成する。

例えば、上述同様の例の場合、差分温度算出部１４は、最大温度データ１５１におけるｐ番目の画素の単位画素データ４００と最小温度データ１５２におけるｐ番目の画素の単位画素データ４００との差分を算出することにより、ｐ番目の画素の単位差分温度データを生成し、最大温度データ１５１におけるｓ番目の画素の単位画素データ４００と最小温度データ１５２におけるｓ番目の画素の単位画素データ４００との差分を算出することにより、ｓ番目の画素の単位差分温度データを生成する。その後、最小温度算出部１３は、上記のように生成した画素毎の単位差分画素データから空間３０の差分温度データ１５３を生成し、記憶部１５に記憶する。

表示制御部１６は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等から成る表示装置２を制御することにより、各種の情報を表示装置２の画面に表示する機能部である。表示制御部１６は、例えば、監視装置１に対するユーザによる操作入力等に応じて、記憶部１５に記憶された熱画像データ１５０、最大温度データ１５１、最小温度データ１５２、および差分温度データ１５３等に基づく人に関する情報等を表示装置２に表示させる。

次に、監視装置１による処理の流れについて説明する。
図９は、実施の形態１に係る監視装置１による処理手順を示したフローチャートである。

監視装置１による処理では、先ず、画像取得部１０が、所定時間毎に各熱画像センサ４＿１〜４＿ｘから出力される単位熱画像４０＿１〜４０＿ｘを取得し、記憶部１５に順次記憶する（Ｓ１）。

次に、画像処理部１１が、画像取得部１０によって取得した単位熱画像４０＿１〜４０＿ｘに基づいて空間３０の熱画像データ１５０を生成する（Ｓ２）。このとき、熱画像センサ４＿１〜４＿ｘを設置している天井の高さや床の高さ、熱画像センサ４＿１〜４＿ｘの撮像面４Ａの向き等が均一でない場合には、画像処理部１１は、対象となる単位熱画像４０＿１〜４０＿ｘに対して上述した正規化処理を行ってから、熱画像データ１５０を生成する。

なお、熱画像センサ４＿１〜４＿ｘの設置条件が均一の場合には、上述した正規化処理を行わず、単位熱画像４０＿１〜４０＿ｘを合成することによって熱画像データ１５０を生成してもよい。

ステップＳ２の処理は、所定期間（例えば、１分間）の時系列の熱画像データ１５０が記憶部１５に蓄積されるまで繰り返し行われる。

所定期間の熱画像データ１５０が記憶部１５に蓄積されたら、最大温度算出部１２が、その所定期間分の熱画像データ１５０に基づいて、画素毎に温度の最大値を算出することにより、空間３０の最大温度データ１５１を生成する（Ｓ３）。例えば、所定期間を１分間とした場合、最大温度算出部１２は、上述した手法により、１分間の時系列の熱画像データ１５０を用いて１分間の最大温度データ１５１を生成し、記憶部１５に記憶する。

また、最小温度算出部１３も同様に、所定期間の熱画像データ１５０が記憶部１５に蓄積されたら、その所定期間分の熱画像データ１５０に基づいて、画素毎に温度の最小値を算出することにより、空間３０の最小温度データ１５２を生成する（Ｓ４）。例えば、上記のように所定期間を１分間とした場合、最小温度算出部１３は、上述した手法により、１分間の時系列の熱画像データ１５０を用いて１分間の最小温度データ１５２を生成し、記憶部１５に記憶する。記憶部１５に記憶された１分間の熱画像データ１５０を用いて、１分間の最小温度データ１５２を生成し、記憶部１５に記憶する。

次に、差分温度算出部１４が、画素毎に、温度の最大値と温度の最小値との差分を算出することにより、空間３０の差分温度データを生成する（Ｓ５）。例えば、差分温度算出部１４は、上述した手法により、ステップＳ３で算出された１分間の最大温度データ１５１と、ステップＳ４で算出された１分間の最小温度データ１５２とに基づいて、１分間の差分温度データ１５３を生成する。

図１０は、差分温度データ１５３に基づく画像の一例を示す図である。
図１０に示されるように、差分温度データ１５３に基づく空間３０の画像１５３Ａでは、所定期間における空間３０内の人の移動範囲、すなわち所定期間における空間３０内の人の軌跡が周囲よりも明るく表示される。その理由は次のとおりである。

例えば、ある画素に対応するエリアに存在する熱源が所定期間内に移動しなかった場合には、その画素における所定期間の最大温度と最小温度の差分は、ほぼ“０”となり、これをその画素の輝度に反映させると、その画素の画像は“黒色”に近くなる。すなわち、ＰＣ等の発熱する情報端末が空間３０内に存在するとしても、その情報端末が移動しなければ、その情報端末が存在するエリアに対応する画素の画像は“黒色”に近くなる。同様に、そのエリアに人が存在する場合であっても、その人が所定期間内に移動しなかった場合には、そのエリアに対応する画素の単位差分温度データは“黒色”に近くなる。

一方、あるエリアに存在する人が所定期間内に移動した場合、そのエリアに対応する画素の温度は時間によって変化する。すなわち、所定期間におけるその画素の温度の最大値と最小値の差分は、“０”よりも大きくなり、これを輝度に反映させると、その画素の画像は“白色”に近くなる。

このような各画素の単位差分温度データから空間３０の差分温度データ１５３を生成し、例えば図１０に示すように、表示制御部１６によって表示装置２の画面に画像として表示すれば、参照符号４２に示すように、所定期間に熱源が移動した範囲、すなわち所定期間における人の軌跡をユーザに提示することができる。

以上、本発明の実施の形態１に係る監視装置１によれば、所定期間の時系列の熱画像データから、画素毎に最大温度と最小温度の差分を算出し、差分温度データ１５３を生成することにより、監視対象の空間３０における人に関する情報として、所定期間における人の軌跡を示す情報を提供することができる。

また、監視装置１では、一般的な監視カメラの画像ではなく、熱画像センサの画像を用いて人を検知するので、日照条件、照明条件、および人の服装等の外的要因の影響を受け難い。そのため、監視カメラの画像を用いて人を検知する場合に比べて、データ処理が単純になり、監視装置１を含む全体のシステム構成の複雑化を回避することが可能となる。

すなわち、実施の形態１に係る監視装置１によれば、監視対象の空間における人に関する情報を、より簡単に生成することが可能となる。

また、人の軌跡を示す情報を提供することにより、ユーザは、空間３０のどこのエリアに人が集まりやすいかを把握することができるので、例えば空間３０の効率的なレイアウトの更新を行うことが可能となる。また、人が集まりやすいエリアはコミュニケーションを活性化する因子があると考えることができるので、例えば、当該エリアに存在する人物を人が集まり難いエリアに配置転換する等により、空間３０全体のコミュニケーションの活性化を促すことが可能となる。

また、人の軌跡を示す情報を提供することにより、空間３０が進入禁止区域である場合に、空間３０に人が侵入したこと、およびその人が空間３０のどのエリアに移動したか等の情報を得ることができるので、例えば進入禁止エリアに人が立ち入った場合に警告する監視システムを構築することが容易となる。また、熱画像センサ４＿１〜４＿ｘとしてサーモパイルアレイセンサを用いているので、照明等の影響を受けることなく、２４時間監視を行うことが可能となる。

以上のように、実施の形態１に係る監視装置１によれば、監視対象の空間における人に関する情報として人の軌跡を示す情報を生成するので、単に人の有無を監視するだけではなく、監視システム１００の機能を拡充することが可能となる。

また、上述したように、空間３０の熱画像データ１５０を生成する際に、画像処理部１１が、各熱画像センサ４＿１〜４＿ｘの設置条件に応じて単位熱画像４０＿１〜４０＿ｘに対して適切な画像処理を行うことにより、監視対象物（例えば人）のサイズ等を正規化することができるので、その後に行うデータの分析等が容易となる。

≪実施の形態２≫
図１０は、実施の形態２に係る監視装置を含む監視システムの構成を示す図である。
同図に示される監視装置１Ａは、監視対象の空間における人に関する情報として、人の軌跡の情報に加えて、所定期間における監視対象の空間の人の分布状況の情報を生成する点において、実施の形態１に係る監視装置１と相違する。なお、実施の形態２に係る監視装置１Ａにおいて、実施の形態１に係る監視装置１と同様の構成要素には同一の符号を付し、その詳細な説明を省略する。

具体的に、監視装置１Ａは、所定期間における監視対象の空間３０の人の分布状況の情報を生成するための機能部として、平均温度算出部１７を更に有する。

ここで、所定期間における監視対象の空間３０の人の分布状況の情報とは、所定期間における監視対象の空間３０のエリア３００＿１〜３００＿ｘ別の人の利用率の情報と言うこともできる。

平均温度算出部１７は、所定期間毎に算出した画素毎の最大温度と最小温度の差分の平均値を算出する。具体的には、期間Ｔ１＜期間Ｔ２としたとき、平均温度算出部１７は、期間Ｔ２において、期間Ｔ１毎に差分温度算出部１４によって生成された時系列の差分温度データ１５３を平均して、期間Ｔ２の平均温度データ１５４を生成する。

例えば、１分毎に生成された差分温度データ１５３が、記憶部１５に１時間分蓄積されたら、平均温度算出部１７は、１時間分の差分温度データ１５３に含まれるｐ番目の画素の単位差分温度データの平均値を算出することにより、ｐ番目の画素の単位平均温度データを生成し、１時間分の差分温度データ１５３に含まれるｓ番目の画素の単位差分温度データの平均値を算出することにより、ｓ番目の画素の単位平均温度データを生成する。
平均温度算出部１７は、上記のように生成した画素毎の単位平均温度データから、１時間における空間３０の平均温度データ１５４を生成し、記憶部１５に記憶する。

ここで、平均温度算出部１７による上記平均値の算出は、相加平均や相乗平均によって算出してもよいし、加重平均によって算出してもよく、平均温度算出部１７による平均値の算出方法は特に制限されない。

次に、実施の形態２に係る監視装置１Ａによる処理の流れについて説明する。
図１２は、監視装置１Ａによる処理手順を示したフローチャートである。

監視装置１Ａによる処理において、ステップＳ１からステップＳ５までの処理内容は、実施の形態１に係る監視装置１と同様である。

図１２において、ステップＳ５の後、例えばユーザからの操作入力によって期間Ｔ２における平均温度データ１５４の算出が指示されると、平均温度算出部１７が、期間Ｔ２における最大温度と最小温度の差分の平均値を算出する（Ｓ６）。例えば、Ｔ１＝１〔分〕、Ｔ２＝１４〔分〕としたとき、平均温度算出部１７は、上述した手法により、１４分間にステップＳ５で算出された１分毎の差分温度データ１５３に基づいて、１４分間の平均温度データ１５４を生成する。

図１３は、平均温度データ１５４に基づく画像の一例を示す図である。同図には、１４分間の平均温度データ１５４に基づく画像１５４Ａが示されている。

図１３に示されるように、１４分間の平均温度データ１５４を画像１５４として表示することにより、１４分間における空間３０の人の分布状況を視覚情報としてユーザに提供することができる。具体的には、空間３０において、１４分間に人が１度しか通らなかった領域等の“人が長時間にわたって存在しない領域”と、“人がよく集まる領域”とを画像から知ることが可能となる。例えば、図１３において、参照符号３０１で示される範囲は、１４分間において人があまり存在しなかった領域であり、参照符号３０２で示される範囲は、１４分間において人が多く存在した領域であるとわかる。

以上、実施の形態２に係る監視装置１Ａによれば、所定期間における画素毎の最大温度と最小温度の差分の平均値を算出し平均温度データ１５４を生成することにより、監視対象の空間３０における人に関する情報として、人の軌跡の情報に加えて、所定期間における空間３０内の人の分布状況を示す情報を提供することができる。これによれば、人の軌跡の情報のみを提供する場合に比べて、空間３０内の人が集まりやすいエリアや人が集まり難いエリアを、より正確に把握することが可能となる。例えば、エリア３００＿１〜３００＿ｍ毎の人の利用率の情報によれば、人の熱負荷の分布がわかるので、効率的な空調制御を行うことが可能となる。

以上、本発明者らによってなされた発明を実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、上記実施の形態において、最大温度算出部１２および最小温度算出部１３による温度の最大値および最小値の算出方法として、所定の期間Ｔ１（例えば１分間）に取得した複数の熱画像データ１５０を用いて、画素毎に温度が最も高い／低い単位画素データ４００を選択する手法を例示したが、これに限られず、以下に示す種々の手法によって温度の最大値および最小値を算出してもよい。

例えば、最大温度算出部１２は、画素毎に、期間Ｔ１に生成した時系列の熱画像データ１５０の中から上位Ｌａ（Ｌａは２以上の整数）個の温度の選択し、選択したＬａ個の温度の平均値に基づいて空間３０の最大温度データ１５１を生成してもよい。

同様に、最小温度算出部１３は、画素毎に、期間Ｔ１内に生成した時系列の熱画像データ１５０の中から下位Ｌｂ（Ｌｂは２以上の整数）個の温度を選択し、選択したＬｂ個の温度の平均値に基づいて空間３０の最小温度データ１５２を算出してもよい。ここで、温度の平均値は、相加平均や相乗平均によって算出してもよいし、人の体温に対する温度差等を考慮した加重平均によって算出してもよく、平均値の算出方法は特に制限されない。

また、最大温度算出部１２は、画素毎に、期間Ｔ１に生成した時系列の熱画像データ１５０に含まれる上位Ｌｃ（Ｌｃは２以上の整数）個の温度を除いた残りの温度の中から最大の温度を選択し、その選択した温度に基づいて最大温度データ１５１を生成してもよい。

同様に、最小温度算出部１３は、画素毎に、期間Ｔ１内に生成した時系列の熱画像データ１５０に含まれる下位Ｌｄ（Ｌｄは２以上の整数）個の温度を除いた残りの温度の中から最小の温度を選択し、その選択した温度に基づいて最小温度データ１５２を算出してもよい。

以上のように、実施の形態１，２において説明した、複数の熱画像データ１５０の中から画素毎に温度が最も高いまたは低い単位画素データ４００を単純に選択する手法ではなく、上述したように、上位または下位のいくつかの温度の平均値を算出する手法や上位または下位のいくつかの温度を除いた上で最大または最小の温度を選択する手法を採用することより、例えば、熱画像センサへのノイズの影響によって異常な温度を示すデータを含む熱画像データ１５０が生成された場合であっても、人に関する情報を高精度に生成することが可能となる。

また、最大温度算出部１２は、画素毎に、期間Ｔ１に生成した時系列の熱画像データ１５０に含まれる所定の閾値よりも大きい温度に基づいて、最大温度データ１５１を生成してもよい。例えば、閾値を３０℃に設定した場合に、３０℃以上の温度を示す単位画素データ４００を、固定温度（例えば４０℃）を示す単位画素データ４００に変換し、その固定温度を最大温度として最大温度データ１５１を生成してもよい。

同様に、最小温度算出部１３は、画素毎に、期間Ｔ１に生成した時系列の熱画像データ１５０に含まれる所定の閾値よりも小さい温度に基づいて、最小温度データ１５２を生成してもよい。例えば、閾値を２５℃に設定した場合に、２５℃以下の温度を示す単位画素データ４００を、固定温度（例えば２０℃）を示す単位画素データ４００に変換し、その固定温度を最小温度としてもよい。

これによれば、上述した手法と同様に、熱画像センサ４＿１〜４＿ｘがノイズの影響を受けた場合であっても、人に関する情報を高精度に生成することが可能となる。

なお、上述した最大温度の算出手法と最小温度の算出手法としては、監視装置１，１Ａにおいて同種の算出手法を採用する必要はなく、上述した複数の算出手法を適宜組み合わせてもよい。例えば、温度の最大値の算出手法として、上位Ｌａ個の温度の平均値に基づいて温度の最大値を算出する手法を採用し、温度の最小値の算出手法として、温度が最も低い単位画素データを単純に選択する手法を採用してもよい。

また、実施の形態２において、平均温度算出部１７によって１４分間の差分温度の平均値を算出する場合を例示したが、これに限定されるものではない。例えば、１時間の差分温度の平均値を算出してもよいし、ユーザから指示された任意の期間の差分温度の平均値を算出するようにしてもよい。

１００，１００Ａ…監視システム、１，１Ａ…監視装置、２…表示装置、３…建物、４＿１〜４＿ｘ…熱画像センサ、１０…画像取得部、１１…画像処理部、１２…最大温度算出部、１３…最小温度算出部、１４…差分温度算出部、１５…記憶部、１６…表示制御部、１７…平均温度算出部、１５０…熱画像データ、１５１…最大温度データ、１５２…最小温度データ、１５３…差分温度データ、１５４…平均温度データ、３０…空間、３００＿１〜３００＿ｍ…エリア、４０，４０＿１〜４０＿ｘ…単位熱画像、４００＿１〜４００＿ｍ…単位画素データ。

Claims (15)

1. 熱画像センサから単位熱画像を取得する画像取得部と、
   前記画像取得部によって取得した単位熱画像に基づいて、監視対象の空間の２次元的な温度分布を表す熱画像データを生成する画像処理部と、
   前記画像取得部によって繰り返し取得した前記単位熱画像に基づいて生成された時系列の前記熱画像データに基づいて、前記熱画像センサの画素毎に温度の最大値を算出する最大温度算出部と、
   前記画像取得部によって繰り返し取得した前記単位熱画像に基づいて生成された時系列の前記熱画像データに基づいて、前記画素毎に温度の最小値を算出する最小温度算出部と、
   前記画素毎に、前記温度の最大値と前記温度の最小値との差分を、前記画素毎に算出する差分温度算出部と、
   を有する監視装置。
2. 請求項１に記載の監視装置において、
   前記差分温度算出部によって繰り返し算出した前記差分の平均値を、前記画素毎に算出する平均温度算出部を更に有する
   ことを特徴とする監視装置。
3. 請求項１または２に記載の監視装置において、
   前記最大温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる上位Ｌａ（Ｌａは２以上の整数）個の温度の平均値を算出し、前記温度の最大値とする
   ことを特徴とする監視装置。
4. 請求項３に記載の監視装置において、
   前記最大温度算出部は、加重平均により前記上位Ｌａ個の温度の平均値を算出する
   ことを特徴とする監視装置。
5. 請求項１または２に記載の監視装置において、
   前記最大温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる上位Ｌｃ（Ｌｃは２以上の整数）個の温度を除いた残りの温度の中から選択した最大の温度に基づいて、前記温度の最大値を算出する
   ことを特徴とする監視装置。
6. 請求項１または２に記載の監視装置において、
   前記最大温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる第１閾値よりも大きい温度に基づいて、前記温度の最大値を算出する
   ことを特徴とする監視装置。
7. 請求項２乃至６の何れか一項に記載の監視装置において、
   前記最小温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる下位Ｌｂ（Ｌｂは２以上の整数）個の温度の平均値を算出し、前記温度の最小値とする
   ことを特徴とする監視装置。
8. 請求項７に記載の監視装置において、
   前記最小温度算出部は、加重平均により前記下位Ｌｂ個の温度の平均値を算出する
   ことを特徴とする監視装置。
9. 請求項２乃至６の何れか一項に記載の監視装置において、
   前記最小温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる下位Ｌｄ（Ｌｄは２以上の整数）個の温度を除いた温度の中から選択した最小の温度に基づいて、前記温度の最小値を算出する
   ことを特徴とする監視装置。
10. 請求項２乃至６の何れか一項に記載の監視装置において、
    前記最小温度算出部は、前記画素毎に、所定期間における時系列の前記熱画像データに含まれる第２閾値よりも小さい温度に基づいて、前記温度の最小値を算出する
    ことを特徴とする監視装置。
11. 請求項１乃至１０の何れか一項に記載の監視装置において、
    前記画像処理部は、前記画像取得部によって取得した前記単位熱画像を、前記熱画像センサの設置場所の情報に基づいて正規化することにより、前記熱画像データを生成する
    ことを特徴とする監視装置。
12. 情報処理装置が、熱画像センサから単位熱画像を取得する第１ステップと、
    前記情報処理装置が、前記第１ステップにおいて取得した前記単位熱画像に基づいて、監視対象の空間の２次元的な温度分布を表す熱画像データを生成する第２ステップと、
    前記情報処理装置が、前記第１ステップにおいて繰り返し取得した前記単位熱画像に基づいて生成した時系列の前記熱画像データに基づいて、前記熱画像センサの画素毎に温度の最大値を算出する第３ステップと、
    前記情報処理装置が、前記第１ステップにおいて繰り返し取得した前記単位熱画像に基づいて生成した時系列の前記熱画像データに基づいて、前記画素毎に温度の最小値を算出する第４ステップと、
    前記情報処理装置が、前記画素毎に、前記第３ステップで算出した前記温度の最大値と前記第４ステップで算出した前記温度の最小値との差分を算出する第５ステップと、
    を含む監視方法。
13. 請求項１２に記載の監視方法において、
    前記情報処理装置が、前記第５ステップにおいて繰り返し算出した時系列の前記差分の平均値を、前記画素毎に算出する第６ステップを更に含む
    ことを特徴とする監視方法。
14. 請求項１２または１３に記載の監視方法において、
    前記第２ステップは、前記第１ステップで取得した前記単位熱画像を、各前記熱画像センサの設置場所の情報に基づいて正規化することにより、前記熱画像データを生成する
    ことを特徴とする監視方法。
15. 請求項１２乃至１４の何れか一項に記載の監視方法における各ステップを前記情報処理装置に実行させるプログラム。