JP2022042304A - ストレス推定装置、方法およびプログラム - Google Patents

Abstract

【課題】監視対象が多人数であってもその各々について精度良くストレスを推定にする。
【解決手段】この発明に係るストレス推定装置の一態様は、監視対象エリアを撮像して得られた動画像データを取得し、取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する人物を特定し、特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出し、前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定し、推定された前記ストレスの度合いを表す情報を出力するようにしたものである。
【選択図】図３

Description

この発明の実施形態は、例えば人が感じているストレスを非接触で推定するストレス推定装置、方法およびプログラムに関する。

例えば、混雑しているイベント会場や病院待合室、駅構内、車両内において、群衆の中から異常なストレスを感じている人を特定することは、異常行動の早期発見のためにきわめて有用である。

ところで、上記のように群衆の中から異常なストレスを感じている人を特定するためには、非接触センサを用いて人の状態を遠隔的に検出する技術が必要である。特許文献１には、サーモグラフィにより人の体温を計測すると共に、マイクロ波により人の呼吸数と心拍数を計測する技術が記載されている。また、非特許文献１には、ミリ波レーダを用いて人の呼吸や心拍間隔を検束する技術が記載されている。

特許５６８５７９８号公報

京都大学、パナソニック株式会社、「非接触ミリ波バイタルセンサーの小型・高感度化技術を開発」、2017年9月26日、インターネット＜URL: https://news.panasonic.com/jp/press/data/2017/09/jn170926-1/jn170926-1.html＞

ところが、特許文献１および非特許文献１に記載された技術は、特定の人をターゲットにしてマイクロ波やミリ波レーダを照射し、その体温や呼吸数、心拍数等を計測するものとなっている。このため、群衆の多数の人のストレス状態をそれぞれ推定しようとすると、多数の人に対しマイクロ波やミリ波レーダを順次照射しなければならず、一人当たりの照射時間が短くなって高精度のストレス推定が行えなくなる。一方、ストレスの推定精度を高めようとすると、監視対象の人数を制限せざるを得なくなる。

この発明は上記事情に着目してなされたもので、監視対象が多人数であってもそのそれぞれについて高精度のストレス推定を可能にする技術を提供しようとするものである。

上記課題を解決するために、この発明に係るストレス推定装置又は方法の一態様は、監視対象エリアを撮像して得られた動画像データを取得し、取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する人物を特定し、特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出し、前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定し、推定された前記ストレスの度合いを表す情報を出力するようにしたものである。

この発明の一態様によれば、監視対象が多人数であってもそのそれぞれについて高精度のストレス推定を可能にする技術を提供することができる。

図１は、この発明の一実施形態に係るストレス推定装置を備えたシステムの構成の一例を示すブロック図である。 図２は、この発明の一実施形態に係るストレス推定装置として使用される情報処理装置のハードウェア構成を示すブロック図である。 図３は、この発明の一実施形態に係るストレス推定装置として使用される情報処理装置のソフトウェア構成を示すブロック図である。 図４は、図３に示した情報処理装置による処理手順と処理内容を示すフローチャートである。 図５は、図４に示した処理手順のうち動画像データ取得処理の手順と処理内容を示すフローチャートである。 図６は、図４に示した処理手順のうち人物の特定処理の手順と処理内容を示すフローチャートである。 図７は、図４に示した処理手順のうち人物毎の特徴量抽出処理の手順と処理内容を示すフローチャートである。 図８は、図４に示した処理手順のうち人物毎のストレス応答指標推定処理の手順と処理内容を示すフローチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係るストレス推定装置を備える監視システムの一例を示すものである。

この監視システムは、ストレス推定装置として動作する情報処理装置ＳＶを備え、この情報処理装置ＳＶに対し例えば信号ケーブルを介してカメラＣＭおよびサーモグラフィ検出装置ＳＤを接続したものとなっている。カメラＣＭおよびサーモグラフィ検出装置ＳＤは、同一の監視対象エリアＴＥの動画像データおよびサーモグラフィデータを取得可能なように、互いに近接して設置されている。なお、信号ケーブルの代わりに無線ＬＡＮ（Local Area Network）等の無線回線を使用することも可能である。

カメラＣＭは、例えばイベント会場や病院待合室のように複数の人物ＨＭ１～ＨＭｎが存在する監視対象エリアＴＥを撮像し、撮像されたカメラ動画像データを情報処理装置ＳＶへ出力する。サーモグラフィ検出装置ＳＤは、上記監視対象エリアＴＥの温度分布を検出し、検出されたサーモグラフィデータを情報処理装置ＳＶへ出力する。なお、カメラＣＭおよびサーモグラフィ検出装置ＳＤとしては、それぞれ汎用のカメラおよび赤外線カメラを使用可能である。

（２）装置
図２および図３は、それぞれ情報処理装置ＳＶのハードウェア構成およびソフトウェア構成を示すブロック図である。
情報処理装置ＳＶは、例えばサーバコンピュータ又はパーソナルコンピュータからなる。情報処理装置ＳＶは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備え、この制御部１に対しバス５を介して、記憶部２と、センサインタフェース（センサＩ/Ｆ）３と、入出力インタフェース（入出力Ｉ／Ｆ）４を接続したものとなっている。

センサＩ／Ｆ３は、上記カメラＣＭおよびサーモグラフィ検出装置ＳＤからそれぞれ出力されるカメラ動画像データおよびサーモグラフィデータを受信する。入出力Ｉ／Ｆ４には表示装置ＤＳが接続される。表示装置ＤＳは、例えば液晶または有機ＥＬ（Electro Luminescence）等の表示デバイスを使用したもので、ストレス応答指標の推定結果を表示するために使用される。なお、入出力Ｉ／Ｆ４には、キーボードやマウス等の入力デバイスが接続されてもよい。この入力デバイスを使用することで、システム管理者は情報処理装置ＳＶに対しプログラムや管理データや制御データ等を入力することが可能となる。

記憶部２は、プログラム記憶領域とデータ記憶領域とを備える。プログラム記憶領域は、記憶媒体として、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリを使用したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種処理を実行するために必要なプログラムを格納する。なお、記憶媒体は、上記ＨＤＤ又はＳＳＤとＲＯＭ（Read Only Memory）とを組み合わせて構成してもよい。

データ記憶領域は、記憶媒体として、例えばＨＤＤまたはＳＳＤとＲＡＭ（Random Access Memory）とを組み合わせたもので、このデータ記憶領域にはこの発明の一実施形態において使用される、動画像記憶部２１と、人物特定情報記憶部２２と、特徴量記憶部２３と、ストレス応答指標記憶部２４が設けられる。

動画像記憶部２１は、カメラＣＭおよびサーモグラフィ検出装置ＳＤから出力されたカメラ動画像データおよびサーモグラフィデータを記憶するために用いられる。人物特定情報記憶部２２は、上記カメラ動画像データおよびサーモグラフィデータをもとに検出された複数の人物領域の各々を表す画素集合を、人物領域データとして記憶するために使用される。特徴量記憶部２３は、上記複数の人物領域データの各々から抽出された人物領域の特徴量を記憶するために使用される。ストレス応答指標記憶部２４は、上記人物領域データ毎に抽出された上記特徴量をもとに推定されたストレス応答指標値を記憶するために使用される。

制御部１は、この発明の一実施形態に係る処理機能として、動画像取得部１１と、人物特定部１２と、特徴量抽出部１３と、ストレス応答指標推定部１４と、推定結果出力部１５とを備えている。これらの処理部１１～１５は、何れもプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。

動画像取得部１１は、カメラＣＭから出力される監視対象エリアＴＥのカメラ動画像データを、センサＩ／Ｆ３を介して、予め設定された単位監視時間に渡り取得し、取得されたカメラ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部２１に記憶させる処理を行う。

また動画像取得部１１は、サーモグラフィ検出装置ＳＤから出力される監視対象エリアＴＥのサーモグラフィデータ（熱動画像データとも云う）を、センサＩ／Ｆ３を介して上記単位監視時間に渡り取得し、取得された熱動画像データを上記単位監視時間を示すタイムスタンプを付して動画像記憶部２１に記憶させる処理も行う。

人物特定部１２は、上記動画像記憶部２１に記憶されたカメラ動画像データおよび熱動画像データから、それぞれそのフレーム毎に人物に対応する画像領域を検出することにより、上記監視対象エリアＴＥに存在する複数の人物ＨＭ１～ＨＭｎを特定し、特定された各人物のＩＤに紐づけて上記人物に対応する画像領域を人物領域データとして人物特定情報記憶部２２に記憶させる処理を行う。このとき、カメラ動画像データおよび熱動画像データからはそれぞれカメラ動画像の人物領域データと熱動画像の人物領域データが得られるが、これらの人物領域データには位置が同一のものに同一の人物ＩＤが付されて記憶される。

特徴量抽出部１３は、特定された上記人物毎に、上記人物特定情報記憶部２２に記憶されたカメラ動画像データの人物領域データから、単位監視時間における人物の瞬き回数および心拍間隔（RRI：R-R Interval）の時系列データを検出する。

また特徴量抽出部１３は、特定された上記人物毎に、上記人物特定情報記憶部２２に記憶された熱動画像データの人物領域データから、単位監視時間における人物の皮膚、例えば鼻部の表面温度の変化を検出する。そして、特徴量抽出部１３は、検出された上記各人物の瞬き回数、心拍間隔の時系列データおよび鼻部の表面温度変化を、人物の特徴量を表す情報として上記人物ＩＤと紐づけた状態で特徴量記憶部２３に記憶させる。

ストレス応答指標推定部１４は、上記人物領域毎に、上記特徴量記憶部２３に記憶された各特徴量、つまり瞬き回数と、鼻部の表面温度変化と、心拍間隔の時系列データから求められる心拍変動の特徴量とを総合し、予め定めた推定ロジックに基づいて、ストレスに対し人がどのように応答しているかを示すストレス応答指標値を算出する。そして、推定された各人物のストレス応答指標値を人物ＩＤに紐づけてストレス応答指標記憶部２４に記憶させる。

推定結果出力部１５は、上記単位監視時間が経過するごとに、ストレス応答指標記憶部２４から当該監視時間に得られたストレス応答指標値を読み出し、読み出されたストレス応答指標値を入出力Ｉ／Ｆ４から表示装置ＤＳへ出力して表示させる処理を行う。

（動作例）
次に、以上のように構成された装置の動作例を説明する。図４は情報処理装置ＳＶによる全体の処理の動作例を示すフローチャートである。

情報処理装置ＳＶは、例えばシステム管理者により入力された監視開始要求をステップＳ０で検出すると、以下のように監視動作を実行する。

（１）動画像データの取得
情報処理装置ＳＶは、先ず動画像取得部１１の制御の下、ステップＳ１により、予め設定された単位監視時間（例えば３分）に渡り監視対象エリアＴＥを撮像した動画像データを取得する動作を行う。

図５はその処理内容の一例を示すフローチャートである。動画像取得部１１は、先ずステップＳ１１において、上記単位監視時間にカメラＣＭにより撮像された監視対象エリアＴＥのカメラ動画像データをセンサＩ／Ｆ３を介して受信し、受信されたカメラ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部２１に記憶させる。

また動画像取得部１１は、上記カメラ動画像データの取得と並行して、ステップＳ１２において、上記単位監視時間にサーモグラフィ検出装置ＳＤにより検出された上記監視対象エリアＴＥのサーモグラフィ動画像データをセンサＩ／Ｆ３を介して受信し、受信されたサーモグラフィ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部２１に記憶させる。

なお、以上述べた各動画像データの取得処理は、指定された単位監視時間にのみ行ってもよいし、複数の監視時間について間欠的に、或いは連続的に行ってもよい。

（２）人物の特定
上記単位監視時間が経過するごとに情報処理装置ＳＶは、人物特定部１２の制御の下、ステップＳ２において、取得された上記カメラ動画像データおよび熱動画像データからそれぞれ人物領域を抽出し、抽出された人物領域を表す画像データを人物ＩＤに紐づけて人物特定情報記憶部２２に記憶させる処理を行う。

図６はその処理手順と処理内容の一例を示すフローチャートである。人物特定部１２は、先ずステップＳ２１において、動画像記憶部２１からカメラ動画像データを読み出し、このカメラ動画像データの１フレーム毎に、例えば人物の輪郭（エッジ）を検出する画像解析処理を行う。そして、検出された人物の輪郭により囲まれた画像領域をそれぞれ人物領域と認識し、認識した各人物領域をそれぞれ監視対象エリアＴＥに存在する人物ＨＭ１～ＨＭｎとして特定する。また人物特定部１２は、上記各人物領域の画素集合からなる画像データを、特定された上記人物ＨＭ１～ＨＭｎの人物ＩＤと紐づけ、これを人物領域データとして人物特定情報記憶部２２に記憶させる。

人物特定部１２は、続いてステップＳ２２において、動画像記憶部２１から熱動画像データを読み出し、この熱動画像データの１フレーム毎に、上記カメラ動画像データの場合と同様に、例えば人物の輪郭（エッジ）を検出する画像解析処理を行う。そして、検出された人物の輪郭により囲まれた画像領域をそれぞれ人物領域と認識し、認識した各人物領域をそれぞれ監視対象エリアＴＥに存在する人物ＨＭ１～ＨＭｎとして特定する。また人物特定部１２は、上記各人物領域の画素集合からなる画像データを、特定された上記人物ＨＭ１～ＨＭｎの人物ＩＤと紐づけ、これを人物領域データとして人物特定情報記憶部２２に記憶させる。

なお、上記人物ＩＤを画像データに紐づける際に人物特定部１２は、同一時刻において、上記カメラ動画像データから検出された人物領域と、上記熱動画像データから検出された人物領域との、画像フレーム内の位置が同一であれば、これらの人物領域に同一の人物ＩＤを付与する。

上記カメラ動画像データおよび熱動画像データから人物領域を検出する手法としては、例えばインテル社が開発したOpen Source Computer Vision Library（OpenCV）等の動画解析プログラムが用いられる。

なお、以上の説明ではカメラ動画像データと熱動画像データのそれぞれから人物領域を検出する場合について述べた。このようにすると、例えばカメラ動画像データのみを用いる場合には人以外のマネキン等を人物領域として検出してしまうが、熱動画像データを併用することでこのような不具合を防止することができる。また、例えば監視対象エリアＴＥが暗く鮮明なカメラ動画像データが得られない場合でも、熱動画像データを用いることで人物領域を精度良く検出することが可能となる。なお、監視対象エリアＴＥの状況により、人物領域の検出はカメラ動画像データと熱動画像データのいずれか一方を用いて行うようにしてもよい。

（３）人物毎の特徴量の抽出
上記人物領域の検出処理が終了すると情報処理装置ＳＶは、次に特徴量抽出部１３の制御の下、ステップＳ３において、検出された上記各人物毎に当該人物の特徴量を抽出する処理を実行する。

図７はその処理手順と処理内容の一例を示すフローチャートである。特徴量抽出部１３は、先ずステップＳ３１において、上記人物特定情報記憶部２２に記憶されている人物領域データが複数の場合にはこの複数の人物領域データの中から一つを選択する。そして特徴量抽出部１３は、ステップＳ３２において、選択された上記人物領域データ（カメラ動画像データ）から眼を検出し、検出された眼の瞬きの回数を監視時間に渡り計数する。なお、カメラ動画像データから人の眼を検出するには、例えば、上記OpenCV等の動画解析プログラムと、Dlib等の既存の顔検出プログラムが使用される。

特徴量抽出部１３は、続いてステップＳ３３において、上記カメラ動画像データから単位監視時間に渡り人物の心拍間隔（RRI：R-R Interval）を検出し、当該心拍間隔の時系列データを得る。心拍間隔の時系列データは、例えばカメラ動画像データから検出された人物領域データに含まれる顔等の皮膚表面画像から、血管の収縮・拡張に伴う反射光変動を解析することにより得られる。

特徴量抽出部１３は、次にステップＳ３４において、上記人物領域データ（熱動画像データ）から人物の鼻部を検出し、検出された鼻部の単位監視時間に渡る表面温度の変化を検出する。鼻部の表面温度の変化は、鼻部の表面温度の単位監視時間における最高温度と最低温度との差分として算出してもよいし、単位監視時間における鼻部の表面温度の分散として計算するようにしてもよい。なお、鼻部の検出についても、上記OpenCVまたはDlibが用いられる。

特徴量抽出部１３は、検出された上記瞬き回数、心拍間隔の時系列データおよび鼻部の表面温度変化を、人物の特徴量を表す情報として人物ＩＤと紐づけた状態で特徴量記憶部２３に記憶させる。

特徴量抽出部１３は、以上のように一つの人物領域データについての特徴量抽出処理を終了すると、ステップＳ３５によりすべての人物領域データの選択が終了したか否かを判定する。そして、未選択の人物領域データが残っていれば、ステップＳ３１に戻って次の人物領域データを選択し、ステップＳ３２～Ｓ３４による特徴量の検出処理を繰り返す。一方、すべての人物領域データの選択が終了していれば、人物特徴量の検出処理を終了する。

（４）ストレス応答指標の推定
上記特徴量の抽出処理が終了すると情報処理装置ＳＶは、次にストレス応答指標推定部１４の制御の下、ステップＳ４において、人物毎にストレス応答指標値を推定する処理を以下のように実行する。

図８はその処理手順と処理内容の一例を示すフローチャートである。すなわち、ストレス応答指標推定部１４は、先ずステップＳ４１において、上記人物特定情報記憶部２２に記憶されている人物領域データが複数の場合にはこの複数の人物領域データの中から一つを選択する。次にステップＳ４２において、選択された上記人物領域データに対応する心拍間隔の時系列データを上記特徴量記憶部２３から読み出し、読み出された上記心拍間隔の時系列データについて波形解析等を行うことで、対応する人物の心拍変動の特徴量を求める。

心拍変動の特徴量には、例えば、RRIのパワースペクトル波形の高周波成分（HF）、または低周波成分（LF）、前後するRRI間の時間的差分が予め設定した時間値以上となった回数の発生割合（pNN50）、前後するRRIのローレンツプロットが描く形状の長辺の長さＬと、RRIのローレンツプロットが描く形状の短辺の長さＴとから求められる交感神経活動指標（CSI：Cardiac Sympathetic Index）、および副交感神経の活動指標（CVI：Cardiac Vagal Index）がある。なお、これらの心拍変動特徴量は既存の解析技術を適用することで求めることができる。

ストレス応答指標推定部１４は、次にステップＳ４３において、選択された上記人物領域データに対応する瞬き回数および鼻部の表面温度変化を上記特徴量記憶部２３から読み出し、読み出されたこれらの特徴量と、上記ステップＳ４２で求めた心拍変動の特徴量とを総合し、予め定めた推定ロジックに基づいて、ストレスに対し人がどのように応答しているかを示すストレス応答指標値を算出する。そして、推定された各人物のストレス応答指標値を人物ＩＤに紐づけてストレス応答指標記憶部２４に記憶させる。

ストレス応答指標値としては、例えば感情を測定する気分プロファイル検査（POMS：Profile of Mood States）や、不安を指標化する状態－特性不安尺度（STAI：State-Trait Anxiety Inventory）が使用される。また推定ロジックとしては、例えば、上記各特徴量に対応してその時のストレス応答指標値を出力する重回帰分析式を作成しておき、上記各特徴量を当該重回帰分析式に入力してそれに対応するストレス応答指標値を出力するものが用いられる。なお、ストレス応答指標値の推定ロジックとしては、他にSupport Vector Machine（SVM）や深層学習、ニューラルネットワークに基づく学習モデルを使用した推定ロジックを使用してもよい。

ストレス応答指標推定部１４は、一つの人物領域データについてのストレス応答指標値の算出処理を終了すると、ステップＳ４４によりすべての人物領域データの選択が終了したか否かを判定する。そして、まだ選択していない人物領域データが残っていれば、ステップＳ４１に戻って次の人物領域データを選択し、ステップＳ４２～Ｓ４３によるストレス応答指標値の算出処理を繰り返す。一方、すべての人物領域データの選択が終了すれば、ストレス応答指標値の算出処理を終了する。

（５）ストレス推定結果の出力
上記ストレス応答指標値の算出処理が終了すると情報処理装置ＳＶは、推定結果出力部１５の制御の下、ステップＳ５において、ストレス応答指標記憶部２４から例えば直近の単位監視時間におけるストレス応答指標値を読み出す。そして、読み出されたストレス応答指標値を表示するための表示データを生成し、生成された表示データを入出力Ｉ／Ｆ４から表示装置ＤＳへ出力して表示させる。

例えば、人物毎にそのストレス応答指標値を複数のしきい値をもとに判別してその判別結果を異なる色のマーカに変換する。そして、対応する単位監視時間に撮像されたカメラ動画像データまたは人物特定情報を動画像記憶部２１または人物特定情報記憶部２２から読み出し、読み出された画像の対応する人物領域に上記色の異なるマーカを重畳した表示データを生成する。そして、生成された上記表示データを表示装置ＤＳへ出力して表示させる。

この結果、例えばシステム管理者は上記表示装置ＤＳに表示された、マーカが重畳された画像を見ることで、単位監視時間毎に、監視対象エリアＴＥに存在する各人物のストレスの度合いをマーカの色で判断することが可能となる。そして、異常なストレスを受けていると判断される人に対し、体調や気分について確認するように警備員等のスタッフに指示することが可能となる。

なお、表示データは、人物毎にそのストレス応答指標値を色分けしたマーカにより表示するものに限らず、ストレス応答指標値が所定のしきい値より高い人に対し色マーカを点滅させたり、要注意マーカを生成して表示させるものとしてもよい。その他、ストレス応答指標値の出力形態については、高ストレスの人についてマーカの表示と併せて鳴音や音声メッセージを出力させる等、種々の表示形態が考えられる。

（作用・効果）
以上述べたように一実施形態では、情報処理装置ＳＶにおいて、監視対象エリアＴＥをカメラＣＭおよびサーモグラフィ検出装置ＳＤによりそれぞれ撮像して得られたカメラ動画像データおよび熱動画像データを取得し、取得された各動画像データから上記監視対象エリアＴＥに存在する人物領域を個別に特定する。そして、特定された人物領域毎に、上記カメラ動画像データおよび熱動画像データから複数種の特徴量を検出し、検出された複数種の特徴量をもとに対応する人物のストレス応答指標値を推定して表示するようにしている。

従って、監視対象エリアＴＥに多数の人物が存在する場合でも、これら多数の人物の各々について同時にストレス応答指標値を推定することが可能となり、これにより限られた時間に多数の人物について漏れなくかつ高精度にストレス応答指標値を推定することができる。

また、人物領域の特徴量として、眼の瞬き回数、心拍変動量および鼻部の表面温度変化の３つを検出し、これらの特徴量を総合してストレス応答指標の推定値を求めるようにしている。このため、人物のストレス応答指標値を精度良く推定することができる。

［その他の実施形態］
（１）前記一実施形態では、単位監視時間を３分に設定した場合を例にとって説明したが、３分に限らず１分のようにより短い時間や５分のようにより長い時間に設定してもよい。要するに、単位監視時間はストレス応答指標値を推定するために必要な特徴量を得る時間に応じて任意に設定すればよい。

（２）前記一実施形態では、単位監視時間毎にストレス応答指標値を推定するようにした。しかしそれに限らず、ストレス応答指標値を連続的に推定するようにしてもよい。これは、例えば、カメラ動画像データおよび熱動画像データをフレーム周期で連続的に取得し、当該連続する動画像データのフレームタイミング毎に、それぞれ過去の単位監視時間分の各動画像データをもとにストレス応答指標値を推定するための一連の処理を実行することにより、実現できる。このようにすると、監視対象エリアＴＥに存在する複数の人物についてのストレス応答指標値の変化を記憶すると共に表示することが可能となる。

（３）前記一実施形態では、情報処理装置ＳＶとしてサーバ装置又はパーソナルコンピュータを使用する場合を例にとって説明したが、サーバ装置以外にスマートフォン等の携帯情報端末を使用してもよい。その際、カメラＣＭは携帯情報端末に内蔵されているカメラを使用することができる。

（４）その他、監視対象エリアの設定方法や、人物特定手法、検出する特徴量の種類やその検出手法、ストレス応答指標値の推定手法等、情報処理装置が備える処理機能や処理手順および処理内容については、この発明の用意を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＳＶ…情報処理装置
ＣＭ…カメラ
ＳＤ…サーモグラフィ検出装置
ＴＥ…監視対象エリア
ＨＭ１～ＨＭｎ…人物
ＤＳ…表示装置
１…制御部
２…記憶部
３…センサインタフェース（センサＩ／Ｆ）
４…入出力インタフェース（入出力Ｉ／Ｆ）
５…バス
１１…動画像取得部
１２…人物特定部
１３…特徴量抽出部
１４…ストレス応答指標推定部
１５…推定結果出力部
２１…動画像記憶部
２２…人物特定情報記憶部
２３…特徴量記憶部
２４…ストレス応答指標記憶部

Claims (7)

1. 監視対象エリアを撮像して得られた動画像データを取得する取得部と、
   取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する特定部と、
   特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出する検出部と、
   前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定する推定部と、
   推定された前記ストレスの度合いを表す情報を出力する出力部と
   を具備するストレス推定装置。
2. 前記取得部は、前記監視対象エリアを撮像して得られた第１の動画像データと、前記監視対象エリアの温度分布を表す第２の動画像データとをそれぞれ取得し、
   前記特定部は、前記第１の動画像データおよび前記第２の動画像データの各々から前記人物に対応する前記画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する
   請求項１に記載のストレス推定装置。
3. 前記検出部は、
   前記人物毎に、当該人物に対応する前記第１の動画像データから、予め設定された単位時間における前記人物の瞬き回数および心拍変動を表す特徴量を検出する第１の検出部と、
   前記人物毎に、前記人物に対応する前記第２の動画像データから前記単位時間における前記人物の皮膚の表面温度変化を検出する
   請求項２に記載のストレス推定装置。
4. 前記検出部は、前記人物毎に、当該人物に対応する前記動画像データのフレームタイミング毎に、当該フレームタイミング以前の所定時間に得られた前記人物に対応する前記画像領域から前記人物に関する前記複数の特徴量を検出し、
   前記推定部は、前記動画像データのフレームタイミング毎に、検出された前記複数の特徴量に基づいて前記人物の前記ストレスの度合いを表す情報を推定する
   請求項１に記載のストレス推定装置。
5. 前記出力部は、前記人物毎に、推定された前記ストレスの度合いを予め設定されたしきい値に従い複数の段階に判別し、判別された前記段階を表す情報を前記人物に対応する前記画像領域に重畳した表示データを生成し、生成された前記表示データを出力する、
   請求項１に記載のストレス推定装置。
6. 情報処理装置が実行するストレス推定方法であって、
   監視対象エリアを撮像して得られた動画像データを取得する過程と、
   取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する過程と、
   特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出する過程と、
   前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定する過程と、
   推定された前記ストレスの度合いを表す情報を出力する過程と
   を具備するストレス推定方法。
7. 請求項１乃至５のいずれかに記載のストレス推定装置が具備する前記各部の処理を、前記ストレス推定装置が備えるプロセッサに実行させるプログラム。

Images