JP2017209516A - 脳活動推定装置 - Google Patents

Abstract

【課題】簡便に人間の脳活動を推定することのできる脳活動推定装置の提供。
【解決手段】脳活動推定装置１０は、画像データ取得手段２０と、脳活動推定手段３０と、を備える。画像データ取得手段２０は、人間の顔面の撮影画像データを時系列で取得する。脳活動推定手段３０は、ＲＧＢ処理部３１と、血行量算出部３３と、推定部３５と、を有する。ＲＧＢ処理部３１は、画像データ取得手段２０により取得された撮影画像データに対して、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理を行う。血行量算出部３３は、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき、顔面の時系列の血行量データを算出する。推定部３５は、血行量データを特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、人間の脳活動を推定する。
【選択図】図８

Description

本発明は、人間の脳活動を推定するための脳活動推定装置に関する。

従来より、特許文献１（特開２０１３−１７６４０６号公報）に開示されているような脳波計測法（EEG）、磁気共鳴画像法（fMRI: functional Magnetic Resonance Imaging）、又は近赤外線分光法（NIRS）によって検出されたデータを利用して、人間の脳活動を推定することが試みられている。

しかしながら、検出方法として脳波計測法や近赤外線分光法が採用される場合には、被験者に対して前処理の必要な電極やプローブを装着する必要がある。また、検出方法として磁気共鳴画像法が採用される場合には、ＭＲＩ室でなければ測定することができない。すなわち、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの検出方法を採用してデータを検出する場合、その準備段階で必要な作業が繁雑であったり、検出時の条件が限定されたりするという問題がある。

そこで、本発明の課題は、簡便に人間の脳活動を推定することのできる脳活動推定装置を提供することにある。

本発明の第１観点に係る脳活動推定装置は、血行量算出部と、推定部と、を有する脳活動推定手段を備える。血行量算出部は、時系列で取得された人間の顔面の撮影画像データに対して行なわれる、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき、顔面の時系列の血行量データを算出する。推定部は、血行量データを特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、人間の脳活動を推定する。

本発明の第１観点に係る脳活動推定装置では、時系列の顔面の撮影画像データに基づいて人間の脳活動を推定することができる。したがって、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法が利用される場合と比較して、簡便に人間の脳活動を推定することができる。

本発明の第２観点に係る脳活動推定装置は、第１観点の脳活動推定装置において、脳活動推定手段は、複数の成分のうち、その成分波形の振幅が脳の安静時及び脳の賦活時の変化と相関関係にある成分を、判定用成分として抽出する。そして、脳活動推定手段は、判定用成分に基づき、人間の脳活動を推定する。この脳活動推定装置では、複数の成分のうちの脳の安静／賦活と相関関係にある成分が人間の脳活動を推定する判定用成分として抽出される。このため、人間の脳活動と関連性が高いと推測される成分から脳活動を推定することができる。

本発明の第３観点に係る脳活動推定装置は、第２観点の脳活動推定装置において、撮影画像データには、人間に対して脳機能賦活課題が与えられている期間のデータが含まれている。脳活動推定手段は、人間に対して脳活動賦活課題が与えられていない期間を脳の安静時とし、人間に対して脳活動賦活課題が与えられている期間を脳の賦活時として、複数の成分について相関関係にあるか否かを評価する。そして、脳活動推定手段は、複数の成分のうち相関関係にあると評価した成分を、判定用成分として抽出する。この脳活動推定装置では、人間に対して脳活動賦活課題を与えたり与えなかったりすることにより、人間の脳が賦活化したり安静化したりする状況を実際に作り、これに基づいて相関関係が評価されて判定用成分が抽出される。このため、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができる。

本発明の第４観点に係る脳活動推定装置は、第１観点から第３観点のいずれかの脳活動推定装置において、血行量データの取得範囲は、人間の顔面の鼻部周辺、及び／又は前額部である。

ここで、脳には、選択的脳冷却機構（Selective Brain Cooling System）という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、鼻部及び前額部周辺を用いて排熱していることが知られている。

本発明の第４観点に係る脳活動推定装置では、脳活動を反映していると推測される鼻部及び／又は前額部における時系列の血行量データに基づき、人間の脳活動が推定される。顔面の皮膚温度は顔面の血行量に比例すると考えられることから、この脳活動推定装置では、人間の脳活動を精度よく推定することができる。

本発明の第５観点に係る脳活動推定装置は、第１観点から第４観点のいずれかの脳活動推定装置において、脳活動推定手段は、換算部を有する。換算部は、取得された所定時間毎の撮影画像データから得られるＲＧＢデータを相対的なＲＧＢデータに換算する。そして、血行量算出部は、前記相対的なＲＧＢデータに基づき、顔面の時系列の血行量データを算出する。

ところで、人間の顔面をカメラ等の撮影装置により撮影して撮影画像データを得る場合、例えば、撮影中に太陽光等が顔に当たると、光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された撮影画像データにはこの反射光が記録されることになる。ここで、ＲＧＢデータにおいて、顔の血行量の変化に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光の記録された撮影画像データから得られたＲＧＢデータに基づき血行量が算出されると、血行量が誤って判定されてしまうおそれがある。

本発明の第５観点に係る脳活動推定装置では、取得された所定時間毎の撮影画像データから得られる相対的なＲＧＢデータに基づき時系列の血行量データが算出されるため、所定時間毎における顔面の血行量の相対的な変化を捉えることができる。これにより、脳活動とは関係しない外的要因による血行量の誤判定を抑制することができる。

本発明の第６観点に係る脳活動推定装置は、第１観点から第５観点のいずれかの脳活動推定装置において、画像データ取得手段と、ＲＧＢ処理部（３１）と、をさらに備える。画像データ取得手段は、人間の顔面の撮影画像データを時系列で取得する。ＲＧＢ処理部は、撮影画像データに対して、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理を行なう。

本発明の第６観点に係る脳活動推定装置では、画像データ取得手段によって取得された時系列の人間の顔面の撮影画像データに基づき、人間の脳活動が推定される。このため、この脳活動推定装置では、脳波電極やプローブ等の装着前に処理が必要なセンサを装着しなくても、時系列の顔面の撮影画像データに基づいて人間の脳活動を推定することができる。したがって、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法が利用される場合と比較して、簡便に人間の脳活動を推定することができる。

本発明の第７観点に係る脳活動推定装置は、第１観点から第６観点のいずれかの脳活動推定装置において、撮影画像データが、可視光領域の画像を撮像するカメラにより取得される。この脳活動推定装置では、一般的なカメラで撮影画像データを取得できるので、装置を簡易化できる。これにより、さらに簡便に人間の脳活動を推定することができる。

本発明の第８観点に係る脳活動推定装置は、第１観点から第７観点のいずれかの脳活動推定装置において、血行量算出部は、ＲＧＢデータに含まれる各画素のうちの主にＲ成分を用いて顔面の血行量データを算出する。この脳活動推定装置では、Ｒ成分を主として用いることで、血行量データを良好に算出することができる。

本発明の第９観点に係る脳活動推定装置は、第１観点から第６観点のいずれかの脳活動推定装置において、撮影画像データが、赤外線カメラにより取得されるものである。したがって、この脳活動推定装置では、外部環境の明暗によらずに、撮影画像データを得ることができる。

本発明の第１観点に係る脳活動推定装置では、簡便に人間の脳活動を推定することができる。

本発明の第２観点に係る脳活動推定装置では、人間の脳活動と関連性が高いと推測される成分から脳活動を推定することができる。

本発明の第３観点に係る脳活動推定装置では、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができる。

本発明の第４観点に係る脳活動推定装置では、人間の脳活動を精度よく推定することができる。

本発明の第５観点に係る脳活動推定装置では、脳活動とは関係しない外的要因による血行量の誤判定を抑制することができる。

本発明の第６観点に係る脳活動推定装置では、簡便に人間の脳活動を推定することができる。

本発明の第７観点に係る脳活動推定装置では、一般的なカメラで撮影画像データを取得できるので、簡便に人間の脳活動を推定することができる。

本発明の第８観点に係る脳活動推定装置では、Ｒ成分を主として用いることで、血行量データを良好に算出することができる。

本発明の第９観点に係る脳活動推定装置では、赤外線カメラで撮影画像データを取得するので、外部環境の明暗によらずに、人間の脳活動を推定することができる。

（ａ）撮影画像データの一例を示す図、（ｂ）血行量分布図の一例を示す図。 被験者１の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者１の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 被験者２の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者２の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 被験者３の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者３の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 被験者４の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者４の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 被験者５の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者５の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 被験者６の顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。 被験者６の顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。 本発明の実施形態に係る脳活動推定装置の概略図。 脳活動推定装置において脳機能を反映した顔面のＲＧＢ変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。

本発明の実施形態を説明する前に、まず、本発明者らが本発明を為すにあたって重要な基礎となった、本発明者らによる知見について説明する。

（１）本発明者らによる知見の要点
人間の脳活動には、人間の知的活動（認知活動等）及び情動活動（快／不快等の活動）が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。

ここで、検出方法として、例えば、脳波計測法が採用される場合には、被験者に対して脳波電極を装着する必要がある。そして、脳波電極を装着する際には皮膚と電極との間の抵抗を小さくする必要があるため、皮膚を研磨する処理を行ったり電極にペーストを塗布したりする等の作業が必要になる。また、磁気共鳴画像法が採用される場合には、ＭＲＩ室以外での測定が不可能であるとともに、測定室内に金属を持ち込むことができない等の測定条件に制約がある。さらに、近赤外線分光法が採用される場合には、被験者に対してプローブを装着する必要があるが、プローブを長時間装着することで被験者が痛みを感じたり、被験者の髪とプローブとの接触具合によっては正確に検出できなかったりすることがある。このように、人間の脳活動を測定するために従来の検出方法が採用される場合、脳波電極やプローブ等を装着する際の前処理が必要であったり、測定条件が限定されたりする等、被験者に与える負担が大きくなる。

したがって、被験者の負担を軽減し、かつ簡便に人間の脳活動を推定できる手段の開発が求められている。

そして、本発明者らは、サーモグラフィー装置等の温度データ及び検出部位の位置データ（座標データ）を測定可能な測定装置を用いて、人間の顔面の皮膚温度を含む顔面皮膚温度データを時系列で取得し、取得したデータを、特異値分解法、主成分分析法、或いは独立成分分析法により複数の成分に分解して解析することで、人間の脳活動を推定することができることを見いだした（特願２０１４−１７７２７６号参照）。

ところで、一般的に、脳波計測法に採用される測定装置には数百万円の費用がかかり、磁気共鳴画像法に用いられる設備は数億円規模の大がかりなものであり、近赤外線分光法に採用される測定装置においても、数千万円の費用がかかると言われている。また、サーモグラフィー装置を用いて取得した顔面の皮膚温度データに基づき人間の脳活動を推定する場合であっても、サーモグラフィー装置には一般的に数万円の費用がかかると言われている。このため、より低価格で人間の脳活動を推定できる手段が開発されることが望ましい。

そこで、本発明者らは、人間の顔面の皮膚温度を測定した顔面皮膚温度データに基づき人間の脳活動を推定することができるのであれば、顔面の皮膚温度に比例すると考えられている顔面の血行量に基づき人間の脳活動を推定することができるのではないか、と考えた。顔面の血行状態すなわち顔面の血行量は、人間の顔面の撮影画像データを利用して得られるＲＧＢデータから推定することができる。そして、人間の顔面の撮影画像データであれば、前処理の必要なセンサを装着することなく、かつ比較的安価に時系列のデータを取得することができる。

ここで、人間の顔面の皮膚温度は、外気温度及び／又は自律神経の活動等の様々な要因の影響を受けて変化することが知られている。このため、顔面の皮膚温度に比例すると考えられる顔面の血行量に基づいて脳活動を推定しようとすると、取得した顔面の皮膚温度が脳活動のみを反映しているかどうかを判断することは、非常に困難であると考えられる。

本発明者らは、鋭意検討した結果、時系列の顔面の撮影画像データから得られるＲＧＢデータに基づき算出された時系列の顔面の血行量データを、特異値分解法、主成分分析法、或いは独立成分分析法を用いて複数の成分に分解し、分解した複数の成分について解析を行うことで、脳活動を反映した顔面の血行量の変化、すなわち顔面のＲＧＢデータの変化を示す成分を同定することができることを見いだした。言い換えると、顔面の撮影画像データに基づいて人間の脳活動を推定しようとする場合には、時系列の顔面の撮影画像データから得られるＲＧＢデータに基づく血行量データを、特異値分解法、主成分分析法、或いは独立成分分析法により複数の成分に分解することが有効であることが判明した。そして、本発明者らは、この点に着目することで、脳波電極やプローブ等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することのできる本発明に到達した。

（２）顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法
図１（ａ）は、撮影装置にて撮影した被験者の顔面の鼻部周辺の撮影画像データの一例を示す図である。図１（ｂ）は、血行量分布図（画像マップ）の一例を示す図である。

次に、本発明者らが上記の知見を得るに際して用いた顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法について説明する。

今回の試験では、６名の被験者から顔面の撮影画像データを取得した。具体的には、室温２５℃を維持した人工気象室内に設置した椅子に被験者を座らせて、時系列で画像を取得可能な撮影装置を用いて、被験者の顔面全体の鼻部周辺の撮影画像データを時系列で取得した。

ここで、脳には、選択的脳冷却機構（Selective Brain Cooling System）という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び鼻部周辺（眉間を含む）を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度に比例すると考えられる顔面の血行量の変化は、前額部及び／又は鼻部周辺に出現すると考えられる。このことから、本発明者らは、少なくとも前額部及び／又は鼻部周辺の顔面の血行量の変化を捉えることができれば、精度良く脳活動を推定することができる、と考えた。そして、今回の試験では、被験者の顔面の鼻部周辺の撮影画像データを時系列で取得した。

また、今回の試験では、撮影装置として、Apple社製のiPad Air（登録商標）の備える液晶画面側の撮影装置を使用し、時系列の撮影画像データとしてカラーの動画データを取得した。また、撮影装置を、被験者の正面側であって、被験者から１．０ｍ離れた地点に設置した。そして、撮影装置によって、３０フレーム／秒の撮影周期で時間軸に沿って３０分間の撮影画像データを連続撮影することで、顔面の動画データを得た。

さらに、今回の試験では、顔面の動画データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の安静時の顔面の動画データ、及び脳の賦活時の顔面の動画データを取得した。

ここで、脳機能賦活課題としては、被験者が表示装置等に表示された映像に基づいて、計算、又は、数値、形状及び色の認知、或いは、記号、文字ないし言語の記憶などの心理的作業が挙げられる。今回の試験では、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、今回の試験では、顔面の動画データの取得開始から５分経過後から１０分間継続して、被験者に対して脳機能賦活課題を与えた。

顔面の動画データの解析としては、撮影した顔面の動画データより得られたＲＧＢデータに基づき血行量データを算出し、算出した時系列の血行量データを対象として、ＭＡＴＬＡＢ（登録商標）のＳＶＤ（Singular Value Decomposition）を分析ツールとして用いて特異値分解を行った。ここでは、ＣＩＥ−Ｌ^＊ａ^＊ｂ^＊表色系に従って、画像のＲＧＢデータより演算される肌の赤みやヘモグロビン量と相関のある紅斑指数「ａ^＊」を求め、これを血行量データとした。また、特異値分解では、時系列で取得した全ての動画データ（３０分間のデータ）から得られたＲＧＢデータに基づく血行量データ（ここでは、紅斑指数）を対象とし、要因を３０秒毎の時間データ（３０分間で６０ time point）とし、測度をその期間（３０秒毎）におけるＲＧＢデータから演算した紅斑指数（３０秒毎に１秒間のフレームデータを取り出し、該フレームデータから得られるＲＧＢ値の平均値から演算した紅斑指数；２４０×３２０ pixels）とした。そして、特異値分解により、顔面の動画データより得られたＲＧＢデータに基づく時系列の血行量データを、複数の成分に分解し、それぞれの成分の時間分布Ｖと、空間分布Ｕと、各成分の大きさを示す特異値Ｓとを算出した。なお、これらの関係は、以下の式で表される。また、Ｖ’は、Ｖの行と列とを入れ替えた行列である。

そして、特異値分解によって求められた各成分の時間分布Ｖ及び空間分布Ｕをグラフにプロットし、各成分の成分波形図と血行量分布図とを作成した。

さらに、作成した各成分の成分波形図及び血行量分布図について、脳活動を反映した顔面の血行量の変化すなわち顔面のＲＧＢ変化を示す成分を同定するための解析を行った。

各成分の成分波形図については、その成分波形の振幅と、脳の安静時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の安静期間／脳の賦活期間との間に相関関係があるか否かを評価した。今回の試験では、顔面の撮影画像データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から５分が経過した時点までの５分間の期間、及びデータ取得開始時から１５分が経過した時点からデータ取得終了時点までの１５分間の期間を脳の安静時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から５分が経過した時点から１０分が経過した時点までの１０分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の安静時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準（α）が０．０１以下の場合に相関があると判断した。

各成分の血行量分布図については、顔面の所定部位における血行量変化の有無について解析した。血行量分布図は、ピクセル毎に算出された空間分布Ｕを各ピクセルの位置に並べることで作成される。このように作成された各成分の血行量分布図において、鼻部周辺及び前額部における血行量の変化があるか否かを評価した。なお、血行量分布図における鼻部周辺及び前額部の血行量変化の有無については、目視（visual inspection）による血行量変化の有無、もしくは図１（ｂ）に示す鼻部周辺及び前額部の血行量の値が「0.000」でないことを血行量変化の有無の基準とした。

なお、空間分布Ｕ、特異値Ｓ及び時間分布Ｖの値の関係で、血行量データＸの極性（プラスマイナス）が決定するため、各成分の成分波形図及び血行量分布図において極性が反転して現れることがある。このため、成分波形図及び血行量分布図の評価に関して、極性については評価対象としないこととした。

さらに、顔面の皮膚温度と顔面の血行量との相関関係を検証するために、６名の被験者から顔面の撮影画像データを時系列で取得している間、赤外線サーモグラフィー装置により顔面皮膚温度データも時系列で取得し、取得した顔面皮膚温度データについてもＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の安静時及び脳の賦活時との相関関係の有無について解析した赤外線サーモグラフィー装置は、対象物から出ている赤外線放射エネルギーを赤外線カメラで検出し、検出した赤外線放射エネルギーを対象物表面の温度（ここでは、摂氏での温度）に変換して、その温度分布を顔面皮膚温度データ（例えば、温度分布を表した画像データ）として表示、蓄積することが可能な装置である。なお、この試験では、赤外線サーモグラフィー装置として、NEC Avio 赤外線テクノロジー株式会社製のR300を使用した。また、赤外線カメラは、被験者の正面であって、被験者から１．５ｍ離れた地点に設置した。

ところで、撮影装置を用いて顔面の撮影画像データを取得する場合、撮影中に太陽の光等が顔に当たることで光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された顔面の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるＲＧＢデータにおいて、顔面の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光の記録された撮影画像データから得られるＲＧＢデータに基づいて算出された血行量が解析されると、脳活動とは関連しない顔面のＲＧＢ変化（いわゆるノイズ）が混入してしまう可能性があると考えられた。そこで、このような脳活動とは関連しない顔面のＲＧＢ変化の混入を防ぐために、３０秒毎のＲＧＢデータの全平均値を「０」とした相対的なＲＧＢデータから相対的な血行量データを作成し、作成した血行量データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図と血行量分布図とを作成し、脳活動を反映した顔面のＲＧＢ変化を示す成分を同定するための解析を行った。

なお、以下より、説明の便宜上、所定時間毎（今回の試験では３０秒毎）のＲＧＢデータの全平均値を「０」とした相対的なＲＧＢデータに基づく相対的な血行量データを「相対換算血行量データ」といい、相対的なＲＧＢデータに換算する前のＲＧＢデータに基づく血行量データを単に「血行量データ」という。

また、６名の被験者に対して撮影装置によって顔面の時系列の撮影画像データを取得している間、各被験者の頭皮上に電極を接続して脳波を測定し、覚醒時等の脳細胞が活動している時に現れる波形として知られているβ波（１３〜３０Ｈｚの周波数の脳波）の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式１０−２０法に基づき、頭皮上１９の部位（Ｆｐ１、Ｆｐ２、Ｆ３、Ｆ４、Ｃ３、Ｃ４、Ｐ３、Ｐ４、Ｏ１、Ｏ２、Ｆ７、Ｆ８、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｆｚ、Ｃｚ及びＰｚ）に電極を配置した。

さらに、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、撮影装置に対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が顔面のＲＧＢ変化に影響しているか否かを検証するために、被験者１名に対して対照試験を行った。対照試験では、上記試験と同様に撮影装置を用いて被験者の顔面の時系列の撮影画像データを取得するが、脳機能賦活課題が与えられていない間（すなわち、脳の安静時）についてもランダムなタイミングでキーボードを押す作業を被験者に対して課した。この対照実験によって撮影された顔面の時系列の撮影画像データから得られたＲＧＢデータに基づく時系列の血行量データについても、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて特異値分解を行い、特異値Ｓに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の安静時及び脳の賦活時との相関関係の有無について解析した。また、各成分波形の振幅と、実際の顔面の動きとの相関関係の有無について解析した。実際の顔面の動きは、撮影画像データから顔の同一箇所の２次元座標を取得し、対照実験開始時の撮影画像データを基準として撮影時における３０秒毎の顔面の移動距離を算出することで評価した。さらに、各成分波形の振幅と、撮影中のキーボードの入力数との相関関係の有無についても解析した。撮影中のキーボードの入力数は、時系列の撮影画像データにおける３０秒毎の単純移動平均を算出することで評価した。

（３）顔面の撮影画像データの解析結果
図２〜図７は、顔面の撮影画像データ（血行量データ）又は顔面皮膚温度データに基づく成分波形図を解析した結果の一部を示す図である。図２Ａは、被験者１の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者１の脳波のうちのβ波の振幅とを示す図である。図２Ｂは、被験者１の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者１の脳波のうちのβ波の振幅とを示す図である。図３Ａは、被験者２の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者２の脳波のうちのβ波の振幅とを示す図である。図３Ｂは、被験者２の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者２の脳波のうちのβ波の振幅とを示す図である。図４Ａは、被験者３の撮影画像データに基づく成分４の成分波形の振幅と、測定された被験者３の脳波のうちのβ波の振幅とを示す図である。図４Ｂは、被験者３の顔面皮膚温度データに基づく成分３の成分波形の振幅と、測定された被験者３の脳波のうちのβ波の振幅とを示す図である。図５Ａは、被験者４の撮影画像データに基づく成分３の成分波形の振幅と、測定された被験者４の脳波のうちのβ波の振幅とを示す図である。図５Ｂは、被験者４の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者４の脳波のうちのβ波の振幅とを示す図である。図６Ａは、被験者５の撮影画像データに基づく成分２の成分波形の振幅と、測定された被験者５の脳波のうちのβ波の振幅とを示す図である。図６Ｂは、被験者５の顔面皮膚温度データに基づく成分２の成分波形の振幅と、測定された被験者５の脳波のうちのβ波の振幅とを示す図である。図７Ａは、被験者６の撮影画像データに基づく成分４の成分波形の振幅と、測定された被験者６の脳波のうちのβ波の振幅とを示す図である。図７Ｂは、被験者６の顔面皮膚温度データに基づく成分３の成分波形の振幅と、測定された被験者６の脳波のうちのβ波の振幅とを示す図である。

図２〜図７に示すように、各成分波形と脳波解析との結果から、顔面の皮膚温度と顔面の血行量とが相関関係にあることが確認された。なお、顔面の皮膚温度データ及び顔面の血行量データのいずれのデータに基づく解析においても、各成分波形の振幅と、頭頂部又は後頭部に装着した電極が測定した脳波のβ波の振幅との間に有意な相関が確認された。

以下に示す表１は、各被験者に対する顔面の撮影画像データの解析結果を示したものである。

表１に示すように、上記の顔面の撮影画像データの解析によって得られた結果から、顔面の撮影画像データに基づく時系列の血行量データを特異値分解により分解して得られた複数の成分のうち、成分１，２，３，４，５と人間の脳活動との間に有意な相関があることが確認された。なお、ここでは、血行量データに基づく相関において有意な相関が見られかつ相対換算血行量データに基づく相関において有意な相関が見られた成分だけでなく、血行量データに基づく相関においては有意な相関が見られなかったが相対換算血行量データに基づく相関において有意な相関が見られた成分も、人間の脳活動と有意な相関があると認めるようにした。

また、以下に示す表２は、対照実験の結果を示したものである。

表２に示すように、対照実験では、顔面の撮影画像データを取得している間に被験者に動きがある場合、その成分波形の振幅と脳の安静時及び脳の賦活時との間に有意な相関のあった成分のうちの成分２については、移動距離及びキーボード入力数それぞれとの間に有意な相関が認められなかった。このことから、顔面の撮影画像データから取得したＲＧＢデータに基づく血行量データを特異値分解することで得られる複数の成分において、脳活動との間に有意な相関がある成分については、顔面の時系列の撮影画像データを取得する際の被験者の動きによる影響を受けたとしても、その影響は脳の脳活動による影響（脳の賦活や安静による影響）よりも遙かに小さいことが確認された。

これらの結果から、本発明者らは、以下の知見を得た。

被験者から取得した時系列の顔面の撮影画像データに基づく顔面のＲＧＢデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分１，２，３，４，５が脳活動に関連する成分であると認められた。すなわち、時系列の顔面の撮影画像データに基づく顔面のＲＧＢデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の安静／賦活と相関のある成分を抽出し、抽出した成分について解析することで、複数の成分から脳活動を反映した顔面のＲＧＢ変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の時系列の撮影画像データに基づいて、脳活動を推定することができる、という知見を得た。

（４）脳活動推定装置１０
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動推定装置１０について説明する。なお、本発明に係る脳活動推定装置１０は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。

図８は、本発明の実施形態に係る脳活動推定装置１０の概略図である。図９は、脳活動推定装置１０において脳機能を反映した顔面のＲＧＢ変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。

脳活動推定装置１０は、個人（被験者）の顔面の撮影画像データから、個人の脳活動を推定するための装置である。脳活動推定装置１０は、図８に示すように、画像データ取得手段２０と、脳活動推定手段３０と、を備える。

画像データ取得手段２０は、個人の顔面の少なくとも一部の撮影画像データを時系列で取得する（ステップＳ１）。なお、画像データ取得手段２０は、少なくとも撮影装置を有するものであれば特に限定されるものではなく、例えば、スマートフォンやタブレット（例えば、iPad：登録商標）等の撮影装置内蔵型ポータブル端末等が挙げられる。ここでは、画像データ取得手段２０は、図８に示すように、撮影装置としてのカメラ２１と、記憶部２２とを有する。カメラ２１は、個人の顔面の撮影画像データを時系列で取得するためのものである。本実施形態では、カメラ２１は、個人の顔面全体の動画を撮影し、撮影した動画データを取得する。記憶部２２は、撮影装置により撮影された時系列の撮影画像データを蓄積する。ここでは、記憶部２２は、カメラ２１によって取得された動画データを蓄積する。

なお、本実施形態では、カメラ２１によって顔面全体の動画が撮影されているが、これに限定されず、顔面の少なくとも前額部及び／又は鼻部周辺の画像を含む動画が撮影されていればよい。

また、本実施形態では、画像データ取得手段２０により顔面の時系列の撮影画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、画像データ取得手段２０により取得される撮影画像データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、脳活動推定装置１０の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。

脳活動推定手段３０は、画像データ取得手段２０により取得された顔面の時系列の撮影画像データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段３０は、図８に示すように、ＲＧＢ処理部３１と、換算部３２と、血行量算出部３３と、解析部３４と、推定部３５と、を有する。なお、図８では、脳活動推定手段３０が、ＲＧＢ処理部３１、換算部３２、血行量算出部３３、解析部３４及び推定部３５を有する１つの装置として存在している態様が示されているが、本発明はこれに限定されるものではなく、ＲＧＢ処理部３１、換算部３２、血行量算出部３３、解析部３４及び推定部３５の一部或いはそれぞれが独立した装置として存在していてもよい。

ＲＧＢ処理部３１は、画像データ取得手段２０により取得された撮影画像データに対して、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理を行う（ステップＳ２）。ここで、顔面全体の撮影画像データに対してＲＧＢ処理を行ってもよいが、本実施形態では、演算処理量及びノイズを減らすために、撮影画像データから前額部及び／又は鼻部周辺のデータを抽出し、抽出したデータについてのみＲＧＢ処理を行うものとする。

換算部３２は、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータを相対的なＲＧＢデータに換算する（ステップＳ３）。具体的には、換算部３２は、取得された所定時間毎（例えば、３０秒）の撮影画像データから得られるＲＧＢデータの平均値を基準値として、該ＲＧＢデータを相対的なＲＧＢデータに換算する。

血行量算出部３３は、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき、顔面の時系列の血行量データを算出する（ステップＳ４）
解析部３４は、時系列の相対換算血行量データを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する（ステップＳ５）。本実施形態では、解析部３４は、相対換算血行量データに対して、ＭＡＴＬＡＢ（登録商標）のＳＶＤを分析ツールとして用いて、特異値分解を行う。具体的には、特異値分解は、時系列の相対換算血行量データを対象として、要因を所定期間（例えば、３０秒）毎の時間データとし、測度をその期間毎における相対的なＲＧＢデータから演算したピクセル毎の相対換算血行量データとして行われる。そして、特異値分解により、時系列の相対換算血行量データを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。

また、解析部３４は、特異値分解によって分解した複数の成分から脳活動を反映した顔面のＲＧＢ変化を示す成分を同定するために、各成分が所定条件を満たすか否かを判定する（ステップＳ６）。ここで、所定条件としては、例えば、特異値分解によって分解した成分の成分波形の振幅が、脳の安静時及び脳の賦活時の変化と相関関係にあるという条件（以下、第１条件という）や、特異値分解によって分解した成分において人間の顔面の所定部位に血行量変化があるという条件（以下、第２条件という）等が含まれる。解析部３４において判定される所定条件としては、１又は複数の条件が設定されていればよく、ここでは、所定条件として第１条件が設定されているものとする。

そして、解析部３４は、複数の成分のうち所定条件を満たす成分を、判定用成分として抽出する。さらに、解析部３４は、抽出した判定用成分のうち所定条件に含まれる全ての条件を満たす成分を、脳活動を反映した顔面のＲＧＢ変化を示す成分として同定する（ステップＳ７）。一方、解析部３４は、複数の成分のうち所定条件に含まれる少なくとも１つの条件を満たさないと判定した成分を、脳活動を反映した顔面のＲＧＢ変化を示す成分ではないと判定する（ステップＳ８）。

本実施形態では、上述のように所定条件として１つの条件（第１条件）のみが設定されており、顔面の時系列の撮影画像データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。このため、解析部３４は、個人に対して脳機能賦活課題が与えられていない期間を脳の安静時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。そして、解析部３４は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の安静時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、所定条件を満たす判定用成分として抽出すると共に、脳活動を反映した顔面のＲＧＢ変化を示す成分として同定する。一方、解析部３４は、複数の成分のうち相関関係にないと評価した成分を、所定条件を満たさず人間の脳活動を反映した顔面のＲＧＢ変化を示す成分ではないと判定する。

ここで、本実施形態では、顔面の時系列の撮影画像データが取得される際に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部３４が判定用成分を抽出しているが、第１条件の内容、すなわち解析部３４における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の安静時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部３４は、複数の成分から特定されている該成分を判定用成分として抽出する。また、脳活動推定装置１０において眼球運動又はまたたき等の脳の賦活／安静に関連することが知られている人間の動作についても検出される場合には、解析部３４が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部３４による第１条件を満たすか否かの判定の基準は、脳活動推定装置１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。

また、所定条件として第２条件が設定されている場合には、解析部３４は、人間の顔面の所定部位における顔面の血行量変化の有無に基づき、判定用成分を抽出する。具体的には、解析部３４は、特異値分解によって分解された複数の成分に応じた血行量分布図に基づき、鼻部周辺及び／又は前額部において血行量の変化が生じているか否かを判定し、血行量の変化が生じている場合には該成分が第２条件を満たしていると判定する。一方で、鼻部周辺及び／又は前額部において血行量の変化が生じていない場合には、解析部３４は、該成分が第２条件を満たしていないと判定する。なお、解析部３４による第２条件を満たすか否かの判定の基準は、脳活動推定装置１０の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定されるものとする。

さらに、血行量算出部３３によって相対的なＲＧＢデータに換算される前のＲＧＢデータに基づく時系列の血行量データが算出される場合には、解析部３４によって、該血行量データを特異値分解等することで得られた複数の成分についても、上記第１条件及び／又は第２条件が満たされるか否かが判定され、判定用成分が抽出されてもよい。

推定部３５は、解析部３４において人間の脳活動を反映した顔面のＲＧＢ変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部３５は、解析部３４において同定された成分の成分波形データに基づいて、顔面の撮影画像データの取得時に、個人の脳が活動状態にあったのか、或いは脳が活動していない状態にあったのかを、推定する。

このような構成によって、この脳活動推定装置１０では、顔面の時系列の撮影画像データに基づいて、人間の脳活動を推定することができる。そして、推定部３５による推定結果がディスプレイ等の図示しない表示手段に表示されることで、個人の脳が活動している状態にあるのか、或いは、活動していない状態にあるのかを知ることができる。

また、解析部３４において脳活動を反映した顔面のＲＧＢ変化を示す成分が同定された後、さらに画像データ取得手段２０により顔面の時系列の撮影画像データが取得される場合には、脳活動推定装置１０において、さらに取得された顔面の撮影画像データが特異値分解により複数の成分に分解され、同定された成分のみが解析されることで、その顔面の撮影画像データの取得時にその個人の脳が活動状態にあったのか、或いは脳が活動していない状態にあったのかが推定されてもよい。このような脳活動推定装置１０を利用して空調機等の設備機器を制御することで、その個人に合った室内環境に近づけることができる。

（５）特徴
（５−１）
人間の脳活動を推定するために、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用される場合、脳波電極やプローブ等の装着前に処理が必要なセンサを用いなければならなかったり、測定場所に制約が生じたりする。また、これら検出方法に用いられる機器は、非常に高額であるため、これら機器を備える脳活動推定装置を製造しようとすると製造コストが大きくなってしまう。

本実施形態では、画像データ取得手段２０により取得された時系列の顔面の画像データに基づき、人間の脳活動が推定される。このため、脳波電極やプローブ等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法が利用される場合と比較して、簡便に人間の脳活動を推定することができている。

また、本実施形態では、顔面の少なくとも一部の画像データを取得できればよいため、従来の検出方法に用いられる機器を備える脳活動推定装置と比較して、製造コストを抑えることができる。

さらに、サーモグラフィー装置を用いることで取得できる人間の顔面の皮膚温度データに基づき、人間の脳活動を推定することもできるが、サーモグラフィー装置も一般的に数万円ほどの費用がかかるため、サーモグラフィー装置を用いるよりも製造コストを抑えた脳活動推定装置が期待される。本実施形態では、画像データ取得手段２０として安価な撮影装置が採用されることで、サーモグラフィー装置が採用される場合と比較して、より製造コストを抑えることができる。

ところで、既存の研究として、時系列の顔面皮膚温度データに含まれる全温度データの平均値を算出し、算出した平均値に応じた顔面皮膚温度データの解析を行うことで人間の脳活動を推定する、という平均値的アプローチが行われていた。しかしながら、顔面皮膚温度データには実際に脳活動を反映しているもの以外のノイズが含まれており、身体の一部の温度データが分析されることでノイズの影響が比較的大きくなるため、平均値的アプローチでは脳活動を正確に推定することができなかった。そこで、本発明者らは、時系列の顔面皮膚温度データを特異値分解、主成分分析或いは独立成分分析により複数の成分に分解し、分解した複数の成分から脳活動と関連する成分を同定する成分分析的アプローチを行うことを考えついた。成分分析的アプローチでは、全ての温度データを分解していくため、ノイズを含む成分を除去することができ、この結果、平均値的アプローチと比較して正確に脳活動を推定することができる。

加えて、本発明者らは、顔面の皮膚温度に比例する顔面の血行量の時系列データから脳活動を推定する際にも、この成分分析的アプローチが有効であるのではないか、と考えた。そこで、本発明者らは、時系列の顔面の画像データから得られるＲＧＢデータに基づく時系列の血行量データについても、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解し、分解した複数の成分から脳活動と関連する成分を同定する成分分析的アプローチを採用した。本実施形態の脳活動推定装置１０では、時系列の顔面の画像データから得られるＲＧＢデータに基づく時系列の血行量データが特異値分解により複数の成分に分解され、分解された成分から脳活動が推定されている。これにより、ノイズを含む成分を除去することができ、正確に脳活動を推定することができている。

（５−２）
ここで、時系列の顔面の画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり安静化したりする状況が作られている場合、各成分の成分波形と脳の賦活時及び安静時との間に相関関係のある成分は、脳活動を反映した血行量の変化を示す成分である可能性が高い成分であるといえる。

本実施形態では、画像データ取得手段２０により時系列の顔面の画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられている。すなわち、本実施形態では、個人に対して実際に脳機能賦活課題を与えたり与えなかったりすることにより、人間の脳が賦活化したり安静化したりする状況が作られている。そして、このように取得された画像データから得られるＲＧＢデータに基づく時系列の血行量データが特異値分解により複数の成分に分解され、各成分についてその成分波形と脳の賦活時及び安静時との相関関係が評価され、相関関係にある成分が判定用成分として複数の成分から抽出される。このため、例えば、予め実験等により特定された所定の成分が抽出用成分として複数の成分から抽出される場合と比較して、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができている。

（５−３）
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び鼻部周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度と相関する顔面の血行量の変化は、前額部及び／又は鼻部周辺に出現することになる。

本実施形態では、前額部及び／又は鼻部周辺のＲＧＢデータに基づく血行量データが解析されて、判定用成分が抽出されている。このため、人間の脳活動に関連する成分を精度よく抽出することができている。

また、本実施形態では、ＲＧＢ処理及び血行量データの取得範囲が前額部及び／又は鼻部周辺に限定されているため、顔面全体の撮影画像データをＲＧＢ処理したり、これに基づき血行量データを算出したりするよりも、演算処理量を減らすことができている。

（５−４）
ところで、撮影装置を用いて顔面の撮影画像データを取得する場合、撮影中に太陽の光等が顔に当たることで光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された顔面の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるＲＧＢデータにおいて、顔面の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光が記録された撮影画像データから得られるＲＧＢデータに基づいて算出された血行量が解析されると、脳活動とは関連しない顔面のＲＧＢ変化（いわゆるノイズ）が混入してしまうおそれがある。

本実施形態では、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータが相対的なＲＧＢデータに換算され、相対的なＲＧＢデータに基づく時系列の相対換算血行量データが算出されている。このように、相対換算血行量データが算出されることで、所定時間毎における顔面のＲＧＢデータの相対的な変化を捉えることができる。このため、脳活動とは関連しない外的要因による顔面のＲＧＢ変化を検出することができる。

また、本実施形態では、時系列の相対換算血行量データが、特異値分解により複数の成分に分解され、各成分についての解析が行われる。このため、脳活動とは関連しない外的要因による顔面のＲＧＢ変化を含む成分を、ノイズ成分として除去することができる。これにより、人間の脳活動に関連する成分を精度よく同定することができている。

（５−５）
ところで、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき得られた血行量データを解析した場合には有意な相関のある成分としては抽出されず、相対的なＲＧＢデータに基づき得られた相対換算血行量データを解析した場合には有意な相関のある成分として抽出されることがある。一方で、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき得られた血行量データを解析した場合には有意な相関のある成分として抽出されても、相対的なＲＧＢデータに基づき得られた相対換算血行量データを解析した場合には有意な相関のある成分として抽出されないことがある。ここで、相対的なＲＧＢデータに換算される前のＲＧＢデータには外部からの光等の外部要因が影響している可能性があるため、上記のような抽出される成分の相違には、外部要因の影響が関連していると考えられる。すなわち、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき得られた血行量データよりも相対的なＲＧＢデータに基づき得られた相対換算血行量データの方が、重要度が高く妥当性の高いデータであると言える。

本実施形態では、相対的なＲＧＢデータに基づき得られた相対換算血行量データのみが解析されている。これにより、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき得られた血行量データのみが解析されるよりも、人間の脳活動に関連する成分を精度よく同定することができている。さらに、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき得られた血行量データ及び相対的なＲＧＢデータに基づき得られた相対換算血行量データのいずれのデータも解析される場合と比較して、演算処理量を減らすことができている。

（６）変形例
（６−１）変形例Ａ
上述したように、カメラ２１としては、例えば、スマートフォンやタブレット（例えば、iPad：登録商標）等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。

この場合、上記実施形態の血行量算出部において、ＲＧＢデータに含まれる各画素のうちの主にＲ成分を用いて顔面の血行量データが算出されてもよい。また、ＲＧＢデータに基づき血行量データを算出できるのであれば、血行量データは必ずしも紅斑指数に限定されるものではない。

（６−２）変形例Ｂ
上記実施形態では、ステップＳ４において、ＲＧＢ処理により得られた撮影画像データのＲＧＢデータに基づき、顔面の時系列の血行量データが算出されている。言い換えると、上記実施形態の血行量算出部３３は、換算部３２によって換算された相対的なＲＧＢデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき血行量データが算出されてもよい。ここで、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい（検定力が高い）ため、例えば、相対的なＲＧＢデータに換算される前のＲＧＢデータに基づき算出された血行量データを、相対的なＲＧＢデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。

（６−３）変形例Ｃ
上記カメラ２１は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたＲＧＢデータに含まれる各画素のうちの主にＲ成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。

（６−４）変形例Ｄ
なお、上記説明においては、脳活動推定装置１０が、画像データ取得手段２０と、脳活動推定手段３０とを備える形態としていたが、本実施形態に係る脳活動推定装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る脳活動推定装置は、血行量算出部３３、解析部３４及び推定部３５を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る脳活動推定装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。

本発明によれば、簡便に人間の脳活動を推定することができるため、人間の脳活動を推定する必要のある装置への適用が有効である。

１０ 脳活動推定装置
２０ 画像データ取得手段
３０ 脳活動推定手段
３１ ＲＧＢ処理部
３２ 換算部
３３ 血行量算出部
３５ 推定部

特開２０１３−１７６４０６号公報

Claims (9)

1. 時系列で取得された人間の顔面の撮影画像データに対して行なわれる、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理により得られた、撮影画像データのＲＧＢデータに基づき、前記顔面の時系列の血行量データを算出する血行量算出部（３３）と、
   前記血行量データを特異値分解、主成分分析或いは独立成分分析により分解することで得られた複数の成分に基づき、前記人間の脳活動を推定する推定部（３５）と、
   を有する脳活動推定手段（３０）、
   を備える脳活動推定装置。
2. 前記脳活動推定手段は、
   前記複数の成分のうち、その成分波形の振幅が脳の安静時及び脳の賦活時の変化と相関関係にある成分を判定用成分として抽出し、
   前記判定用成分に基づき、前記人間の脳活動を推定する、
   請求項１に記載の脳活動推定装置。
3. 前記撮影画像データには、前記人間に対して脳機能賦活課題が与えられている期間のデータが含まれており、
   前記脳活動推定手段は、
   前記人間に対して前記脳機能賦活課題が与えられていない期間を脳の安静時とし、前記人間に対して前記脳機能賦活課題が与えられている期間を脳の賦活時として、前記複数の成分について前記相関関係にあるか否かを評価し、
   前記複数の成分のうち前記相関関係にあると評価した成分を、前記判定用成分として抽出する、
   請求項２に記載の脳活動推定装置。
4. 前記血行量データの取得範囲は、前記顔面の鼻部周辺、及び／又は前額部である、
   請求項１から３のいずれか１項に記載の脳活動推定装置。
5. 前記脳活動推定手段は、取得された所定時間毎の前記撮影画像データから得られる前記ＲＧＢデータを相対的なＲＧＢデータに換算する換算部（３２）、を有し、
   前記血行量算出部は、前記相対的なＲＧＢデータに基づき、前記顔面の時系列の血行量データを算出する、
   請求項１から４のいずれか１項に記載の脳活動推定装置。
6. 人間の顔面の撮影画像データを時系列で取得する画像データ取得手段（２０）と、
   前記画像データ取得手段により取得された前記撮影画像データに対して、Ｒ成分、Ｇ成分及びＢ成分の３つの色成分に分解するＲＧＢ処理を行なうＲＧＢ処理部（３１）と、
   をさらに備える請求項１から５のいずれか１項に記載の脳活動推定装置（１０）。
7. 前記撮影画像データは、可視光領域の画像を撮像するカメラ（２１）により取得されるものである、
   請求項１から６のいずれか１項に記載の脳活動推定装置。
8. 前記血行量算出部は、前記ＲＧＢデータに含まれる各画素のうちの主にＲ成分を用いて前記顔面の血行量データを算出する、
   請求項１から７のいずれか１項に記載の脳活動推定装置。
9. 前記撮影画像データは、赤外線カメラにより取得されるものである、
   請求項１から６のいずれか１項に記載の脳活動推定装置。