JP2019115561A - 心理状態判定方法、判定装置、判定システムおよび判定プログラム - Google Patents

心理状態判定方法、判定装置、判定システムおよび判定プログラム Download PDF

Info

Publication number
JP2019115561A
JP2019115561A JP2017252105A JP2017252105A JP2019115561A JP 2019115561 A JP2019115561 A JP 2019115561A JP 2017252105 A JP2017252105 A JP 2017252105A JP 2017252105 A JP2017252105 A JP 2017252105A JP 2019115561 A JP2019115561 A JP 2019115561A
Authority
JP
Japan
Prior art keywords
infrared light
moving image
subject
determination
psychological state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017252105A
Other languages
English (en)
Other versions
JP7051083B2 (ja
Inventor
延康 成瀬
Nobuyasu Naruse
延康 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiga University of Medical Science NUC
Original Assignee
Shiga University of Medical Science NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiga University of Medical Science NUC filed Critical Shiga University of Medical Science NUC
Priority to JP2017252105A priority Critical patent/JP7051083B2/ja
Publication of JP2019115561A publication Critical patent/JP2019115561A/ja
Application granted granted Critical
Publication of JP7051083B2 publication Critical patent/JP7051083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】被験者の心理状態を非接触で手軽に判定するための、判定方法、判定装置、判定システムおよび判定プログラムを提供する。【解決手段】判定装置は、被験者Ｓの体表を少なくとも赤外光ＩＲを含む光で撮影した動画を取得する動画取得手段（２０）と、動画に含まれている、被験者Ｓの血流に関する情報を取得する血流情報取得手段（３０）と、血流に関する情報に基づいて、被験者Ｓの心理状態を判定する心理状態判定手段（４０）と、を備える。【選択図】図３

Description

本発明は、被験者の心理状態を非接触で手軽に判定するための、判定方法、判定装置、判定システムおよび判定プログラムに関する。
医師や看護師といった医療従事者は、手術直後の患者や病気の患者、未熟児等といった、うまく言葉を発することができない状態にある人たちと日常的に接していると、彼らが今どのような心理状態にあるのかを経験的に把握することができると言われている。しかし、そのように判断した根拠には、例えば顔色が良いといった曖昧なものが多い。このようなことから、人の心理状態を科学的なアプローチで把握する様々な研究が行われている。
人の心理状態を判定するシステムとしては、例えば、脳波測定（EEG: electroencephalograpy）によるシステム、磁気共鳴機能画像法（fMRI: functional magnetic resonance imaging）によるシステム、および近赤外線分光法（NIRS: Near-infrared spectroscopy）によるシステムがある。ＥＥＧによるシステムおよびＮＩＲＳによるシステムでは、人体内部の、特に脳近傍の血流量や脳波信号を把握するために、被験者の頭部に検出器を接触させることにより計測を行っている。ｆＭＲＩによるシステムでは、被験者の心理状態を裏付けるために、脳の働きを画像化している。
また、例えば医療現場において使用される装置として、皮膚表面の血流量、脈拍数、およびヘモグロビン酸素飽和量の計測を、非接触でそれぞれの計測を単独で行う装置がこれまでに開発されている。このような装置としては、例えばパルスオキシメータや、ドップラーレーザ血流計が知られている。
パルスオキシメータは、患者の例えば指先等に装着されて、患者の脈拍数や酸素飽和量をモニタリングすることができる。ドップラーレーザ血流計によると、レーザ光を皮膚表面に照射して、散乱光の変化から血流量を測定することにより、皮膚表面の血流量を面的に画像化して把握することができる。
また、映像情報に基づいて被験者の集中度を推定する方法が、特許文献１に開示されている。
特開２０１７−１４０１０７号公報
ＥＥＧによるシステムおよびＮＩＲＳによるシステムでは、検出器が接触式であるため、計測のために頭部に検出器を取り付けるという行為または事実自体が、被験者の心理に影響を与えるという問題がある。特に、ＮＩＲＳによるシステムでは、顔を除く頭部の上半分を覆うように、接触式で多数の検出器を取り付ける必要があり、特定の人を対象とした研究用途では良くても、様々な人を対象として心理状態を気軽に判定するには大がかりである。ｆＭＲＩによるシステムは、非常に高価で大がかりであることから、設置および導入箇所は、大学病院や研究所等の一部の機関に限られているのが実状である。
すなわち、ＥＥＧによるシステム、ｆＭＲＩによるシステム、およびＮＩＲＳによるシステムのいずれによっても、病棟、介護施設、自宅等の様々な現場において、様々な人を対象として心理状態を気軽に判定することはできない。
また、パルスオキシメータおよびドップラーレーザ血流計のいずれも、被験者の心理状態を判定することはできない。特に、ドップラーレーザ血流計は、レーザ光を照射することから取り扱いに注意を要し、測定対象の部位が制限される。例えば、ドップラーレーザ血流計は、顔付近の皮膚を対象として測定することはできない。また、ドップラーレーザ血流計は高価である。
また、特許文献１の方法では、映像情報だけではなく、被験者の視線方向の情報が推定に必要とされている。視線方向の測定には計測機（例えば、アイ・トラッキング・カメラ）が必要となり、気軽な判定を阻害する。視線方向の計測には、眼球の大きさ、眼鏡着用の有無、瞳の色等に応じたキャリブレーションを被験者毎に行う必要があり、導入は煩雑である。
本発明は、上記課題を解決するためになされたものであり、その目的は、被験者の心理状態を非接触で手軽に判定するための、判定方法、判定装置、判定システムおよび判定プログラムを提供することにある。
上記目的を達成するための本発明は、以下に示す態様を含む。
（項１）
被験者の体表を少なくとも赤外光を含む光で撮影した動画を取得する動画取得ステップと、
前記動画に含まれている、前記被験者の血流に関する情報を取得する血流情報取得ステップと、
前記血流に関する情報に基づいて、前記被験者の心理状態を判定する心理状態判定ステップと、
を含む、判定方法。
（項２）
前記動画取得ステップが、
前記被験者の前記体表を赤外光で撮影した赤外光動画を取得するステップ、
を含み、
前記血流情報取得ステップが、
前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得するステップと、
前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出するステップと、
を含み、
前記心理状態判定ステップが、前記パワースペクトルに基づいて、前記被験者の心理状態を判定するステップである、項１に記載の判定方法。
（項３）
前記動画取得ステップが、
前記被験者の前記体表を赤外光で撮影した赤外光動画を取得するステップと、
前記被験者の前記体表を赤色光で撮影した赤色光動画を取得するステップと、
を含み、
前記血流情報取得ステップが、
前記赤外光動画に基づいて、血中の酸素化ヘモグロビン量に対応する赤外光強度を算出するステップと、
前記赤色光動画に基づいて、血中の脱酸素化ヘモグロビン量に対応する赤色光強度を算出するステップと、
を含み、
前記心理状態判定ステップが、前記赤外光強度および前記赤色光強度の比率に基づいて、前記被験者の心理状態を判定するステップである、項１に記載の判定方法。
（項４）
前記血流情報取得ステップが、
前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得するステップと、
前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出するステップと、
をさらに含み、
前記心理状態判定ステップが、前記パワースペクトルと、前記赤外光強度および前記赤色光強度の比率とに基づいて、前記被験者の心理状態を判定するステップである、項３に記載の判定方法。
（項５）
前記心理状態が、前記被験者の緊張状態またはリラックス状態である、項１から４のいずれかに記載の方法。
（項６）
前記体表が前記被験者の顔面である、項１から５のいずれかに記載の方法。
（項７）
前記体表が前記被験者の額である、項６に記載の方法。
（項８）
被験者の体表を少なくとも赤外光を含む光で撮影した動画を取得する動画取得手段と、
前記動画に含まれている、前記被験者の血流に関する情報を取得する血流情報取得手段と、
前記血流に関する情報に基づいて、前記被験者の心理状態を判定する心理状態判定手段と、
を備える、判定装置。
（項９）
前記動画取得手段が、
前記被験者の前記体表を赤外光で撮影した赤外光動画を取得する赤外光動画取得手段、
を備え、
前記血流情報取得手段が、
前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得する脈拍波形取得手段と、
前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出する周波数解析手段と、
を備え、
前記心理状態判定手段が、前記パワースペクトルに基づいて、前記被験者の心理状態を判定する手段である、項８に記載の判定装置。
（項１０）
前記動画取得手段が、
前記被験者の前記体表を赤外光で撮影した赤外光動画を取得する赤外光動画取得手段と、
前記被験者の前記体表を赤色光で撮影した赤色光動画を取得する赤色光動画取得手段と、
を備え、
前記血流情報取得手段が、
前記赤外光動画に基づいて、血中の酸素化ヘモグロビン量に対応する赤外光強度を算出する赤外光強度算出手段と、
前記赤色光動画に基づいて、血中の脱酸素化ヘモグロビン量に対応する赤色光強度を算出する赤色光強度算出手段と、
を備え、
前記心理状態判定手段が、前記赤外光強度および前記赤色光強度の比率に基づいて、前記被験者の心理状態を判定する手段である、項８に記載の判定装置。
（項１１）
前記血流情報取得手段が、
前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得する脈拍波形取得手段と、
前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出する周波数解析手段と、
をさらに備え、
前記心理状態判定手段が、前記パワースペクトルと、前記赤外光強度および前記赤色光強度の比率とに基づいて、前記被験者の心理状態を判定する手段である、項１０に記載の判定装置。
（項１２）
項９に記載の判定装置と、
前記被験者の前記体表から到達する光の赤外光成分を透過する赤外光フィルタと、
前記赤外光フィルタを透過した前記赤外光成分を通じて、前記赤外光動画を撮影する動画撮影装置と、
を備える、判定システム。
（項１３）
項１０または１１に記載の判定装置と、
前記被験者の前記体表から到達する光を、赤外光成分と赤色光成分とに分離する分光器と、
前記分光器を透過した前記赤外光成分を通じて、前記赤外光動画を撮影する第１の動画撮影装置と、
前記分光器を透過した前記赤色光成分を通じて、前記赤色光動画を撮影する第２の動画撮影装置と、
を備える、判定システム。
（項１４）
前記分光器が、ダイクロイックミラーまたはダイクロイックプリズムである、項１３に記載の判定システム。
（項１５）
項１０または１１に記載の判定装置と、
前記被験者の前記体表から到達する光の、赤外光成分と赤色光成分とを切り替えて透過する透過波長切替器と、
前記波長可変フィルタを透過した前記赤外光成分および前記赤色光成分を通じて、前記赤外光動画と前記赤色光動画とをそれぞれ撮影する動画撮影装置と、
を備える、判定システム。
（項１６）
前記透過波長切替器が、波長可変フィルタまたは光学フィルタ切替器である、項１５に記載の判定システム。
（項１７）
項８から１１のいずれかに記載の判定装置の各手段としてコンピュータを機能させるためのプログラム。
本発明によると、被験者の心理状態を非接触で手軽に判定するための、判定方法、判定装置、判定システムおよび判定プログラムを提供することができる。
第１の実施形態に係る判定システムの概略的な構成を模式的に示す図である。 第１から第３の実施形態に係る判定装置のハードウェア構成を示すブロック図である。 第１の実施形態に係る演算装置の機能を説明するためのブロック図である。 第１の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。 第１の実施形態において取得される脈拍の波形の一例を示すグラフである。 第１の実施形態において取得されるパワースペクトルの一例を示すグラフである。（ａ）は緊張状態のパワースペクトルを示し、（ｂ）はリラックス状態のパワースペクトルを示す。 第２の実施形態に係る判定システムの概略的な構成を模式的に示す図である。 第２の実施形態に係る演算装置の機能を説明するためのブロック図である。 第２の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。 第３の実施形態に係る演算装置の機能を説明するためのブロック図である。 第３の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。 第２および第３の実施形態に係る判定システムの、別の態様の概略的な構成を模式的に示す図である。
以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
＜発明の概要＞
以下に説明する本発明の実施形態では、被験者の体表を、少なくとも赤外光を含む光で動画撮影する。撮影した動画から、被験者の血流に関する情報を取得し、取得した血流に関する情報に基づいて、被験者の心理状態を把握する。
被験者の体表からは、赤外光領域の波長の光が絶えず放出されており、被験者の心拍のリズム（すなわち脈拍の変化）に応じて、放出される赤外光の強度も時間と共に変化している。ここで、被験者の心理状態が、例えば緊張状態からリラックス状態へ、またはリラックス状態から緊張状態へ変化すると、心拍数の変化に応じて、放出される赤外光の強度も時間的に変化する。よって、被験者の体表から放出されている赤外光の強度の時間的な変化を観測することにより、被験者の心理状態を把握することができる。
判定する被験者の心理状態は、例えば緊張状態またはリラックス状態とすることができる。または、緊張状態に代えて、ストレス状態、集中状態、または脳の活動が活発な状態とすることができ、リラックス状態に代えて、リフレッシュ状態、または心地良い状態とすることができる。
赤外光強度の時間的な変化を観測する手段としては、被験者の体表を、赤外光を含む光で動画撮影する方法を用いる。撮影した動画データには、赤外光強度の時間的な輝度変化に応じた情報が含まれており、撮影した動画データを画像解析処理することにより、赤外光強度の時間的な変化を抽出する。
撮影する被験者の体表の部位としては、特に制限されないが、被験者の例えば顔面および手等が含まれる。顔面には、例えば額および耳等が含まれ、手には、例えば手首および指先等が含まれる。皮膚が薄い部位が好ましく、血管（例えば静脈）の脈動を把握し易い部位がより好ましい。最も好ましくは、撮影する被験者の体表の部位は額である。
本明細書において、赤外光とは、好ましくは、波長が約７２０ｎｍから約２５００ｎｍの範囲の近赤外光の光を含む。より好ましくは、赤外光は、波長が約７２０ｎｍから約１０５０ｎｍの範囲の近赤外光の光を含み、最も好ましくは、波長が約９３０ｎｍから約１０５０ｎｍの範囲の近赤外光の光を含む。
＜第１の実施形態＞
第１の実施形態では、被験者Ｓの血流に関する情報として、被験者Ｓの脈拍の波形を取得する。取得した脈拍の波形に基づいて、被験者の心理状態を判定する。判定する心理状態は、緊張状態またはリラックス状態とする。
［システム構成］
図１は、第１の実施形態に係る判定システムの概略的な構成を模式的に示す図である。
第１の実施形態に係る判定システム１００は、判定装置１（１Ａ）と、動画撮影装置２と、赤外光フィルタ３とを備える。判定システム１００は、被験者Ｓの体表の関心領域ＲＯＩ（Region of Interest）を赤外光撮影し、被験者Ｓの心理状態を判定する。
判定装置１Ａと動画撮影装置２とは、データの送受信が可能な態様で、有線または無線により、直接的または間接的に接続されている。または、判定装置１Ａと動画撮影装置２とは、例えば後述するネットワーク９９を介して接続されてもよいし、例えば記録媒体９８を介してデータ交換可能に接続されてもよい。
赤外光フィルタ３は、被験者Ｓの体表から到達する光の赤外光成分を透過する光学フィルタである。
動画撮影装置２は、赤外光フィルタ３を透過した赤外光ＩＲを通じて、被験者Ｓの体表の関心領域ＲＯＩを動画撮影する。以下の説明では、赤外光ＩＲを通じて撮影された動画を赤外光動画と呼ぶ。撮影した赤外光動画は、判定装置１Ａに送信される。動画撮影装置２は、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサ等の撮影素子を備えるビデオカメラで構成されている。
判定装置１Ａは、動画撮影装置２にて撮影された赤外光動画を取得し、取得した赤外光動画に基づいて、被験者Ｓの心理状態を判定する。判定装置１Ａは、例えば汎用コンピュータで構成されている。または、判定装置１Ａと動画撮影装置２とを一体化して、例えばスマートフォンで構成してもよい。
光源９は、少なくとも赤外光を含む光源であり、補助的な光源である。例示的には、光源９は、例えば波長が約９３０ｎｍから約１０５０ｎｍの範囲の光を放出するハロゲンランプである。なお、光源９は任意の構成であり、例えば日中の屋外での撮影において太陽光等を光源とする場合、すなわち撮影環境の光が赤外光を含む場合、光源９は不要とすることができる。
関心領域ＲＯＩ（Region of Interest）は、撮影する被験者Ｓの体表の部位を示しており、被験者Ｓの例えば顔面および手等が含まれる。例示的には、図１に示すように、関心領域ＲＯＩは被験者Ｓの額である。関心領域ＲＯＩとしては、皮膚が薄い部位が好ましく、血管（例えば静脈）の脈動を把握し易い部位がより好ましい。
［ハードウェア構成］
図２は、第１から第３の実施形態に係る判定装置のハードウェア構成を示すブロック図である。判定装置１（１Ａ，１Ｂ，１Ｃ）は、演算装置１０（１０Ａ，１０Ｂ，１０Ｃ）と、入力部１６と、出力部１７とを備える。入力部１６は任意の構成である。任意の機能として、判定装置１は、ネットワーク９９を介して外部サーバ（図示せず）と接続することもできる。
演算装置１０は、後述するデータ処理を行うＣＰＵ１１と、データ処理の作業領域に使用するメモリ１２と、処理データを記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５（以下、Ｉ／Ｆ部と記す）とを備えている。
入力部１６および出力部１７は、演算装置１０に接続されている。例示的には、入力部１６はキーボードまたはマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。
演算装置１０は、以下の機能ブロック図およびフローチャートで説明する各ステップの処理を行うためのプログラムを、例えば実行形式（例えばプログラミング言語からコンパイラにより変換されて生成される）で記録部１３に予め記録しており、演算装置１０は、記録部１３に記録したプログラムを使用して処理を行う。または、プログラムは、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体９８から記録部１３にインストールされてもよいし、別所に配置された外部サーバ（図示せず）からネットワーク９９を介して記録部１３にインストールされてもよい。
以下の説明においては、特に断らない限り、演算装置１０が行う処理は、記録部１３またはメモリ１２に格納されたプログラムに基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを適宜記録する。
［機能ブロックおよび処理手順］
図３は、第１の実施形態に係る演算装置の機能を説明するためのブロック図である。
第１の実施形態に係る演算装置１０Ａは、赤外光動画取得手段２１と、脈拍波形取得手段３１と、周波数解析手段３２と、心理状態判定手段４１とを備える。これらの機能ブロックは、プログラムを演算装置１０の記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。
なお、第１の実施形態では、赤外光動画取得手段２１が動画取得手段２０に対応し、脈拍波形取得手段３１および周波数解析手段３２が血流情報取得手段３０に対応し、心理状態判定手段４１が心理状態判定手段４０に対応する。
図４は、第１の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。図４に示すステップＳ１１〜Ｓ１４の処理は、演算装置１０Ａが備える各機能ブロックにより、すなわち演算装置１０Ａによりそれぞれ実行される。
図５は、第１の実施形態において取得される脈拍の波形の一例を示すグラフである。
図４に示すステップＳ１１において、赤外光動画取得手段２１は、動画撮影装置２を用いて、被験者Ｓの体表を赤外光ＩＲで撮影し、赤外光動画を取得する。例示的には、撮影時間は約１５秒から約２０秒程度である。
ステップＳ１２において、脈拍波形取得手段３１は、赤外光強度の時間的な変化から、脈拍の波形を取得する。
取得した赤外光動画が、例えばＮＴＳＣ方式のタイミング規格による動画である場合、赤外光動画には、１秒間あたり約３０枚の時系列的な静止画像フレームが含まれている。脈拍波形取得手段３１は、取得した赤外光動画から時系列的な複数の静止画像フレームを切り出し、それぞれの静止画像フレームについて、フレーム内の赤外光強度を算出する。静止画像フレームのカラーフォーマットが、例えばフルカラー２４ビットのＲＧＢフォーマットである場合、例えば次のようにしてフレーム内の赤外光強度を算出する。
まず、フレーム内の各画素について、８ビットで表される赤色（Ｒ）の輝度値と、８ビットで表される緑色（Ｇ）の輝度値と、８ビットで表される青色（Ｂ）の輝度値との総和を求める。この各画素について輝度値の総和を求める処理を、フレーム内の全ての画素について行う。各画素について求めた輝度値の総和を、フレーム内の全ての画素について足し合わせることにより、各フレーム内の赤外光強度を算出する。
このような、各フレーム内の赤外光強度を算出する処理を、取得した赤外光動画に含まれる複数のフレームのそれぞれに対して行うことにより、図５に例示される脈拍の波形を取得する。
図６は、第１の実施形態において取得されるパワースペクトルの一例を示すグラフである。（ａ）は緊張状態のパワースペクトルを示し、（ｂ）はリラックス状態のパワースペクトルを示す。
ステップＳ１３において、周波数解析手段３２は、脈拍の波形を周波数解析して、脈拍の波形のパワースペクトルを算出する。周波数解析により得られる、脈拍の波形のパワースペクトルを図６に例示する。周波数解析の手法としては、例えばフーリエ変換やウェーブレット変換等の種々の手法を用いることができる。なお、図６に例示するパワースペクトルには、周波数解析後にノイズ処理が施されている。
ステップＳ１４において、心理状態判定手段４１は、脈拍の波形のパワースペクトルに基づいて、被験者Ｓの心理状態を判定する。心理状態判定手段４１は、パワースペクトルを参照し、特定の周波数範囲内にピークが存在するか否かを判定することにより、被験者Ｓの心理状態を判定する。判定結果は、出力部１７に表示するか、記録部１３にデータとして記録する。または、出力部１７が例えば印刷機で構成される場合、判定結果は例えば紙等の媒体に印刷されてもよい。出力部１７が例えばＬＥＤライト等で構成されるインジケータの場合は、判定結果は、例えばインジケータの点滅、またはインジケータの表示色の違い（例えば、緊張状態は黄色、リラックス状態は緑色など）により表示されてもよい。
ピークとは、例えば図６に例示するパワースペクトル中において、縦軸方向に突出したデータのプロットを意味する。ピークの存在を判定する方法には種々の態様がある。例えば、パワースペクトルの縦軸の強度を、予め決定されている強度の閾値と比較することにより、ピークの存在を判定することができる。また例えば、判定に用いる特定の周波数範囲内において、パワースペクトルの縦軸の強度の平均値（すなわち、ノイズレベル）を算出する。算出した強度の平均値に、予め決定されている割合を乗算して、強度の閾値を算出する。この強度の閾値を越える強度のデータが、特定の周波数範囲内に存在すれば、ピークが存在すると判定する。
典型的には、被験者Ｓが緊張状態にあるときには、図６（ａ）に示すように、約０．１５Ｈｚ以上には顕著なピークが存在せず、約０．１Ｈｚ以下には符号Ａで示す顕著なピークが存在する。また、典型的には、被験者Ｓがリラックス状態にあるときには、図６（ｂ）に示すように、約０．２Ｈｚ以上の周波数に、符号Ｂで示すような顕著なピークが存在する。
よって、判定しようとする心理状態が、被験者Ｓの緊張状態またはリラックス状態である場合、パワースペクトルの例えば約０．２Ｈｚ以上の周波数に、顕著なピークが存在するか否かを判定する。ピークが存在すれば、被験者Ｓがリラックス状態にあると判定し、ピークが存在しなければ、被験者Ｓが緊張状態にあると判定する。図６（ａ）に例示するパワースペクトルの場合、約０．２Ｈｚ以上の周波数には顕著なピークが存在しないので、心理状態判定手段４１は、被験者Ｓが緊張状態にあると判定する。一方で、図６（ｂ）に例示するパワースペクトルの場合、約０．２Ｈｚ以上の周波数に、符号Ｂで示すピークが存在するので、心理状態判定手段４１は、被験者Ｓがリラックス状態にあると判定する。
なお、心理状態判定手段４１が判定に用いる周波数範囲はこの例に限定されない。例えば、心理状態判定手段４１は、例えば約０．１５Ｈｚ以上にピークが存在せず約０．１Ｈｚ以下にピークが存在する場合には、被験者Ｓが緊張状態にあると判定し、それ以外の場合には被験者Ｓがリラックス状態にあると判定してもよい。
［効果］
以上、第１の実施形態に係る判定方法、判定装置、判定システムおよび判定プログラムによると、被験者の心理状態を非接触で手軽に判定することができる。判定は、被験者の体表を赤外光を通じて撮影した動画（赤外光動画）に基づいて行われ、赤外光動画の撮影は被験者と非接触で行われる。判定を行うにあたり、計測のための検出器等を被験者に別途取り付ける必要が無いので、被験者の心理に影響を与えにくい。判定に用いるシステムも、汎用コンピュータと、ビデオカメラと、赤外光フィルタとを用いて簡便に構成することができるので、設置および導入箇所は制限されず、様々な現場において、様々な人を対象として心理状態を気軽に判定することができる。
これにより、手術直後の患者や病気の患者、未熟児等といった、うまく言葉を発することができない状態にある人たちの心理状態を、病棟、介護施設、自宅等の様々な現場において気軽に判定することが可能となる。
＜第２の実施形態＞
第２の実施形態では、被験者Ｓの血流に関する情報として、被験者Ｓの血中の酸素化ヘモグロビン量に対応する赤外光強度と、脱酸素化ヘモグロビン量に対応する赤色光強度とをそれぞれ算出する。算出したこれら赤外光強度および赤色光強度の比率に基づいて、被験者の心理状態を判定する。判定する心理状態は、緊張状態またはリラックス状態とする。
ヘモグロビンの吸光特性は、血中の酸素濃度と深く関連している。酸素化ヘモグロビン（Ｏｘｙ Ｈｂ）は、赤色光の波長領域の光よりも、赤外光の波長領域の光を吸収する吸光特性を有することから、赤外光ＩＲに敏感である。これに対し、脱酸素化ヘモグロビン（Ｄｅｏｘｙ Ｈｂ）は、赤外光の波長領域の光よりも、赤色光の波長領域の光を吸収する吸光特性を有することから、赤色光Ｒに敏感である。よって、被験者Ｓの体表の同じ関心領域ＲＯＩを、赤外光ＩＲおよび赤色光Ｒで同じ時間それぞれ撮影し、赤外光動画および赤色光動画（赤色光Ｒを通じて撮影された動画）を取得すると、赤外光動画に含まれる赤外光の強度は、血中の酸素化ヘモグロビン量を反映している量であり、赤色光動画に含まれる赤色光の強度は、血中の脱酸素化ヘモグロビン量を反映している量であるといえる。
被験者の血中の酸素濃度は、酸素化ヘモグロビン量と脱酸素化ヘモグロビン量との比率から判定することができる。血中の酸素濃度が高いということは、被験者の脳が酸素を大量に消費していない状態、すなわち脳活動が安静な状態を表している。脳活動が安静な状態とは、被験者が例えばリラックス状態、リフレッシュ状態、または心地良い状態であることを反映している。これに対し、血中の酸素濃度が低いということは、被験者の脳が酸素を大量に消費している状態、すなわち脳活動が活発な状態を表している。脳活動が活発な状態とは、被験者が例えば緊張状態、ストレス状態、または集中状態であることを反映している。
［システム構成］
図７は、第２の実施形態に係る判定システムの概略的な構成を模式的に示す図である。
第２の実施形態に係る判定システム２００は、判定装置１（１Ｂ）と、２台の動画撮影装置２、４と、分光器５とを備える。判定システム２００は、被験者Ｓの体表の関心領域ＲＯＩを赤外光撮影および赤色光撮影し、被験者Ｓの心理状態を判定する。
判定装置１Ｂと２台の動画撮影装置２，４とは、データの送受信が可能な態様で、有線または無線により、直接的または間接的に接続されている。または、判定装置１Ｂと２台の動画撮影装置２，４とは、例えば後述するネットワーク９９を介して接続されてもよいし、例えば記録媒体９８を介してデータ交換可能に接続されてもよい。
分光器５は、被験者Ｓの体表から到達する光を、赤外光成分と赤色光成分とに分離する分光器である。分光器５は、例えばダイクロイックミラーまたはダイクロイックプリズム等の、分光機能を有する光学素子で構成される。
第１の動画撮影装置２は、分光器を透過した赤外光ＩＲを通じて、被験者Ｓの体表の関心領域ＲＯＩを動画撮影する。撮影した赤外光動画は、判定装置１Ｂに送信される。第２の動画撮影装置４は、分光器を透過した赤色光Ｒを通じて、被験者Ｓの体表の関心領域ＲＯＩを動画撮影する。以下の説明では、赤色光Ｒを通じて撮影された動画を赤色光動画と呼ぶ。撮影した赤色光動画は、判定装置１Ｂに送信される。２台の動画撮影装置２，４は、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサ等の撮影素子を備えるビデオカメラで構成されている。
判定装置１Ｂは、２台の動画撮影装置２，４にて撮影された赤外光動画および赤色光動画を取得し、取得した赤外光動画および赤色光動画に基づいて、被験者Ｓの心理状態を判定する。判定装置１Ｂは、例えば汎用コンピュータで構成されている。または、判定装置１Ｂと２台の動画撮影装置２，４とを一体化して、例えばスマートフォンで構成してもよい。光源９の機能は、第１の実施形態と同様である。
［ハードウェア構成］
第２の実施形態に係る判定装置１Ｂは、図２に示す第１の実施形態に係る判定装置１Ａと同様の構成を備える。
判定装置１Ｂが備える演算装置１０Ｂは、以下の機能ブロック図およびフローチャートで説明する各ステップの処理を行うためのプログラムを、例えば実行形式で記録部１３に予め記録しており、演算装置１０Ｂは、記録部１３に記録したプログラムを使用して処理を行う。
［機能ブロックおよび処理手順］
図８は、第２の実施形態に係る演算装置の機能を説明するためのブロック図である。
第２の実施形態に係る演算装置１０Ｂは、赤外光動画取得手段２１と、赤色光動画取得手段２２と、赤外光強度算出手段３３と、赤色光強度算出手段３４と、心理状態判定手段４２とを備える。これらの機能ブロックは、プログラムを演算装置１０の記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。
なお、第２の実施形態では、赤外光動画取得手段２１および赤色光動画取得手段２２が動画取得手段２０に対応し、赤外光強度算出手段３３および赤色光強度算出手段３４が血流情報取得手段３０に対応し、心理状態判定手段４２が心理状態判定手段４０に対応する。
図９は、第２の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。図９に示すステップＳ２１〜Ｓ２５の処理は、演算装置１０Ｂが備える各機能ブロックにより、すなわち演算装置１０Ｂによりそれぞれ実行される。
ステップＳ２１において、赤外光動画取得手段２１は、第１の動画撮影装置２を用いて、被験者Ｓの体表を赤外光ＩＲで撮影し、赤外光動画を取得する。例示的には、撮影時間は約１５秒から約２０秒程度である。
ステップＳ２２において、赤色光動画取得手段２２は、第２の動画撮影装置４を用いて、被験者Ｓの体表を赤色光Ｒで撮影し、赤色光動画を取得する。例示的には、撮影時間は約１５秒から約２０秒程度であり、好ましくは、心理状態判定手段４２による判定精度を向上させるために、赤色光動画の撮影時間は赤色光動画の撮影時間と同じまたはほぼ同じである。
ステップＳ２３において、赤外光強度算出手段３３は、赤外光動画から赤外光強度を算出する。赤外光動画から時系列的な複数の静止画像フレームを切り出して、各フレーム内の赤外光強度を算出する処理は、第１の実施形態に係るステップＳ１２において、脈拍波形取得手段３１が行う処理と同様であるので、詳細な説明は省略する。
引き続き、赤外光強度算出手段３３は、各フレーム内の赤外光強度を算出する処理を、取得した赤外光動画に含まれる複数のフレームのそれぞれに対して行い、各フレームについて算出した赤外光強度を積算することにより、赤外光動画に含まれている赤外光強度の積算値ＳＩＲを算出する。
ステップＳ２４において、赤色光強度算出手段３４は、赤色光動画から赤色光強度を算出する。赤色光強度算出手段３４が赤色光動画から赤色光強度を算出する処理は、ステップＳ２３において赤外光強度算出手段３３が赤外光動画から赤外光強度を算出する処理と同様であるので、詳細な説明は省略する。これにより、赤色光強度算出手段３４は、赤色光動画に含まれている赤色光強度の積算値ＳＲを算出する。
ステップＳ２５において、心理状態判定手段４２は、赤外光強度および赤色光強度の比率に基づいて、被験者Ｓの心理状態を判定する。赤外光強度および赤色光強度の比率は、例えば、
比率 ＝ 赤色光強度の積算値ＳＲ ／ 赤外光強度の積算値ＳＩＲ
とする。
例えば、判定しようとする心理状態が、被験者Ｓの緊張状態またはリラックス状態である場合、比率の値が予め規定されている閾値よりも小さい場合、被験者Ｓがリラックス状態にあると判定する。比率の値が予め規定されている閾値以上である場合、被験者Ｓが緊張状態にあると判定する。
［効果］
以上、第２の実施形態に係る判定方法、判定装置、判定システムおよび判定プログラムによると、被験者の心理状態を非接触で手軽に判定することができる。判定は、赤外光動画に加えて赤色光動画に基づいて行われ、赤色光動画の撮影も被験者と非接触で行われる。第２の実施形態によると、赤外光強度および赤色光強度の比率の情報に基づいて判定することにより、判定の精度を向上させることができる。
判定を行うにあたり、計測のための検出器等を被験者に別途取り付ける必要が無いので、被験者の心理に影響を与えにくい。判定に用いるシステムも、汎用コンピュータと、２台のビデオカメラと、分光器とを用いて簡便に構成することができるので、設置および導入箇所は制限されず、様々な現場において、様々な人を対象として心理状態を気軽に判定することができる。
これにより、手術直後の患者や病気の患者、未熟児等といった、うまく言葉を発することができない状態にある人たちの心理状態を、病棟、介護施設、自宅等の様々な現場において気軽に判定することが可能となる。
＜第３の実施形態＞
第３の実施形態では、被験者Ｓの血流に関する情報として、被験者Ｓの脈拍の波形を取得し、さらに被験者Ｓの血中の酸素化ヘモグロビン量に対応する赤外光強度と、脱酸素化ヘモグロビン量に対応する赤色光強度とをそれぞれ算出する。取得した脈拍の波形と、算出した赤外光強度および赤色光強度の比率とに基づいて、被験者の心理状態を判定する。
すなわち、第３の実施形態では、第１の実施形態において取得した脈拍の波形の情報と、第２の実施形態において算出した赤外光強度および赤色光強度の比率の情報とに基づいて、これら情報を組み合わせることにより、被験者の心理状態を判定する。
［システム構成］
第３の実施形態に係る判定システムは、図７に示す第２の実施形態に係る判定システム２００と同様の構成を備える。第３の実施形態に係る判定システム２００は、判定装置１（１Ｃ）と、２台の動画撮影装置２、４と、分光器５とを備える。判定システム２００は、被験者Ｓの体表の関心領域ＲＯＩを赤外光撮影および赤色光撮影し、被験者Ｓの心理状態を判定する。
［ハードウェア構成］
第３の実施形態に係る判定装置１Ｃは、図２に示す第２の実施形態に係る判定装置１Ｂと同様の構成を備える。
判定装置１Ｃが備える演算装置１０Ｃは、以下の機能ブロック図およびフローチャートで説明する各ステップの処理を行うためのプログラムを、例えば実行形式で記録部１３に予め記録しており、演算装置１０Ｃは、記録部１３に記録したプログラムを使用して処理を行う。
［機能ブロックおよび処理手順］
図１０は、第３の実施形態に係る演算装置の機能を説明するためのブロック図である。
第３の実施形態に係る演算装置１０Ｃは、赤外光動画取得手段２１と、赤色光動画取得手段２２と、脈拍波形取得手段３１と、周波数解析手段３２と、赤外光強度算出手段３３と、赤色光強度算出手段３４と、心理状態判定手段４３とを備える。これらの機能ブロックは、プログラムを演算装置１０の記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。
なお、第３の実施形態では、赤外光動画取得手段２１および赤色光動画取得手段２２が動画取得手段２０に対応し、脈拍波形取得手段３１、周波数解析手段３２、赤外光強度算出手段３３および赤色光強度算出手段３４が血流情報取得手段３０に対応し、心理状態判定手段４３が心理状態判定手段４０に対応する。
図１１は、第３の実施形態に係る演算装置が行うデータ処理の手順を示すフローチャートである。図１１に示すステップＳ３１〜Ｓ３７の処理は、演算装置１０Ｃが備える各機能ブロックにより、すなわち演算装置１０Ｃによりそれぞれ実行される。
ステップＳ３１からステップＳ３２の処理は、第２の実施形態に係るステップＳ２１からステップＳ２２の処理と同じである。
ステップＳ３３からステップＳ３４の処理は、第１の実施形態に係るステップＳ１２からステップＳ１３の処理と同じである。
ステップＳ３５からステップＳ３６の処理は、第２の実施形態に係るステップＳ２３からステップＳ２４の処理と同じである。
ステップＳ３７において、心理状態判定手段４３は、脈拍の波形のパワースペクトルと、赤外光強度および赤色光強度の比率とに基づいて、被験者Ｓの心理状態を判定する。
脈拍の波形のパワースペクトルに基づいて、被験者Ｓの心理状態を判定する手法は、第１の実施形態に係る心理状態判定手段４１が行う判定手法と同様である。赤外光強度および赤色光強度の比率とに基づいて、被験者Ｓの心理状態を判定する手法は、第２の実施形態に係る心理状態判定手段４１が行う判定手法と同様である。
第３の実施形態に係る心理状態判定手段４３は、例えば３つの状態に、被験者Ｓの心理状態を判定する。３つの心理状態とは、例えば、緊張状態、リラックス状態、および緊張状態でもリラックス状態でもない状態である。
例えば、脈拍の波形のパワースペクトルに基づいて、被験者Ｓが緊張状態にあると判定され、かつ、赤外光強度および赤色光強度の比率に基づいて、被験者Ｓが緊張状態にあると判定される場合には、心理状態判定手段４３は、被験者Ｓが緊張状態にあると判定する。これは、脈拍の波形のパワースペクトルに基づいた判定結果と、赤外光強度および赤色光強度の比率に基づいた判定結果とが一致するケースである。
また例えば、脈拍の波形のパワースペクトルに基づいて、被験者Ｓがリラックス状態にあると判定され、かつ、赤外光強度および赤色光強度の比率に基づいて、被験者Ｓがリラックス状態にあると判定される場合には、心理状態判定手段４３は、被験者Ｓがリラックス状態状態にあると判定する。これも、脈拍の波形のパワースペクトルに基づいた判定結果と、赤外光強度および赤色光強度の比率に基づいた判定結果とが一致するケースである。
これに対して、脈拍の波形のパワースペクトルに基づいた判定結果と、赤外光強度および赤色光強度の比率に基づいた判定結果とが一致しないケースでは、心理状態判定手段４３は、被験者Ｓが緊張状態およびリラックス状態のどちらでもない状態であると判定する。
［効果］
以上、第３の実施形態に係る判定方法、判定装置、判定システムおよび判定プログラムによると、被験者の心理状態を非接触で手軽に判定することができる。判定は、赤外光動画に加えて赤色光動画に基づいて行われ、赤色光動画の撮影も被験者と非接触で行われる。第３の実施形態によると、第１の実施形態にて用いた脈拍の波形の情報と、第２の実施形態にて用いた赤外光強度および赤色光強度の比率の情報とに基づいて、これら情報を組み合わせることにより、判定の精度を向上させることができる。
判定を行うにあたり、計測のための検出器等を被験者に別途取り付ける必要が無いので、被験者の心理に影響を与えにくい。判定に用いるシステムも、汎用コンピュータと、２台のビデオカメラと、分光器とを用いて簡便に構成することができるので、設置および導入箇所は制限されず、様々な現場において、様々な人を対象として心理状態を気軽に判定することができる。
これにより、手術直後の患者や病気の患者、未熟児等といった、うまく言葉を発することができない状態にある人たちの心理状態を、病棟、介護施設、自宅等の様々な現場において気軽に判定することが可能となる。
［その他の形態］
以上、本発明を特定の実施形態によって説明したが、本発明は上記した実施形態に限定されるものではない。
図１２は、第２および第３の実施形態に係る判定システムの、別の態様の概略的な構成を模式的に示す図である。第２および第３の実施形態の別の態様に係る判定システム３００は、判定装置１（１Ｂ，１Ｃ）と、動画撮影装置２と、透過波長切替器６とを備える。第２および第３の実施形態では、判定システム２００は２台の動画撮影装置２、４を備えているが、図１２に示すように、別の態様に係る判定システム３００は、２台の動画撮影装置２、４および分光器５に代えて、１台の動画撮影装置２および透過波長切替器６を備える。
透過波長切替器６は、被験者Ｓの体表から到達する光の、赤外光成分と赤色光成分とを交互に切り替えて透過する光学機器である。透過波長切替器６は、例えば液晶波長可変フィルタ等の波長可変フィルタで、または例えばリボルバー式の光学フィルタ切替器で構成される。
判定装置１Ｂ，１Ｃは、１台の動画撮影装置２にて交互に撮影された赤外光動画および赤色光動画を取得し、取得した赤外光動画および赤色光動画に基づいて、被験者Ｓの心理状態を判定する。判定装置１Ｂ，１Ｃは、例えば汎用コンピュータで構成されている。または、判定装置１Ｂ，１Ｃと１台の動画撮影装置２とを一体化して、例えばスマートフォンで構成してもよい。
別の態様に係る判定システム３００によると、１台の動画撮影装置により、被験者Ｓの体表の関心領域ＲＯＩを赤外光撮影および赤色光撮影し、被験者Ｓの心理状態を判定することができる。これにより、別の態様に係る判定システム３００は、第２および第３の実施形態に係る判定システム２００よりも簡便な構成とすることができる。
上記実施形態では、演算装置１０は一体の装置として実現されているが、演算装置１０は一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記録部１３等が別所に配置され、これらがネットワークで接続されていてもよい。演算装置１０と、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。
上記実施形態では、演算装置１０の各機能ブロックは、単一のＣＰＵ１１で実行されているが、これら各機能ブロックは単一のＣＰＵ１１で実行される必要は必ずしもなく、複数のＣＰＵで分散して処理されてもよい。また、ＣＰＵ１１に代えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が処理を行ってもよいし、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をアクセラレータとして用いて、ＣＰＵ１１が行う並列演算処理を補助してもよい。すなわちＣＰＵ１１が行う処理とは、ＣＰＵまたはＦＰＧＡが、ＧＰＵ等のアクセラレータを用いて行う処理も含むことを意味する。
上記実施形態では、入力部１６をキーボードまたはマウス等で構成し、出力部１７を液晶ディスプレイ等で構成しているが、入力部１６と出力部１７とを一体化してタッチパネル式の表示装置として実現してもよい。
上記実施形態では、赤外光動画および赤色光動画から切り出される静止画像フレームのカラーフォーマットは、フルカラー２４ビットのＲＧＢフォーマットであるが、静止画像フレームが採用するカラーフォーマットはＲＧＢフォーマットに限定されない。赤外光強度および赤色光強度の時間的な変化を算出することができる限り、静止画像フレームは、ＲＧＢ以外にも、ＹＵＶ、ＣＭＹ、ＣＩＥ ＸＹＺ、およびＣＩＥ Ｌ＊ａ＊ｂ＊等の種々のカラーフォーマットを採用することができる。
１Ａ，１Ｂ，１Ｃ 判定装置
２，４ 動画撮影装置
３ 赤外光フィルタ
５ 分光器（ダイクロイックミラー）
６ 透過波長切替器（波長可変フィルタ）
９ 光源
１０Ａ，１０Ｂ，１０Ｃ 演算装置
１１ ＣＰＵ
１２ メモリ
１３ 記録部
１４ バス
１５ インタフェース部
１６ 入力部
１７ 出力部
９８ 記録媒体
９９ ネットワーク
１００，２００，３００ 判定システム
ＩＲ 赤外光
Ｒ 赤色光
ＲＯＩ 関心領域
Ｓ 被験者

Claims (17)

  1. 被験者の体表を少なくとも赤外光を含む光で撮影した動画を取得する動画取得ステップと、
    前記動画に含まれている、前記被験者の血流に関する情報を取得する血流情報取得ステップと、
    前記血流に関する情報に基づいて、前記被験者の心理状態を判定する心理状態判定ステップと、
    を含む、判定方法。
  2. 前記動画取得ステップが、
    前記被験者の前記体表を赤外光で撮影した赤外光動画を取得するステップ、
    を含み、
    前記血流情報取得ステップが、
    前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得するステップと、
    前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出するステップと、
    を含み、
    前記心理状態判定ステップが、前記パワースペクトルに基づいて、前記被験者の心理状態を判定するステップである、請求項１に記載の判定方法。
  3. 前記動画取得ステップが、
    前記被験者の前記体表を赤外光で撮影した赤外光動画を取得するステップと、
    前記被験者の前記体表を赤色光で撮影した赤色光動画を取得するステップと、
    を含み、
    前記血流情報取得ステップが、
    前記赤外光動画に基づいて、血中の酸素化ヘモグロビン量に対応する赤外光強度を算出するステップと、
    前記赤色光動画に基づいて、血中の脱酸素化ヘモグロビン量に対応する赤色光強度を算出するステップと、
    を含み、
    前記心理状態判定ステップが、前記赤外光強度および前記赤色光強度の比率に基づいて、前記被験者の心理状態を判定するステップである、請求項１に記載の判定方法。
  4. 前記血流情報取得ステップが、
    前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得するステップと、
    前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出するステップと、
    をさらに含み、
    前記心理状態判定ステップが、前記パワースペクトルと、前記赤外光強度および前記赤色光強度の比率とに基づいて、前記被験者の心理状態を判定するステップである、請求項３に記載の判定方法。
  5. 前記心理状態が、前記被験者の緊張状態またはリラックス状態である、請求項１から４のいずれかに記載の方法。
  6. 前記体表が前記被験者の顔面である、請求項１から５のいずれかに記載の方法。
  7. 前記体表が前記被験者の額である、請求項６に記載の方法。
  8. 被験者の体表を少なくとも赤外光を含む光で撮影した動画を取得する動画取得手段と、
    前記動画に含まれている、前記被験者の血流に関する情報を取得する血流情報取得手段と、
    前記血流に関する情報に基づいて、前記被験者の心理状態を判定する心理状態判定手段と、
    を備える、判定装置。
  9. 前記動画取得手段が、
    前記被験者の前記体表を赤外光で撮影した赤外光動画を取得する赤外光動画取得手段、
    を備え、
    前記血流情報取得手段が、
    前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得する脈拍波形取得手段と、
    前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出する周波数解析手段と、
    を備え、
    前記心理状態判定手段が、前記パワースペクトルに基づいて、前記被験者の心理状態を判定する手段である、請求項８に記載の判定装置。
  10. 前記動画取得手段が、
    前記被験者の前記体表を赤外光で撮影した赤外光動画を取得する赤外光動画取得手段と、
    前記被験者の前記体表を赤色光で撮影した赤色光動画を取得する赤色光動画取得手段と、
    を備え、
    前記血流情報取得手段が、
    前記赤外光動画に基づいて、血中の酸素化ヘモグロビン量に対応する赤外光強度を算出する赤外光強度算出手段と、
    前記赤色光動画に基づいて、血中の脱酸素化ヘモグロビン量に対応する赤色光強度を算出する赤色光強度算出手段と、
    を備え、
    前記心理状態判定手段が、前記赤外光強度および前記赤色光強度の比率に基づいて、前記被験者の心理状態を判定する手段である、請求項８に記載の判定装置。
  11. 前記血流情報取得手段が、
    前記赤外光動画に含まれている赤外光強度の時間的な変化に基づいて、前記赤外光動画から、前記被験者の脈拍の波形を取得する脈拍波形取得手段と、
    前記脈拍の波形を周波数解析して、前記脈拍の波形のパワースペクトルを算出する周波数解析手段と、
    をさらに備え、
    前記心理状態判定手段が、前記パワースペクトルと、前記赤外光強度および前記赤色光強度の比率とに基づいて、前記被験者の心理状態を判定する手段である、請求項１０に記載の判定装置。
  12. 請求項９に記載の判定装置と、
    前記被験者の前記体表から到達する光の赤外光成分を透過する赤外光フィルタと、
    前記赤外光フィルタを透過した前記赤外光成分を通じて、前記赤外光動画を撮影する動画撮影装置と、
    を備える、判定システム。
  13. 請求項１０または１１に記載の判定装置と、
    前記被験者の前記体表から到達する光を、赤外光成分と赤色光成分とに分離する分光器と、
    前記分光器を透過した前記赤外光成分を通じて、前記赤外光動画を撮影する第１の動画撮影装置と、
    前記分光器を透過した前記赤色光成分を通じて、前記赤色光動画を撮影する第２の動画撮影装置と、
    を備える、判定システム。
  14. 前記分光器が、ダイクロイックミラーまたはダイクロイックプリズムである、請求項１３に記載の判定システム。
  15. 請求項１０または１１に記載の判定装置と、
    前記被験者の前記体表から到達する光の、赤外光成分と赤色光成分とを切り替えて透過する透過波長切替器と、
    前記波長可変フィルタを透過した前記赤外光成分および前記赤色光成分を通じて、前記赤外光動画と前記赤色光動画とをそれぞれ撮影する動画撮影装置と、
    を備える、判定システム。
  16. 前記透過波長切替器が、波長可変フィルタまたは光学フィルタ切替器である、請求項１５に記載の判定システム。
  17. 請求項８から１１のいずれかに記載の判定装置の各手段としてコンピュータを機能させるためのプログラム。
JP2017252105A 2017-12-27 2017-12-27 心理状態判定方法、判定装置、判定システムおよび判定プログラム Active JP7051083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017252105A JP7051083B2 (ja) 2017-12-27 2017-12-27 心理状態判定方法、判定装置、判定システムおよび判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017252105A JP7051083B2 (ja) 2017-12-27 2017-12-27 心理状態判定方法、判定装置、判定システムおよび判定プログラム

Publications (2)

Publication Number Publication Date
JP2019115561A true JP2019115561A (ja) 2019-07-18
JP7051083B2 JP7051083B2 (ja) 2022-04-11

Family

ID=67304211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017252105A Active JP7051083B2 (ja) 2017-12-27 2017-12-27 心理状態判定方法、判定装置、判定システムおよび判定プログラム

Country Status (1)

Country Link
JP (1) JP7051083B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030960A (zh) * 2022-12-22 2023-04-28 中国人民解放军海军特色医学中心 一种基于人脸识别技术的生理心理指标分析系统及方法
WO2023139799A1 (ja) * 2022-01-21 2023-07-27 株式会社 レイマック 非接触血流観察装置
WO2023203961A1 (ja) * 2022-04-18 2023-10-26 パナソニックＩｐマネジメント株式会社 心理状態表示システム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124126A (ja) * 1993-11-05 1995-05-16 Ken Ishihara 医療用生体情報検出装置、診断装置および治療装置
JP2000262459A (ja) * 1999-03-18 2000-09-26 Olympus Optical Co Ltd 内視鏡装置
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
JP2010538785A (ja) * 2007-09-19 2010-12-16 キングス カレッジ ロンドン 撮像装置および方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2016539718A (ja) * 2013-12-12 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象のバイタルサインを決定する装置及び方法
JP2017000742A (ja) * 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 人体検出装置
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム
JP2017124153A (ja) * 2016-01-07 2017-07-20 パナソニックＩｐマネジメント株式会社 生体情報計測装置
JP2017176580A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 感情制御装置、感情制御方法、およびプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124126A (ja) * 1993-11-05 1995-05-16 Ken Ishihara 医療用生体情報検出装置、診断装置および治療装置
JP2000262459A (ja) * 1999-03-18 2000-09-26 Olympus Optical Co Ltd 内視鏡装置
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
JP2010538785A (ja) * 2007-09-19 2010-12-16 キングス カレッジ ロンドン 撮像装置および方法
JP2016539718A (ja) * 2013-12-12 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象のバイタルサインを決定する装置及び方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2017000742A (ja) * 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 人体検出装置
JP2017000743A (ja) * 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム
JP2017124153A (ja) * 2016-01-07 2017-07-20 パナソニックＩｐマネジメント株式会社 生体情報計測装置
JP2017176580A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 感情制御装置、感情制御方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139799A1 (ja) * 2022-01-21 2023-07-27 株式会社 レイマック 非接触血流観察装置
WO2023203961A1 (ja) * 2022-04-18 2023-10-26 パナソニックＩｐマネジメント株式会社 心理状態表示システム
CN116030960A (zh) * 2022-12-22 2023-04-28 中国人民解放军海军特色医学中心 一种基于人脸识别技术的生理心理指标分析系统及方法

Also Published As

Publication number Publication date
JP7051083B2 (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
Sanyal et al. Algorithms for monitoring heart rate and respiratory rate from the video of a user’s face
EP3052008B1 (en) Improved signal selection for obtaining a remote photoplethysmographic waveform
EP3057486B1 (en) Automatic camera adjustment for remote photoplethysmography
McDuff et al. A survey of remote optical photoplethysmographic imaging methods
US10646167B2 (en) Device, system and method for extracting physiological information
RU2684044C1 (ru) Устройство и способ для определения основных показателей жизнедеятельности субъекта
Casalino et al. A mHealth solution for contact-less self-monitoring of blood oxygen saturation
US20190000391A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CN105473060B (zh) 用于从远程检测到的电磁辐射中提取生理信息的系统和方法
EP3479754A1 (en) Device, system and method for determining at least one vital sign of a subject
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム
US20150272489A1 (en) Device, system and method for tumor detection and/or monitoring
US10292594B2 (en) Method and system for contactless detection of cardiac activity
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
EP3773154B1 (en) Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
EP3838128A1 (en) Device and method for determining a vital sign of a subject
US20220265150A1 (en) Device, system and method for determining physiological information
Alhammad Face detection for pulse rate measurement
Ellington Elucidation of Speckleplethysmography as an Alternative to Photoplethysmography for Deriving Blood Pressure
Herrmann et al. Distant pulse oximetry based on skin region extraction and multi-spectral measurement
Westphal et al. Examination of a Novel Method for Non-Contact, Low-Cost, and Automated Heart-Rate Detection in Ambient Light Using Photoplethysmographic Imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7051083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150