JP2017205426A - 心理状態評価用プログラム及び心理状態評価装置 - Google Patents

心理状態評価用プログラム及び心理状態評価装置 Download PDF

Info

Publication number
JP2017205426A
JP2017205426A JP2016101637A JP2016101637A JP2017205426A JP 2017205426 A JP2017205426 A JP 2017205426A JP 2016101637 A JP2016101637 A JP 2016101637A JP 2016101637 A JP2016101637 A JP 2016101637A JP 2017205426 A JP2017205426 A JP 2017205426A
Authority
JP
Japan
Prior art keywords
psychological state
nose
procedure
temperature
state evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016101637A
Other languages
English (en)
Other versions
JP6781979B2 (ja
Inventor
美貴子 隈元
Mikiko Kumamoto
美貴子 隈元
元継 柳田
Mototsugu Yanagida
元継 柳田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2016101637A priority Critical patent/JP6781979B2/ja
Publication of JP2017205426A publication Critical patent/JP2017205426A/ja
Application granted granted Critical
Publication of JP6781979B2 publication Critical patent/JP6781979B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができる心理状態評価用プログラムと、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供する。【解決手段】コンピューターに、被検体の顔面の熱分布画像200を用いて鼻頂部330の温度T1を取得させ、これに基づいて被検体の心理状態を評価させるための心理状態評価用プログラムにおいて、温度T1を取得すべき鼻頂部330の位置を、被検体の顔面の熱分布画像200が有する温度データから自動的に推定した鼻左端部310及び鼻右端部320の位置に基づいて推定することによって、自動的かつ高精度に推定できるようにした。【選択図】図5

Description

本発明は、被検体の心理状態を評価するための心理状態評価用プログラムと、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置とに関する。
近年、幅広い分野において、生体の心理状態を正確に評価することのニーズが高まっている。このため、客観的なデータに基づいた心理状態評価方法として、体温等の生体情報を利用することが注目されている。なかでも、鼻部の皮膚温度は、被検体の心理状態(例えば、ストレス状態等)と高い相関を持つことが知られており、この性質を利用した装置も提案されている。例えば、特許文献1には、サーモカメラによって撮影された被験者の赤外顔画像を用いて鼻部皮膚温と額部皮膚温とを測定し、これらの差ΔTに基づいてストレス度Sを算出するストレス測定装置が提案されている。
また、特許文献2には、被験者の顔部位の位置を自動的かつ機械的に特定し、そこで特定された顔部位の温度を測定することにより、被験者の心理状態レベルを算出するようにした心理状態計測装置が提案されている。同文献の段落0092〜0098等には、温度を測定する顔部位として、鼻や額が挙げられており、鼻と額との温度差を用いて心理状態レベルを数値化することが記載されている。
特開平9−28678号公報 特開2007−68620号公報
しかし、特許文献1には、サーモカメラによって撮影された被験者の赤外顔画像から、どのようにして鼻や額等の顔部位の位置を特定するかについては記載されていない。このため、同文献に記載のストレス測定装置では、温度データを抽出する顔部位(鼻や額等)の位置を、赤外顔画像から手作業で選択するものと推測されるが、この場合には、作業者の癖等によって位置選択の仕方に偏りが生じる虞があり、客観的な温度データを得ることができないという問題があった。また、作業に時間がかかってしまうという問題もあった。
これに対し、特許文献1に記載の心理状態計測装置は、鼻等の顔部位の位置を自動的かつ機械的に特定するものであるため、鼻等の体温情報を客観的なデータとして取得することができる。しかし、同文献の心理状態計測装置は、同文献の段落0088〜0090に記載されているように、被験者の顔の可視画像(顔画像データ)と温度画像(サーモグラフデータ)とに基づいて顔部位の位置を特定するものであったため、装置の処理負荷が大きくなるという問題があった。加えて、被験者の顔画像データを扱ううえでは、顔画像データが外部に流出しないようにする等、プライバシー保護のための措置を講ずる必要がある。このため、装置の設置箇所や用途等が制限されるほか、装置をネットワークに接続する場合にはセキュリティー対策のための手間や費用を要するという問題もあった。また、被験者によっては、顔画像データを撮影されること自体を不快に感じる虞もあった。
ところで、特許文献2の図5(b)等には、サーモグラフデータのみを用いても顔部位の位置を特定することができる旨が記載されている。同文献には、サーモグラフデータのみを用いてどのように顔部位の位置を特定するのかについては、具体的に記載されていない。しかし、同文献の段落0089,0090等の記載から類推するに、サーモグラフデータから顔の輪郭等を特定し、その顔(顔の輪郭等)に対する相対的な位置やサイズの情報をもとに鼻等の顔部位の位置を特定するものと思われる。ここで、「顔に対する相対的な位置やサイズの情報」については、具体的には記載されていないが、例えば、予備計測等によって予め求められた、顔に対する鼻等の平均的な位置やサイズの情報等であると推測される。
しかし、上記のような方法では、被験者の鼻等の顔部位の位置が平均的でない場合には、鼻等の顔部位の位置を正確に特定することができず、測定したい箇所からずれた場所の温度を測定してしまうという問題があった。また、仮に被験者の鼻等の顔部位の位置が平均的な範囲に納まっていたとしても、サーモグラフデータの撮影時に、被験者の顔に前髪等がかかっている場合や、被験者が着帽している場合には、サーモグラフデータ上で顔の一部が欠けてしまい、やはり鼻等の位置を正確に特定することができなくなるという問題もあった。
本発明は、前記課題を解決するために為されたものであり、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供するものである。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも本発明の目的である。
上記課題は、
被検体の心理状態を評価するための心理状態評価用プログラムであって、
コンピューターに、
被検体の顔面の熱分布画像(サーモグラフ等)を取得する熱分布画像取得手順と、
熱分布画像取得手順で取得された熱分布画像から鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
鼻頂部推定手順で推定された鼻の頂部の温度Tを、前記熱分布画像から取得する鼻頂部温度取得手順と、
鼻頂部温度取得手順で取得した温度Tに基づいて被検体の心理状態を評価する心理状態評価手順と、
心理状態評価手順での評価結果を出力する評価結果出力手順と
を実行させる
ことを特徴とする心理状態評価用プログラム
を提供することによって解決される。
これにより、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる。すなわち、本発明の心理状態評価用プログラムは、顔に対する平均的な位置やサイズに基づいて鼻の位置を推定するのではなく、熱分布画像が有する情報に基づいて鼻の左端部及び右端部の位置を推定し、これを基に鼻の頂部の位置を推定するものであるため、被検体の鼻の位置が平均的でない場合にも、正確に鼻の頂部の位置を推定することができる。これにより、鼻の頂部の温度Tを取得する画像範囲を小さく絞ることができ、ノイズ成分を減らして高い精度で心理状態評価を行うことができる。鼻の左端部及び右端部は、心理状態に関わらず熱分布画像において暗点(低温点)として現れるため、熱分布画像のみからその位置を推定することが可能である。加えて、本発明の心理状態評価用プログラムにおいては、鼻の中でも特に頂部の温度Tを心理状態評価の指標としているため、心理状態評価の精度をさらに向上させることができる。というのも、鼻の頂部は、鼻全体の中でも、被検体の心理状態が変化した際に最も大きな温度変化を示す部分であるということが、出願人の研究によって明らかになっているからである。
また、本発明の心理状態評価用プログラムは、被験者の顔画像データを必要とせず、サーモグラフデータ等の熱分布画像に基づいて鼻の頂部の位置を推定し、心理状態評価を行うものであるため、被検体のプライバシー保護の観点からも優れている。というのも、熱分布画像は顔画像データとは異なり、それだけで個人を特定することができる性質のものではないからである。なお、本発明の心理状態評価用プログラムは、通常、人間を被検体とする心理状態評価に用いられるが、他の恒温動物を被検体とする心理状態評価に用いることもできる。
本発明の心理状態評価用プログラムにおいては、心理状態評価手順において、鼻頂部温度取得手順で取得した温度Tを、平静状態の被検体から予め取得しておいた鼻の頂部の基準温度と比較することで、被検体の心理状態を評価するようにすることもできる。しかし、この場合には、同一の被検体の熱分布画像を、時間を空けて少なくとも2回撮影する必要があるため、撮影作業に時間を要するとともに、その間に気温や湿度等の外部環境が変化した場合には、その変化が心理状態評価の精度に悪影響を及ぼす虞がある。このため、本発明の心理状態評価用プログラムにおいては、コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位(鼻の頂部を除く。)の温度Tを取得する特定部位温度取得手順をさらに実行させ、心理状態評価手順において、温度Tと温度Tとを比較することにより被検体の心理状態を評価するようにすると好ましい。これにより、熱分布画像の撮影を1回行うだけで心理状態評価を行うことが可能になるとともに、外部環境の変化が心理状態評価の精度に及ぼす悪影響を小さくすることもできる。
温度Tを取得するための前記特定部位は、被検体の顔面における鼻の頂部以外の部分であって、その温度が被検体の心理状態と低い相関を有する部位であれば、その箇所を特に限定されないが、顎とすると好ましい。これにより、より高い精度で心理状態評価を行うことが可能になる。というのも、顎は、熱分布画像においてその位置を容易に検出することができるからである。また、顎は、鼻と温度を比較するための部位として従来採用されることが多かった額とは異なり、髪や帽子で覆われることが少ない。このため、特定部位を顎とすることにより、熱分布画像を撮影するに際して、髪型を直したり帽子を脱いだりといった、ストレスの要因になり、ひいては心理状態の評価結果に影響を及ぼし得る作業を被検体に特に要求しなくとも、特定部位の温度Tを取得可能な熱分布画像を撮影することができる。
本発明の心理状態評価用プログラムにおいて、心理状態評価手順で評価される心理状態は、鼻の頂部の温度Tと一定の相関関係を持つものであれば、どのようなものでもよい。本発明の心理状態評価用プログラムは、例えば、緊張状態、興奮状態、不安状態、快/不快状態等の評価を行うことができる。なかでも、ストレス状態は、鼻の頂部の温度Tと高い相関を示すことが分かっている。このため、心理状態評価手順において評価される心理状態としては、ストレス状態が特に好適である。
本発明の心理状態評価用プログラムは、これが記録されたメモリを備えた心理状態評価装置を用いて実行させることができる。心理状態評価装置は、用途に応じてその大きさや種類を自由に決定することができる。例えば、商品開発やマーケティング等のために多数の被検体のデータを収集する場合には、比較的大きなデータ容量を備えた据置型の装置とすると好ましい。一方、屋外で心理状態調査を行う場合や、末端需要者が健康管理の一環として自己のストレスチェックを行う場合等には、本発明の心理状態評価用プログラムが記録されたメモリを備えた携帯型端末を用いると好ましい。これにより、使用場所を問わずに精度の高い心理状態評価を行うことができる。
以上のように、本発明によって、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供することが可能になる。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも可能になる。
本発明の心理状態評価装置の構成例を示したブロック図である。 本発明の心理状態評価用プログラムのフローチャートである。 被検体の顔面の熱分布画像の一例を示した図である。 図2における鼻端部推定手順のフローチャートである。 図3(a)の熱分布画像を用いた、鼻頂部等の位置の推定例を説明する図である。
以下、本発明の好適な実施形態について詳しく説明する。以下においては、本発明の心理状態評価用プログラム及び心理状態評価装置を、被検体のストレス状態を評価するために用いる場合について述べる。しかし、本発明の心理状態評価用プログラムは、ストレス状態の評価だけでなく、鼻の頂部の温度と相関を示すあらゆる心理状態の評価に用いることができる。
1.心理状態評価装置
図1は、本発明の心理状態評価装置100の構成例を示したブロック図である。本実施態様の心理状態評価装置100は、図1に示すように、コンピューター110と、サーモカメラ120と、表示装置130とを備えたものとなっている。コンピューター110は、プロセッサ111とメモリ112とを備えており、メモリ112には、本実施態様の心理状態評価用プログラムが記憶されている。本実施態様の心理状態評価装置100は、コンピューター110に心理状態評価用プログラムを実行させることにより、図3に示すような被検体の顔面の熱分布画像200から被検体のストレス状態を評価することができるものとなっている。被検体の顔面の熱分布画像200は、コンピューター110に接続されたサーモカメラ120を用いて撮影される。撮影された熱分布画像200やストレス状態の評価結果は、表示装置130に表示される。メモリ112としては、ハードディスクやRAM等の各種の記憶装置が例示される。サーモカメラ120は、心理状態評価装置100に内蔵のものとしても、心理状態評価装置100に対して接続可能な外部装置としてもよい。
本発明の心理状態評価装置100は、据置型としてもよいが、携帯型の端末とすると好ましい。これにより、場所を問わずに精度の高い心理状態評価を行うことができる。この場合には、当該携帯型端末を、心理状態評価専用の端末としてもよいし、他の機能(例えば通話機能等)も併せ持つもの(例えば携帯電話やスマートフォン等)としてもよい。
2. 心理状態評価用プログラム
図2は、本発明の心理状態評価用プログラムのフローチャートである。本実施態様の心理状態評価用プログラムは、図2に示すように、熱分布画像取得手順S1と、鼻端部推定手順S2と、鼻頂部推定手順S3と、鼻頂部温度取得手順S4と、特定部位温度取得手順S5と、心理状態評価手順S6と、評価結果出力手順S7とで構成されている。以下、本発明の心理状態評価用プログラムがコンピューター110に実行させる各手順について、詳しく説明する。
2.1 熱分布画像取得手順
熱分布画像取得手順S1は、被検体の顔面の熱分布画像200(サーモグラフ等)を取得するための手順である。図3は、被検体の顔面の熱分布画像200の一例を示した図である。図3(a)はストレス度が低い状態で撮影されたものであり、図3(b)はストレス度が高い状態で撮影されたものである。熱分布画像取得手順S1では、被検体の顔面の熱分布画像200をコンピューター110のメモリ112に取り込んで、後に続く鼻端部推定手順S2以降の処理を行うことができるようにする。熱分布画像200は、予め撮影されたものをコンピューター110に取り込むようにすることもできるが、本実施態様においては、コンピューター110に接続されたサーモカメラ120を用いて撮影され、コンピューター110に自動的に取り込まれるようになっている。このとき、以降の手順におけるコンピューター110の処理負担を軽減する必要がある場合等には、取り込んだ熱分布画像200の解像度を自動的に変更して、熱分布画像200のデータサイズを小さくする手順をさらに備えてもよい。
2.2 鼻端部推定手順
鼻端部推定手順S2は、熱分布画像取得手順S1で取得された熱分布画像200が有する情報に基づいて、鼻の左右端部の位置を自動的に推定するための手順である。図4は、図2における鼻端部推定手順S2のフローチャートである。図5は、図3(a)の熱分布画像200を用いた、鼻頂部330等の位置の推定例を説明する図である。本実施態様における鼻端部推定手順S2は、図4に示すように、顔領域推定手順S2.1と、顔中央画像抽出手順S2.2と、エッジ検出手順S2.3と、鼻端点決定手順S2.4とを備えたものとなっている。以下、これらの手順について順に説明する。
2.2.1 顔領域推定手順
顔領域推定手順S2.1は、熱分布画像200(図5を参照。)における顔領域300(被検体の顔面のうち、肌が露出した部分)の位置を推定するための手順である。本実施態様においては、熱分布画像200における、所定温度(例えば、30°C)よりも高くなっている部分を顔領域300と推定している。この結果、図5に示すように、熱分布画像200における背景や髪を除いた領域が顔領域300として推定される。このとき、被検体が着帽していることや、髪が被検体の顔にかかっていること等によって、推定された顔領域300の周辺部が実際の顔に比べて多少欠けていたとしても、問題なく以降の手順を行うことができる。
2.2.2 顔中央画像抽出手順
顔中央画像抽出手順S2.2は、熱分布画像200のうち、顔領域推定手順S2.1で推定された顔領域300の中央部を含む範囲を、顔中央画像210として自動的に抽出するための手順である。具体的には、顔領域300の位置及び大きさに対して予め相対的に定められた範囲を抽出する顔中央抽出用フィルタを用意しておき、これを、図5に示すように、顔領域推定手順S2.1を経た後の熱分布画像200に適用することにより、顔中央画像210を抽出する。これにより、以降の手順で処理するデータ量を少なくして、コンピューター110の処理負担を軽減することができる。また、後述する鼻端点決定手順S2.4において、鼻左端部310及び鼻右端部320の位置を誤って推定することを防ぐこともできる。抽出された顔中央画像210は、熱分布画像取得手順S1で取り込んだ熱分布画像200とは別のデータとしてコンピューター110のメモリ112に記憶するようにしてもよいが、この場合には、メモリ112に記憶すべきデータ量が大きくなってしまう。このため、本実施態様においては、顔中央抽出用フィルタを画像マスクとして熱分布画像200に適応することで、顔中央画像210以外の部分では以降の処理を行わないようにしている。
顔中央画像210として抽出される部分の大きさや形状(顔中央抽出用フィルタの大きさや形状)は、少なくとも鼻左端部310、鼻右端部320及び鼻頂部330を含むものであれば、特に限定されない。ただし、後述する特定部位温度取得手順S5を備える場合には、特定部位温度取得手順S5において温度を取得する特定部位も顔中央画像210に含まれるようにすると好ましい。顔中央画像210として抽出される部分の形状は、楕円形状や多角形状とすることもできるが、矩形状とすると、以降の画像処理をシンプルなものとすることができる。本実施態様において、顔中央画像210の形状は、図5に示すように、鼻部及び顎部を含む矩形状としている。なお、熱分布画像200のデータサイズが十分小さい場合や、熱分布画像200が顔の中央部だけを写したものである場合等には、顔中央画像抽出手順S2.2を設けなくてもよい。
2.2.3 エッジ検出手順
エッジ検出手順S2.3は、顔中央画像抽出手順S2.2で抽出された顔中央画像210におけるエッジを検出するための手順である。ここで「エッジ」とは、所定値以上の温度差を有する領域同士が隣接する箇所における境界部分のことを言う。このエッジを検出することにより、顔中央画像210に含まれる各顔部位の輪郭や位置を推定することができる。既に述べたとおり、鼻左端部310及び鼻右端部320は、被検体のストレスの有無に関わらず、周囲(特に、隣接する頬部)よりも低い温度を示す(図3(a)及び図3(b)を参照。)。このため、鼻左端部310と左頬部との境界と推定される鼻左端エッジE、及び、鼻右端部320と右頬部との境界と推定される鼻右端エッジE(図5を参照。)も、エッジとして検出される。
エッジを検出する方法としては、一次微分フィルタや二次微分フィルタ(いわゆるラプラシアンフィルタ等)を用いる方法等、一般的な画像処理において用いられている方法を用いることができる。熱分布画像200を二値化処理してからエッジを検出するようにしてもよい。
2.2.4 鼻端点決定手順
鼻端点決定手順S2.4は、エッジ検出手順S2.3で検出されたエッジを用いて、鼻左端エッジE上の鼻左端点Pと、鼻右端エッジE上の鼻右端点Pとを自動的に決定するための手順である。鼻端点決定手順S2.4においては、まず、エッジ検出手順S2.3で検出されたエッジのうち、鼻左端エッジE及び鼻右端エッジEを抽出する。具体的には、顔領域300の中央付近において所定の距離を空けて向かい合う一対のエッジを検出し、そのうち左側に位置するものを鼻左端エッジEと推定し、右側に位置するものを鼻右端エッジEと推定する。次に、図5に示すように、鼻左端エッジE上に位置する点のうち、最も左にあるものを鼻左端点Pと決定し、鼻右端エッジE上に位置する点のうち、最も右にあるものを鼻右端点Pと決定する。決定された鼻左端点Pを鼻左端部310の左端点であると推定し、鼻右端点Pを鼻右端部320の右端点であると推定する。以上で、本実施態様における鼻端部推定手順S2が完了する。
鼻端部推定手順S2において、鼻左端部310及び鼻右端部320の位置を推定する方法は、上述した方法に限定されず、熱分布画像200が有する情報から自動的に鼻左端部310及び鼻右端部320の位置を推定できるのであれば、どのような方法であってもよい。例えば、まず顔の中心部の熱分布パターンが、図3(a)のように、所定の距離を隔てて左右に並んだ一対の暗領域(低温領域)Dを有するパターンAと、図3(b)のように、左右方向に所定の幅を有する一塊の暗領域(低温領域)Dを有するパターンBとのどちらに近いかを判別して、パターンAに近い場合には、一対の暗領域Dのうち左側にあるものを鼻左端部310、右側にあるものを鼻右端部320と推定し、パターンBに近い場合には、一塊の暗領域Dの両端部を鼻左端部310及び鼻右端部320と推定するようにしてもよい。しかし、本実施態様のように、熱分布画像200のエッジを検出することにより鼻左端部310及び鼻右端部320の位置を推定するようにすると、場合分けを行う必要がないため、鼻端部推定手順S2をシンプルなものとすることができる。
2.3 鼻頂部推定手順
鼻頂部推定手順S3は、鼻端部推定手順S2で推定された鼻左端部310及び鼻右端部320の位置に基づいて、鼻頂部330の位置を自動的に推定するための手順である。本実施態様において、鼻頂部330の位置は、鼻左端点P及び鼻右端点Pに対する鼻頂部330の平均的な位置関係から推定している。具体的には、鼻左端点P及び鼻右端点Pの位置に対して、所定の相対位置にある所定の相対領域を、鼻頂部330として抽出する鼻頂部抽出用フィルタを用意しておき、これを、鼻端部推定手順S2を経た顔中央画像210に適用することで、鼻頂部330の位置を推定する。鼻頂部抽出用フィルタは、一定数以上の被検体を用いた予備実験等により予め求めた、鼻左端点P及び鼻右端点Pに対する鼻頂部330の平均的な位置とサイズから作製する。本実施例においては、図5に示すように、鼻左端点P及び鼻右端点Pの間に位置する略円形状の領域を鼻頂部330として推定している。鼻頂部抽出用フィルタによって鼻頂部330と推定される領域の形状は、特に限定されない。鼻頂部抽出用フィルタは、被検体の生物種や人種、年齢や性別等に合わせて複数用意することもできる。
鼻頂部推定手順S3における鼻頂部330の推定方法は、鼻端部推定手順S2で推定された鼻左端部310及び鼻右端部320の位置に基づいて鼻頂部330の位置を自動的に推定するものであれば、前記の方法に限定されない。鼻頂部推定手順S3においては、単に、鼻左端点Pと鼻右端点Pとの中点を鼻頂部330と推定することもできる。しかし、より高い精度で推定結果を得るためには、鼻頂部330の位置は、鼻左端点P及び鼻右端点Pに対する鼻頂部330の平均的な位置とサイズに基づいて推定すると好ましい。
鼻頂部330の位置は、点として推定してもよいが、ある程度の広さを持つ領域として推定すると好ましい。というのも、後述する鼻頂部温度取得手順S4において鼻頂部330の温度Tを取得する際に、ある程度の広さを持つ領域内の温度データの平均値等を鼻頂部330の温度Tとすると、温度Tの誤差を小さくすることができるからである。このため、鼻頂部330として推定する領域の左右幅は、1mm以上となるようにすると好ましく、3mm以上となるようにするとより好ましく、5mm以上となるようにするとさらに好ましい。また、鼻頂部330として推定する領域の上下幅は、1mm以上となるようにすると好ましく、3mm以上となるようにするとより好ましく、5mm以上となるようにするとさらに好ましい。しかし、鼻頂部330として推定する領域を広くしすぎると、温度データを取得する領域も広くなってしまい、温度Tがノイズを多く含んだものとなってしまう。このため、鼻頂部330として推定する領域の左右幅は、20mm以下となるようにすると好ましく、15mm以下となるようにするとより好ましく、10mm以下となるようにするとさらに好ましい。また、鼻頂部330として推定する領域の上下幅は、20mm以下となるようにすると好ましく、15mm以下となるようにするとより好ましく、10mm以下となるようにするとさらに好ましい。
2.4 鼻頂部温度取得手順
鼻頂部温度取得手順S4は、鼻頂部推定手順S3で推定された鼻頂部330の温度Tを取得するための手順である。鼻頂部推定手順S3において鼻頂部330の位置を点で推定した場合には、その一点における温度データを鼻頂部330の温度Tとして取得する。一方、鼻頂部330の位置をある程度の広さを持つ領域として推定した場合には、その領域内に含まれる複数の点における温度データから鼻頂部330の温度Tを算出する。温度Tを算出する方法としては、鼻頂部330と推定された領域内の温度データを、領域内の位置によって重み付けをしたうえで重ね合わせてもよいが、本実施態様においては、鼻頂部抽出用フィルタによって鼻頂部330と推定された領域内の温度データを平均して得られた値を、鼻頂部330の温度Tとしている。
2.5 特定部位温度取得手順
特定部位温度取得手順S5は、熱分布画像取得手順S1で取得された熱分布画像200における、顔の特定部位(鼻の頂部以外の特定の部分)の温度Tを自動的に取得するための手順である。取得した温度Tは、後述する心理状態評価手順S6において、鼻頂部330の温度Tとともにストレス状態の評価のために用いる。本実施態様においては、特定部位として顎部340を採用している。本実施態様における特定部位温度取得手順S5では、上述した鼻端部推定手順S2と同様に、顎部340と首との境界と推定されるエッジ上の顎端点Pを決定し、上述した鼻頂部推定手順S3と同様に、鼻左端点P、鼻右端点P及び顎端点Pの位置に顎部抽出用フィルタを適用することによって、熱分布画像200における顎部340の位置を推定している(図5を参照。)。顎部抽出用フィルタは、鼻頂部抽出用フィルタと同様の方法で作製している。顎部340の温度Tは、鼻頂部温度取得手順S4と同様に、推定された顎部340から取得される。
温度Tを取得するための特定部位は、顔領域300における鼻頂部330以外の部位であって、その温度が被検体のストレス状態と低い相関を有する部位であれば、特に限定されない。特定部位は、額等とすることもできる。しかし、本実施態様のように特定部位を顎部340とすると、上述したように、熱分布画像200上での位置推定が容易であるため好ましい。加えて、顎部340は、髪や帽子で覆われることが少ないという点でも優れている。
温度Tを取得するための特定部位の位置は、点で推定することもできるが、鼻頂部330と同様の理由で、ある程度の広さを持つ領域として推定すると好ましい。特定部位を顎部340とした場合、顎部340として推定する領域は、ある程度広い方が好ましい。というのも、顎部340の温度Tは、鼻頂部330の温度Tを評価するための基準として使用するものであるため、誤差の少ない安定した値として取得することが好ましいからである。このため、顎部340として推定する領域の左右幅は、5mm以上となるようにすると好ましく、10mm以上となるようにするとより好ましい。また、顎部340として推定する領域の上下幅は、5mm以上となるようにすると好ましく、10mm以上となるようにするとより好ましい。ただし、顎部340として推定される領域が顔領域300からはみ出てしまうと、背景部分の温度データが混入するため好ましくない。このため、顎部340として推定する領域の左右幅は、50mm以下となるようにすると好ましく、40mm以下となるようにするとより好ましい。また、顎部340として推定する領域の上下幅は、40mm以下となるようにすると好ましく、30mm以下となるようにするとより好ましい。なお、後述する心理状態評価手順S6において、特定部位の温度Tを使用しない場合には、本手順を省いてもよい。
2.6 心理状態評価手順
心理状態評価手順S6は、鼻頂部温度取得手順S4で取得された鼻頂部330の温度Tに基づいて、被検体の心理状態を評価する手順である。被検体の心理状態は、鼻頂部330の温度Tを所定の基準温度と比較する等、鼻頂部330の温度のみに基づいて評価するようにしてもよい。基準温度としては、例えば、被検体自身の非ストレス時における鼻頂部330の温度を用いることができる。しかし、この場合には、当該被検体の非ストレス時における鼻頂部330の温度を予め測定しておかなければならず、被検体に対して時間を空けて複数回の測定を行う必要が生ずる。このため、本実施態様においては、鼻頂部温度取得手順S4で取得された鼻頂部330の温度Tだけでなく、特定部位温度取得手順S5で取得された特定部位(顎部340)の温度Tにも基づいて、被検体の心理状態を評価するようにしている。
鼻頂部330の温度Tと顎部340の温度Tとに基づいて被検体の心理状態を評価する具体的な方法は、特に限定されないが、最も単純な方法としては、鼻頂部330の温度Tと顎部340の温度Tとの差ΔT(=T−T)を求め、この差ΔTと標準温度差ΔTとを比較する方法が挙げられる。すなわち、ΔT>ΔTの場合には、被検体がストレス状態にあると評価し、ΔT≦ΔTの場合には、被検体がストレス状態にない(非ストレス状態である)と評価するようにすることができる。ここで、標準温度差ΔTは、多数の被検体(現在、心理状態を評価しようとしている被検体とは別の被検体)に対して行った予備実験結果等から求められた指標値であり、メモリ112(図1)等に予め記憶させておく。ただし、差ΔTと標準温度差ΔTとを単純に比較する方法では、「ストレス状態」と「非ストレス状態」の2段階でしか被検体の心理状態を評価することができず、どの程度のストレス状態にあるか(ストレスレベル等)を評価することはできない。この点、以下の方法を採用すれば、ストレス状態にあるか否かだけでなく、ストレスレベルも評価することが可能になる。
すなわち、差ΔTと標準温度差ΔTとの差ΔT−ΔTを求めて、この差ΔT−ΔTをストレスレベルの評価指標S(=ΔT−ΔT)として用いると、ストレスレベルを評価することができる。具体的には、(S/SMAX)×100を計算し、その計算結果をストレスレベルを表す数値(例えば、「ストレス度」等)として用いる方法が挙げられる。ここで、「SMAX」は、評価指標Sが取り得る値の最大値であり、予備実験等で予め求めて、メモリ112(図1)等に予め記憶させておく。これにより、「ストレス度15%」や「ストレス度72%」といった具合に、ストレスレベルが数値で表されるようになるので、被検体のストレス状態をより詳らかに表すことができる。一方、被検体のストレスレベルを、数値を用いずに段階的に評価することもできる。例えば、評価指標SがS未満の場合には、「低ストレス状態」と評価し、評価指標SがS以上でS未満の場合には、「中ストレス状態」と評価し、評価指標SがS以上の場合には、「高ストレス状態」と評価することができる。ここで、「S」及び「S」は、0<S<S<SMAXの関係を満たす指標値であり、予備実験等で予め求めて、メモリ112(図1)等に予め記憶させておく。
2.7 評価結果出力手順
評価結果出力手順S7は、心理状態評価手順S6における評価結果を出力するための手順である。評価結果は、紙等に印刷して出力することもできるが、電子データとして出力するようにすると、データの保存や加工がしやすいため好ましい。本実施態様においては、心理状態評価手順S6で得られた評価結果を、心理状態評価装置100に備えられた表示装置130の表示画面に表示することで出力している。評価結果は、心理状態評価手順S6の評価方法に応じて、ストレスレベル等の数値データとして出力しても、段階的なストレス度評価結果として出力してもよい。
心理状態評価装置100が表示装置130を備えている場合には、心理状態評価手順S6で得られた評価結果に応じた演出画像や動画を表示装置130に表示させることによって、ストレス評価結果を出力するようにしてもよい。例えば、表示装置130の画面の色をストレスレベルの値に応じて変化させてもよいし、ストレスレベルの値をグラフとして表示させてもよい。あるいは、表示装置の画面に表示されたキャラクター等のセリフや表情等によってストレス評価結果を表すこともできる。このような態様は、心理状態評価用プログラムを実行させる心理状態評価装置100が、表示装置130を備えた携帯型端末である場合に、特に好適に採用することができる。このとき、同一の被検体について繰り返しストレス評価を行う場合には、過去のストレス評価結果を保存しておいて、比較できるようにすると好ましい。以上で、本実施態様の心理状態評価用プログラムによる一連の手順が完了する。
3.本発明の用途
本発明の心理状態評価用プログラム及び心理状態評価装置100は、被検体の顔面の熱分布画像200に基づいて被検体の心理状態を精度良く評価することができ、被検体に器具等を装着させる必要も、被検体の顔画像データを用いる必要もないものであるため、幅広い用途において好適に使用することができる。例えば、乗物(車、船舶、飛行機等)の運転手の疲労度の計測、企業等における従業者のストレスチェック、医療現場等における痛みの計測や痛みの緩和の計測等に好適に用いることができる。加えて、本発明の心理状態評価用プログラム及び心理状態評価装置100は、被検体の体温情報に基づいて心理状態評価を行うものであり、被験者の主観や感情的要因(遠慮、謙遜等)に影響されにくいため、商品開発補助(使用感や着心地の評価、官能検査等)やマーケティングにおいても有用である。また、被検体が人間以外の動物や幼児であって、言葉によるコミュニケーションが困難な場合にも、精度良く心理状態評価を行うことができる。加えて、本発明の心理状態評価装置100を携帯型端末とした場合には、使用箇所を問わないため、末端需要者が日常的に行う自己のストレスチェック、自宅介護における被介護者の痛みやストレスの計測、環境快適性評価等に好適に用いることができる。本発明の用途は、ここに列記したものに限定されず、被検体の顔面の熱分布画像200を得ることが可能なものであればどのような用途においても使用することができる。
100 心理状態評価装置
110 コンピューター
111 プロセッサ
112 メモリ
120 サーモカメラ
130 表示装置
200 熱分布画像
210 顔中央画像
300 顔領域
310 鼻左端部
320 鼻右端部
330 鼻頂部
340 顎部
暗領域(低温領域)
暗領域(低温領域)
鼻左端エッジ
鼻右端エッジ
鼻左端点
鼻右端点
顎端点
S1 熱分布画像取得手順
S2 鼻端部推定手順
S2.1 顔領域推定手順
S2.2 顔中央画像抽出手順
S2.3 エッジ検出手順
S2.4 鼻端点決定手順
S3 鼻頂部推定手順
S4 鼻頂部温度取得手順
S5 特定部位温度取得手順
S6 心理状態評価手順
S7 評価結果出力手順

Claims (6)

  1. 被検体の心理状態を評価するための心理状態評価用プログラムであって、
    コンピューターに、
    被検体の顔面の熱分布画像を取得する熱分布画像取得手順と、
    熱分布画像取得手順で取得された熱分布画像から鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
    鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
    鼻頂部推定手順で推定された鼻の頂部の温度Tを、前記熱分布画像から取得する鼻頂部温度取得手順と、
    鼻頂部温度取得手順で取得した温度Tに基づいて被検体の心理状態を評価する心理状態評価手順と、
    心理状態評価手順での評価結果を出力する評価結果出力手順と
    を実行させる
    ことを特徴とする心理状態評価用プログラム。
  2. コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位(鼻の頂部を除く。)の温度Tを取得する特定部位温度取得手順をさらに実行させ、
    心理状態評価手順において、温度Tと温度Tとを比較することにより被検体の心理状態を評価するようにした
    請求項1に記載の心理状態評価用プログラム。
  3. 前記特定部位が、顎部である請求項2に記載の心理状態評価用プログラム。
  4. 心理状態評価手順で評価される心理状態が、ストレス状態である請求項1〜3のいずれかに記載の心理状態評価用プログラム。
  5. 請求項1〜3のいずれかに記載のプログラムが記録されたメモリを備えた心理状態評価装置。
  6. 請求項1〜3のいずれかに記載のプログラムが記録されたメモリを備えた携帯型端末。
JP2016101637A 2016-05-20 2016-05-20 心理状態評価用プログラム及び心理状態評価装置 Active JP6781979B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016101637A JP6781979B2 (ja) 2016-05-20 2016-05-20 心理状態評価用プログラム及び心理状態評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016101637A JP6781979B2 (ja) 2016-05-20 2016-05-20 心理状態評価用プログラム及び心理状態評価装置

Publications (2)

Publication Number Publication Date
JP2017205426A true JP2017205426A (ja) 2017-11-24
JP6781979B2 JP6781979B2 (ja) 2020-11-11

Family

ID=60414861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016101637A Active JP6781979B2 (ja) 2016-05-20 2016-05-20 心理状態評価用プログラム及び心理状態評価装置

Country Status (1)

Country Link
JP (1) JP6781979B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020005799A (ja) * 2018-07-05 2020-01-16 国立大学法人電気通信大学 自律神経活動評価装置、自律神経活動評価方法及びプログラム
WO2023195092A1 (ja) * 2022-04-06 2023-10-12 日本電信電話株式会社 体温測定装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07243687A (ja) * 1994-03-09 1995-09-19 Sanyo Electric Co Ltd 空気調和装置
JPH0928678A (ja) * 1995-07-20 1997-02-04 Agency Of Ind Science & Technol ストレス測定装置
JPH09294724A (ja) * 1996-05-08 1997-11-18 Sanyo Electric Co Ltd 精神安定化訓練装置
JP2000237146A (ja) * 1999-02-23 2000-09-05 Agency Of Ind Science & Technol ストレス計測装置
JP2005095570A (ja) * 2003-08-19 2005-04-14 Sony Corp 画像表示システム、画像表示装置、画像表示方法
JP2007068620A (ja) * 2005-09-05 2007-03-22 Konica Minolta Holdings Inc 心理状態計測装置
JP2008237244A (ja) * 2007-03-23 2008-10-09 National Maritime Research Institute 緊張度計測用熱源支持装置
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011167323A (ja) * 2010-02-18 2011-09-01 Kddi Corp 携帯端末装置、ストレス推定システム、ストレス推定方法、ストレス推定プログラム
KR20150053715A (ko) * 2013-11-08 2015-05-18 상명대학교서울산학협력단 시각 피로 판단 방법 및 이를 적용하는 장치
US20150297140A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation User stress detection and mitigation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07243687A (ja) * 1994-03-09 1995-09-19 Sanyo Electric Co Ltd 空気調和装置
JPH0928678A (ja) * 1995-07-20 1997-02-04 Agency Of Ind Science & Technol ストレス測定装置
JPH09294724A (ja) * 1996-05-08 1997-11-18 Sanyo Electric Co Ltd 精神安定化訓練装置
JP2000237146A (ja) * 1999-02-23 2000-09-05 Agency Of Ind Science & Technol ストレス計測装置
JP2005095570A (ja) * 2003-08-19 2005-04-14 Sony Corp 画像表示システム、画像表示装置、画像表示方法
JP2007068620A (ja) * 2005-09-05 2007-03-22 Konica Minolta Holdings Inc 心理状態計測装置
JP2008237244A (ja) * 2007-03-23 2008-10-09 National Maritime Research Institute 緊張度計測用熱源支持装置
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011167323A (ja) * 2010-02-18 2011-09-01 Kddi Corp 携帯端末装置、ストレス推定システム、ストレス推定方法、ストレス推定プログラム
KR20150053715A (ko) * 2013-11-08 2015-05-18 상명대학교서울산학협력단 시각 피로 판단 방법 및 이를 적용하는 장치
US20150297140A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation User stress detection and mitigation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
隈元美貴子、柳田元継等: "ストレスおよびその回復の評価法に関する研究 −鼻部皮膚温度と知覚レベルおよび心理状態−", 小児歯科学雑誌, vol. 第46巻、第5号, JPN6020010022, 2008, pages 578 - 584, ISSN: 0004233065 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020005799A (ja) * 2018-07-05 2020-01-16 国立大学法人電気通信大学 自律神経活動評価装置、自律神経活動評価方法及びプログラム
JP7154493B2 (ja) 2018-07-05 2022-10-18 国立大学法人電気通信大学 自律神経活動評価装置、自律神経活動評価方法及びプログラム
WO2023195092A1 (ja) * 2022-04-06 2023-10-12 日本電信電話株式会社 体温測定装置

Also Published As

Publication number Publication date
JP6781979B2 (ja) 2020-11-11

Similar Documents

Publication Publication Date Title
JP6595474B2 (ja) 創傷アセスメントおよびマネジメントのための方法およびシステム
CN111524608B (zh) 智能检测与防疫系统和方法
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
KR20190051256A (ko) 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
JP2007006427A (ja) 映像監視装置
CN111738215B (zh) 人体温度测量方法和计算机设备
CN111222380B (zh) 一种活体检测方法、装置、及其识别模型训练方法
JP5771647B2 (ja) 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
KR20130024065A (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
CN110036407B (zh) 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法
CN110826610A (zh) 一种用于智能检测人员着装是否规范的方法与系统
Mohd et al. A non-invasive facial visual-infrared stereo vision based measurement as an alternative for physiological measurement
Mohd et al. Internal state measurement from facial stereo thermal and visible sensors through SVM classification
EP4020403A1 (en) Systems and methods for privacy-preserving facemask-compliance-level measurement
JP2017205426A (ja) 心理状態評価用プログラム及び心理状態評価装置
JP6189486B2 (ja) 脳活動推定装置
Moon et al. Age‐dependent skin texture analysis and evaluation using mobile camera image
KR20150127898A (ko) 휴대용 피부상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
JP2008046691A (ja) 顔画像処理装置及びコンピュータのプログラム
Bae et al. Robust skin-roughness estimation based on co-occurrence matrix
Kuwahara et al. Blink detection using image processing to predict eye fatigue
Goceri et al. Automated Detection of Facial Disorders (ADFD): a novel approach based-on digital photographs
JP7253152B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11515043B1 (en) Method and device for hair loss prediction and personalized scalp care
Mohd et al. Facial visual-infrared stereo vision fusion measurement as an alternative for physiological measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6781979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250