JP2018175507A - 生理状態判定装置 - Google Patents
生理状態判定装置 Download PDFInfo
- Publication number
- JP2018175507A JP2018175507A JP2017080917A JP2017080917A JP2018175507A JP 2018175507 A JP2018175507 A JP 2018175507A JP 2017080917 A JP2017080917 A JP 2017080917A JP 2017080917 A JP2017080917 A JP 2017080917A JP 2018175507 A JP2018175507 A JP 2018175507A
- Authority
- JP
- Japan
- Prior art keywords
- information
- physiological condition
- unit
- brain function
- function activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
Description
人間の脳活動には、人間の知的活動(認知活動等)及び情動活動(快/不快等の活動)が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。
(2−1)顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。
図1(a)は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図1(b)は、血行量分布図(画像マップ)の一例を示す図である。
(3−1)顔面皮膚温度データの解析結果
図2は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図2(a)は、被験者1の成分2の成分波形図を示している。図2(b)は、被験者1の成分2の温度分布図を示している。図3(a)は、被験者1の成分3の成分波形図を示している。図3(b)は、被験者1の成分3の温度分布図を示している。図4及び図5は、成分波形の振幅と、脳波との関係を示す図である。図4は、被験者1の成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図5は、被験者1の成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図6は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図6(a)は、成分3の成分波形図を示している。図6(b)は、成分3の温度分布図を示している。
図7〜図18は、顔面の撮影画像データ(血行量データ)又は顔面皮膚温度データに基づく成分波形図と、測定された脳波のうちのβ波の波形図を比較解析した結果の一部を示す図である。図7は、被験者1の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図8は、被験者1の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図9は、被験者2の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図10は、被験者2の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図11は、被験者3の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図12は、被験者3の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図13は、被験者4の撮影画像データに基づく成分3の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図14は、被験者4の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図15は、被験者5の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図16は、被験者5の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図17は、被験者6の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。図18は、被験者6の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動可視化装置10,110について説明する。なお、本発明に係る脳活動可視化装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
図19は、本発明の一実施形態に係る脳活動可視化装置10の概略図である。図20は、脳活動可視化装置10において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
上記脳活動推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部32が、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
また、上記顔面皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
図21は、本発明の実施形態に係る脳活動可視化装置110の概略図である。図22は、脳活動可視化装置110において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
上述したように、カメラ121としては、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
上記カメラ121は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたRGBデータに含まれる各画素のうちの主にR成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。
なお、上記説明においては、脳活動可視化装置110が、画像データ取得手段120と、脳活動推定手段130とを備える形態としていたが、本実施形態に係る脳活動可視化装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る脳活動可視化装置は、血行量算出部133、解析部134及び推定部135を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る脳活動可視化装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。
状態可視化手段200は、脳活動推定手段30及び/又は脳活動推定手段130により推定された対象者の脳活動に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段200が、対象者の脳活動量の変化を解析することで、対象者の生理状態を解析する解析部201を有していてもよい。具体的には、解析部201が、対象者に対して与えられた刺激(視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等)に対する脳活動量の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、脳活動量の上昇度合い及び/又は持続時間に基づき、脳活動可視化装置10,110の用途に応じて適宜設置可能になっていてもよい。そして、解析部201により解析された対象者の生理状態を状態可視化手段200の表示部202から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部202としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。
(5−1)
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の生理状態を可視化することができている。
ここで、時系列の顔面の皮膚温度データ及び/又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び/又は血行量の変化を示す成分である可能性が高い成分であるといえる。
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現することになる。
本発明に係る脳活動可視化装置を応用した、生理状態判定装置について説明する。生理状態判定装置は、対象者の精神又は身体の生理状態を判定する。具体的には、生理状態判定装置は、図23,24に示すような「生理状態」を判定する。すなわち、生理状態判定装置は、「車・航空機・鉄道の運転者における運転に対する集中度」「映画館の入場者におけるコマーシャル情報に対する関心度」「受験者におけるテストに対する集中度」「組立作業を行なう作業員における組立作業に対する集中度」「商品を見た対象者に対する商品に対する関心度」「患者における各種心理状態(うつ状態、自閉症及びアスペルガー症候群などの自閉症スペクトラム(ASD)の状態、認知症の状態、心的外傷後ストレス障害(PTSD)の状態、不安症候群の状態)」「高齢者における老化による物忘れの度合い」等を判定する。
(6−1−1)生理状態判定装置500の構成
図25は第1実施形態に係る生理状態判定装置500の構成を示す模式図である。
図29は第1実施形態に係る生理状態判定装置500の動作を示すフローチャートである。なお、以下の説明では、生理状態として「テスト問題に解答する受験者の集中度」の例を当てはめて説明する。
(6−1−3−1)
以上説明したように、本実施形態に係る生理状態判定装置500は、脳機能賦活情報検知部541と、顔面変化情報取得部542と、生理状態判定部545と、を備える。脳機能賦活情報検知部541は、生理状態に対応する脳機能賦活情報を検知する。顔面変化情報取得部542は、対象者300の顔面データの時系列変化を示す顔面変化情報を取得する。生理状態判定部545は、脳機能賦活情報と顔面変化情報とに基づいて、対象者300の所定の生理状態を判定する。
また、本実施形態に係る生理状態判定装置500は、顔面変化情報取得部542が、特定操作検知部541aにより、所定機器360に対する特定操作が行なわれたことが検知された場合、顔面変化情報を取得する。
また、本実施形態に係る生理状態判定装置500は、顔面変化情報から判定用情報を生成する判定用情報生成部544をさらに備える。そして、生理状態判定部545が、判定用情報に基づいて生理状態を判定する。これにより、顔面変化情報から生理状態判定のための判定用情報を生成して、対象者の生理状態を判定するので、対象者の生理状態の判定できる。
また、本実施形態に係る生理状態判定装置500は、顔面変化情報取得部542が、顔面データとして、対象者300の、副鼻腔周辺及び/又は前額部のデータを取得することで、脳活動と関連する判定用成分を高精度に抽出できる。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱していることが知られている。よって、これらの部位のデータを解析することで脳活動と関連する成分を高精度に抽出できる。結果として、本実施形態に係る生理状態判定装置500は、生理状態の判定を高精度に実行することができる。
また、本実施形態に係る生理状態判定装置500は、顔面変化情報取得部542が、顔面データとして、対象者300の顔面の皮膚温度を示す顔面皮膚温度データを取得できる。換言すると、生理状態判定装置500は、赤外線カメラ等を利用して疲労状態を判定できるものである。例えば、図30に示すように、撮像部515に赤外線カメラを用いることにより、周囲の明るさに影響を受けることなく、生理状態の判定が可能となる。
また、本実施形態に係る生理状態判定装置500は、顔面変化情報取得部542が、顔面データとして、対象者300の顔面のRGBデータに基づく顔面血行量データを取得できる。すなわち、生理状態判定装置500は、固体撮像素子(CCD,CMOS)を利用して生理状態を判定できる。これにより、生理状態の判定を簡易な構成で実行することができる。
また、本実施形態に係る生理状態判定装置500は、判定用情報生成部544が、危険率の値に基づいて、判定用成分を抽出する。生理状態判定装置500では、危険率の値に基づいて、脳機能賦活情報と関連する判定用成分を抽出するので、生理状態判定の信頼性を高めることができる。
また、本実施形態に係る生理状態判定装置500は、脳機能賦活情報に対して算出される判定用成分の相関値r2の、脳機能賦活情報に対して算出された基準判定用成分の基準相関値r1からの所定範囲の変化量Δrを、生理状態レベルに関連付けて「基準情報」として記憶する基準情報データベース532を備える。そして、生理状態判定部545が、脳機能賦活情報に対する判定用成分の相関値r2を算出し、算出した相関値r2及び基準情報に基づいて、対象者300の生理状態レベルを判定する。
本実施形態に係る生理状態判定方法は、必ずしも生理状態判定装置500を必要とするものではない。すなわち、本実施形態に係る生理状態判定方法は、生理状態判定装置500の有無に関わらず、人間の脳機能を賦活する「脳機能賦活情報」を検知する脳機能賦活情報検知ステップと、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、対象者300の生理状態を判定する生理状態判定ステップと、を備えるものであればよい。
なお、上記説明において、顔面変化情報から、特異値分解等することにより、判定目的に対応する脳機能賦活情報と関連する判定用成分を抽出するものとしているが、本実施形態に係る生理状態判定装置500は、このような形態に限定されるものではない。例えば、生理状態判定装置500では、顔面変化情報に基づいて生成される、判定用成分以外の任意の判定用情報を用いて対象者の状態を判定してもよい。また、このような判定用情報を生成するために、特異値分解等以外の任意の手法を顔面変化情報に適用してもよい。
本実施形態に係る生理状態判定装置500は、図31に示すように、ネットワーク上に設けられた判定情報提供装置1500等を利用するものでもよい。
(6−2−1)生理状態判定装置600の構成
本実施形態では、脳機能賦活刺激が存在するとみなされる特定環境に対象者300が置かれていることを検知する。ここで、脳機能賦活刺激は、脳機能賦活刺激提供物370により対象者300に与えられる。
図33は第2実施形態に係る生理状態判定装置600の動作を示すフローチャートである。なお、以下の説明では、生理状態として「映画館の入場者に対する映画館でのコマーシャル映像(CM)に対する関心度」の例を当てはめて説明する。
そして、特定環境検知部641bにより脳機能賦活情報が検知されると、撮像部615により対象者300(映画館の入場者)の顔面画像の撮像が開始される(T4)。撮像された顔面画像は顔面変化情報取得部642に送出される。
(6−2−3−1)
以上説明したように、本実施形態に係る生理状態判定装置600は、脳機能賦活情報検知部641と、顔面変化情報取得部642と、生理状態判定部645と、を備える。脳機能賦活情報検知部641は、生理状態に対応する脳機能賦活情報を検知する。顔面変化情報取得部642は、対象者300の顔面データの時系列変化を示す顔面変化情報を取得する。生理状態判定部645は、脳機能賦活情報と顔面変化情報とに基づいて、対象者300の所定の生理状態を判定する。
また、本実施形態に係る生理状態判定装置600は、顔面変化情報取得部642が、特定環境検知部641bにより、所定環境Kにおける状態情報が、脳機能賦活刺激が存在するとみなされる特定環境の状態情報であると検知された場合、顔面変化情報を取得する。
その他、本実施形態に係る生理状態判定装置600は、第1実施形態に係る生理状態判定装置500における、(6−1−3−3)〜(6−1−3−10)と同様の効果を有する。
(6−2−4−1)変形例2A
本実施形態に係る生理状態判定装置600は、図34に示すように、ネットワーク上に設けられた判定情報提供装置1600等を利用するものでもよい。変形例2Aに係る生理状態判定装置600の構成は、第1実施形態の変形例に係る生理状態判定装置500の構成と同様である。したがって、変形例2Aに係る生理状態判定装置600であれば、生理状態判定部645が、外部ネットワークを利用して、対象者300の生理状態レベルを判定できる。
また、本実施形態に係る生理状態判定装置600は、図35に示すように、脳機能賦活情報検知部641が、第1装置601に格納されるものでもよい。この場合、顔面変化情報取得部642及び生理状態判定部645を含むその他の構成が、第2装置602に格納される。そして、第1装置601及び第2装置602が情報通信を実行することで対象者300の生理状態を判定する。このように、脳機能賦活情報を検知するための第1装置601を、他の構成を有する第2装置602から分離することで、第1装置601のみを移動することができる。結果として、生理状態判定装置600は、脳機能賦活情報を検知できる場所の自由度を高めることができる。
また、本実施形態に係る生理状態判定装置600は、図36に示すように、変形例2A及び変形例2Bを組み合わせた構成を具備してもよい。これにより、変形例2A及び変形例2Bの両方の効果を有する生理状態判定装置600を提供できる。
また、本実施形態に係る生理状態判定装置600は、図37に示すように、脳機能賦活刺激が対象者300に与えられていることを推定する推定部650をさらに備えるものでもよい。具体的には、推定部650は、対象者の視線、顔の角度、身体の動作のいずれか又は任意の組み合わせの情報に基づいて、脳機能賦活刺激が対象者に与えられていることを推定する。そして、特定環境検知部641bが、推定部650により脳機能賦活刺激が与えられていると推定された場合に、所定環境Kにおける状態情報が、脳機能賦活刺激が存在するとみなされる特定環境の状態情報であるか否かを検知する。
図38は第3本実施形態に係る生理状態判定装置700の構成を示す模式図である。なお、既に説明した部分と同一の部分には略同一の符号(下二桁に同一数字を用いた符号)を付し、重複した説明を省略する。
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
201 解析部
202 表示部
300 対象者
301 測定者
360 所定機器
370 脳機能賦活刺激提供物
500 生理状態判定装置
510 入力部
515 撮像部
517 操作情報取得部
520 出力部
530 記憶部
531 脳機能賦活情報データベース
532 基準情報データベース
540 処理部
541 脳機能賦活情報検知部
541a 特定操作検知部
542 顔面変化情報取得部
543 顔面変化情報分解部
544 判定用情報生成部
545 生理状態判定部
600 生理状態判定装置
601 第1装置
602 第2装置
610 入力部
615 撮像部
618 状態情報取得部
620 出力部
630 記憶部
631 脳機能賦活情報データベース
632 基準情報データベース
635 特定環境データベース(特定環境記憶部)
640 処理部
641 脳機能賦活情報検知部
641b 特定環境検知部
642 顔面変化情報取得部
643 顔面変化情報分解部
644 判定用情報生成部
645 生理状態判定部
650 推定部
700 生理状態判定装置
715 撮像部
717 操作情報取得部
718 状態情報取得部
735 特定環境データベース(特定環境記憶部)
741 脳機能賦活情報検知部
741a 特定操作検知部
741b 特定環境検知部
742 顔面変化情報取得部
743 顔面変化情報分解部
744 判定用情報生成部
745 生理状態判定部
1500 判定情報提供装置
1530 記憶部
1532 基準情報データベース
1540 処理部
1600 判定情報提供装置
K 所定環境
Claims (10)
- 対象者(300)の所定の生理状態を判定する生理状態判定装置(500,600,700)であって、
前記生理状態に対応する脳機能賦活情報を検知する脳機能賦活情報検知部(541,641,741)と、
前記対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得部(542,642,742)と、
前記脳機能賦活情報と前記顔面変化情報とに基づいて、前記対象者の所定の生理状態を判定する生理状態判定部(545,645,745)と、
を備える、生理状態判定装置。 - 前記脳機能賦活情報検知部は、前記対象者又は前記対象者以外の測定者(301)により所定機器(360)への特定操作が行なわれた場合に、前記対象者に脳機能賦活刺激が与えられたと判定して前記脳機能賦活情報を検知する特定操作検知部(541a,741a)、及び/又は、所定環境(K)における状態情報が、脳機能賦活刺激が存在するとみなされる特定環境の状態情報である場合に、前記対象者に脳機能賦活刺激が与えられたと判定して前記脳機能賦活情報を検知する特定環境検知部(641b,741b)、をさらに有する、
請求項1に記載の生理状態判定装置。 - 前記顔面変化情報取得部は、前記特定操作検知部により、所定機器に対する特定操作が行なわれたことが検知された場合、前記顔面変化情報を取得する、及び/又は、前記特定環境検知部により、所定環境における状態情報が、脳機能賦活刺激が存在するとみなされる特定環境の状態情報であると検知された場合、前記顔面変化情報を取得する、
請求項2に記載の生理状態判定装置。 - 前記顔面変化情報取得部は、前記特定操作検知部により前記特定操作が検知されていないときに前記顔面変化情報の基準を取得する、及び/又は、前記特定環境検知部により前記特定環境の状態情報が検知されていないときに前記顔面変化情報の基準を取得する、
請求項3に記載の生理状態判定装置。 - 前記脳機能賦活情報検知部は、第1装置(601)に格納され、
前記顔面変化情報取得部と前記生理状態判定部とは、第2装置(602)に格納され、
前記第1装置及び前記第2装置が情報通信を実行することで前記対象者の生理状態を判定する、
請求項2から4のいずれか1項に記載の生理状態判定装置。 - 前記脳機能賦活刺激が前記対象者に与えられていることを推定する推定部(650)をさらに備え、
前記特定環境検知部は、前記推定部により脳機能賦活刺激が与えられていると推定された場合に、所定環境における状態情報が、脳機能賦活刺激が存在するとみなされる特定環境の状態情報であるか否かを検知する、
請求項2から5のいずれか1項に記載の生理状態判定装置。 - 前記推定部は、前記対象者の視線、顔の角度、身体の動作のいずれか又は任意の組み合わせの情報に基づいて、前記脳機能賦活刺激が前記対象者に与えられていることを推定する、
請求項6に記載の生理状態判定装置。 - 前記脳賦活刺激が存在するとみなされる特定環境の状態情報を予め記憶する特定環境記憶部(635,735)と、
前記所定環境の状態情報を取得する状態情報取得部(618,718)と、
をさらに備え、
前記特定環境検知部は、前記特定環境記憶部に記憶された状態情報と、前記状態情報取得部により取得された状態情報とを照合し、前記脳賦活刺激が存在する特定環境の状態情報であるか否かを判定することで、前記脳機能賦活情報を検知する、
請求項2から7のいずれか1項に記載の生理状態判定装置。 - 前記顔面変化情報から判定用情報を生成する判定用情報生成部(544,644,744)をさらに備え、
前記生理状態判定部が、前記判定用情報に基づいて生理状態を判定する、
請求項1から8のいずれか1項に記載の生理状態判定装置。 - 前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解部(543,643,743)をさらに備え、
前記判定用情報生成部が、前記複数の成分から、前記脳機能賦活情報と関連する成分を判定用成分として抽出して、前記判定用成分から前記判定用情報を生成する、
請求項9に記載の生理状態判定装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080917A JP6749278B2 (ja) | 2017-04-14 | 2017-04-14 | 生理状態判定装置 |
US16/604,071 US11786165B2 (en) | 2017-04-14 | 2018-04-12 | Physiological state determination device |
PCT/JP2018/015404 WO2018190403A1 (ja) | 2017-04-14 | 2018-04-12 | 生理状態判定装置 |
EP18784945.0A EP3610793B1 (en) | 2017-04-14 | 2018-04-12 | Physiological state assessment apparatus |
CN201880025062.4A CN110520047B (zh) | 2017-04-14 | 2018-04-12 | 生理状态判定装置 |
EP21205403.5A EP3973874B1 (en) | 2017-04-14 | 2018-04-12 | Physiological state determination device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080917A JP6749278B2 (ja) | 2017-04-14 | 2017-04-14 | 生理状態判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018175507A true JP2018175507A (ja) | 2018-11-15 |
JP6749278B2 JP6749278B2 (ja) | 2020-09-02 |
Family
ID=63792723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017080917A Active JP6749278B2 (ja) | 2017-04-14 | 2017-04-14 | 生理状態判定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11786165B2 (ja) |
EP (2) | EP3610793B1 (ja) |
JP (1) | JP6749278B2 (ja) |
CN (1) | CN110520047B (ja) |
WO (1) | WO2018190403A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6906820B1 (ja) * | 2020-07-07 | 2021-07-21 | Assest株式会社 | 集中度判別プログラム |
WO2022085327A1 (ja) * | 2020-10-23 | 2022-04-28 | 株式会社島津製作所 | 脳機能解析方法および脳機能解析システム |
CN117496787A (zh) * | 2024-01-03 | 2024-02-02 | 小白智能科技(长春)股份有限公司 | 一种针对儿童六项能力测评及其训练系统 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6941805B2 (ja) * | 2018-02-22 | 2021-09-29 | パナソニックIpマネジメント株式会社 | 滞在状況表示システムおよび滞在状況表示方法 |
US11669914B2 (en) | 2018-05-06 | 2023-06-06 | Strong Force TX Portfolio 2018, LLC | Adaptive intelligence and shared infrastructure lending transaction enablement platform responsive to crowd sourced information |
CN112534452A (zh) | 2018-05-06 | 2021-03-19 | 强力交易投资组合2018有限公司 | 用于改进自动执行能源、计算、存储和其它资源的现货和远期市场中的分布式账本和其它交易的机器和系统的方法和系统 |
DE102020123554A1 (de) | 2020-09-09 | 2022-03-10 | Imagine AG | Prüfung eines Filmvorprodukts |
CN112487948B (zh) * | 2020-11-27 | 2022-05-13 | 华中师范大学 | 一种基于多空间融合的学习者学习过程的专注度感知方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259676A (ja) * | 2007-04-12 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 情報処理装置および色判定方法 |
JP2008282153A (ja) * | 2007-05-09 | 2008-11-20 | Toyota Motor Corp | 画像処理装置 |
JP2011067284A (ja) * | 2009-09-24 | 2011-04-07 | Aisin Seiki Co Ltd | 疲労検査装置 |
JP2016049343A (ja) * | 2014-09-01 | 2016-04-11 | ダイキン工業株式会社 | 脳活動推定装置 |
JP2017000773A (ja) * | 2015-06-12 | 2017-01-05 | ダイキン工業株式会社 | 脳活動推定装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7111980B2 (en) * | 2001-04-19 | 2006-09-26 | Honeywell International Inc. | System and method using thermal image analysis and slope threshold classification for polygraph testing |
US10227063B2 (en) * | 2004-02-26 | 2019-03-12 | Geelux Holdings, Ltd. | Method and apparatus for biological evaluation |
JP4788956B2 (ja) * | 2006-01-31 | 2011-10-05 | 独立行政法人産業技術総合研究所 | 脳活動解析方法および装置 |
WO2008130906A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
JP2009018047A (ja) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | 心理状態推定装置 |
US8462996B2 (en) * | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
JP2013176406A (ja) | 2010-05-27 | 2013-09-09 | Hitachi Ltd | 脳機能計測装置 |
JP5665025B2 (ja) * | 2010-08-06 | 2015-02-04 | 国立大学法人東京農工大学 | 精神疾患判定装置、方法、及びプログラム |
GB201020241D0 (en) * | 2010-11-30 | 2011-01-12 | Univ Lincoln The | A response detection system and associated methods |
JP5974915B2 (ja) * | 2013-01-29 | 2016-08-23 | 株式会社デンソー | 覚醒度検出装置、および覚醒度検出方法 |
WO2014179558A1 (en) * | 2013-05-01 | 2014-11-06 | Musc Foundation For Research Development | Monitoring neurological functional status |
WO2016110804A1 (en) * | 2015-01-06 | 2016-07-14 | David Burton | Mobile wearable monitoring systems |
US10113913B2 (en) * | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
CN108135491B (zh) * | 2015-10-15 | 2022-01-28 | 大金工业株式会社 | 生理状态判定装置及生理状态判定方法 |
EP3363352B1 (en) * | 2015-10-15 | 2020-11-25 | Daikin Industries, Ltd. | Useful information presentation device |
WO2017150575A1 (ja) * | 2016-02-29 | 2017-09-08 | ダイキン工業株式会社 | 疲労状態判定装置及び疲労状態判定方法 |
JP6371366B2 (ja) * | 2016-12-12 | 2018-08-08 | ダイキン工業株式会社 | 精神疾患判定装置 |
-
2017
- 2017-04-14 JP JP2017080917A patent/JP6749278B2/ja active Active
-
2018
- 2018-04-12 EP EP18784945.0A patent/EP3610793B1/en active Active
- 2018-04-12 EP EP21205403.5A patent/EP3973874B1/en active Active
- 2018-04-12 WO PCT/JP2018/015404 patent/WO2018190403A1/ja active Application Filing
- 2018-04-12 CN CN201880025062.4A patent/CN110520047B/zh active Active
- 2018-04-12 US US16/604,071 patent/US11786165B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259676A (ja) * | 2007-04-12 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 情報処理装置および色判定方法 |
JP2008282153A (ja) * | 2007-05-09 | 2008-11-20 | Toyota Motor Corp | 画像処理装置 |
JP2011067284A (ja) * | 2009-09-24 | 2011-04-07 | Aisin Seiki Co Ltd | 疲労検査装置 |
JP2016049343A (ja) * | 2014-09-01 | 2016-04-11 | ダイキン工業株式会社 | 脳活動推定装置 |
JP2017000773A (ja) * | 2015-06-12 | 2017-01-05 | ダイキン工業株式会社 | 脳活動推定装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6906820B1 (ja) * | 2020-07-07 | 2021-07-21 | Assest株式会社 | 集中度判別プログラム |
WO2022009875A1 (ja) * | 2020-07-07 | 2022-01-13 | Assest株式会社 | 集中度判別プログラム |
WO2022085327A1 (ja) * | 2020-10-23 | 2022-04-28 | 株式会社島津製作所 | 脳機能解析方法および脳機能解析システム |
CN117496787A (zh) * | 2024-01-03 | 2024-02-02 | 小白智能科技(长春)股份有限公司 | 一种针对儿童六项能力测评及其训练系统 |
CN117496787B (zh) * | 2024-01-03 | 2024-03-19 | 小白智能科技(长春)股份有限公司 | 一种针对儿童六项能力测评及其训练系统 |
Also Published As
Publication number | Publication date |
---|---|
US20200029884A1 (en) | 2020-01-30 |
CN110520047B (zh) | 2022-10-28 |
EP3610793A4 (en) | 2021-01-13 |
WO2018190403A1 (ja) | 2018-10-18 |
EP3610793A1 (en) | 2020-02-19 |
EP3973874A1 (en) | 2022-03-30 |
EP3610793B1 (en) | 2022-08-31 |
EP3973874B1 (en) | 2022-12-14 |
US11786165B2 (en) | 2023-10-17 |
JP6749278B2 (ja) | 2020-09-02 |
CN110520047A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6749278B2 (ja) | 生理状態判定装置 | |
US10842431B2 (en) | Mental illness determination device | |
JP6196402B2 (ja) | 判定結果出力装置、判定結果提供装置、及び判定結果出力システム | |
JP6503327B2 (ja) | 生理状態判定装置及び生理状態判定方法 | |
JP6196361B2 (ja) | 運転者状態判定装置及び運転者状態判定方法 | |
WO2017065313A1 (ja) | 有用情報提示装置 | |
JP6463392B2 (ja) | 疲労状態判定装置及び疲労状態判定方法 | |
JP6829363B2 (ja) | 評価装置、マーケット調査装置、及び学習評価装置 | |
JP6158887B2 (ja) | 有用情報提示装置 | |
JP6093422B1 (ja) | 脳年齢提示装置 | |
JP6096857B1 (ja) | 感情判定装置 | |
JP2017086992A (ja) | 感情判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190510 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190531 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6749278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |