JP2023126820A - ユーザの心理状態を推定するためのシステム、および方法 - Google Patents

ユーザの心理状態を推定するためのシステム、および方法 Download PDF

Info

Publication number
JP2023126820A
JP2023126820A JP2023101732A JP2023101732A JP2023126820A JP 2023126820 A JP2023126820 A JP 2023126820A JP 2023101732 A JP2023101732 A JP 2023101732A JP 2023101732 A JP2023101732 A JP 2023101732A JP 2023126820 A JP2023126820 A JP 2023126820A
Authority
JP
Japan
Prior art keywords
user
blood flow
photodetector
pulsed light
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023101732A
Other languages
English (en)
Inventor
雅登 鈴木
Masato Suzuki
貴真 安藤
Takamasa Ando
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023126820A publication Critical patent/JP2023126820A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891—Furniture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)

Abstract

Figure 2023126820000001
【課題】ユーザの皮膚血流および脳血流の情報を取得する新規な技術を提供する。
【解決手段】システムは、光源と、光検出器と、処理回路と、を備え、前記処理回路は、前記光源に、ユーザに向けてパルス光を出射させ、前記光検出器に、前記ユーザから戻った反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を検出させ、前記光検出器に、前記反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を、検出させ、前記内部散乱成分に基づいて、脳血流量を示す第１情報を生成し、前記表面反射成分に基づいて、顔面血流量を示す第２情報を生成する。
【選択図】図１Ａ

Description

本開示は、ユーザの心理状態を推定するためのシステム、および方法に関する。
人の感情の変化により、皮膚血流および脳血流が変化することが知られている。非特許文献１は、顔面血流のパターンが被検者の感情に応じて変化することを開示している。顔面血流のパターンは、レーザースペックル血液計による顔面全体の血流分布のイメージングによって得られる。非特許文献２は、近赤外線分光法（Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて、前頭部における頭皮の血流を含む脳血流の状態からうつ病を判定する方法を開示している。
「３２．顔面皮膚血流の非接触計測を利用したヒトの情動センシング」上原記念生命科学財団研究報告集、２６（２０１２） 「「抑うつ状態の鑑別診断補助」としての光トポグラフィー検査」、精神神経学雑誌、第１１７巻 第２号、ｐｐ．７９－９３（２０１５） Peter D. Drummondet al. "The effect of expressing anger on cardiovascular reactivity and facial blood flow in Chinese and Caucasians"Psychophysiol., 38 : 190-196, 2001
本開示は、ユーザの皮膚血流および脳血流の情報を取得して感情等の心理状態を推定する新規な技術を提供する。
本開示の一態様に係るシステムは、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、前記光源、および前記光検出器を制御し、前記光検出器から出力された前記１つ以上の信号を処理する電気回路と、前記１つ以上の信号と複数の感情との関係を示す感情モデルを記憶する第１のメモリと、を備える。前記電気回路は、前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、前記複数の感情の中から少なくとも１つの感情を選択する。前記１つ以上の信号は、前記反射パルス光の第１の部分の強度に応じた第１の信号と、前記反射パルス光の前記第１の部分と異なる第２の部分の強度に応じた第２の信号とを含む。前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含む。
本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。
本開示の技術によれば、ユーザの感情等の心理状態をより正確に推定することができる。
図１Ａは、本開示の実施形態に係るシステムを示す模式図である。 図１Ｂは、光検出器に到達する光の強度の時間変化の例を示す図である。 図１Ｃは、入力パルス光の幅を横軸に、光検出器３０で検出される光の光量を縦軸に表した図である。 図１Ｄは、光検出器の１つの画素の概略的な構成の例を示す図である。 図１Ｅは、光検出器の構成の一例を示す図である。 図１Ｆは、１フレーム内の動作の例を示す図である。 図１Ｇは、制御回路による動作の概略を示すフローチャートである。 図２は、パルス光の内部散乱成分の検出方法を説明するための図である。 図３Ａは、表面反射成分を検出する場合のタイミングチャートの一例を示す図である。 図３Ｂは、内部散乱成分を検出する場合のタイミングチャートの一例を示す図である。 図４は、計測前のユーザの状態を推定する処理の一例を示すフローチャートである。 図５は、ラッセルの円環モデルを模式的に示す図である。 図６は、感情・覚醒度マップを模式的に示す図である。 図７は、ユーザの感情を４つの感情グループのいずれかに分類する処理の一例を示すフローチャートである。 図８は、課題の実行時におけるユーザの感情を推定する処理の一例を示すフローチャートである。 図９は、複数の生体計測システムと、サーバコンピュータとの構成例を模式的に示す図である。 図１０は、車載での応用例を示す図である。 図１１は、メンタルヘルスチェックの応用例を示す図である。 図１２は、ヘッドマウント装置を模式的に示す図である。 図１３は、スマートフォンを模式的に示す図である。
以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示の技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。以下の説明において、同一または類似する構成要素には同一の符号を付す。
（実施の形態）
［１．システム］
図１Ａから図３Ｂを参照して、本開示の例示的な実施形態に係る生体計測システム１００の構成を説明する。
図１Ａは、本実施形態に係る生体計測システム１００を示す模式図である。生体計測システム１００は、刺激装置１０と、光源２０と、光検出器３０と、出力装置４０と、入力装置５０と、制御回路６０と、信号処理回路７０とを備える。制御回路６０および信号処理回路７０が、本開示における電気回路の一例である。
刺激装置１０は、ユーザ１に刺激を提供する。光源２０は、ユーザ１の頭部に照射されるパルス光を出射する。光検出器３０は、ユーザ１の頭部から戻ってきたパルス光の少なくとも一部を検出する。出力装置４０は、信号処理回路７０の処理に基づいた結果をユーザ１に出力する。入力装置５０は、ユーザ１の入力を受け付ける。制御回路６０は、刺激装置１０、光源２０、光検出器３０、出力装置４０、および入力装置５０を制御する。信号処理回路７０は、光検出器３０から出力された信号を処理する。
本実施形態では、制御回路６０は、刺激装置１０を制御する刺激制御部６１と、光源２０を制御する光源制御部６２と、光検出器３０を制御するセンサ制御部６３と、出力装置４０を制御する出力制御部６４と、入力装置５０を制御する入力制御部６５とを含む。
刺激制御部６１は、刺激１２として提供される映像の色相、彩度、および輝度の少なくとも１つ、または音声の音質および大きさの少なくとも１つを制御する。光源制御部６２は、光源２０から出射されるパルス光の強度、パルス幅、出射タイミング、および／または波長を制御する。センサ制御部６３は、光検出器３０の各画素における信号蓄積のタイミングを制御する。出力制御部６４は、出力する映像の色相、彩度、および輝度の少なくとも１つ、または音声の音質および大きさの少なくとも１つを制御する。入力制御部６５は、入力の受付の開始および終了を制御する。
本明細書において、「生体反応」とは、刺激１２が提供されたときに生じるユーザ１の生体情報の変化を意味する。「生体情報」とは、刺激１２によって変化する生体の計測可能な量を意味する。生体情報には、例えば、血流量、血圧、心拍数、脈拍数、呼吸数、体温、脳波、血液中の酸素化ヘモグロビン濃度、血液中の脱酸素化ヘモグロビン濃度、血中酸素飽和度、皮膚の反射スペクトルなどの、種々の量が含まれる。生体情報の一部は、バイタルサインと呼ばれることがある。以下に、生体計測システム１００の各構成要素を説明する。
［１－１．刺激装置］
刺激装置１０は、ユーザ１に刺激１２を提供する。刺激１２は、ユーザ１の生体反応を引き起こす。刺激装置１０は、例えば、ディスプレイおよびスピーカの少なくとも一方を含み得る。刺激装置１０は、例えば、ユーザ１に映像および音声の少なくとも一方の刺激１２を提供する。映像は視覚に対する刺激であり、音声は聴覚に対する刺激である。図１Ａには、ディスプレイを備えた刺激装置１０が、刺激１２として映像をユーザ１に提供している状況が模式的に示されている。この視覚的な刺激は、例えば、計算問題、言語の問題、パズル、クイズ、またはゲームなどの、種々の課題であってもよい。刺激装置１０は、課題の提示と同時に、課題に応じた音声を出力してもよい。映像または音声のコンテンツの他に、視覚的な刺激は、室内における照明の明るさ、または色の変化であってもよい。
視覚または聴覚に対する刺激１２以外に、触覚、嗅覚、または味覚に対する刺激１２が提供されてもよい。刺激装置１０は、ユーザ１に与える刺激の種類に応じて異なる構造および機能を有する。例えば、ユーザ１に触覚刺激を与える場合、刺激装置１０は、振動または熱を発生させる装置であり得る。ユーザ１に嗅覚を与える場合、刺激装置１０は、匂いを発生させる装置であり得る。
［１－２．光源］
光源２０は、ユーザ１の頭部（例えば額）に光を照射する。光源２０から出射されてユーザ１に到達した光は、ユーザ１の表面で反射される表面反射成分Ｉ１と、ユーザ１の内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱する成分である。ユーザ１の額に光を照射する場合、内部散乱成分Ｉ２は、額の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び生体計測システム１００に戻る成分を指す。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザ１の額に光を照射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、ユーザ１の表面で反射する表面反射成分Ｉ１は、これら３つの成分を含むものとする。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部が光検出器３０に到達する。
まず、内部散乱成分Ｉ２の取得方法について説明する。光源２０は、制御回路６０からの指示に従い、パルス光を所定の時間間隔または所定のタイミングで複数回繰り返し発生させる。光源２０が発生させるパルス光は、例えば立ち下り期間がゼロに近い矩形波であり得る。本明細書において、「立ち下り期間」とは、パルス光の強度が減少を開始してから減少が終了するまでの期間である。一般に、ユーザ１に入射した光は、様々な経路でユーザ１内を伝搬し、時間差を伴ってユーザ１の表面から出射する。このため、パルス光の内部散乱成分Ｉ２の後端は広がりを有する。被検部が額である場合、内部散乱成分Ｉ２の後端の広がりは、４ｎｓ程度である。このことを考慮すると、パルス光の立ち下がり期間は、例えばその半分以下である２ｎｓ以下に設定され得る。立ち下り期間は、さらにその半分の１ｎｓ以下であってもよい。光源２０が発生させるパルス光の立ち上り期間は任意である。本明細書において、「立ち上り期間」とは、パルス光の強度が増加を開始してから増加が終了するまでの期間である。本実施形態における内部散乱成分Ｉ２の検出では、パルス光の立ち下り部分を使用し、立ち上り部分を使用しないためである。パルス光の立ち上がり部分は、表面反射成分Ｉ１の検出には用いられ得る。光源２０は、例えば、パルス光の立ち下り部分が時間軸に対して直角に近い、つまり時間応答特性が急進な、ＬＤなどのレーザであり得る。
光源２０が発する光の波長は、例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、ユーザ１の皮膚および脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビン（ＨｂＯ２）および脱酸素化ヘモグロビン（Ｈｂ）に吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとで、光吸収の波長依存性が異なる。一般に、血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化するため、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。
光源２０は、上記の波長範囲に含まれる２つ以上の波長の光を出射してもよい。そのような複数波長の光は、複数の光源からそれぞれ出射されてもよい。
本実施形態の生体計測システム１００では、非接触でユーザ１を測定するため、網膜への影響を考慮して設計された光源２０が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス１を満足する光源２０が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光がユーザ１に照射される。なお、光源２０自体はクラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタなどが光源２０の前に設置されて光が拡散あるいは減衰されることによってレーザ安全基準のクラス１が満たされていてもよい。
従来、生体内部の深さ方向において異なる場所における吸収係数または散乱係数などの情報を区別して検出するために、ストリークカメラが使用されていた。例えば、特開平４－１８９３４９は、そのようなストリークカメラの一例を開示している。これらのストリークカメラでは、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。
これに対し、本開示の生体計測システム１００は、表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。したがって、光源２０が発するパルス光は、極超短パルス光である必要は無く、パルス幅を任意に選択できる。
脳血流を計測するために額に光を照射する場合、内部散乱成分Ｉ２の光量は、表面反射成分Ｉ１の光量の数千分の１から数万分の１程度の非常に小さい値になり得る。さらに、レーザの安全基準を考慮すると、照射できる光の光量が極めて小さくなり、内部散乱成分Ｉ２の検出は非常に難しくなる。その場合でも、光源２０が、比較的パルス幅の大きいパルス光を発生させれば、時間遅れを伴う内部散乱成分Ｉ２の積算量を増加させることができる。それにより、検出光量を増やし、ＳＮ比を向上させることができる。
光源２０は、例えばパルス幅が３ｎｓ以上のパルス光を発する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは４ｎｓ程度である。図１Ｂは、入力パルス光の幅が０ｎｓ、３ｎｓ、および１０ｎｓのそれぞれの場合において、光検出器３０に到達する光量の時間変化の例を示している。図１Ｂに示すように、光源２０からのパルス光の幅を広げるにつれて、ユーザ１から戻ったパルス光の後端部に現れる内部散乱成分Ｉ２の光量が増加する。図１Ｃは、入力パルス光の幅を横軸に、光検出器３０で検出される光の光量を縦軸に表した図である。光検出器３０は、電子シャッタを備える。図１Ｃの結果は、パルス光の後端がユーザ１の表面で反射されて光検出器３０に到達した時刻から１ｎｓ経過した後に電子シャッタを開いた条件で得られた。この条件を選択した理由は、パルス光の後端が到達した直後は、内部散乱成分Ｉ２に対する表面反射成分Ｉ１の比率が高いためである。図１Ｃに示すように、光源２０が発するパルス光のパルス幅を３ｎｓ以上にすると、光検出器３０で検出される光の光量を最大化することができる。
光源２０は、パルス幅５ｎｓ以上、さらには１０ｎｓ以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となる。よって、光源２０は、例えば、パルス幅５０ｎｓ以下のパルス光を発生させる。あるいは、光源２０は、パルス幅３０ｎｓ以下、さらには２０ｎｓ以下のパルス光を発光してもよい。
光源２０の照射パターンは、例えば、照射領域内において、均一な強度分布をもつパターンであってもよい。この点で、本実施形態は、例えば特開平１１-１６４８２６号公報等に開示された従来の生体計測装置とは異なる。特開平１１－１６４８２６号公報に開示された装置では、検出器と光源とを３ｃｍ程度離し、空間的に表面反射成分を内部散乱成分から分離する。このため、離散的な光照射とせざるを得ない。これに対し、本実施形態の生体計測システム１００は、時間的に表面反射成分Ｉ１を内部散乱成分Ｉ２から分離することにより、表面反射成分Ｉ１を低減できる。このため、均一な強度分布をもつ照射パターンの光源２０を用いることができる。均一な強度分布をもつ照射パターンは、光源２０が発する光を拡散板により拡散することによって形成しても良い。
本実施形態では、従来技術とは異なり、ユーザ１の照射点直下においても内部散乱成分Ｉ２を検出できる。ユーザ１を空間的に広い範囲にわたって光で照射することにより、測定解像度を高めることもできる。
［１－３．光検出器］
光検出器３０は、ユーザ１の頭部から戻った反射パルス光の少なくとも一部を検出する。光検出器３０は、検出した光の強度に応じた１つ以上の信号を出力する。１つ以上の信号は、反射パルス光のうち、立ち上り期間の少なくとも一部に含まれる強度に応じた信号と、立ち下り期間の少なくとも一部に含まれる強度に応じた信号である。
光検出器３０は、複数の光電変換素子３２と、複数の電荷蓄積部３４とを含む。具体的には、光検出器３０は、２次元に配置された複数の光検出セルを有し、ユーザ１の２次元情報を一度に取得する。本明細書において、光検出セルを「画素」とも称する。光検出器３０は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの任意の撮像素子である。より一般的には、光検出器３０は、少なくとも１つの光電変換素子３２と、少なくとも１つの電荷蓄積部３４とを含む。
光検出器３０は、電子シャッタを有する。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路６０におけるセンサ制御部６３が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」または「撮影期間」と称することもできる。以下の説明において、露光期間の幅を、「シャッタ幅」と称することがある。１回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「ＯＰＥＮ」、露光を停止している状態を「ＣＬＯＳＥ」と称することがある。
光検出器３０は、電子シャッタによって露光期間および非露光期間をサブナノ秒、例えば、３０ｐｓから１ｎｓの範囲で調整できる。距離測定を目的としている従来のＴＯＦカメラは、被写体の明るさの影響を補正するため、光源２０から出射され被写体で反射されて戻ってきた光の全てを検出する。したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の生体計測システム１００では、被写体の光量を補正する必要が無い。このため、シャッタ幅がパルス幅よりも大きい必要はない。よって、シャッタ幅を、例えば、１ｎｓ以上３０ｎｓ以下の値に設定できる。本実施形態の生体計測システム１００によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流の影響を低減することができる。
ユーザ１の額を光で照射して脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きい。例えば、入射光に対して出射光が、１００万分の１程度にまで減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス１での照射では特に光量が微弱である。この場合、光源２０がパルス光を複数回発光し、それに応じて光検出器３０も電子シャッタによって複数回露光することにより、検出信号を積算して感度を向上することができる。
以下、光検出器３０の構成例を説明する。
光検出器３０は、撮像面上に２次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子３２と、１つまたは複数の電荷蓄積部３４とを備え得る。以下、各画素が、光電変換によって受光量に応じた信号電荷を発生させる光電変換素子３２と、パルス光の表面反射成分Ｉ１によって生じた信号電荷を蓄積する電荷蓄積部３４と、パルス光の内部散乱成分Ｉ２によって生じた信号電荷を蓄積する電荷蓄積部３４とを備える例を説明する。以下の例では、制御回路６０は、光検出器３０に、ユーザ１の頭部から戻ってきたパルス光中の立ち下り開始前の部分を検出させることにより、表面反射成分Ｉ１を検出させる。制御回路６０はまた、光検出器３０に、ユーザ１の頭部から戻ってきたパルス光中の立ち下り開始後の部分を検出させることにより、内部散乱成分Ｉ２を検出させる。光源２０は２種類の波長の光を出射するものとする。
図１Ｄは、光検出器３０の１つの画素２０１の概略的な構成例を示す図である。なお、図１Ｄは、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。この例における画素２０１は、光電変換を行うフォトダイオード２０３と、電荷蓄積部である第１から第４の浮遊拡散層（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）２０４、２０５、２０６、２０７と、信号電荷を排出するドレイン２０２とを含む。
１回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路６０から入力される制御信号に従って、ドレイン２０２に排出されるか、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７のいずれかに振り分けられる。
光源２０からのパルス光の出射と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７への信号電荷の蓄積と、ドレイン２０２への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の１フレームの時間（例えば約１／３０秒）内に数万回から数億回繰り返され得る。画素２０１は、最終的に、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７に蓄積された信号電荷に基づく４つの画像信号を生成して出力する。
この例における制御回路６０は、光源２０に、第１の波長をもつ第１のパルス光と、第２の波長をもつ第２のパルス光とを、順に繰り返し出射させる。第１の波長および第２の波長として、ユーザ１の内部組織に対する吸収率が異なる２波長を選択することで、ユーザ１の状態を分析することができる。例えば、第１の波長として８０５ｎｍよりも長い波長を選択し、第２の波長として８０５ｎｍよりも短い波長を選択してもよい。これにより、ユーザ１の血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を検出することが可能になる。
制御回路６０は、まず、光源２０に、第１のパルス光を出射させる。制御回路６０は、第１のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第１の期間に、第１の浮遊拡散層２０４に信号電荷を蓄積させる。続いて、制御回路６０は、第１のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第２の期間に、第２の浮遊拡散層２０５に信号電荷を蓄積させる。次に、制御回路６０は、光源２０に、第２のパルス光を出射させる。制御回路６０は、第２のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第３の期間に、第３の浮遊拡散層２０６に信号電荷を蓄積させる。続いて、制御回路６０は、第２のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第４の期間に、第４の浮遊拡散層２０７に信号電荷を蓄積させる。
このように、制御回路６０は、第１のパルス光の発光を開始した後、所定の時間差を空けて、第１の浮遊拡散層２０４および第２の浮遊拡散層２０５に、フォトダイオード２０３からの信号電荷を順次蓄積させる。その後、制御回路６０は、第２のパルス光の発光を開始した後、上記所定の時間差を空けて、第３の浮遊拡散層２０６および第４の浮遊拡散層２０７に、フォトダイオード２０３からの信号電荷を順次蓄積させる。以上の動作を複数回繰り返す。外乱光および環境光の光量を推定するために、光源２０を消灯した状態で不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことで、外乱光および環境光成分を除去した信号を得ることができる。
なお、本実施形態では、電荷蓄積部の数を４としているが、目的に応じて２以上の複数の数に設計してよい。例えば、１種類の波長のみを用いる場合には、電荷蓄積部の数は２であってよい。また、使用する波長が１種類で、表面反射成分Ｉ１を検出しない用途では、画素ごとの電荷蓄積部の数は１であってもよい。また、２種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の数は１であってもよい。また、後述するように、表面反射成分Ｉ１の検出と内部散乱成分Ｉ２の検出とをそれぞれ別のフレームで行えば、電荷蓄積部の数は１であってもよい。
図１Ｅは、光検出器３０の構成の一例を示す図である。図１Ｅにおいて、二点鎖線の枠で囲まれた領域が１つの画素２０１に相当する。画素２０１には１つのフォトダイオードが含まれる。図１Ｅでは２行２列に配列された４画素のみを示しているが、実際にはさらに多数の画素が配置され得る。画素２０１は、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７を含む。第１から第４の浮遊拡散層２０４、２０５、２０６、２０７に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、光検出器３０から出力される。
各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ３０９と、行選択トランジスタ３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が図１Ｄに示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスがドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方（典型的にはソース）と、行選択トランジスタ３０８の入力端子および出力端子のうちの一方（典型的にはドレイン）とが接続されている。ソースフォロワトランジスタ３０９の制御端子であるゲートは、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された信号電荷（すなわち正孔または電子）は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。
図１Ｅには示されていないが、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７はフォトダイオード２０３に接続される。フォトダイオード２０３と第１から第４の浮遊拡散層２０４、２０５、２０６、２０７との間には、スイッチが設けられ得る。このスイッチは、制御回路６０からの信号蓄積パルスに応じて、フォトダイオード２０３と第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の各々との間の導通状態を切り替える。これにより、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
第１から第４の浮遊拡散層２０４、２０５、２０６、２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートがＯＮにされることにより、読み出される。この際、第１から第４の浮遊拡散層２０４、２０５、２０６、２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ－デジタル変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、光検出器３０から出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路６０は、全ての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、光検出器３０による一連のフレームの撮像が完結する。
本実施の形態では、ＣＭＯＳ型の光検出器３０の例を説明したが、光検出器３０は他の種類の撮像素子であってもよい。光検出器３０は、例えば、ＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサ（例えば、ＥＭＣＣＤまたはＩＣＣＤ）であっても構わない。
図１Ｆは、本実施形態における１フレーム内の動作の例を示す図である。図１Ｆに示すように、１フレーム内で、第１のパルス光の発光と第２のパルス光の発光とを交互に複数回切り替えてもよい。このようにすると、２種類の波長による検出画像の取得タイミングの時間差を低減でき、動きがあるユーザ１であっても、ほぼ同時に第１および第２のパルス光での撮影が可能である。
本実施形態では、光検出器３０が、パルス光の表面反射成分Ｉ１と内部散乱成分Ｉ２の両方を検出する。表面反射成分Ｉ１の時間的または空間的な変化から、ユーザ１の第１の生体情報を取得することができる。第１の生体情報は、例えば、ユーザ１の脈拍であり得る。一方、内部散乱成分Ｉ２の時間的または空間的な変化から、ユーザ１の第２の生体情報である脳活動情報を取得することができる。
第１の生体情報は、表面反射成分Ｉ１を検出する方法とは異なる方法によって取得してもよい。例えば、光検出器３０とは異なる他の種類の検出器を利用して、第１の生体情報を取得してもよい。その場合、光検出器３０は、内部散乱成分Ｉ２のみを検出する。他の種類の検出器は、例えばレーダまたはサーモグラフィであってもよい。第１の生体情報は、例えば、ユーザ１の脈拍、発汗、呼吸、体温の少なくとも１つであり得る。第１の生体情報は、ユーザ１の頭部に照射されたパルス光の内部散乱成分Ｉ２を検出することにより得られる脳活動情報以外の生体情報である。ここで、「脳活動情報以外」とは、第１の生体情報中に脳活動に起因する情報が一切含まれないことを意味するものではない。第１の生体情報は、脳活動とは別の生体活動に起因する生体情報が含まれている。第１の生体情報は、例えば、自律的または反射的な生体活動に起因する生体情報である。
本明細書において、第１の生体情報を示す信号を「第１の生体信号」または単に「生体信号」と称することがある。また、脳活動情報を示す信号を「脳活動信号」と称することがある。
［１－４．出力装置］
出力装置４０は、例えばディスプレイおよびスピーカの少なくとも一方を含む。出力装置４０は、生体反応に基づいた結果を出力する。刺激装置１０がディスプレイまたはスピーカを含む場合、それらが出力装置４０として機能してもよい。出力装置４０は、例えばヘッドマウント装置、またはスマートフォンなどの、ディスプレイを備えた装置であり得る。
［１－５．入力装置］
入力装置５０は、ユーザ１の入力を受け付ける。ユーザ１の入力は、例えば、出力装置４０が出力した結果に対する応答である。入力装置５０は、例えばスマートフォンまたはタブレットコンピュータに搭載されたタッチパネルであり得る。
［１－６．制御回路および信号処理回路］
制御回路６０は、刺激装置１０に、映像または音声などの刺激１２を提供させる。制御回路６０は、映像の色相、彩度、および輝度の少なくとも１つ、または音声の音質および大きさの少なくとも１つを制御してもよい。
制御回路６０は、光源２０のパルス光発光タイミングと、光検出器３０のシャッタタイミングとの時間差を調整する。以下、当該時間差を「位相」または「位相遅れ」と称することがある。光源２０の「発光タイミング」とは、光源２０が発光するパルス光が立ち上りを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路６０は、発光タイミングを変化させて位相を調整しても良いし、シャッタタイミングを変化させて位相を調整しても良い。
制御回路６０は、光検出器３０の各画素によって検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。光源２０が発光しない状態、つまり光源２０の駆動をＯＦＦにした状態で、光検出器３０が信号を検出することで環境光、外乱光によるオフセット成分が見積もられる。
制御回路６０は、信号処理回路７０によって得られた生体反応の計測結果に基づいて、予め定義された感情モデルに含まれる複数の感情の中から少なくとも１つの感情を決定する。感情の決定方法の詳細については後述する。
制御回路６０は、出力装置４０に、決定した１つの感情グループに関連付けられた画像および音声の少なくとも一方を出力させる。制御回路６０は、画像の色相、彩度、および輝度の少なくとも１つ、または音声の音質および大きさの少なくとも１つを制御してもよい。
制御回路６０は、ユーザ１の入力装置５０への入力に基づいたデータをメモリに記録する。メモリは、生体計測システム１００に内蔵されてもよいし、外部に設けられてもよい。
制御回路６０は、例えばプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路６０は、例えばプロセッサがメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、およびオフセット成分の除去等を行う。
信号処理回路７０は、光検出器３０から出力された画像信号を処理する回路である。信号処理回路７０は、画像処理等の演算処理を行う。信号処理回路７０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路６０および信号処理回路７０は、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。また、信号処理回路７０は、例えば遠隔地に設けられたサーバコンピュータなどの外部の装置の構成要素であってもよい。この場合、サーバコンピュータなどの外部の装置は通信手段を備え、光源２０、光検出器３０、および制御回路６０と相互にデータの送受信を行う。
本実施形態における信号処理回路７０は、光検出器３０から出力された信号に基づき、皮膚表面の血流および脳血流の時間変化を示す動画像データを生成することができる。信号処理回路７０は、そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることで、脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。
脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、ユーザ１の心理状態を推定することができる。ユーザ１の心理状態とは、例えば、気分（例えば、快、不快）、感情（例えば、安心、不安、悲しみ、憤りなど）、健康状態（例えば、元気、倦怠）、温度感覚（例えば、暑い、寒い、蒸し暑い）などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。信号処理回路７０は、脳血流量などの変化に基づいて、ユーザ１の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。
図１Ｇは、制御回路６０による光源２０および光検出器３０に関する動作の概略を示すフローチャートである。制御回路６０は、概略的には図１Ｇに示す動作を実行する。なお、ここでは内部散乱成分Ｉ２の検出のみを行う場合の動作を説明する。ステップＳ１０１において、制御回路６０は、まず、光源２０に所定時間だけパルス光を発光させる。このとき、光検出器３０の電子シャッタは露光を停止した状態にある。制御回路６０は、パルス光の一部がユーザ１の表面で反射されて光検出器３０に到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、ステップＳ１０２において、制御回路６０は、当該パルス光の他の一部がユーザ１の内部を散乱して光検出器３０に到達するタイミングで、電子シャッタに露光を開始させる。所定時間経過後、ステップＳ１０３において、制御回路６０は、電子シャッタに露光を停止させる。続いて、ステップＳ１０４において、制御回路６０は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する。この判定がＮｏの場合、Ｙｅｓと判定するまで、ステップＳ１０１からＳ１０３を繰り返す。ステップＳ１０４においてＹｅｓと判定すると、ステップＳ１０５において、制御回路６０は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号を光検出器３０に生成させて出力させる。
以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。
［１－７．その他］
生体計測システム１００は、ユーザ１の２次元像を光検出器３０の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、光検出器３０の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザ１の２次元像の拡大率が変更し、光検出器３０上の２次元像の解像度が変化する。したがって、ユーザ１までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
また、生体計測システム１００は、ユーザ１と光検出器３０の間に光源２０から発する波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源２０の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は２０から１００ｎｍ程度の幅を持たせてもよい。
また、生体計測システム１００は、光源２０とユーザ１との間、および光検出器３０とユーザ１との間にそれぞれ偏光板を備えてもよい。この場合、光源２０側に配置される偏光板と光検出器３０側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、ユーザ１の表面反射成分Ｉ１のうち正反射成分、すなわち入射角と反射角が同じ成分が光検出器３０に到達することを防ぐことができる。つまり、表面反射成分Ｉ１が光検出器３０に到達する光量を低減させることができる。
［２．光源および光検出器の動作］
本開示の生体計測システム１００は、表面反射成分Ｉ１から内部散乱成分Ｉ２を区別して検出することができる。ユーザ１を人とし、被検部を額とした場合、検出したい内部散乱成分Ｉ２による信号強度は非常に小さくなる。前述のように、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、さらに数十分の１の大きさに相当し非常に小さくなる。したがって、本実施形態では、検出したい信号成分の数千倍から数万倍である表面反射成分Ｉ１をできるだけ混入させずに撮影される。
以下、本実施の形態における生体計測システム１００における光源２０および光検出器３０の動作の例を説明する。
図１Ａに示すように、光源２０がユーザ１にパルス光を照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１および内部散乱成分Ｉ２はその一部が光検出器３０に到達する。内部散乱成分Ｉ２は、光源２０から発せられて光検出器３０に到達するまでにユーザ１の内部を通過するため光路長が表面反射成分Ｉ１に比べて長くなる。したがって、内部散乱成分Ｉ２は、光検出器３０に到達する時間が表面反射成分Ｉ１に対して平均的に遅れる。
図２は、光源２０から矩形パルス光が発せられてユーザ１から戻ってきた光が光検出器３０に到達する光信号を表す図である。横軸は波形（ａ）から（ｄ）においていずれも時間（ｔ）を表し、縦軸は波形（ａ）から（ｃ）においては強度、波形（ｄ）においては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表す。波形（ａ）は、表面反射成分Ｉ１を示す。波形（ｂ）は、内部散乱成分Ｉ２を示す。波形（ｃ）は表面反射成分Ｉ１（ａ）と内部散乱成分Ｉ２（ｂ）の合算成分を示す。波形（ａ）に示すように、表面反射成分Ｉ１は矩形を維持する。一方、波形（ｂ）に示すように、内部散乱成分Ｉ２はさまざまな光路長を経た光の合算であるため、パルス光の後端で尾を引いたような特性を示す。すなわち、内部散乱成分Ｉ２は表面反射成分Ｉ１よりも立ち下り期間が長くなる。波形（ｃ）の光信号から内部散乱成分Ｉ２の割合を高めて抽出するためには、波形（ｄ）に示すとおり、表面反射成分Ｉ１の後端以降、すなわち表面反射成分Ｉ１が立ち下がった時またはその後に、電子シャッタが露光を開始すれば良い。このシャッタタイミングは、制御回路６０によって調整される。上述したとおり、本開示の生体計測システム１００は表面反射成分Ｉ１と対象深部に到達した内部散乱成分Ｉ２とを区別して検出できれば良いため、発光パルス幅およびシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり簡便な構成で実現できコストを大幅に低下させることができる。
図２における波形（ａ）では、表面反射成分Ｉ１の後端が垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立ち下りを開始してから終了するまでの時間がゼロである。しかし、現実的には光源２０が照射するパルス光自体の波形の立ち下り部分が完全な垂直で無かったり、ユーザ１の表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分Ｉ１の後端が垂直に立ち下がらないことがある。また、ユーザ１は不透明な物体であることから、表面反射成分Ｉ１は内部散乱成分Ｉ２よりも非常に光量が大きくなる。したがって、表面反射成分Ｉ１の後端が垂直な立ち下り位置からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が表面反射成分Ｉ１の後端部分に埋もれてしまう可能性がある。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図２における波形（ｄ）に示すような理想的なバイナリな読み出しが実現できないことがある。したがって、制御回路６０は電子シャッタのシャッタタイミングを表面反射成分Ｉ１の立ち下り直後よりやや遅らせても良い。例えば、０．５ｎｓから５ｎｓ程度遅らせてもよい。尚、電子シャッタのシャッタタイミングを調整する代わりに、制御回路６０は光源２０の発光タイミングを調整しても良い。制御回路６０は、電子シャッタのシャッタタイミングと光源２０の発光タイミングとの時間差を調整する。非接触で脳活動時の血流量または血流内成分の変化を計測する場合は、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまう。このため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。ユーザ１の散乱による時間遅れが４ｎｓであるため、シャッタイミングの最大の遅らせ量は４ｎｓ程度である。
光源２０がパルス光を複数回発光し、各パルス光に対して同じ位相のシャッタタイミングで複数回露光することで、内部散乱成分Ｉ２の検出光量を増幅しても良い。
なお、ユーザ１と光検出器３０の間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路６０が、光源２０を発光させない状態で同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、光検出器３０の各画素によって検出された信号から差分除去される。これによって光検出器３０上で発生する暗電流成分を除去することができる。
内部散乱成分Ｉ２には、ユーザ１の内部特性情報、例えば、脳血流情報が含まれる。ユーザ１の脳血流量の時間的な変動に応じて血液に吸収される光の量に変化が生じ、光検出器３０による検出光量も相応に増減する。したがって、内部散乱成分Ｉ２をモニタリングすることでユーザ１の脳血流量の変化から脳活動状態を推定することが可能となる。本明細書において、光検出器３０から出力される信号のうち、内部散乱成分Ｉ２を示す信号を、「脳活動信号」と称することがある。脳活動信号は、ユーザ１の脳血流の増減情報を含み得る。
次に、表面反射成分Ｉ１の検出方法の例を説明する。表面反射成分Ｉ１には、ユーザ１の表面特性情報、例えば、顔および頭皮の血流情報が含まれる。光検出器３０は、光源２０が発するパルス光がユーザ１に到達し、再び光検出器３０に戻る光信号のうち、表面反射成分Ｉ１を検出する。
図３Ａは、表面反射成分Ｉ１を検出する場合のタイミングチャートの一例を示している。表面反射成分Ｉ１の検出のために、例えば、図３Ａに示すように、パルス光が光検出器３０に到達する前にシャッタをＯｐｅｎにし、パルス光の後端が到達するよりも前にシャッタをｃｌｏｓｅにしてもよい。このようにシャッタを制御することで、内部散乱成分Ｉ２の混入を少なくすることができる。ユーザ１の表面近傍を通過した光の割合を大きくすることができる。特に、シャッタｃｌｏｓｅのタイミングを、光検出器３０への光の到達直後にしてもよい。このようにすることで、光路長が比較的短い表面反射成分Ｉ１の割合を高めた信号検出が可能となる。表面反射成分Ｉ１の信号を取得することで、ユーザ１の脈拍、または顔血流の酸素化度を検出することが可能となる。他の表面反射成分Ｉ１の取得方法として、光検出器３０がパルス光全体を取得したり、光源２０から連続光を照射して検出したりしてもよい。
図３Ｂは、内部散乱成分Ｉ２を検出する場合のタイミングチャートの一例を示している。パルスの後端部分が光検出器３０に到達する期間にシャッタをＯｐｅｎにすることで、内部散乱成分Ｉ２の信号を取得することができる。
表面反射成分Ｉ１は、内部散乱成分Ｉ２を取得する生体計測システム１００以外の装置によって検出してもよい。内部散乱成分Ｉ２を取得する装置とは別体の装置、または脈波計もしくはドップラ血流計といった別デバイスを用いても良い。別デバイスを用いる場合、デバイス間のタイミング同期、光の干渉、および検出箇所の合わせこみを考慮して使用することになる。本実施形態のように、同一カメラまたは同一センサによる時分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のセンサで表面反射成分Ｉ１および内部散乱成分Ｉ２の両方の信号を取得する場合、図３Ａおよび図３Ｂに示すように、１フレームごとに取得する成分を切り替えてもよい。あるいは、図１Ｄから図１Ｆを参照して説明したように、１フレーム内で高速に取得する成分を交互に切り替えてもよい。その場合、表面反射成分Ｉ１と内部散乱成分Ｉ２の検出時間差を低減できる。
さらに、表面反射成分Ｉ１と内部散乱成分Ｉ２のそれぞれの信号を、２つの波長の光を用いて取得してもよい。例えば、７５０ｎｍと８５０ｎｍの２波長のパルス光を利用してもよい。このようにすることで、それぞれの波長での検出光量の変化から、酸素化ヘモグロビンの濃度変化および脱酸素化ヘモグロビンの濃度変化を算出することができる。表面反射成分Ｉ１と内部散乱成分Ｉ２を、それぞれ２波長で取得する場合、例えば図１Ｄから図１Ｆを参照して説明したように、４種類の電荷蓄積を１フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減できる。
生体計測システム１００は、ユーザ１の額に向けてパルス状の近赤外光または可視光を照射し、表面反射成分Ｉ１の時間的変化から、頭皮または顔の酸素化ヘモグロビン量の変化または脈拍を検出することができる。表面反射成分Ｉ１を取得するための光源２０は、近赤外光または可視光を出射する。近赤外光であれば昼夜問わず計測が可能である。脈拍を計測する場合、より感度が高い可視光を用いてもよい。日中であれば外乱光である日射または室内光源を照明代わりに使用してもよい。光量が不足する場合は専用の光源で補強してもよい。内部散乱成分Ｉ２は、脳まで到達した光成分を含む。内部散乱成分Ｉ２の時間変化を計測することで、脳血流の時間的な増減を計測できる。
脳まで到達した光は、頭皮および顔表面も通過するため、頭皮および顔の血流の変動も重畳されて検出される。その影響を除去または低減するために、信号処理回路７０は、光検出器３０によって検出された内部散乱成分Ｉ２から表面反射成分Ｉ１を減算する処理を行ってもよい。このようにすることで、頭皮および顔の血流情報を除いた純粋な脳血流情報を取得することができる。減算方法には、例えば、内部散乱成分Ｉ２の信号から、光路長差を考慮して決定された１以上のある係数を表面反射成分Ｉ１の信号に掛けた値を減算する方法が用いられ得る。この係数は、例えば、一般的な人の頭部光学定数の平均値に基づいて、シミュレーションまたは実験によって算出され得る。このような減算処理は、同一のカメラまたはセンサを用いて、同一の波長の光を用いて計測する場合に特に容易にできる。これは、時間的および空間的なずれを低減し易く、内部散乱成分Ｉ２に含まれる頭皮血流成分と、表面反射成分Ｉ１の特性とを一致させ易いからである。
脳と頭皮との間には頭蓋骨が存在する。このため、脳血流の２次元分布と頭皮および顔の血流の２次元分布とは独立である。したがって、光検出器３０で検出される信号に基づいて、内部散乱成分Ｉ２の２次元分布と表面反射成分Ｉ１の２次元分布とを、独立成分分析または主成分分析などの統計手法を用いて分離してもよい。
［３．計測前のユーザの状態の判定］
次に、上記の生体計測システム１００を用いてユーザ１の感情を推定する方法の例を説明する。
前述したように、信号処理回路７０は、表面反射成分Ｉ１および内部散乱成分Ｉ２から、それぞれ、ユーザ１の頭皮血流量Ｂ１および脳血流量Ｂ２を算出する。頭皮血流量は、頭皮の血管の拡張・収縮による流速の変化によって調整される。血管の拡張・収縮は、自律神経によって制御される。自律神経は、主に交感神経である。交感神経は、情動的な応答、眠気、またはストレス応答時に活性化され、顔面血流量を調節する。
本実施形態では、信号処理回路７０は、頭皮由来の血流情報である表面反射成分Ｉ１からユーザ１の自律神経由来の状態を推定し、脳由来の脳血流情報である内部散乱成分Ｉ２から脳神経由来の状態を推定する。信号処理回路７０は、さらに、これらの２つの情報からユーザ１の状態を推定する。
自律神経の活性は、ヒトの感情、ストレス、および体調などの心身の状態によって制御される。したがって、顔面の血流量は、ヒトの心身の状態を表すと考えられる。
一方、脳神経は、認知、判断、情動などの脳の機能を制御するために活性化する。脳神経の活性に伴い、脳の血流量が変化する。そのため、脳血流、特に脳前頭前野領域に相当する額部の脳血流は、集中の状態を反映していると考えられる。
すなわち、顔面および脳の血流量の２つの情報は、ヒトの異なる状態を反映していると考えられる。本実施形態では、これら２つの情報に基づいて、ヒトの心身の状態が推定される。
脳認知機能の計測において前頭葉の脳血流を計測する場合、計測前に、頭皮血流を参照してユーザ１の状態を判定する場合がある。
図４は、本実施形態における、計測前のユーザ１の状態を判定する処理の一例を示すフローチャートである。
ステップＳ２０１において、制御回路６０は、光源２０にパルス光でユーザ１の額部を照射させ、光検出器３０に表面反射成分Ｉ１を計測させる。その際、制御回路６０は、計測回数を記録する。ステップＳ２０２において、制御回路６０は、信号処理回路７０によって表面反射成分Ｉ１の値から頭皮血流量Ｂ１を算出する。ステップＳ２０３において、制御回路６０は、計測回数が既定値Ｎ以下であるかを判断する。ステップＳ２０４において、制御回路６０は、算出したＢ１を、予めデータベースとして記録媒体に蓄積されたユーザ１の平均的な安静状態での頭皮血流量の範囲と比較する。制御回路６０は、Ｂ１が当該範囲内に入っていれば、ユーザ１は安静状態にあると判断する。その場合、ステップＳ２０５において、制御回路６０は、認知機能を評価するために、刺激装置１０によって課題を提示し、認知機能の計測を開始する。一方、ステップＳ２０４においてＢ１が当該範囲内に収まっていない場合、制御回路６０は、ステップＳ２０１からＳ２０４を繰り返す。
ステップＳ２０３において計測回数がＮに到達した場合、ステップＳ２０６において、制御回路６０は、Ｎ番目のＢ１が、これまで計測したＮ－１回のＢ１の平均値±標準偏差の範囲内に収まるかを判断する。Ｎ番目のＢ１が当該範囲内に収まれば、制御回路６０は、ステップＳ２０５において、刺激装置１０によって課題を提示する。ステップＳ２０６においてＮ番目のＢ１が当該範囲内に収まらなければ、制御回路６０は、ユーザ１が計測できる状態ではないと判断する。その場合、ステップＳ２０７において、制御回路６０は、出力装置４０により、深呼吸またはリラクゼーションを促すアナウンスをユーザ１に出力し、計測を中止する。
［４．感情・覚醒度マップの作成］
顔面血流は、顔面に存在する自律神経系によって制御される。顔面血流は、体温調節において重要な役割を果たしている。自律神経系は、特に脳内の視床下部によって調節される。同時に、視床下部は、大脳辺縁系から情報を受け、当該情報に適する自律神経を調節する。大脳辺縁系に含まれる扁桃体は、特に負の情動によって活性化することが報告されている。そのため、情動反応を、自律神経制御を介して顔面血流の変化として計測できることが期待される。
非特許文献１は、被検者が動画を視聴している最中に、被検者の顔面血流の変化を計測することを開示している。当該動画は、驚き、悲しみ、恐怖、および興奮などの感情を誘発させる。計測には、レーザースペックル血流計が用いられている。非特許文献１によれば、当該動画の視聴により、ユーザ１の顔面血流は優位に減少する。また、非特許文献３は、「怒り」の感情に着目して顔面血流の変化を計測することを開示している。非特許文献３によれば、「怒り」の感情の表出時に、顔面血流が１０％程度増加する。このように、顔面血流の変化を検出することにより、ユーザ１の感情を推定することができる。
以上の先行研究の結果をまとめると、怒りまたは驚きなどの感情は顔面血流を増加させ、不快、悲しみ、または恐怖は顔面血流を減少させる。
次に、感情を分類する指標としてよく用いられるラッセルの円環モデルを説明する。
図５は、ラッセルの円環モデルを模式的に示す図である。ラッセルの円環モデルでは、感情は、快－不快と、覚醒－沈静の覚醒度との二軸によって４つの象限に分類されている。
図５に示すラッセルの円環モデルと、顔面血流の変化によって推定された感情とを重ね合わせると、以下の結果が得られる。顔面血流を減少させる感情のうち、「驚き」および「興奮」は第１象限に存在し、「恐怖」は第２象限に存在し、「悲しみ」は第３象限に存在する。一方、顔面血流を増加させる「怒り」は、第２象限に存在する。このように、顔面血流の増減による推定可能な感情は、ラッセルの円環モデルにおける４つの象限に対応していない。
一方、前頭前野領域の脳血流は、認知、意思、または感情の制御の際に増加することが知られている。例えば、認知機能を調べる課題の実行時に前頭前野領域の血流が増加することが、ｆＮＩＲＳまたはｆＭＲＩなどの方法によって確認されている。認知機能を調べる課題とは、例えば、言語流暢性課題、またはＮ－Ｂａｃｋ課題である。脳血流の増加が大きいほど、ユーザ１が課題に集中して取り組んでいると判断される。
一方で、同様の認知課題を繰り返すと、認知課題の成績は向上するが、脳血流が減少することが指摘されている。これは、以下の理由によると考えられている。課題を繰り返し実行することによって課題を効率的に実行する手段が習得される。さらに、脳内の活動領域に変化が生じ前頭前野領域にあまり負荷がかからなくなる脳機能局在が生じる。
逆に、脳血流の減少は、眠気によって生じることが報告されている。
上記の結果を踏まえると、脳血流の増減により、課題へ取り組む姿勢、すなわち集中度を捉えることができる。具体的には、脳血流の増加により、課題への集中度が高いと推定することができ、脳血流の減少により、課題に対して眠気を覚え散漫であると推定することができる。
本実施形態における生体計測システム１００では、顔面血流によってユーザ１の情動が推定され、脳血流によってユーザ１の課題に対する取り組み度が評価される。
前述したように、血流変化の増減によって推定される感情は、図５に示すラッセルの円環モデルにおける４つの象限と対応していない。そこで、本実施形態では、顔面血流の増減および脳血流の増減を２つの軸とした、ラッセルの円環モデルとは異なる分類によってユーザ１の感情が推定される。
図６は、本実施形態における、感情・覚醒度マップを模式的に示す図である。「感情・覚醒度マップ」とは、顔面血流の増減および脳血流の増減によって分類された４つの感情グループを意味する。横軸が顔面血流の増減を表し、縦軸が脳血流の増減を表している。感情・覚醒度マップは、本開示における感情モデルの一例である。
第１象限における興奮、怒り、または驚きを、第１の感情グループとする。興奮、怒り、および驚きは、ａｃｔｉｖｅな感情に相当する。第２象限における嫌悪、恐怖、悲しみ、または緊張（「ｐａｓｓｉｖｅな感情」と称する。）を、第２の感情グループとする。嫌悪、恐怖、悲しみ、および緊張は、ｐａｓｓｉｖｅな感情に相当する。第３象限におけるリラックスまたは散漫を、第３の感情グループとする。第４象限における退屈または眠気を、第４の感情グループとする。本明細書では、第１から第４象限における４つの感情グループの分類を、「感情・覚醒度マップ」と称する。
次に、ユーザ１の感情を４つの感情グループのいずれかに分類する手順を説明する。
図７は、ユーザ１の感情を４つの感情グループのいずれかに分類する処理の一例を示すフローチャートである。
ステップＳ３０１において、制御回路６０は、刺激装置１０によってユーザ１に課題を提示する。ステップＳ３０２において、制御回路６０は、課題の提示時に光源２０にパルス光でユーザ１を照射させ、一定時間ごとに光検出器３０に表面反射成分Ｉ１および内部散乱成分Ｉ２を計測させる。ステップＳ３０３において、制御回路６０は、課題の提示を終了すると、パルス光の照射を中止し、計測を終了する。ステップＳ３０４において、制御回路６０は、信号処理回路７０に、各時間におけるＩ１およびＩ２から、各時間の頭皮血流量Ｂ１および脳血流量Ｂ２を算出させる。
課題を提示中のように、ユーザ１に負荷を与える時間帯を「刺激時」と定義する。ユーザ１に刺激を提供せずに安静を促す時間帯を「レスト時」と定義する。レスト時における頭皮血流量および脳血流量をそれぞれＢ１Ｒｅｓｔ、Ｂ２Ｒｅｓｔとする。刺激時における頭皮血流および脳血流量をそれぞれＢ１ｓｔｉｍｕｌｉ、Ｂ２ｓｔｉｍｕｌｉとする。レスト時から刺激時への頭皮血流および脳血流の変化量を、それぞれΔＢ１＝Ｂ１ｓｔｉｍｕｌｉ－Ｂ１ＲｅｓｔおよびΔＢ２＝Ｂ２ｓｔｉｍｕｌｉ－Ｂ２Ｒｅｓｔとする。Ｂ１Ｒｅｓｔ、Ｂ２Ｒｅｓｔ、Ｂ１ｓｔｉｍｕｌｉ、およびＢ２ｓｔｉｍｕｌｉは、いずれも各時間帯における血流量の代表値を表している。当該代表値のとり方は、計測対象または課題の種類によって任意に選択することができる。例えば、それぞれの全時間帯の平均値でもよいし、中央値、最大値、または最小値でもよい。制御回路６０は、ΔＢ１の正負およびΔＢ２の正負によって、ユーザ１の感情を次の４つの感情グループのいずれかに分類する。言い換えれば、制御回路６０は、ΔＢ１およびΔＢ２の組み合わせに基づき、１つの感情グループを決定する。
ステップＳ３０６において、制御回路６０は、ΔＢ２が正であるかを判断する。ΔＢ２が正であれば、ステップＳ３０７において、制御回路は、ΔＢ１が正であるかを判断する。ΔＢ１が正であれば、ステップＳ３０８において、制御回路６０は、ユーザ１の感情を第１の感情グループに分類する。ΔＢ１が正でなければ、ステップＳ３０９において、制御回路６０は、ユーザ１の感情を第２の感情グループに分類する。
ステップＳ３０６において、ΔＢ２が正でなければ、ステップＳ３１０において、制御回路６０は、ΔＢ１が正であるかを判断する。ΔＢ１が正であれば、ステップＳ３１１において、制御回路６０は、ユーザ１の感情を第４の感情グループに分類する。ΔＢ１が正でなければ、ステップＳ３１２において、制御回路６０は、ユーザ１の感情を第３の感情グループに分類する。
ステップＳ３１３において、制御回路６０は、出力装置４０によって分類の結果を表示する。
上記の例では、制御回路６０は、ΔＢ１の正負およびΔＢ２の正負によってユーザ１の感情を分類しているが、これに限定されない。例えば、以下のように分類してもよい。
ΔＢ１＞Ｃ１１かつΔＢ２＞Ｃ１２の場合、制御回路６０は、ユーザ１の感情を第１の感情グループに分類する。ここで、Ｃ１１およびＣ１２は、０よりも大きい値である。
ΔＢ１＜Ｃ２１かつΔＢ２＞Ｃ２２の場合、制御回路６０は、ユーザ１の感情を第２の感情グループに分類する。ここで、Ｃ２１は０よりも小さい値であり、Ｃ２２は０よりも大きい値である。
ΔＢ１＜Ｃ３１かつΔＢ２＜Ｃ３２の場合、制御回路６０は、ユーザ１の感情を第３の感情グループに分類する。ここで、Ｃ３１およびＣ３２は、０よりも小さい値である。
ΔＢ１＞Ｃ４１かつΔＢ２＜Ｃ４２の場合、制御回路６０は、ユーザ１の感情を第４の感情グループに分類する。ここで、Ｃ４１は０よりも大きい値であり、Ｃ４２は０よりも小さい値である。
上記の４つの分類のいずれにも属さないときは、ΔＢ１の変化量の絶対値、および／または、ΔＢ２の変化量の絶対値が小さいと判断して再計測してもよい。
［５．感情の主観的な評価］
次に、ユーザ１の主観的な評価によって課題の実行時におけるユーザ１の感情を推定する方法を説明する。
図８は、課題の実行時におけるユーザ１の感情を推定する処理の一例を示すフローチャートである。
ステップＳ４０１において、制御回路６０は、刺激装置１０にユーザ１に課題を提示させ、光検出器３０に表面反射成分Ｉ１および内部散乱成分Ｉ２を計測させる。制御回路６０は、さらに、信号処理回路７０に頭皮血流量Ｂ１および脳血流量Ｂ２を算出させる。ステップＳ４０１における処理は、図７に示すステップＳ３０１からＳ３０５における処理と同じである。
ステップＳ４０２において、制御回路６０は、図６に示す感情・覚醒度マップに基づいてユーザ１の感情を分類する。ステップＳ４０２における処理は、図７に示すステップＳ３０６からＳ３１２における処理と同じである。
ステップＳ４０３において、制御回路６０は、分類の結果を表示する。ステップＳ４０３における処理は、図７に示すステップＳ３１３における処理と同じである。
ユーザ１の感情がいずれかの感情グループに分類された場合、制御回路６０は、出力装置４０を用いて、ユーザ１に主観的な評価を問い合わせる。主観的な評価とは、例えば、決定した感情グループに分類される少なくとも１つの感情が、ユーザ１の実際の感情に該当するかについての評価である。制御回路６０は、上記の問い合わせを行うための画像および／または音声を出力装置４０に出力させる。
ステップＳ４０３においてユーザ１の感情が第１の感情グループに分類された場合、ステップＳ４０４に進む。ステップＳ４０４において、制御回路６０は、出力装置４０に、主観的な評価をユーザ１に実行させるための質問を表示させる。質問の内容は、例えば、「課題の実行時におけるあなたの感情はｐｏｓｉｔｉｖｅでしたか？ｎｅｇａｔｉｖｅでしたか？」のような正の感情か負の感情かを問う程度でよい。ユーザ１がｐｏｓｉｔｉｖｅすなわち正の感情と答えた場合、ステップＳ４０５に進む。ステップＳ４０５において、制御回路６０は、課題の実行時におけるユーザ１の感情が「興奮・驚き」であったことを示す画像を出力装置４０に表示させる。ユーザ１がｎｅｇａｔｉｖｅすなわち負の感情と答えた場合、ステップＳ４０６に進む。ステップＳ４０６において、制御回路６０は、課題の実行時におけるユーザ１の感情が「怒り」であったことを示す画像を出力装置４０に表示させる。正の感情か負の感情かを問う代わりに、ステップＳ４０４において、制御回路６０は、出力装置４０に「興奮」、「驚き」、および「怒り」のいずれかを選択させるための選択肢を表示させてもよい。
ステップＳ４０３においてユーザ１の感情が第２の感情グループに分類された場合、ステップＳ４０７に進む。ステップＳ４０７において、制御回路６０は、出力装置４０に「嫌悪」、「緊張」、「恐怖」、および「悲しみ」の選択肢を表示させる。ユーザ１は、主観的な評価を行い、いずれかの感情を選択する。ユーザ１は、選択した感情を、入力装置５０を用いて入力する。ステップＳ４０８において、制御回路６０は、出力装置４０にユーザ１が選択した感情を表示させる。
ステップＳ４０３においてユーザ１の感情が第３または第４の感情グループに分類された場合、ステップＳ４０９に進む。この場合、課題の実行時において、ユーザ１は、リラックス、散漫、退屈、または眠気の状態にあったと推定することができる。よって、ステップＳ４０９において、制御回路６０は、出力装置４０に課題への集中を促すメッセージを表示させる。続いて、ステップＳ４１０において、制御回路６０は、出力装置４０に、再計測するか否かをユーザに問い合わせる画像を表示する。再計測する場合、制御回路６０は、再びステップＳ４０１を実行する。
以上の処理により、顔面血流および脳血流の２つの情報から、ユーザ１の課題への取り組み姿勢と、その時のユーザ１の感情を精度良く推定することが可能になる。
制御回路６０は、ユーザ１の主観的な評価の結果に基づき、刺激１２とユーザ１の感情とを関連付けてもよい。例えば、ユーザ１が入力装置５０を用いて上記の主観的な評価を行ったとき、制御回路６０は、刺激１２と上記の少なくとも１つの感情との関連を示すデータをメモリに記録してもよい。例えば、ユーザ１の主観的な評価を示す識別子を、刺激１２を示すデータに付してもよい。刺激１２が映像または音声のコンテンツである場合、コンテンツのデータに、ユーザ１の主観的な評価の結果を示す情報を付加して記録してもよい。
［６．コンテンツを提供するシステム］
前述の生体計測システム１００は、例えば映像または音声のコンテンツを、インターネットなどのネットワークを介して提供するシステムにおいて用いられ得る。そのようなシステムは、例えば、事業者が運営するサーバコンピュータと、ユーザが保有するパーソナルコンピュータ、スマートフォン、またはタブレットなどの各種のコンピュータとを含み得る。例えば世界中に多数のユーザが存在し得る。それらのユーザの各々が、前述の感情を推定する生体計測システム１００を利用する。各ユーザは、例えばスマートフォンなどのコンピュータを用いて、サーバコンピュータにコンテンツの配信を要求する。サーバコンピュータは、要求されたコンテンツをそのユーザに配信する。サーバコンピュータは、コンテンツを配信するとき、上記の生体計測システム１００に、そのコンテンツを視聴中のユーザの血流情報を取得させ、感情を推定させる。サーバコンピュータは、推定された感情に関するデータをコンテンツごとに収集し、そのコンテンツと感情との関連を示すデータを蓄積する。このようにして、サーバコンピュータは、個々のコンテンツと、そのコンテンツがユーザに引き起こす感情とを関連付けて記録することができる。
図９は、このようなシステムの構成例を模式的に示す図である。このシステムは、複数の生体計測システム１００と、サーバコンピュータ２００とを含む。サーバコンピュータ２００は、複数の生体計測システム１００にネットワークを介して接続されている。図９では、３つの生体計測システム１００が例示されているが、さらに多数の生体計測システム１００がサーバコンピュータ２００に接続され得る。
各生体計測システム１００は、図１Ａに示す構成要素に加え、通信回路８０を備える。図９では、各生体計測システム１００の構成要素のうち、刺激装置１０、制御回路６０、および通信回路８０のみが例示されている。
複数の生体計測システム１００の各々における制御回路６０は、通信回路８０を介して、刺激とユーザの感情との関連を示すデータをサーバコンピュータ２００に送信する。例えば、ユーザが視聴したコンテンツと、視聴中のユーザの感情とを関連付けたデータを送信する。
サーバコンピュータ２００は、複数のユーザについての当該関連を示すデータを収集し、メモリ２１０に記録する。サーバコンピュータ２００は、例えば、ユーザＩＤと、コンテンツＩＤと、感情ＩＤとを関連付けてデータベースに記録する。サーバコンピュータ２００は、多くのユーザから収集した当該データに基づいて、ユーザに特定の感情を引き起こさせる刺激（この例ではコンテンツ）を決定することができる。例えば、サーバコンピュータ２００は、各コンテンツについて、そのコンテンツを過去に視聴したユーザが感じた感情を集計する。サーバコンピュータ２００は、各コンテンツのデータに、最も多くのユーザが感じた感情を示す識別子を付加して記録する。コンテンツと感情との関連付けは、新たな情報の蓄積に伴い、更新され得る。
ユーザが、あるコンテンツの視聴を要求したとき、サーバコンピュータ２００は、そのコンテンツのデータを生体計測システム１００に送信する。このとき、サーバコンピュータ２００は、そのコンテンツに関連付けられた感情に類似する感情を引き起こす他の１つ以上のコンテンツを複数のコンテンツの中から選択して制御回路６０にその情報を通知する。
制御回路６０は、サーバコンピュータ２００からの指示に従い、選択された１つ以上のコンテンツを刺激装置１０に提供させる。例えば、興奮または驚きの感情を引き起こすようなコンテンツがユーザに提供され得る。
［７．他の実施形態］
図９に示す例では、刺激は、映画、ゲーム、または音楽などの娯楽に関するコンテンツであり得る。刺激は、他の刺激であってもよい。例えば、光、振動、熱、匂い、その他の、人間の五感の少なくとも一部を刺激する装置の制御に、本開示の技術が適用されてもよい。照明装置を制御するシステムに本開示の技術を適用してもよい。ある実施形態において、照明装置は、照度または色温度を調整する機能を有する。当該システムの制御回路は、照度または色温度の設定が変更される度に、ユーザの感情を推定し、照度および色温度と感情との関連を示すデータを蓄積する。蓄積されたデータに基づいて、そのユーザが最も快適に感じる照度および色温度を決定し、自動でその照度および色温度に設定してもよい。
図１０は、生体計測システム１００により、被検者５００である車両のドライバの心理状態を検出する様子を示す図である。生体計測システム１００は、表面反射成分Ｉ１をもとにドライバの表面血流状態を計測し、内部散乱成分Ｉ２をもとにドライバの脳血流の変化を計測する。取得した表面血流データ、および脳血流データをもとに、ドライバが運転できる状態か、ドライビングアシストが必要な状態か等を判定する。脳血流計測においては、平常運転時のドライバの脳血流量または脳血流分布のデータベース、あるいは日々蓄積したドライバの脳血流量または脳血流分布のデータベースと、計測データとを比較し、ドライバの脳活動状態を判定する。表面血流計測からはドライバの緊張、不安などの情動的な心理状態を判定する。脳血流計測データおよび表面血流計測データから、ドライバに運転させると危険と判断した場合は、その旨を音声で出力したり、またはその旨をディスプレイに表示したり、リラックスさせるためのアナウンスまたは音楽を流したり、車両に搭載されたドライビングアシスト機能の効力を高めたりする。運転中の場合には、車両を路肩に停止させる処置をしてもよい。
図１１は、家庭内あるいはオフィス内に生体計測システム１００を設置することで、家庭あるいはオフィスでのメンタルヘルスチェックに用いる例を示している。生体計測システム１００は非接触で生体情報および脳活動情報を取得できるため、例えば洗面台の鏡の裏に設置し得る。鏡は可視光を反射し、近赤外光（例えば、７００ｎｍ以上の波長の光）を透過するように干渉膜コーティングがなされている。可視光を反射させる干渉膜をコーティングすることで、鏡として、被検者５００であるユーザの姿を反射させるが、鏡の裏に設置されたカメラはユーザには見えない。一方、鏡が近赤外光を透過することで、測定光を鏡越しにユーザに向けて照射することが可能となる。したがって、カメラの存在をユーザに意識させないため、ユーザが自然な精神状態の下で、生体情報の測定および脳血流の測定を実施できる。また、ユーザの正面からの測定が可能となり、前頭部を効率的に計測できる。さらに、洗顔時では、ヘアバンド等で前髪を留めることが多いため、遮蔽物となる前髪を上げる指示をする必要が無く、ユーザの手を煩わさなくて済む。また、洗面台ではユーザは鏡の前に立つため、一定距離かつ近距離で測定が可能となり、測定の安定性が高くなる環境となる。
生体計測システム１００の近傍には焦電センサ等の人感センサを設置しておいても良い。人感センサで人を検知すると、生体計測システム１００に信号を送信し、生体計測システム１００による人の計測が開始する。人感センサと連携することで、人がいないときは生体計測システム１００中の光源及び電気回路の駆動を停止させることができるため、消費電力を低減することができる。
生体計測システム１００により計測した表面血流変化から、ユーザの緊張状態および不安状態等の情動的情報を取得できる。また、パルス光の後端部を検出することで同時に取得された脳血流情報により、集中状態、頭の冴え具合、あるいは気分の落ち込み等のメンタル的な体調データを検出することが可能である。パルス光の後端で取得した信号には、脳血流情報のほかに一部表面血流情報も重畳されているため、表面反射成分Ｉ１を別途検出しておくことにより、ユーザの緊張状態および不安状態などノイズとなる成分を排除することができ、より正確なメンタルヘルスチェックが可能となる。
ユーザが鏡の前に立つ度に生体計測システム１００による計測を行い、取得したデータを蓄積してもよい。蓄積された日々のデータを比較して得られる相対的な変化情報から、ユーザの日常的な平常状態に対する、ある日のメンタル状態の異変を検出し得る。また、日常的な時系列のデータの測定を積み重ね、これら時系列データに時間的な移動平均処理を施すことで、一時的でイレギュラーなメンタル変化を表す高周波成分を除去し、数年単位の長期的な精神状態の変化を表す低周波成分のモニタリングができる。
システムが体調の変化を検出した場合は、洗面台に設置されたディスプレイ、あるいは反射ミラー上に設けられたディスプレイに、推定したユーザのメンタルヘルス状態を表示する。また、日々の測定結果をグラフとして出力することで、健康の改善具合を可視化し、ユーザのヘルスケアに対する改善取り組みのモチベーションを高めることが可能となる。別のデータ表示方法として、測定データをＷｉ－Ｆｉ（登録商標）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ（登録商標）、ＢＬＵＥＴＯＯＴＨ（登録商標）、あるいはクラウド経由等でユーザのスマートフォンあるいはタブレット端末に送信し、スマートフォンあるいはタブレット端末上に表示させても良い。また、生体計測システム１００は、家庭またはオフィス内での設置のほかに、病院、学校、健康管理室等に設置しても良い。
次に、刺激装置１０、出力装置４０、および入力装置５０の具体例を説明する。
図１２は、ヘッドマウント装置３００を模式的に示す図である。ヘッドマウント装置３００は、ディスプレイ１５０を備える。この例におけるディスプレイ１５０は、刺激装置かつ出力装置として機能する。ディスプレイ１５０は、コンテンツの映像またはタスクなどの画像を表示する。ディスプレイ１５０はまた、ユーザの感情の推定結果を示す画像を表示する。例えば、図７に示すステップＳ３１３において決定された感情グループの分類の結果が表示され得る。このように、ヘッドマウント装置３００は、刺激装置および出力装置の両方の機能を有する。この例では、入力装置は、ヘッドマウント装置３００が備える操作用のボタン、タッチスクリーン、または音声入力装置であり得る。表面反射成分Ｉ１をもとにユーザの表面血流状態を計測し、内部散乱成分Ｉ２をもとにユーザの脳血流の変化を計測する。表面血流状態から緊張、不安、快楽、興奮等、ユーザの情動情報を検出し得る。また、脳血流情報から認知、作業記憶、集中状態等、ユーザの理性情報を検出し得る。これらユーザの情動情報、理性情報を組み合わせることで、より複雑なユーザの心理状態を推定することが可能となる。判定の結果、ユーザの心理状態に応じて、コンテンツの映像、音声、ストーリ等を適宜変更しても良い。
図１３は、スマートフォン４００を模式的に示す図である。スマートフォン４００は、ディスプレイ１５０を備える。ディスプレイ１５０は、刺激装置１０として、映像を提示する。スマートフォン４００に内蔵されているスピーカは、刺激として音声を提供する。ディスプレイ１５０は、出力装置４０としても機能する。例えば、ディスプレイ１５０は、図７に示すステップＳ３１３において感情グループの分類の結果を表示する。ディスプレイ１５０は、タッチスクリーンを備え、入力装置５０としても機能する。したがって、スマートフォン４００は、刺激装置１０、出力装置４０、および入力装置５０の機能を有する。
本開示は、制御回路６０が実行する動作の方法、および制御回路６０が実行する動作を規定するコンピュータプログラムも含む。そのようなコンピュータプログラムは、記録媒体に格納され、制御回路６０に前述の動作を実行させる。
本開示は、以下に記載のシステム、コンピュータプログラム、記録媒体、および方法を含む。
本開示の一態様に係るシステムは、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、前記光源、および前記光検出器を制御し、前記光検出器から出力された前記１つ以上の信号を処理する電気回路と、前記１つ以上の信号と複数の感情との関係を示す感情モデルを記憶する第１のメモリと、を備える。前記電気回路は、前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、前記複数の感情の中から少なくとも１つの感情を選択する。前記１つ以上の信号は、前記反射パルス光の第１の部分の強度に応じた第１の信号と、前記反射パルス光の前記第１の部分と異なる第２の部分の強度に応じた第２の信号とを含む。前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含む。
このシステムでは、ユーザの頭部がパルス光で照射され、その反射パルス光が検出される。検出された光の強度に応じた１つ以上の信号の変化に基づいて、予め定義された複数の感情を含む感情モデルから、少なくとも１つの感情が選択される。これにより、ユーザの感情をより正確に推定することができる。また、このシステムでは、１つ以上の信号は、第１および第２の信号を含む。第１の信号は、ユーザの顔面血流の情報を含む。第２の信号は、ユーザの脳血流の情報を含む。
本開示の一態様に係るシステムは、前記ユーザに少なくとも１つの刺激を提供する刺激装置をさらに備え、前記電気回路は、前記刺激装置に前記少なくとも１つの刺激を提供させ、前記少なくとも１つの感情は、前記少なくとも１つの刺激に応答して生じた前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、選択されてもよい。
このシステムでは、ユーザに刺激が提供されているときに、ユーザの頭部がパルス光で照射され、その反射パルス光が検出される。検出された光の強度に応じた１つ以上の信号の変化に基づいて、予め定義された複数の感情を含む感情モデルから、少なくとも１つの感情が決定される。これにより、ユーザの感情をより正確に推定することができる。
本開示の一態様に係るシステムにおいて、前記感情モデルは、複数の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記複数の感情グループのいずれかに分類されており、前記電気回路は、前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第１の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第１の信号との差を示す第１の値、および前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第２の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第２の信号との差を示す第２の値の組み合わせに基づき、前記感情モデルを参照することにより、前記複数の感情グループの中から少なくとも１つの感情グループを選択してもよい。
このシステムでは、レスト時と刺激時とにおけるユーザの顔面血流の変化量を示す第１の値と、レスト時と刺激時とにおけるユーザの脳血流の変化量を示す第２の値との組み合わせに基づいて、感情モデルから少なくとも１つの感情グループを決定することができる。
本開示の一態様に係るシステムにおいて、前記感情モデルは、第１から第４の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記第１から第４の感情グループのいずれかに分類されており、前記電気回路は、前記第１の値が第１の閾値よりも大きく、前記第２の値が第２の閾値よりも大きいとき、前記第１の感情グループを選択し、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも大きいとき、前記第２の感情グループを選択し、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値以下であるとき、前記第３の感情グループを選択し、前記第１の値が前記第１の閾値よりも大きく、前記第２の値が前記第２の閾値以下であるとき、前記第４の感情グループを選択してもよい。
このシステムでは、感情モデルは、第１から第４の感情グループを含む。第１の値と第１の閾値との大小関係、および第２の値と第２の閾値との大小関係から、ユーザの感情が、第１から第４の感情グループのいずれかに分類される。
本開示の一態様に係るシステムにおいて、前記電気回路は、前記少なくとも１つの感情が前記ユーザの実際の感情に該当するかを前記ユーザに問い合わせる画像および音声からなる群から選択される少なくとも一方を、出力装置に出力させ、前記出力装置は、ディスプレイおよびスピーカからなる群から選択される少なくとも一方を含んでいてもよい。
このシステムでは、選択された少なくとも１つの感情がユーザの実際の感情に該当するかを、出力装置によってユーザに問い合わせることができる。
本開示の一態様に係るシステムは、前記ユーザの入力を受け付ける入力装置をさらに備え、前記電気回路は、前記ユーザが前記入力装置を用いて、前記少なくとも１つの感情が前記ユーザの実際の感情に該当する旨の入力を行ったとき、前記少なくとも１つの刺激と前記少なくとも１つの感情との関連を示すデータを第２のメモリに記録してもよい。
このシステムでは、ユーザは、入力装置を用いて少なくとも１つの感情がユーザの実際の感情に該当する旨の応答を行う。これにより、刺激と少なくとも１つの感情との関連を示すデータを第２のメモリに記録することができる。
本開示の一態様に係るシステムにおいて、前記刺激装置は、複数の刺激の中から選択された前記少なくとも1つの刺激を前記ユーザに提供することができるように構成され、前記電気回路は、前記第２のメモリを含むサーバコンピュータに、ネットワークを介して接続されており、前記サーバコンピュータは前記データに基づいて前記少なくとも１つの刺激を選択するように前記電気回路に通知し、前記電気回路は、前記サーバコンピュータからの通知に基づき、前記刺激装置に、前記複数の刺激の中から選択された前記少なくとも1つの刺激を前記ユーザに対して提供させてもよい。
このシステムでは、外部のサーバコンピュータは、複数のユーザについて記録された刺激と少なくとも１つの感情との関連を示すデータを収集する。外部のサーバコンピュータは、収集したデータに基づいて、ネットワークを介してシステムに指示を送る。当該指示に基づいて、個々のユーザに刺激が提供される。これにより、個々のユーザに特定の感情を引き起こさせることができる。
本開示の一態様に係るシステムにおいて、前記少なくとも1つの刺激は、映像および音声からなる群から選択される少なくとも１つを含んでいてもよい。
また、本開示の一態様に係るプログラムは、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、を備えたシステムにおいて用いられる、コンピュータで実行されるプログラムであって、前記光源に前記パルス光を出射させることと、前記光検出器に、前記反射パルス光を検出させて、前記１つ以上の信号を出力させることと、前記１つ以上の信号の変化に基づき、前記１つ以上の信号と複数の感情との関係を示す感情モデルを参照することにより、前記複数の感情の中から少なくとも１つの感情を選択することと、を含む。前記１つ以上の信号は、前記反射パルス光の第１の部分の強度に応じた第１の信号と、前記反射パルス光の前記第１の部分と異なる第２の部分の強度に応じた第２の信号とを含む。前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含む。
本開示の一態様に係るプログラムにおいて、前記システムは、前記ユーザに少なくとも１つの刺激を提供する刺激装置をさらに備えてもよい。本開示の一態様に係るプログラムは、前記刺激装置に前記少なくとも１つの刺激を提供させることをさらに含み、前記選択することにおいて、前記少なくとも１つの感情は、前記少なくとも１つの刺激に応答して生じた前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、選択されてもよい。
本開示の一態様に係るプログラムにおいて、前記感情モデルは、複数の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記複数の感情グループのいずれかに分類されてもよい。本開示の一態様に係るプログラムは、前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第１の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第１の信号との差を示す第１の値、および前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第２の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第２の信号との差を示す第２の値の組み合わせに基づき、前記感情モデルを参照することにより、前記複数の感情グループの中から少なくとも１つの感情グループを選択することをさらに含んでいてもよい。
本開示の一態様に係るプログラムにおいて、前記感情モデルは、第１から第４の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記第１から第４の感情グループのいずれかに分類されていてもよい。本開示の一態様に係るプログラムは、前記第１の値が第１の閾値よりも大きく、前記第２の値が第２の閾値よりも大きいとき、前記第１の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも大きいとき、前記第２の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも小さいとき、前記第３の感情グループを選択することと、前記第１の値が前記第１の閾値よりも大きく、前記第２の値が前記第２の閾値以下であるとき、前記第４の感情グループを選択することと、をさらに含んでいてもよい。
本開示の一態様に係るプログラムは、前記少なくとも１つの感情が前記ユーザの実際の感情に該当するかを前記ユーザに問い合わせる画像および音声からなる群から選択される少なくとも一方を、出力装置に出力させることをさらに含み、前記出力装置は、ディスプレイおよびスピーカからなる群から選択される少なくとも一方を含んでいてもよい。
本開示の一態様に係るプログラムにおいて、前記システムは、前記ユーザの入力を受け付ける入力装置をさらに備えていてもよい。本開示の一態様に係るプログラムは、前記ユーザが前記入力装置を用いて、前記少なくとも１つの感情が前記ユーザの実際の感情に該当する旨の入力を行った場合、前記少なくとも１つの刺激と前記少なくとも１つの感情との関連を示すデータをメモリに記録することをさらに含んでいてもよい。
また、本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、を備えたシステムにおいて用いられるプログラムを格納したコンピュータ読み取り可能な記録媒体であって、前記プログラムが前記コンピュータによって実行されるときに、前記光源に前記パルス光を出射させることと、前記光検出器に、前記反射パルス光を検出させて、前記１つ以上の信号を出力させることと、前記１つ以上の信号の変化に基づき、前記１つ以上の信号と複数の感情との関係を示す感情モデルを参照することにより、前記複数の感情の中から少なくとも１つの感情を選択することと、が実行される。前記１つ以上の信号は、前記反射パルス光の第１の部分の強度に応じた第１の信号と、前記反射パルス光の前記第１の部分と異なる第２の部分の強度に応じた第２の信号とを含む。前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含む。
本開示の一態様に係るコンピュータ読み取り可能な記録媒体において、前記システムは、前記ユーザに少なくとも１つの刺激を提供する刺激装置をさらに備えていてもよい。本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、前記プログラムが前記コンピュータによって実行されるときに、前記刺激装置に前記少なくとも１つの刺激を提供させることがさらに実行され、前記選択することにおいて、前記少なくとも１つの感情は、前記少なくとも１つの刺激に応答して生じた前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、選択されてもよい。
本開示の一態様に係るコンピュータ読み取り可能な記録媒体において、前記感情モデルは、複数の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記複数の感情グループのいずれかに分類されていてもよい。本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、前記プログラムが前記コンピュータによって実行されるときに、前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第１の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第１の信号との差を示す第１の値、および前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第２の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第２の信号との差を示す第２の値の組み合わせに基づき、前記感情モデルを参照することにより、前記複数の感情グループの中から少なくとも１つの感情グループを選択することがさらに実行されてもよい。
本開示の一態様に係るコンピュータ読み取り可能な記録媒体において、前記感情モデルは、第１から第４の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記第１から第４の感情グループのいずれかに分類されていてもよい。本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、前記プログラムが前記コンピュータによって実行されるときに、前記第１の値が第１の閾値よりも大きく、前記第２の値が第２の閾値よりも大きいとき、前記第１の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも大きいとき、前記第２の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも小さいとき、前記第３の感情グループを選択することと、前記第１の値が前記第１の閾値よりも大きく、前記第２の値が前記第２の閾値以下であるとき、前記第４の感情グループを選択することと、がさらに実行されてもよい。
本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、前記プログラムが前記コンピュータによって実行されるときに、前記少なくとも１つの感情が前記ユーザの実際の感情に該当するかを前記ユーザに問い合わせる画像および音声からなる群から選択される少なくとも一方を、出力装置に出力させることがさらに実行され、前記出力装置は、ディスプレイおよびスピーカからなる群から選択される少なくとも一方を含んでいてもよい。
本開示の一態様に係るコンピュータ読み取り可能な記録媒体において、前記システムは、前記ユーザの入力を受け付ける入力装置をさらに備えていてもよい。本開示の一態様に係るコンピュータ読み取り可能な記録媒体は、前記プログラムが前記コンピュータによって実行されるときに、前記ユーザが前記入力装置を用いて、前記少なくとも１つの感情が前記ユーザの実際の感情に該当する旨の入力を行った場合、前記少なくとも１つの刺激と前記少なくとも１つの感情との関連を示すデータをメモリに記録することがさらに実行されてもよい。
また、本開示の一態様に係る方法は、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、を備えたシステムにおいて用いられる方法であって、前記光源に前記パルス光を出射させることと、前記光検出器に、前記反射パルス光を検出させて、前記１つ以上の信号を出力させることと、前記１つ以上の信号の変化に基づき、前記１つ以上の信号と複数の感情との関係を示す感情モデルを参照することにより、前記複数の感情の中から少なくとも１つの感情を選択することと、を含む。前記１つ以上の信号は、前記反射パルス光の第１の部分の強度に応じた第１の信号と、前記反射パルス光の前記第１の部分と異なる第２の部分の強度に応じた第２の信号とを含む。前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含む。
本開示の一態様に係る方法において、前記システムは、前記ユーザに少なくとも１つの刺激を提供する刺激装置をさらに備えてもよい。本開示の一態様に係る方法は、前記刺激装置に前記少なくとも１つの刺激を提供させることをさらに含み、前記選択することにおいて、前記少なくとも１つの感情は、前記少なくとも１つの刺激に応答して生じた前記１つ以上の信号の変化に基づき、前記感情モデルを参照することにより、選択されてもよい。
本開示の一態様に係る方法において、前記感情モデルは、複数の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記複数の感情グループのいずれかに分類されていてもよい。本開示の一態様に係る方法は、前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第１の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第１の信号との差を示す第１の値、および前記ユーザに前記少なくとも１つの刺激が提供されているときの前記第２の信号と前記ユーザに前記少なくとも１つの刺激が提供されていないときの前記第２の信号との差を示す第２の値の組み合わせに基づき、前記感情モデルを参照することにより、前記複数の感情グループの中から少なくとも１つの感情グループを選択することをさらに含んでいてもよい。
本開示の一態様に係る方法において、前記感情モデルは、第１から第４の感情グループを含み、前記感情モデルにおいて、前記複数の感情の各々は、前記第１から第４の感情グループのいずれかに分類されていてもよい。本開示の一態様に係る方法は、前記第１の値が第１の閾値よりも大きく、前記第２の値が第２の閾値よりも大きいとき、前記第１の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも大きいとき、前記第２の感情グループを選択することと、前記第１の値が前記第１の閾値以下であり、前記第２の値が前記第２の閾値よりも小さいとき、前記第３の感情グループを選択することと、前記第１の値が前記第１の閾値よりも大きく、前記第２の値が前記第２の閾値以下であるとき、前記第４の感情グループを選択することと、をさらに含んでいてもよい。
本開示の一態様に係る方法は、前記少なくとも１つの感情が前記ユーザの実際の感情に該当するかを前記ユーザに問い合わせる画像および音声からなる群から選択される少なくとも一方を、出力装置に出力させることをさらに含み、前記出力装置は、ディスプレイおよびスピーカからなる群から選択される少なくとも一方を含んでいてもよい。
本開示の一態様に係る方法において、前記システムは、前記ユーザの入力を受け付ける入力装置をさらに備えていてもよい。本開示の一態様に係る方法は、前記ユーザが前記入力装置を用いて、前記少なくとも１つの感情が前記ユーザの実際の感情に該当する旨の入力を行ったとき、前記少なくとも１つの刺激と前記少なくとも１つの感情との関連を示すデータをメモリに記録することをさらに含んでいてもよい。
また、本開示の他の一態様に係るシステムは、ユーザの頭部に照射されるパルス光を出射する光源と、前記頭部から戻った反射パルス光の少なくとも一部を検出し、前記反射パルス光の前記少なくとも一部の強度に応じた１つ以上の信号を出力する光検出器と、前記光源、および前記光検出器を制御し、前記光検出器から出力された前記１つ以上の信号を処理する電気回路と、を備える。前記電気回路は、前記光源に前記パルス光を出射させ、前記光検出器に、前記反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を、脳活動信号として検出および出力させ、前記光検出器に、前記反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を、顔面血流信号として検出および出力させる。前記信号処理回路は、前記顔面血流信号と前記脳活動信号とに基づいて、前記ユーザの心理状態を示す信号を生成して出力する。
本開示の他の一態様に係るシステムにおいて、前記電気回路は、前記光検出器に、前記反射パルス光の第１の部分を検出させることにより、前記表面反射成分を検出させ、前記反射パルス光の前記第１の部分と異なる第２の部分を検出させることにより、前記内部散乱成分を検出させ、前記第１の部分は、前記反射パルス光の強度が減少を開始してから終了するまでの期間である立ち下り期間の開始前の部分を含み、前記第２の部分は、前記立ち下り期間の少なくとも一部を含んでいてもよい。
本開示におけるシステム、記録媒体、および方法は、例えば、非接触でユーザの内部情報を取得するカメラまたは測定機器に有用である。
１ ユーザ
Ｉ１ 表面反射成分
Ｉ２ 内部散乱成分
１０ 刺激装置
２０ 光源
３０ 光検出器
３２ 光電変換素子
３４ 電荷蓄積部
４０ 出力装置
５０ 入力装置
６０ 制御回路
６１ 刺激制御部
６２ 光源制御部
６３ センサ制御部
６４ 出力制御部
６５ 入力制御部
７０ 信号処理回路
１００ 生体計測システム
２００ サーバコンピュータ
３００ ヘッドマウント装置
４００ スマートフォン

Claims (10)

  1. 光源と、
    光検出器と、
    処理回路と、
    を備え、
    前記処理回路は、
    前記光源に、ユーザに向けてパルス光を出射させ、
    前記光検出器に、前記ユーザから戻った反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を検出させ、
    前記光検出器に、前記反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を検出させ、
    前記内部散乱成分に基づいて、脳血流量を示す第１情報を生成し、
    前記表面反射成分に基づいて、顔面血流量を示す第２情報を生成する、
    システム。
  2. 前記第１情報と前記第２情報とに基づいて、前記ユーザの心理状態を推定する、
    請求項１に記載のシステム。
  3. 前記心理状態は、気分、感情、健康状態、温度感覚、および集中度からなる群から選択される少なくとも１つの状態を含む、
    請求項２に記載のシステム。
  4. 前記ユーザに少なくとも１つの刺激を提供する刺激装置をさらに備え、
    前記処理回路は、前記刺激装置に前記少なくとも１つの刺激を提供させ、
    前記心理状態は、前記少なくとも１つの刺激に応答して生じた前記脳血流量の変化および前記顔面血流量の変化に基づき推定される、
    請求項２に記載のシステム。
  5. 前記処理回路は、前記心理状態が前記ユーザの実際の心理状態に該当するかを前記ユーザに問い合わせる画像および音声からなる群から選択される少なくとも一方を、出力装置に出力させる、
    請求項４に記載のシステム。
  6. 前記ユーザは車両のドライバであり、
    前記処理回路は、推定した前記心理状態に基づいて、前記ユーザによる運転が危険であると判断した場合、前記車両に搭載されたドライビングアシスト機能の効力を高める、
    請求項２に記載のシステム。
  7. 前記ユーザは車両のドライバであり、
    前記処理回路は、推定した前記心理状態に基づいて、前記ユーザによる運転が危険であると判断した場合、前記車両を路肩に停止させる、
    請求項２に記載のシステム。
  8. 光源と、
    光検出器と、
    処理回路と、
    を備え、
    前記処理回路は、
    前記光源に、ユーザに向けて第１パルス光を出射させ、
    前記光検出器に、前記第１パルス光に起因して前記ユーザから戻った第１反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を検出させ、
    前記光源に、前記ユーザに向けて第２パルス光を出射させ、
    前記光検出器に、前記第２パルス光に起因して前記ユーザから戻った第２反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を検出させ、
    前記内部散乱成分に基づいて、脳血流量を示す第１情報を生成し、
    前記表面反射成分に基づいて、顔面血流量を示す第２情報を生成する、
    システム。
  9. 光源と、光検出器とを備えたシステムにおいて用いられる方法であって、
    前記光源に、ユーザに向けてパルス光を出射させることと、
    前記光検出器に、前記ユーザから戻った反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を検出させることと、
    前記光検出器に、前記反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を、検出させることと、
    前記内部散乱成分に基づいて、脳血流量を示す第１情報を生成することと、
    前記表面反射成分に基づいて、顔面血流量を示す第２情報を生成することと、
    を含む、
    方法。
  10. 光源と、光検出器とを備えたシステムにおいて用いられる方法であって、
    前記光源に、ユーザに向けて第１パルス光を出射させることと、
    前記光検出器に、前記第１パルス光に起因して前記ユーザから戻った第１反射パルス光のうち、前記ユーザの脳内で散乱された内部散乱成分を検出させることと、
    前記光源に、前記ユーザに向けて第２パルス光を出射させることと、
    前記光検出器に、前記第２パルス光に起因して前記ユーザから戻った第２反射パルス光のうち、前記ユーザの皮膚の表面で反射された表面反射成分を検出させることと、
    前記内部散乱成分に基づいて、脳血流量を示す第１情報を生成することと、
    前記表面反射成分に基づいて、顔面血流量を示す第２情報を生成することと、
    を含む、
    方法。
JP2023101732A 2018-03-15 2023-06-21 ユーザの心理状態を推定するためのシステム、および方法 Pending JP2023126820A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018047811 2018-03-15
JP2018047811 2018-03-15
PCT/JP2019/007430 WO2019176535A1 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JP2020505744A JP7308430B2 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020505744A Division JP7308430B2 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法

Publications (1)

Publication Number Publication Date
JP2023126820A true JP2023126820A (ja) 2023-09-12

Family

ID=67906609

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020505744A Active JP7308430B2 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JP2023101732A Pending JP2023126820A (ja) 2018-03-15 2023-06-21 ユーザの心理状態を推定するためのシステム、および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020505744A Active JP7308430B2 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法

Country Status (5)

Country Link
US (2) US11557148B2 (ja)
EP (1) EP3766425A4 (ja)
JP (2) JP7308430B2 (ja)
CN (1) CN111655149A (ja)
WO (1) WO2019176535A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN112190235B (zh) * 2020-12-08 2021-03-16 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法
EP4132224A1 (en) * 2021-08-04 2023-02-08 Koninklijke Philips N.V. Adjusting lighting conditions
WO2023105790A1 (ja) * 2021-12-10 2023-06-15 日本電気株式会社 ストレス推定方法

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305759A (en) 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
JP3162070B2 (ja) 1990-11-22 2001-04-25 オリンパス光学工業株式会社 被検体内部情報観察装置
US5995857A (en) * 1996-07-01 1999-11-30 Toomim; I. Hershel Biofeedback of human central nervous system activity using radiation detection
JPH11164826A (ja) 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
US5994857A (en) * 1998-02-11 1999-11-30 Deere & Company Lawn and garden tractor interlock circuit
KR100485906B1 (ko) 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
US7120482B2 (en) * 2002-11-18 2006-10-10 Honda Motor Co., Ltd. Optical measuring apparatus and method
JP4396175B2 (ja) * 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
JP2008532587A (ja) 2005-02-22 2008-08-21 ヘルス−スマート リミテッド 生理学的及び心理学的／生理学的モニタリングのための方法及びシステム並びにその使用
JP2006136742A (ja) * 2006-01-16 2006-06-01 Sharp Corp 通信装置
JP4506795B2 (ja) * 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
JP5026887B2 (ja) * 2007-08-10 2012-09-19 花王株式会社 感情を判定するための方法
US20090157751A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying an avatar
JP5319960B2 (ja) * 2008-05-28 2013-10-16 株式会社日立製作所 生体光計測装置
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
EP2400884B1 (en) * 2009-02-25 2018-03-07 Valencell, Inc. Light-guiding devices and monitoring devices incorporating same
JP2010253141A (ja) * 2009-04-28 2010-11-11 Spectratech Inc 生体情報を用いた生体反応評価システム
WO2011065237A1 (ja) * 2009-11-27 2011-06-03 株式会社日立製作所 生体光計測装置
US10517521B2 (en) * 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
JP2012005717A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 脳循環状態検査装置及びそれを備えたストレス計
US20120130203A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Inductively-Powered Ring-Based Sensor
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
US9204831B2 (en) * 2011-12-21 2015-12-08 Mitsunori MINAMI Brain state support apparatus and program
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
JP6502630B2 (ja) * 2013-09-30 2019-04-17 株式会社リコー 光学センサ、光学検査装置、及び光学特性検出方法
JP6594620B2 (ja) * 2013-12-20 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 光脳機能計測装置
US9734685B2 (en) * 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
US9531708B2 (en) * 2014-05-30 2016-12-27 Rovi Guides, Inc. Systems and methods for using wearable technology for biometric-based recommendations
JP2016008818A (ja) * 2014-06-20 2016-01-18 ソニー株式会社 検出装置および方法、並びにプログラム
CN106257915B (zh) * 2015-06-17 2021-02-26 松下知识产权经营株式会社 摄像装置
US10285634B2 (en) * 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
JP2017068810A (ja) * 2015-10-04 2017-04-06 国立大学法人金沢大学 静脈可視化システム、静脈可視化方法、及び、静脈可視化プログラム
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
US10709338B2 (en) * 2015-10-15 2020-07-14 Daikin Industries, Ltd. Useful information presentation device
US20170112381A1 (en) * 2015-10-23 2017-04-27 Xerox Corporation Heart rate sensing using camera-based handheld device
JP6703893B2 (ja) * 2015-12-01 2020-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、及び、体調推定システム
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
JP6763719B2 (ja) * 2015-12-07 2020-09-30 パナソニック株式会社 生体情報測定装置、生体情報測定方法及びプログラム
JP6786798B2 (ja) * 2015-12-22 2020-11-18 株式会社リコー 光学センサ、光学検査装置、及び光学特性検出方法
JP6928906B2 (ja) 2016-01-07 2021-09-01 パナソニックＩｐマネジメント株式会社 生体情報計測装置
CN107088071B (zh) * 2016-02-17 2021-10-15 松下知识产权经营株式会社 生物体信息检测装置
JP6196402B2 (ja) * 2016-02-29 2017-09-13 ダイキン工業株式会社 判定結果出力装置、判定結果提供装置、及び判定結果出力システム
JP6579014B2 (ja) * 2016-03-29 2019-09-25 株式会社デンソー 自動ブレーキ制御装置及びコンピュータプログラム
JP6465077B2 (ja) 2016-05-31 2019-02-06 トヨタ自動車株式会社 音声対話装置および音声対話方法
CN107468209B (zh) * 2016-06-07 2021-10-08 松下知识产权经营株式会社 摄像装置
GB2551201A (en) * 2016-06-10 2017-12-13 Polar Electro Oy Multi-sensor system for estimating blood pulse wave characteristics
JP6814967B2 (ja) * 2016-06-17 2021-01-20 パナソニックＩｐマネジメント株式会社 撮像装置
CN114795151A (zh) * 2016-06-30 2022-07-29 松下知识产权经营株式会社 方法及系统
JP6622662B2 (ja) 2016-07-04 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN108209867B (zh) 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
JP6790856B2 (ja) * 2017-01-18 2020-11-25 株式会社デンソー 電子情報処理システム及びコンピュータプログラム
US10874309B2 (en) * 2017-05-01 2020-12-29 Samsung Electronics Company, Ltd. Determining emotions using camera-based sensing
JP7178614B2 (ja) * 2017-06-23 2022-11-28 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
WO2018235466A1 (ja) * 2017-06-23 2018-12-27 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
CN109247945A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置
CN109247931A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置
JP7386440B2 (ja) * 2017-12-19 2023-11-27 パナソニックＩｐマネジメント株式会社 生体計測装置、生体計測装置の作動方法、及び判定装置
JP7080657B2 (ja) * 2018-02-07 2022-06-06 株式会社デンソー 感情識別装置
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JPWO2020044854A1 (ja) * 2018-08-30 2021-08-26 パナソニックＩｐマネジメント株式会社 生体計測装置、及び生体計測方法
WO2020121704A1 (ja) * 2018-12-10 2020-06-18 パナソニックＩｐマネジメント株式会社 光計測装置
JP2020111202A (ja) * 2019-01-11 2020-07-27 株式会社リコー 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法
CN112446243A (zh) * 2019-08-29 2021-03-05 鸿富锦精密电子(郑州)有限公司 电子装置及基于情绪的内容推送方法
CN115052530A (zh) * 2020-03-09 2022-09-13 松下知识产权经营株式会社 计测装置以及对计测装置进行控制的方法
WO2021256165A1 (ja) * 2020-06-15 2021-12-23 パナソニックＩｐマネジメント株式会社 計測装置

Also Published As

Publication number Publication date
US20200364445A1 (en) 2020-11-19
EP3766425A4 (en) 2021-06-23
WO2019176535A1 (ja) 2019-09-19
US11557148B2 (en) 2023-01-17
US11963772B2 (en) 2024-04-23
JPWO2019176535A1 (ja) 2021-03-11
JP7308430B2 (ja) 2023-07-14
CN111655149A (zh) 2020-09-11
EP3766425A1 (en) 2021-01-20
US20230111721A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP7386440B2 (ja) 生体計測装置、生体計測装置の作動方法、及び判定装置
JP7308430B2 (ja) ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JP2020103879A (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
Pratt et al. Maternal depression across the first years of life impacts the neural basis of empathy in preadolescence
Wilcox et al. Hemodynamic response to featural changes in the occipital and inferior temporal cortex in infants: a preliminary methodological exploration
Durlik et al. Being watched: The effect of social self-focus on interoceptive and exteroceptive somatosensory perception
Jap et al. Inter-hemispheric electroencephalography coherence analysis: Assessing brain activity during monotonous driving
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
Giovannella et al. Concurrent measurement of cerebral hemodynamics and electroencephalography during transcranial direct current stimulation
JP2019005551A (ja) アトラクション装置の制御方法およびアトラクションシステム
Swanson et al. Brief report: Broad autism phenotype in adults is associated with performance on an eye-tracking measure of joint attention
Castiblanco Jimenez et al. Interpreting emotions with EEG: An experimental study with chromatic variation in VR
De Winkel et al. Neural correlates of decision making on whole body yaw rotation: an fNIRS study
Szymanska et al. How do adolescents regulate distress according to attachment style? A combined eye-tracking and neurophysiological approach
Asim et al. Restoring the mind: A neuropsychological investigation of university campus built environment aspects for student well-being
Tsujii et al. Effects of sedative and non-sedative H 1 antagonists on cognitive tasks: Behavioral and near-infrared spectroscopy (NIRS) examinations
WO2020137352A1 (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
WO2022202057A1 (ja) ユーザの感情状態を推定する方法および装置
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
Bonnstetter et al. Electroencephalography microstates in relation to emotional decision-making
CN118078291A (zh) 生物体信息处理方法及生物体信息处理装置
Moos et al. Interpreting Emotions with EEG: An Experimental Study with Chromatic Variation in VR
Karami et al. Brain waves and landscape settings: emotional responses to attractiveness
Pinfi et al. Non-invasive optical imaging of brain function with fNIRS: current status and way forward

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230621