JP2023012876A - 装置、方法、プログラム、およびシステム - Google Patents

装置、方法、プログラム、およびシステム Download PDF

Info

Publication number
JP2023012876A
JP2023012876A JP2021116607A JP2021116607A JP2023012876A JP 2023012876 A JP2023012876 A JP 2023012876A JP 2021116607 A JP2021116607 A JP 2021116607A JP 2021116607 A JP2021116607 A JP 2021116607A JP 2023012876 A JP2023012876 A JP 2023012876A
Authority
JP
Japan
Prior art keywords
information
subject
brain activity
electroencephalogram
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021116607A
Other languages
English (en)
Inventor
岳人 青山
Takehito Aoyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2021116607A priority Critical patent/JP2023012876A/ja
Publication of JP2023012876A publication Critical patent/JP2023012876A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】ニューロフィードバック法を、ミラーニューロンの活動に対しても適用可能にすること。【解決手段】実施形態に係る装置は、第1の取得部と、第2の取得部と、生成部と、第1の提示部とを備える。第1の取得部は、基準脳活動情報を取得する。第2の取得部は、第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を取得する。生成部は、基準脳活動情報と第2の被験者の脳活動情報とに基づいて、第1の情報とは異なる第2の情報を生成する。第1の提示部は、第2の被験者に対し、第2の情報を提示する。【選択図】図1

Description

本明細書及び図面に開示の実施形態は、装置、方法、プログラム、およびシステムに関する。
従来、ミラーニューロンと呼ばれる、被験者が自ら行動する時と他の被験者の行動を観察する時との両方で活動電位を発生させる神経細胞の存在が知られている。また、自閉症等の一部の精神疾患では、ミラーニューロンの回路の不全が疑われる場合があることが知られている。
また、精神疾患に対する治療方法としてニューロフィードバック法が知られている。ニューロフィードバック法は、所定の刺激に対する被験者の脳活動を何らかの方法で被験者自身にフィードバックし、特定の脳活動を誘導する方法である。
特開2019-180950号公報
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ニューロフィードバック法を、ミラーニューロンの活動に対しても適用可能にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る装置は、第1の取得部と、第2の取得部と、生成部と、第1の提示部とを備える。第1の取得部は、基準脳活動情報を取得する。第2の取得部は、第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を取得する。生成部は、基準脳活動情報と第2の被験者の脳活動情報とに基づいて、第1の情報とは異なる第2の情報を生成する。第1の提示部は、第2の被験者に対し、第2の情報を提示する。
図1は、第1の実施形態に係るシステムの全体構成の一例を示す図である。 図2は、第1の実施形態に係るシステムの第1の被験者および第2の被験者への適用例の一例を示す図である。 図3は、第1の実施形態に係る第1の情報と、第2の被験者の脳波の関係性の一例を示す図である。 図4は、第1の実施形態に係る第2の情報の一例を示す図である。 図5は、第1の実施形態に係る処理の流れの一例を示すフローチャートである。 図6は、第2の実施形態に係るシステムの第1の被験者および第2の被験者への適用例の一例を示す図である。 図7は、第3の実施形態に係るシステムの全体構成の一例を示す図である。 図8は、第4の実施形態に係るシステムの第1の被験者および第2の被験者への適用例の一例を示す図である。 図9は、第5の実施形態に係るシステムの全体構成の一例を示す図である。 図10は、変形例4に係る第2の情報の一例を示す図である。
以下、図面を参照しながら、装置、方法、プログラム、およびシステムの実施形態について詳細に説明する。
(第1の実施形態)
図1は、第1の実施形態に係るシステムS1の構成の一例を示すブロック図である。図1に示すように、システムS1は、装置100と、第1のディスプレイ201と、第2のディスプレイ202と、ヘッドフォン300と、脳波計測装置400とを備える。装置100と、第1のディスプレイ201と、第2のディスプレイ202と、ヘッドフォン300と、脳波計測装置400とは、院内LAN(Local Area Network)またはケーブル等を介して通信可能に接続している。
第1のディスプレイ201および第2のディスプレイ202は、具体的には、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等であり、装置100の制御の下、動画像または静止画像を表示する。第1のディスプレイ201は、第1の表示装置の一例である。第2のディスプレイ202は、第2の表示装置の一例である。
ヘッドフォン300は、装置100の制御の下、音声を出力する。ヘッドフォン300は、音声出力装置の一例である。
脳波計測装置400は、後述の第2の被験者の脳波を計測し、計測した脳波を装置100に送信する。より詳細には、脳波計測装置400は、電気信号として検出された脳波の値と、当該脳波が計測された時刻とを対応付けて装置100に送信する。脳波は、本実施形態における脳活動情報の一例である。脳波計測装置400は、本実施形態における脳活動状態計測装置の一例である。
装置100は、例えば、サーバ装置またはPC(Personal Computer)等の情報処理装置であり、NW(network)インタフェース110と、記憶回路120と、入力インタフェース130と、第3のディスプレイ140と、処理回路150とを備える。装置100は、刺激生成装置の一例である。
NWインタフェース110は、処理回路150に接続されており、装置100とその他の装置との間で行われる各種データの伝送および通信を制御する。NWインタフェース110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路120は、処理回路150で使用される各種の情報を予め記憶する。また、記憶回路120は、各種のプログラムを記憶する。記憶回路120は、例えば、種々の情報を記憶するHDD(Hard disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。また、記憶回路120は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体や、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。
入力インタフェース130は、ユーザによる操作を受け付けるトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、および音声入力回路等によって実現される。入力インタフェース130は、処理回路150に接続されており、ユーザから受け取った入力操作を電気信号へ変換し処理回路150へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路150へ出力する電気信号の処理回路も入力インタフェースの例に含まれる。
第3のディスプレイ140は、処理回路150による制御の下、各種の情報を表示する。例えば、第3のディスプレイ140は、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。第3のディスプレイ140は、第3の表示部の一例である。
第3のディスプレイ140は、具体的には、液晶ディスプレイやCRTディスプレイ等である。なお、入力インタフェース130と第3のディスプレイ140とは統合しても良い。例えば、入力インタフェース130と第3のディスプレイ140とは、タッチパネルによって実現されても良い。
処理回路150は、記憶回路120からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路150は、第1の取得機能151と、第2の取得機能152と、特定機能153と、生成機能154と、第1の提示機能155と、第2の提示機能156と、受付機能157とを備える。第1の取得機能151は、第1の取得部の一例である。第2の取得機能152は、第2の取得部の一例である。特定機能153は、特定部の一例である。生成機能154は、生成部の一例である。第1の提示機能155は、第1の提示部の一例である。第2の提示機能156は、第2の提示部の一例である。受付機能157は、受付部の一例である。
ここで、例えば、処理回路150の構成要素である第1の取得機能151、第2の取得機能152、特定機能153、生成機能154、第1の提示機能155、第2の提示機能156、および受付機能157の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶されている。処理回路150は、プロセッサである。例えば、処理回路150は、プログラムを記憶回路120から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路150は、図1の処理回路150内に示された各機能を有することとなる。なお、図1においては単一のプロセッサにて第1の取得機能151、第2の取得機能152、特定機能153、生成機能154、第1の提示機能155、第2の提示機能156、および受付機能157にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路150を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図1においては単一の記憶回路120が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路150は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、CPU(Central Processing Unit )、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device :CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがASICである場合、記憶回路120にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサ毎に単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
次に、システムS1の第1の被験者および第2の被験者への適用例について、図2を用いて説明する。
図2は、第1の実施形態に係るシステムS1の第1の被験者P1および第2の被験者P2への適用例の一例を示す図である。第2の被験者P2は、例えば、ミラーニューロンの回路の不全が疑われる患者である。また、第1の被験者P1は、特に限定されるものではないが、後述の第1の情報として与えられる視覚情報、聴覚情報、嗅覚情報、触覚情報、および味覚情報を知覚可能であることが外見から明らかな者とする。
第1のディスプレイ201およびヘッドフォン300は、装置100の制御の下、第1の情報を第1の被験者P1に提示する。
第1の情報は、例えば、視覚情報、聴覚情報、嗅覚情報、触覚情報、および味覚情報のうちの少なくとも2つを含む情報である。なお、視覚情報は、第1のディスプレイ201に表示される動画像、静止画像、および文字の他、第1のディスプレイ201を介さずに直接的に第1の被験者P1に視認可能な情報であっても良い。聴覚情報は、音および音声を含む。当該音および音声は、本実施形態においてはヘッドフォン300により出力されるものとするが、実空間上で発生する音であっても良い。嗅覚情報は、匂いの情報である。触覚情報は、人が対象物に接した際に感じる感触の情報である。触覚情報は、熱に関する温度覚情報、圧力に関する圧覚情報、および痛みに関する痛覚情報等を含む。
以下、第1のディスプレイ201に表示される動画像と静止画像とを特に区別しない場合、単に映像という。また、聴覚情報は音および音声を含む。第1の情報の内容は、特に限定されるものではないが、第1の被験者P1および第2の被験者P2の脳に対する刺激となるものとする。
本実施形態においては、第1の情報は、視覚情報および聴覚情報を含む。第1の被験者P1には、第1のディスプレイ201およびヘッドフォン300により、第1の情報の全て、つまり視覚情報および聴覚情報が与えられる。
具体的には、本実施形態においては、第1の情報に含まれる視覚情報は「演奏者が太鼓を叩いている動画像」とする。また、第1の情報に含まれる聴覚情報は「視覚情報である太鼓を叩いている動画像に対応した太鼓の音」とする。
第1の被験者P1が第1の情報を得ていることは、第2の被験者P2から把握可能であるものとする。図2に示す例では、第2の被験者P2は、第1の被験者P1が第1のディスプレイ201に表示される映像を見ており、かつ、ヘッドフォン300から出力される音を聞いていることを視認している。
なお、聴覚情報を出力する手段はヘッドフォン300でなくとも良いが、第1の被験者P1が音を聞いていることを第2の被験者P2が視認可能な手段を採用する。
また、第2の被験者P2には、第1の情報の一部が与えられる。図2に示す例では、第2の被験者P2は、第1のディスプレイ201に表示される映像を見ることにより、第1の情報に含まれる視覚情報および聴覚情報のうち、視覚情報を得る。また、第2の被験者P2はヘッドフォン300をしていないため、第1の情報に含まれる視覚情報および聴覚情報のうち、聴覚情報は得られない。
このため、第2の被験者P2は、「第1の被験者P1が第1のディスプレイ201に表示される映像および音を聞いていること」および「自らが視認した第1のディスプレイ201に表示される映像」から、第1の被験者P1が聞いている音を想像することとなる。後述の脳波計測装置400は、当該想像をしている状態の第2の被験者P2の脳波を計測する。
第2のディスプレイ202は、第2の被験者P2に対し、第2の情報を提示する。
本実施形態においては、第2の情報は、第2の被験者P2の脳波と、基準脳活動情報とに基づいて、装置100によって生成された情報である。例えば、第2の情報は、第2の被験者P2の脳波と基準脳活動情報との比較結果を第2の被験者P2にフィードバックする情報である。第2の情報は、第2の被験者P2の脳に対する刺激となる。
本実施形態の第2の情報は、視覚情報、より具体的には静止画像とするが、これに限定されるものではない。第2の情報の詳細については後述する。また、本実施形態においては、第2の情報は、第1の被験者P1には提示されないものとするが、第1の被験者P1から視認可能であっても良い。
脳波計測装置400は、第2の被験者P2の脳波を計測し、計測した脳波を装置100へ送信する。なお、図2では、脳波計測装置400は、第2の被験者P2の頭部に装着した電極により脳波を計測する脳波計とする。第2の被験者P2に装着される脳波計の電極の数や位置については特に限定しないが、対象となる脳活動を引き起こしている神経細胞の活動を計測可能な数や位置に設置する。
本実施形態では説明を簡略化するために、脳波計測装置400の1つの電極から得られる脳波のみを例示するが、複数の電極から得られる脳波を処理対象とし脳の各位置と空間的に対応付けて記録してもよい。
また、本実施形態においては第2の被験者P2の脳の活動状態を示す脳活動情報を取得するために脳波計を用いるが、他の方法を用いてもよい。例えば、脳磁計(Magnetoencephalography:MEG)、近赤外分光分析法による計測(Near Infrared Spectroscopy:NIRS)、磁気共鳴機能画像法による計測(functional Magnetic Resonance Imaging:fMRI)などを用いてもよい。また、複数の手法を同時又は順番に組み合わせて使用してもよい。
ここで、図1に図示した装置100の処理回路150によって実行される各機能について、説明する。
第1の取得機能151は、基準脳活動情報を取得する。本実施形態においては、基準脳活動情報は、第2の被験者P2の脳波の比較対象となる基準脳波である。本実施形態においては、基準脳活動情報は、過去に第1の情報が与えられた第2の被験者P2の脳活動情報とする。例えば、第1の取得機能151は、第2の被験者P2が第1のディスプレイ201に表示される映像、およびヘッドフォン300から出力される音を視聴した状態で、脳波計測装置400により計測された第2の被験者P2の脳波を基準脳波として取得する。
あるいは、基準脳波は、過去に第1の情報が与えられた第3の被験者の脳活動情報に基づいて定められても良い。例えば、第1の取得機能151は、第1の被験者P1および第2の被験者P2とは異なる第3の被験者が第1のディスプレイ201に表示される映像、およびヘッドフォン300から出力される音を視聴した状態で、脳波計測装置400により計測された当該第2の被験者の脳波を基準脳波として取得する。
第3の被験者は、1人でも良いし、複数人であっても良い。例えば、第1の取得機能151は、第1の情報と同様の音および映像を視聴した複数の第3の被験者から計測された脳波に基づいて生成された基準脳波を取得しても良い。この場合、基準脳波は、複数の第3の被験者から計測された脳波に対して平均等の統計的な処理を加えた結果としてもよい。また、基準脳波は、理論的に想定される脳波をユーザが人工的に生成したモデルであっても良い。
第2の取得機能152は、第2の被験者P2の脳活動情報を取得する。本実施形態においては、第2の取得機能152は、第2の被験者P2の脳波の計測結果を、脳波計測装置400から取得する。以下、本実施形態においては、脳波の計測結果についても単に脳波という。
より詳細には、第2の取得機能152は、後述の特定機能153により特定された、第1の情報が第1の被験者P1に与えられたタイミングに基づいて、第2の被験者P2の脳波を取得する。つまり、第2の取得機能152は、第1の被験者P1が第1のディスプレイ201に表示される映像、およびヘッドフォン300から出力される音を視聴している期間における、当該第1の被験者P1を観察する第2の被験者P2の脳波を取得する。
第2の取得機能152は、第1の情報の第1の被験者P1への提示の開始から、終了まで、第2の被験者P2の脳波および当該脳波の計測時刻を取得する。終了のタイミングについても、特定機能153により特定される。第2の取得機能152は、取得した第2の被験者P2の脳波および当該脳波が計測された計測時刻を対応付けて記憶回路120に保存する。以下、記憶回路120に保存することを、「記録」という。計測時刻は、時間情報の一例である。なお、時間情報は脳波の計測時刻に限定されるものではなく、当該試験が開始されたタイミング、つまり第1の情報が第1の被験者P1に与えられたタイミングを基準とした経過時間であっても良い。
このように、第2の取得機能152は、第2の被験者P2の脳波を、時間情報と対応付けて時系列に取得および記録する。第2の被験者P2の脳波を時間情報と対応付けて記録することにより、第1の情報および第2の情報の時系列の変化と、第2の被験者P2の脳波の時系列の変化とが時間情報によって対応付け可能となる。つまり、第1の情報および第2の情報におけるどの時点の映像または音がどのように脳波に影響を与えたかを推定可能な状態になる。
なお、脳波計測装置400は、第2の取得機能152によって脳波が取得される期間のみ第2の被験者P2の脳波を計測するものとしても良い。あるいは、脳波計測装置400は、常に脳波の計測を継続し、第2の取得機能152が上述の開始タイミングから終了タイミングまでの期間のみ、脳波を取得しても良い。または、第2の取得機能152は脳波計測装置400から常に脳波を取得し、上述の開始タイミングから終了タイミングまでの期間の脳波のみを記録しても良い。
第2の取得機能152によって取得される脳波は、脳波計測装置400によって計測された波形そのものであってもよいし、計測された脳波の波形から既知の手法を用いて抽出された一つまたは複数の所定の周波数成分であってもよい。
特定機能153は、第1の情報が第1の被験者P1に与えられたタイミングを特定する。本実施形態においては、特定機能153は、後述の第2の提示機能156により第1の情報が第1のディスプレイ201およびヘッドフォン300から出力されるタイミングを、第1の情報が第1の被験者P1に与えられたタイミングとして特定する。
また、特定機能153は、第1の情報の第1の被験者P1への提示の終了のタイミングを特定する。本実施形態においては、特定機能153は、第1の情報の第1のディスプレイ201およびヘッドフォン300からの出力が終了するタイミングを、第1の情報の第1の被験者P1への提示の終了のタイミングとして特定する。また、第1の情報の第1のディスプレイ201およびヘッドフォン300からの出力が終了するタイミングがユーザの操作によって決定する場合、特定機能153は、後述の受付機能157によって受け付けられたユーザの操作に基づいて、終了のタイミングを特定しても良い。
図3は、第1の実施形態に係る第1の情報と、第2の被験者P2の脳波の関係性の一例を示す図である。図3は、演奏者が太鼓を叩く映像と、当該動画像と同期する太鼓の音の大きさ(dB)と、ある周波数の脳波の一例と、周波数毎の脳波の振幅を時系列に示したカラーマップの一例とを時系列に図示する。
図3に示す例では、第1の情報は、演奏者が太鼓を叩く映像と、当該動画像と同期する太鼓の音とを含む。映像の表示および音の出力はタイミングt1から開始し、タイミングt2で終了する。図3では、第1の情報に含まれる映像を、画像91a~91dとして示すが、実際には、当該映像は、第1の情報に含まれる映像演奏者が太鼓を叩く様子が動的に表される動画像であるものとする。
画像91b,91dのようにスティックが太鼓に当たっているタイミングで、音の強度は大きくなる。また、画像91a,91cのようにスティックが太鼓に当たっていないタイミングと、画像91b,91dのようにスティックが太鼓に当たっているタイミングとでは、第2の被験者P2の脳波の周波数が異なっている。第2の被験者P2には太鼓の音は聞こえていないが、演奏者が太鼓を叩く映像は見えている。また、第2の被験者P2は、第1の被験者P1がヘッドフォン300で太鼓の音を聴いていることを視認しているものとする。
図1に戻り、生成機能154は、基準脳活動情報と第2の被験者P2の脳活動情報とに基づいて、第1の情報とは異なる第2の情報を生成する。
より詳細には、生成機能154は、第1の取得機能151により取得された基準脳波の波形と、第2の取得機能152により取得された第2の被験者P2の脳波の波形とを比較し、基準脳波と第2の被験者P2の脳波との類似度の高さに応じて、第2の情報を変化させる。
図4は、第1の実施形態に係る第2の情報の一例を示す図である。図4に示す例では、第2のディスプレイ202に表示された第2の情報は、黒線で描かれた円92の静止画像である。生成機能154は、円92の半径rを、基準脳波と第2の被験者P2の脳波との類似度に応じて決定する。例えば、生成機能154は、類似度が高いほど半径rを大きくする。
また、生成機能154は、類似度に応じて半径rを連続的に変化させてもよいし、類似性の大きさが一定の大きさに到達する度に半径rを離散的に変化させてもよい。
基準脳波と第2の被験者P2の脳波の類似度が高い場合、第2の被験者P2の脳波が、第1の情報の視覚情報と聴覚情報の両方を受けている場合における脳波に類似していることとなる。実際には、図2に示したように、第2の被験者P2は、第1の情報の視覚情報のみを与えられており、第1の情報の聴覚情報は与えられていない。当該聴覚情報が与えられている第1の被験者P1を第2の被験者P2が観察することで、第2の被験者P2の脳内のミラーニューロンは、他人である第1の被験者P1が与えられている聴覚情報の刺激を、第2の被験者P2自身が与えられているように活動する。
なお、類似度に応じた第2の情報の変化はこれに限定されるものではなく、生成機能154は、類似度が高いほど半径rを小さくしてもよい。
また、図4に示す例では生成機能154は、円92の半径rを変化させるものとしたが、周長や面積を基準として円92の大きさを変化させてもよい。あるいは、生成機能154は、円92の大きさは変えずに、基準脳波と第2の被験者P2の脳波との類似度に応じて円92の数を変化させてもよい。
また、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度に応じて円92の形状を変化させてもよい。例えば、生成機能154は、円92の円形度を変化させてもよい。つまり、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度が低いときは円92をつぶれたような楕円にし、類似度が高いほど正円に近づけてもよい。また、他の例として、生成機能154は、円92の円周の輪郭線の平滑さを変化させてもよい。つまり、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度が低いときは円92の輪郭線をギザギザにし、類似度が高いほど滑らかな輪郭線にする。また、生成機能154は、円92の形状ではなく色を変化させてもよい。例えば、生成機能154は、グレースケールを用いて、基準脳波と第2の被験者P2の脳波との類似度が低いときは円92の色を黒くし、類似度が高いほど白に近づけても良い。
なお、脳波の比較の手法は、特に限定されるものではない。例えば、第2の取得機能152が、生成機能154は、第2の被験者P2の脳波の計測結果として、一つ又は複数の所定の周波数成分だけを取得している場合は、当該周波数成分のみを解析対象としてもよい。
また、第2の取得機能152が脳波の波形そのものを取得している場合は、生成機能154は、取得された脳波の波形から、周波数解析により所定の周波数成分のみを抜き出して解析してもよい。例えば、生成機能154は、公知のローパスフィルタ、ハイパスフィルタ、バンドパスフィルタなどのフィルタを用いたノイズ成分の除去や、フーリエ変換やウェーブレット変換などに基づいて特定の周波数成分のみの抽出をしてもよい。
また、生成機能154は、基準脳波の特徴量と、第2の被験者P2の脳波の特徴量とを比較し、基準脳波の特徴量と第2の被験者P2の脳波の特徴量の類似度を求める。より詳細には、生成機能154は、予め定める方法により各脳波の特徴量を算出する。例えば、規定の時点における所定の周波数の振幅の時間間の平均値や最大値を特徴量としてもよいし、複数の周波数成分から特徴量を算出してもよい。規定の時点は、例えば、「音が鳴ってから1秒後」のように、1時点だけでもよいし、「音が鳴ってから2秒後から3秒後まで」のように一定の期間を設けてもよい。
また、第1の情報が、本実施形態の太鼓を叩く動作を繰り返す動画像および音のように、特定の音や映像等の刺激を繰り返すものである場合は、第2の被験者P2の脳波のうち、注目する脳活動を示す信号以外の成分をノイズ信号として除去してもよい。ノイズ信号の除去の手法としては、生成機能154は、脳波の波形の複数の繰り返しにおける、同一の刺激を受けている時点の脳波を加算平均した後に特徴量を算出してもよい。
また、基準脳波と第2の被験者P2の脳波の類似性は、周波数の振幅によるものだけでなく、相対的な空間的な類似性や経時的な類似性としてもよい。空間的な類似性は、例えば、脳の場所による活動量の差や比率の類似性等である。また、経時的な類似性は、例えば、第1の情報に含まれる映像の開始タイミングからの経過時間による差や比率の類似性等である。
図1に戻り、第1の提示機能155は、第2の被験者P2に対し、第2の情報を提示する。より詳細には、第1の提示機能155は、生成機能154によって生成された第2の情報を第2のディスプレイ202に提示させる。
第2の被験者P2は、第2のディスプレイ202に表示された第2の情報を見ながら、当該第2の情報が意図した方向に変化するように意識する。例えば、第2の被験者P2は、医師等により、「理想的な脳波と第2の被験者P2の脳波が似ているほど、円92が大きくなる」等の第2の情報と事故の脳活動との関係性についての説明を受けているものとする。この場合、第2の被験者P2は、例えば、円92が大きくなるように意識をする。このような状態で第2のディスプレイ202が第2の情報を第2の被験者P2に提示することにより、第2の被験者P2のミラーニューロンの活動を活性化させ、基準脳波と第2の被験者P2の脳波の類似度が高まるように、第2の被験者P2の意識を誘導することができる。
第2の提示機能156は、第1の情報の聴覚情報および視覚情報を第1の被験者P1に提示し、第1の情報のうち視覚情報を第2の被験者P2に提示する。
より詳細には、第2の提示機能156は、後述の受付機能157により受け付けられたユーザの指示に基づいて、第1の情報を生成する。本実施形態においては、第1の情報の生成は予め保存された映像および音を再生することを含む。第2の提示機能156は、例えば、記憶回路120から、出力する第1の情報を読み出す。本実施形態においては、第2の提示機能156は、図3に示した演奏者が太鼓を叩いている様子を事前に記録した動画像を読み出す。当該動画像には音も同時に記録されているものとする。
第2の提示機能156は、第1のディスプレイ201に第1の情報のうち視覚情報、つまり、図3に例示した映像を表示させる。第1のディスプレイ201に表示された当該動画像は、第1の被験者P1および第2の被験者P2に視認される。また、第2の提示機能156は、第1の情報のうち聴覚情報、つまり、図3に例示した太鼓の音を、ヘッドフォン300に出力させる。ヘッドフォン300から出力された当該音は、第1の被験者P1に視聴される。映像と音の出力タイミングは同期をとるものとする。
受付機能157は、入力インタフェース130を介してユーザの操作を受け付ける。例えば、受付機能157は、第1の情報の出力の開始を指示するユーザの操作、および第1の情報の出力の終了を指示するユーザの操作を受け付ける。
次に、以上のように構成された本実施形態の装置100で実行される処理の流れについて説明する。
図5は、第1の実施形態に係る処理の流れの一例を示すフローチャートである。このフローチャートの処理は、例えば、ユーザによって開始の操作が行わられた場合に開始する。また、このフローチャートの処理の開始前に、第1の取得機能151が基準脳波を取得しているものとする。
まず、第2の提示機能156は、第1の情報の生成および提示を実行する(S101)。具体的には、第2の提示機能156は、記憶回路120から、動画を読み出し、第1のディスプレイ201に当該動画の映像を表示させる。また、第2の提示機能156は、当該動画の音をヘッドフォン300に出力させる。また、特定機能153は、第1の情報の提示のタイミングt1を特定する。
そして、第2の取得機能152は、特定機能153によって特定されたタイミングt1から、第2の被験者P2の脳活動情報、具体的には脳波の取得を開始する(S102)。
生成機能154は、第2の取得機能152により取得された脳波と第1の取得機能151により取得された基準脳波とに基づいて、第2の被験者P2の脳活動を解析する(S103)。例えば、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度を算出する。
そして、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度の高さに応じて、第2の情報を生成する(S104)。例えば、図4で説明したように、第2の情報が円92の画像である場合、生成機能154は、類似度が高いほど円92の半径rを大きく設定する。なお、2回目以降にS104の処理が実行された場合は、生成機能154は、基準脳波と最新の第2の被験者P2の脳波との類似度の高さに応じて、第2の情報を更新する。
そして、第1の提示機能155は、生成機能154によって生成された第2の情報を第2のディスプレイ202に表示させることにより、第2の被験者P2に提示する(S105)。
そして、受付機能157がユーザによる終了の操作を受け付けるまで(S106“No”)、S102~S106の処理は繰り返し実行される。また、当該繰り返しの間、第1の情報の提示は継続する。
そして、受付機能157がユーザによる終了の操作を受け付けた場合(S106“Yes”)、このフローチャートの処理は終了する(S106)。
このように、本実施形態の装置100は、第1の情報が与えられる第1の被験者P1とは異なる第2の被験者P2の脳活動情報を取得し、基準脳活動情報と第2の被験者P2の脳活動情報とに基づいて生成した第2の情報を第2の被験者P2に提示する。このため、本実施形態の装置100によれば、第1の被験者P1を観察する第2の被験者P2の脳活動情報の解析結果を第2の被験者P2にフィードバックすることにより、ニューロフィードバック法を、ミラーニューロンの活動に対しても適用することができる。
例えば、従来のニューロフィードバック法では、所定の刺激に対する被験者の脳活動を何らかの方法で被験者自身にフィードバックしていた。しかしながら、従来のニューロフィードバック法では、被験者自身が刺激を受けることが前提となっており、被験者が刺激を受けている他者を観察する際の脳活動には適用できなかった。これに対して、本実施形態の装置100では、第1の情報が与えられる第1の被験者P1とは異なる第2の被験者P2を脳活動情報の取得対象およびフィードバック対象としているため、第2の被験者P2が第1の被験者P1を観察する際の脳活動を対象とすることができる。
また、本実施形態の装置100は、第1の情報が第1の被験者P1に与えられたタイミングt1を特定し、当該タイミングt1に基づいて、第2の被験者P2の脳活動情報を取得する。このため、本実施形態の装置100によれば、第1の情報が第1の被験者P1に与えられた状態における、第2の被験者P2の脳活動情報を解析することができる。
また、本実施形態において、第1の情報は、視覚情報、聴覚情報、嗅覚情報、触感情報、および味覚情報のうちの少なくとも2つを含む。装置100により、第1の被験者P1には第1の情報の全てが与えられ、第2の被験者P2には第1の情報の一部が与えられる。このため、本実施形態の装置100によれば、第2の被験者P2は、自らに与えられた第1の情報の一部に基づいて、第1の情報のうち実際に自らには与えられていない部分を推定するように促すことができる。
より具体的には、本実施形態において、第1の情報は、聴覚情報および視覚情報を含む。また、本実施形態の装置100は、第1の情報の聴覚情報および視覚情報を第1の被験者P1に提示し、第1の情報の視覚情報を第2の被験者P2に提示する。このため、本実施形態の装置100によれば、第1の情報のうち、第1の被験者P1と第2の被験者P2の両方に提示する部分と、第1の被験者P1のみに提示する部分とを容易に分離することができる。
また、本実施形態の装置100は、第2のディスプレイ202による第1の情報の出力のタイミングt1を、第1の情報が第1の被験者P1に与えられたタイミングt1として特定する。このため、本実施形態の装置100によれば、第2の被験者P2の脳活動情報を取得するタイミングを、容易に制御することができる。
また、本実施形態の装置100は、事前に第1の情報の全てが与えられた第2の被験者P2の脳活動情報を、基準脳活動情報として取得する。このため、本実施形態の装置100によれば、第2の被験者P2自らが第1の情報を与えられた場合と、第1の情報を与えられた第1の被験者P1を観察する場合との脳活動情報を、第2の被験者P2のミラーニューロンの活動状態の解析のために比較することができる。
また、本実施形態の装置100は、第1の情報が与えられた第3の被験者の脳活動情報に基づいて定められた基準脳活動情報を取得してもよい。この場合は、第2の被験者P2ごとに基準脳活動情報を用意しなくとも、共通の基準脳活動情報を複数の第2の被験者P2に適用可能であるため、本発明を多数の被験者に適用する際にデータ生成の負荷が低減される。
また、本実施形態の装置100は、基準脳活動情報と第2の被験者P2の脳活動情報との類似度の高さに応じて、第2の情報を変化させる。このため、本実施形態の装置100によれば、基準脳波と第2の被験者P2の脳波の類似度が高まるように、第2の被験者P2を誘導することができる。
(第2の実施形態)
上述の第1の実施形態では、事前に第1の情報が与えられた第2の被験者P2の脳活動情報を、基準脳活動情報として利用していた。この第2の実施形態では、第1の情報が与えられた第1の被験者P1の脳活動情報を、基準脳活動情報として利用する。
図6は、第2の実施形態に係るシステムS2の第1の被験者P1および第2の被験者P2への適用例の一例を示す図である。システムS2は、装置100と、第1のディスプレイ201と、第2のディスプレイ202と、ヘッドフォン300と、脳波計測装置400aと、脳波計測装置400bとを備える。
第1のディスプレイ201、第2のディスプレイ202、およびヘッドフォン300の機能は、第1の実施形態と同様である。
図6に示すように、本実施形態においては、第1の被験者P1には脳波計測装置400a、第2の被験者P2には脳波計測装置400bがそれぞれ装着される。
脳波計測装置400aは、第1の情報が与えられている状態の第1の被験者P1の脳波を計測し、脳波の計測結果を装置100に送信する。脳波計測装置400aによって計測された第1の被験者P1の脳波は、本実施形態における基準脳活動情報、つまり第2の被験者P2の脳波の比較対象となる基準脳波である。
脳波計測装置400bは、第1の実施形態の脳波計測装置400と同様に、第1の情報が第1の被験者P1に与えられている期間における第2の被験者P2の脳波を計測し、脳波の計測結果を装置100に送信する。
第1の被験者P1と第2の被験者P2の脳活動を比較するため、脳波計測装置400aと、脳波計測装置400bとは脳波の計測手法および規格が同じ種類の装置であることが望ましい。
本実施形態の装置100は、図1で説明した第1の実施形態と同様の構成を備える。本実施形態の装置100の処理回路150は、第1の実施形態と同様に、第1の取得機能151と、第2の取得機能152と、特定機能153と、生成機能154と、第1の提示機能155と、第2の提示機能156と、受付機能157とを備える。
第2の取得機能152、特定機能153、第1の提示機能155、第2の提示機能156、および受付機能157は、第1の実施形態と同様の機能を備える。
本実施形態の第1の取得機能151は、第1の情報が与えられた第1の被験者P1の脳波を脳波計測装置400aから取得する。より詳細には、第1の取得機能151は、特定機能153により特定された、第1の情報が第1の被験者P1に与えられたタイミングに基づいて、第1の被験者P1の脳波を脳波計測装置400aから取得する。第1の取得機能151は、取得した第1の被験者P1の脳波を、当該脳波の計測時刻と対応付けて記憶回路120に保存する。第1の被験者P1の脳波から取得された脳波は、本実施形態における基準脳活動情報の一例である。
本実施形態の生成機能154は、第1の実施形態と同様に、基準脳活動情報と第2の被験者P2の脳活動情報とに基づいて、第2の情報を生成する。本実施形態においては、基準脳活動情報は、第1の取得機能151によって脳波計測装置400aから取得された第1の被験者P1の脳波である。つまり、本実施形態の生成機能154は、第1の被験者P1の脳波と、第2の被験者P2の脳波の類似度に応じて、第2の情報を生成する。
このように、本実施形態の装置100は、第1の情報が与えられた第1の被験者P1の脳活動情報を、基準脳活動情報として取得する。このため、本実施形態の装置100によれば、第1の情報の出力をトリガとして、同じタイミングで脳波基準脳活動情報である第1の被験者P1と、解析対象である第2の被験者P2の脳波とを取得することにより、比較対象の2つの脳波の計測条件を揃えることができる。
(第3の実施形態)
上述の第1、第2の実施形態で説明したように、第2の被験者P2は、第1の被験者P1と、第1の情報の一部と、第2の情報とを視認する。この第3の実施形態では、第2の被験者P2の視線を制御する装置を用いる。
図7は、第3の実施形態に係るシステムS3の全体構成の一例を示す図である。図7に示すように、システムS1は、装置100と、第1のディスプレイ201と、VR(Virtual Reality)用ゴーグル510と、ヘッドフォン300と、脳波計測装置400と、カメラ520とを備える。
第1のディスプレイ201と、ヘッドフォン300と、脳波計測装置400とは、第1の実施形態と同様の機能を備える。
カメラ520は、第1の被験者P1を撮影し、撮影した画像を装置100に送信する。
VR用ゴーグル510は、第2の被験者P2に装着される。VR用ゴーグル510は、第1の情報が与えられた第1の被験者が撮影された画像と、第1の情報の一部である視覚情報と、第2の情報とが含まれるVR空間の映像を、第2の被験者P2に提示する。VR用ゴーグル510は、本実施形態における第2の表示装置の一例である。
本実施形態の装置100は、図1で説明した第1の実施形態と同様の構成を備える。また、本実施形態の装置100の処理回路150は、第1の取得機能151と、第2の取得機能152と、特定機能153と、生成機能1154と、第1の提示機能155と、第2の提示機能1156と、受付機能157と、第3の取得機能158と、を備える。第3の取得機能158は、第3の取得部の一例である。
第1の取得機能151、第2の取得機能152、特定機能153、第1の提示機能155と、および受付機能157は、第1の実施形態と同様の機能を備える。
第3の取得機能158は、特定機能153により特定された、第1の情報が第1の被験者P1に与えられたタイミングに基づいて、カメラ520から、第1の被験者P1が撮影された画像を取得する。
本実施形態の生成機能1154は、第1の実施形態と同様の機能に加えて、第3の取得機能158によって取得された画像と、第1の情報と、第2の情報とに基づくVR空間の映像を生成する。VR画像の生成の手法は公知の手法を採用することができる。
第2の提示機能1156は、第1の実施形態と同様の機能に加えて、生成機能1154によって生成された映像を、VR用ゴーグル510に表示させる。
このように、本実施形態のシステムS3では、VR用ゴーグル510により、第1の情報が与えられた第1の被験者P1が撮影された画像と、第1の情報の一部である視覚情報と、第2の情報とが含まれるVR空間の映像を、第2の被験者P2に提示する。このため、本実施形態のシステムS3によれば、第2の被験者P2が、第1の情報が与えられた第1の被験者P1と、第1の情報の一部である視覚情報と、第2の情報とを並行して視認することが容易になる。
また、第2の被験者P2が第1の情報が与えられた第1の被験者P1と、第1の情報の一部である視覚情報と、第2の情報とを並行して視認することを支援する手法は、VR用ゴーグル510に限定されるものではない。例えば、VR用ではなく、単に2次元画像が表示されるゴーグルを用いても良い。
(第4の実施形態)
上述の第1~3の実施形態では、第1の被験者P1がヘッドフォン300を使用することにより、第1の情報のうち聴覚情報が第2の被験者P2へ伝達されないようにしていた。第1の情報の一部を遮断する手法は、当該手法に限定されるものではない。
図8は、第4の実施形態に係るシステムS4の第1の被験者P1および第2の被験者P2への適用例の一例を示す図である。図8では第1の情報のうち、視覚情報を遮断する場合を例例示する。
図8に示す例では、情報遮断装置600が第1のディスプレイ201と第2の被験者P2との間に設置されることにより、第1の情報のうち聴覚情報については第1の被験者P1と第2の被験者P2の両方に与えられるが、第1の情報のうち視覚情報については、第1の被験者P1のみに与えられ、第2の被験者P2には与えられない。
情報遮断装置600は、第1の情報のうちの一部のみが第2の被験者P2へ到達し、第1の情報の他の部分が第2の被験者P2へ到達しないように遮断する。情報遮断装置600は、例えば、物理的に第1の情報のうちの一部を遮断するものであり、具体的にはカーテンや衝立等であっても良い。
情報遮断装置600の他の例として、例えば、第2の被験者P2が視野の一部を遮断するゴーグルを装着することにより、第2の被験者P2から第1のディスプレイ201が見えないようにしても良い。
また、情報遮断装置600の他の例として、第1の情報のうち聴覚情報を遮断する場合に、第2の被験者P2が耳栓または遮音機能を備えるイヤーマフ等を装着しても良い。この場合は、第1の被験者P1はヘッドフォン300を装着せず、スピーカー等により、第1の情報に含まれる聴覚刺激が出力されても良い。
あるいは、情報遮断装置600は、遮音効果のある部屋であっても良い。第1の被験者P1が、第1の情報の発生元、例えば第1のディスプレイ201およびスピーカーと共に遮音効果のある部屋に入り、第2の被験者P2が第1の被験者P1および第1のディスプレイ201を当該部屋の外から観察しても良い。あるいは、第2の被験者P2が遮音効果のある部屋に入り、第1の被験者P1が当該部屋の外にいても良い。
なお、情報遮断装置600は、第2の被験者P2から第1の被験者P1が観察できる状態を維持した上で、第1の情報に含まれる一部の情報を遮断する。例えば、情報遮断装置600が遮音効果のある部屋である場合、第2の被験者P2から第1の被験者P1および第1のディスプレイ201が視認可能であるように、当該部屋の少なくとも一部はガラス等の透過性のある素材で構成されるものとする。
また、脳波計測装置400がMRI装置である場合、当該MRI装置が設置された磁気シールドルームの外側に第1のディスプレイ201および第2のディスプレイ202を設置してもよい。この場合、当該磁気シールドルームの壁をガラス張りとし、遮断対象が視覚情報であれば、ガラス張り壁の一部をフィルタ等で遮蔽することにより第2の被験者P2から見えなくさせる。また、遮断対象が聴覚情報であれば、当該磁気シールドルームが遮音効果を有すればよい。
また、第1の情報が嗅覚情報、触感情報、または味覚情報等を含む場合、情報遮断装置600は、これらの情報を遮断してもよい。例えば、第1の被験者P1に与えられる第1の情報が味覚情報を含み、その他に、嗅覚情報、視覚情報、または聴覚情報を含む場合、第2の被験者P2に味覚情報が与えられないように遮断しても良い。
また、上述の各実施形態においては、第2の被験者P2には第1の情報の一部が与えられるとしたが、情報遮断装置600は、第1の情報の全てが第2の被験者P2に届かないように遮断しても良い。なお、第2の被験者P2が第1の情報を全く与えられない場合においても、第2の被験者P2は、少なくとも第1の被験者P1を観察することが可能な状態であるものとする。
このように、本実施形態のシステムS4によれば、第1の情報のうち、第2の被験者 P2が受け取る情報を、適切にコントロールすることができる。
(第5の実施形態)
上述の第1の実施形態では、第1の情報、第2の情報の提示および脳波の計測の処理は、ユーザの操作により終了するとしたが、処理の終了条件はこれに限定されるものではない。
図9は、第5の実施形態に係るシステムS5の全体構成の一例を示す図である。システムS5は、第1の実施形態と同様に、装置100と、第1のディスプレイ201と、第2のディスプレイ202と、ヘッドフォン300と、脳波計測装置400とを備える。
本実施形態の装置100は、図1で説明した第1の実施形態と同様の構成を備える。また、本実施形態の装置100の処理回路150は、第1の取得機能151と、第2の取得機能152と、特定機能153と、生成機能154と、第1の提示機能155と、第2の提示機能156と、受付機能157と、判定機能159と、を備える。判定機能159は、判定部の一例である。
判定機能159は、規定の終了条件に基づいて、第1の情報、第2の情報の提示および脳波の計測の処理を終了させるか否かを判定する。判定機能159によってこれらの処理の終了のタイミングであると判定された場合、第1の提示機能155は、第2の情報の提示を終了する。また、この場合、第2の提示機能156は、第1の情報の提示を終了する。また、この場合、第2の取得機能152は、第2の被験者P2の脳波の取得を終了する。
規定の終了条件は、例えば、第1の情報の出力時間であっても良い。この場合、判定機能159は、第1の情報の出力開始から規定の時間が経過すると、第1の情報、第2の情報の提示および脳波の計測の処理の終了タイミングであると判定する。
また、規定の終了条件は、図5のフローチャートに示したS102~S106の処理の繰り返し回数であっても良い。この場合、判定機能159は、S102~S106の処理の繰り返し回数が規定の回数に達すると、第1の情報、第2の情報の提示および脳波の計測の処理の終了タイミングであると判定する。
また、規定の終了条件は、第2の被験者P2の脳活動の解析結果に関するものであっても良い。例えば、判定機能159は、基準脳波と第2の被験者P2の脳波との類似度が規定の高さに達すると、第1の情報、第2の情報の提示および脳波の計測の処理の終了タイミングであると判定する。
なお、上述の複数の終了条件がAND条件またはOR条件として組み合わされても良い。
このように、本実施形態の装置100によれば、規定の終了条件に基づいて、適切なタイミングで処理を終了させることができる。
(変形例1)
上述の第3の実施形態では、VR用ゴーグル510により、第2の被験者P2の視線を制御したが、より物理的な手法で第2の被験者P2の視線を固定しても良い。
例えば、第1、第2、第4、または第5の実施形態のシステムS1,S2,S4,S5の構成に、第2の被験者P2の体勢を固定する固定装置が含まれても良い。
当該固定装置は、第2の被験者P2の視野に第1の被験者P1と、第1の情報の一部である視覚情報と、第2の情報とが含まれる状態で、第2の被験者P2を固定する。
当該固定装置は、例えば、第2の被験者P2の体全体の姿勢を固定可能な固定器具を備えた椅子またはベッドである。あるいは、固定装置は、第2の被験者P2の首や顎等に取り付けて顔の向きを制御する装置であってもよい。
あるいは、固定装置は、Eye Tracker等の視線取得装置としての機能を備えた眼鏡型装置であっても良い。この場合、当該眼鏡型装置は、第2の被験者P2の視線が対象から外れた際に、第2の被験者P2の視線を対象に誘導する。対象は、第1の被験者P1、第1の情報の一部、および第2の情報であるが、これらのうちの例えば第1の被験者P1を特に視線を向けるべき対象としても良い。当該眼鏡型装置は、例えば、装置100の第2の提示機能156,1156によって制御される。
これらの眼鏡型装置等の固定装置は、独立した装置として存在してもよいし、脳波計測装置400,400bと一体の装置として構成されても良い。
例えば、脳波計測装置400,400bがfMRIによる脳波計測を行うMRI装置である場合、当該MRI装置におけるヘッドコイルに、第2の被験者P2の頭部位置を制御する固定装置を取り付けてもよい。あるいは、頭部位置を制御するのではなく、MRI装置のガントリ内に鏡を設置し、鏡の角度などを調整することにより第2の被験者P2の視線を制御するようにしてもよい。
あるいは、第2の被験者P2の、視野を確保するために、MRI装置における第2の被験者P2の目の位置に対応する箇所の一部を空洞または透過状態にしてもよい。つまり、MRI装置に、第2の被験者P2の視線を対象へ誘導する視線誘導部を組み込んだ装置としてもよい。
(変形例2)
上述の各実施形態においては、第1の情報は、装置100の記憶回路120に保存され、第2の提示機能156によって読み出されるものとしたが、第1の情報を生成および提示する方法は、これに限定されるものではない。
例えば、装置100が、情報記録機能、および編集機能を有し、ユーザの指示に基づいて情報を記録および編集することによって第1の情報を生成してもよい。情報記録機能は、例えば公知のビデオカメラのように映像を記録する機能であり、編集機能は、例えば公知の映像編集ソフトウェア等の機能である。
また、上述の各実施形態においては、第1の情報は、第1のディスプレイ201およびヘッドフォン300から出力されるものとしたが、第1の情報を第1の被験者P1および第2の被験者P2に提示する方法は、これに限定されるものではない。
例えば、第1の情報は、飲食物の視覚情報、嗅覚情報、および味覚情報である場合、第1の被験者P1の口腔内に当該飲食物を入れることを、第1の情報の提示としても良い。このような提示手法が採用される場合、装置100は、第3の実施形態のように第3の取得機能158を備える。第3の取得機能158は、カメラ520から、第1の被験者P1が撮影された画像を取得する。本変形例の特定機能153は、画像処理により、第3の取得機能158によって取得された画像から、第1の情報が第1の被験者P1に与えられたタイミングt1を特定する。例えば、第1の被験者P1が飲食物を食べることで第1の情報を得る場合、特定機能153は、第3の取得機能158によって取得された画像から、第1の被験者P1が飲食物を食べ始めたタイミングを、第1の情報の提示の開始のタイミングt1として特定する。
(変形例3)
上述の各実施形態においては、第1の被験者P1は1人としたが、複数の第1の被験者P1が参加しても良い。この場合、例えば、複数の第1の被験者P1同士の交流や喧嘩等の様子を、第1の情報における視覚情報および聴覚情報として使用しても良い。
(変形例4)
上述の各実施形態においては、第2の情報は黒線で描かれた円92の静止画像としたが、第2の情報はこれに限定されるものではない。
図10は、変形例4に係る第2の情報の一例を示す図である。図10に示す例では、第2の情報は、複数の円92a,92bを含む。生成機能154は、基準脳波と第2の被験者P2の脳波との類似度に応じて、円92aの中心から円92bの中心までの距離dを変化させてもよい。
また、第2の情報に用いられる図形は、円形でなくともよい。また、第2の情報は、視覚情報でなくとも良い。例えば、第2の情報は、聴覚情報、嗅覚情報、触覚情報、および味覚情報等、人間の感覚機能に刺激を与える情報であればよい。
例えば、第2の情報が聴覚刺激の場合は、生成機能154は、基準脳波と第2の被験者P2の脳波との類似度の高さに応じて音の大きさや高さを変化させるようにしてもよい。また、第2の情報が触覚情報の場合は、生成機能154は、第2の被験者P2の手等の皮膚に熱や圧力などの刺激を伝達可能な刺激提示装置を取り付けても良い。
また、脳波計測装置400としてMRI装置が用いられる場合は、MRI装置のペイシェントコール用の操作部を膨らませることを、第2の情報としてもよい。
また、第2の情報の変化を第2の被験者P2が理解しやすいよう、単純な情報が好ましい。なお、第2の情報は、第1の情報のうち、第1の被験者P1のみに与えられている情報とは異なる種類の情報とする。例えば、第1の実施形態のように、第1の情報のうち、聴覚情報が第1の被験者P1のみ与えられて第2の被験者P2には与えられていない場合、第2の情報は聴覚情報以外の種類の情報とする。これは、第1の情報のうち、第1の被験者P1のみ与えられて第2の被験者P2には与えられていない情報について第2の被験者P2が想像をする際、第2の情報が妨げになることを低減するためである。
(変形例5)
上述の各実施形態では、システムS1~S5は、ミラーニューロンの回路の不全が疑われる患者である第2の被験者P2に対して適用されたが、適用例はこれに限定されるものではない。
例えば、システムS1~S5は、第1の被験者P1と第2の被験者P2の共感性を測るゲームとして活用されても良い。
(変形例6)
上述の各実施形態では、第1のディスプレイ201、第2のディスプレイ202、ヘッドフォン300、脳波計測装置400,400a,400b、VR用ゴーグル510、カメラ520は装置100に含まれないものとしたが、これらの装置の一部または全てが装置100に含まれても良い。
(変形例7)
上述の各実施形態では、生成機能154は、基準脳波と第2の被験者P2の脳波とを比較したが、基準脳活動情報は脳波に限定されるものではない。
例えば、生成機能154は、第2の被験者P2の脳波を、規定の基準と比較してもよい。規定の基準は、例えば、脳波の周波数成分の大きさ(振幅)の基準値である。当該基準値は、基準脳活動情報の一例である。
より詳細には、生成機能154は、第2の被験者P2の脳波のうち、第1の情報に含まれる太鼓の音がなってから1秒後の8~13Hzの周波数成分の大きさの平均値を算出する。生成機能154は、算出結果を規定の基準値と比較して、第2の被験者P2の脳波から算出された平均値と、規定の基準値の類似度を算出してもよい。
(変形例8)
上述の第1の実施形態では、第1の情報、第2の情報の提示および脳波の計測の処理は、ユーザの操作により終了するとしたが、ユーザではなく第1の被験者P1または第2の被験者P2による操作により終了しても良い。
なお、本明細書において扱う各種データは、典型的にはデジタルデータである。
以上説明した少なくとも1つの実施形態によれば、ニューロフィードバック法を、ミラーニューロンの活動に対しても適用可能にすることができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
91a~91d 画像
92,92a,92b 円
100 装置
110 NWインタフェース
120 記憶回路
130 入力インタフェース
140 第3のディスプレイ
150 処理回路
151 第1の取得機能
152 第2の取得機能
153 特定機能
154,1154 生成機能
155 第1の提示機能
156,1156 第2の提示機能
157 受付機能
158 第3の取得機能
159 判定機能
201 第1のディスプレイ
202 第2のディスプレイ
300 ヘッドフォン
400,400a,400b 脳波計測装置
510 VR用ゴーグル
520 カメラ
600 情報遮断装置
P1 第1の被験者
P2 第2の被験者
r 半径
S1~S5 システム
t1,t2 タイミング

Claims (17)

  1. 基準脳活動情報を取得する第1の取得部と、
    第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を取得する第2の取得部と、
    前記基準脳活動情報と前記第2の被験者の脳活動情報とに基づいて、前記第1の情報とは異なる第2の情報を生成する生成部と、
    前記第2の被験者に対し、前記第2の情報を提示する第1の提示部と、
    を備える、
    装置。
  2. 前記第1の情報が前記第1の被験者に与えられたタイミングを特定する特定部を更に備え、
    前記第2の取得部は前記タイミングに基づいて、前記第2の被験者の脳活動情報を取得する、
    請求項1に記載の装置。
  3. 前記第1の情報は、視覚情報、聴覚情報、嗅覚情報、触覚情報、および味覚情報のうちの少なくとも2つを含み、
    前記第1の被験者には前記第1の情報の全てが与えられ、
    前記第2の被験者には前記第1の情報の一部が与えらる、
    請求項2に記載の装置。
  4. 前記第1の情報は、聴覚情報および視覚情報を含み、
    前記第1の情報の聴覚情報および視覚情報を前記第1の被験者に提示し、前記第1の情報の視覚情報を前記第2の被験者に提示する第2の提示部を更に備える、
    請求項3に記載の装置。
  5. 前記特定部は、前記第2の提示部による前記第1の情報の出力のタイミングを、前記第1の情報が前記第1の被験者に与えられたタイミングとして特定する、
    請求項4に記載の装置。
  6. 前記第2の被験者を撮影した画像を取得する第3の取得部、をさらに備え、
    前記特定部は、画像処理により、前記第1の情報が前記第1の被験者に与えられたタイミングを特定する、
    請求項2または3に記載の装置。
  7. 前記第1の取得部は、前記第1の情報の全てが与えられた前記第2の被験者の脳活動情報を、前記基準脳活動情報として取得する、
    請求項1から6のいずれか1項に記載の装置。
  8. 前記第1の取得部は、前記第1の情報が与えられた前記第1の被験者の脳活動情報を、前記基準脳活動情報として取得する、
    請求項1から6のいずれか1項に記載の装置。
  9. 前記基準脳活動情報は、前記第1の情報が与えられた第3の被験者の脳活動情報に基づいて定められる、
    請求項1から6のいずれか1項に記載の装置。
  10. 前記生成部は、前記基準脳活動情報と前記第2の被験者の脳活動情報との類似度の高さに応じて、前記第2の情報を変化させる、
    請求項1から9のいずれか1項に記載の装置。
  11. 前記脳活動情報は脳波であり、
    前記基準脳活動情報は基準脳波であり、
    前記生成部は、前記基準脳波の特徴量と、前記第2の被験者の脳波の特徴量とを比較し、類似度の高さを求める、
    請求項10に記載の装置。
  12. 基準脳活動情報を取得する第1の取得ステップと、
    第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を取得する第2の取得ステップと、
    前記基準脳活動情報と前記第2の被験者の脳活動情報とに基づいて、前記第1の情報とは異なる第2の情報を生成する生成ステップと、
    前記第2の被験者に対し、前記第2の情報を提示する第1の提示ステップと、
    を含む方法。
  13. 基準脳活動情報を取得する第1の取得ステップと、
    第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を取得する第2の取得ステップと、
    前記基準脳活動情報と前記第2の被験者の脳活動情報とに基づいて、前記第1の情報とは異なる第2の情報を生成する生成ステップと、
    前記第2の被験者に対し、前記第2の情報を提示する第1の提示ステップと、
    をコンピュータに実行させるプログラム。
  14. 刺激生成装置と、脳活動状態計測装置と、第1の表示装置と、音声出力装置と、第2の表示装置とを備え、
    前記刺激生成装置は、
    基準脳活動情報を取得する第1の取得部と、
    前記第1の表示装置および前記音声出力装置により第1の情報が与えられる第1の被験者とは異なる第2の被験者の脳活動情報を、前記脳活動状態計測装置から取得する第2の取得部と、
    前記基準脳活動情報と前記第2の被験者の脳活動情報とに基づいて、前記第1の情報とは異なる第2の情報を生成する生成部と、
    前記第2の被験者に対し、前記第2の情報を前記第2の表示装置に提示させる第1の提示部と、
    を備え、
    前記脳活動状態計測装置は、前記第2の被験者の脳活動情報を計測し、
    前記第1の表示装置および前記音声出力装置は、前記第1の情報を前記第1の被験者に提示し、
    前記第2の表示装置は、前記第2の被験者に前記第2の情報を提示する、
    システム。
  15. 前記第2の表示装置はVR(Virtual Reality)用ゴーグルであり、
    前記VR用ゴーグルは、前記第1の情報が与えられた第1の被験者が撮影された画像と、前記第1の情報の一部である視覚情報と、前記第2の情報とが含まれるVR空間の映像を、前記第2の被験者に提示する、
    請求項14に記載のシステム。
  16. 前記第2の被験者の視野に、前記第1の被験者と、前記第1の情報の一部である視覚情報と、前記第2の情報とが含まれる状態で、前記第2の被験者を固定する固定装置、を更に備える、
    請求項14または15に記載のシステム。
  17. 前記第1の情報のうちの一部のみが前記第2の被験者へ到達し、前記第1の情報の他の部分が前記第2の被験者へ到達しないように遮断する情報遮断装置、を更に備える、
    請求項14から16のいずれか1項に記載のシステム。
JP2021116607A 2021-07-14 2021-07-14 装置、方法、プログラム、およびシステム Pending JP2023012876A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021116607A JP2023012876A (ja) 2021-07-14 2021-07-14 装置、方法、プログラム、およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021116607A JP2023012876A (ja) 2021-07-14 2021-07-14 装置、方法、プログラム、およびシステム

Publications (1)

Publication Number Publication Date
JP2023012876A true JP2023012876A (ja) 2023-01-26

Family

ID=85128814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021116607A Pending JP2023012876A (ja) 2021-07-14 2021-07-14 装置、方法、プログラム、およびシステム

Country Status (1)

Country Link
JP (1) JP2023012876A (ja)

Similar Documents

Publication Publication Date Title
US9179854B2 (en) Three-dimensional localization, display, recording, and analysis of electrical activity in the cerebral cortex
Blumenthal et al. Committee report: Guidelines for human startle eyeblink electromyographic studies
JP4817582B2 (ja) 視覚機能の対物電気生理学的評価方法および装置
JP5498375B2 (ja) 視野検査システム、視野検査装置の駆動方法、コンピュータプログラム、情報媒体もしくはコンピュータ読取可能媒体およびプロセッサ
US20180184964A1 (en) System and signatures for a multi-modal physiological periodic biomarker assessment
US20050177058A1 (en) System and method for analyzing the brain wave patterns of one or more persons for determining similarities in response to a common set of stimuli, making artistic expressions and diagnosis
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
US20150079560A1 (en) Wearable Monitoring and Training System for Focus and/or Mood
US20240023871A1 (en) Head mountable device
JPH07504833A (ja) 視軸集中および斜視測定のために眼球運動を追跡する方法および装置
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
JP2012239789A (ja) 脳機能計測装置および脳機能計測方法
JP2010512862A (ja) 視覚対象に対する心理的反応を評価する方法
US11857312B2 (en) Hearing assessment system and method
Caldas et al. Effects of presence and challenge variations on emotional engagement in immersive virtual environments
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
US20180132751A1 (en) Automatic system and method for evaluating and treating visual health
KR20190020418A (ko) 가상현실을 이용한 심리 모니터링 시스템 및 이를 이용한 심리치료 시스템
Liu et al. Measuring visually induced motion sickness using wearable devices
Phillips et al. Evaluation of vestibular function in young children
JPH11155955A (ja) 恐怖症治療装置
JP2008246117A (ja) 画像提示装置、画像提示方法、およびプログラム
JP7368797B2 (ja) 計測装置およびシステム
Gunji et al. Auditory response following vocalization: a magnetoencephalographic study
JP2003159253A (ja) 脳機能測定のための被験者への刺激提示装置