JP2023094276A - 脳情報伝送システム - Google Patents

脳情報伝送システム Download PDF

Info

Publication number
JP2023094276A
JP2023094276A JP2021209664A JP2021209664A JP2023094276A JP 2023094276 A JP2023094276 A JP 2023094276A JP 2021209664 A JP2021209664 A JP 2021209664A JP 2021209664 A JP2021209664 A JP 2021209664A JP 2023094276 A JP2023094276 A JP 2023094276A
Authority
JP
Japan
Prior art keywords
brain
information
user
brain information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021209664A
Other languages
English (en)
Inventor
一輝 堀切
Kazuki Horiguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021209664A priority Critical patent/JP2023094276A/ja
Priority to PCT/JP2022/034178 priority patent/WO2023119748A1/ja
Publication of JP2023094276A publication Critical patent/JP2023094276A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】複数のユーザの間で脳情報に基づいた意思伝達を行う場合において、各ユーザの脳情報の処理能力を適切に把握する。【解決手段】脳情報伝送システムは、複数のユーザの間で脳情報に基づいた意思伝達を行う複数のBMI装置を備える脳情報伝送システムであって、ユーザの脳に共通の刺激を付与した場合のユーザの脳の活性度に基づいて、ユーザの脳情報の処理能力を算出する処理部を備える。【選択図】図2

Description

本発明は、脳情報伝送システムに関する。
近年、機能的磁気共鳴法、近赤外分光法等のような脳内活性化情報を非侵襲に計測する技術が発達しており、脳と外部とのインターフェースであるBMI(Brain-Machine Interface:ブレインマシンインターフェース)の技術が現実的となりつつある。このような技術を用いた例として、脳表信号に由来する特徴量と、脳内信号に由来する特徴量とを含む情報に基づいて被検体がイメージしている視覚刺激を特定する情報を算定する意思伝達支援装置が開示されている(例えば、特許文献1参照)。
特開2014-92561号公報
複数のユーザの間で脳情報に基づいた意思伝達を行う場合において、ユーザの脳に対して脳情報を入力する際に、単位時間当たりの情報量がユーザの処理能力に対して多すぎると、リアルタイムでの意思伝達が円滑に進まない可能性がある。
本発明は、上記に鑑みてなされたものであり、複数のユーザの間で脳情報に基づいた意思伝達を行う場合において、各ユーザの脳情報の処理能力を適切に把握することが可能な脳情報伝送システムを提供することを目的とする。
本発明に係る脳情報伝送システムは、複数のユーザの間で脳情報に基づいた意思伝達を行う複数のBMI装置を備える脳情報伝送システムであって、前記ユーザの脳に共通の刺激を付与した場合の前記ユーザの脳の活性度に基づいて、前記ユーザの前記脳情報の処理能力を算出する処理部を備える。
本発明によれば、複数のユーザの間で脳情報に基づいた意思伝達を行う場合において、各ユーザの脳情報の処理能力を適切に把握することができる。
図1は、本実施形態に係る脳情報伝送システムの一例を示す模式図である。 図2は、脳情報伝送システムの一例を示す機能ブロック図である。 図3は、ユーザに対して付与する聴覚刺激パルスの一例を示す図である。 図4は、図3に示す聴覚刺激パルスを異なるユーザに与えた場合の各ユーザの活性度の例を示す図である。 図5は、処理部において生成される刺激情報の一例を模式的に示す図である。 図6は、脳情報の伝送動作の制御の一例を模式的に示す図である。 図7は、脳情報伝送システムにおける動作の流れを示すフローチャートである。 図8は、伝送速度を調整する動作の他の例を説明するための図である。
以下、本発明に係る脳情報伝送システムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
図1は、本実施形態に係る脳情報伝送システム100の一例を示す模式図である。図2は、脳情報伝送システム100の一例を示す機能ブロック図である。図1及び図2に示すように、脳情報伝送システム100は、複数のユーザの間で脳情報に基づいた意思伝達を行う。脳情報に基づいた意思伝達は、ユーザの意思、感情、感覚をデータ化して伝送することを含む。脳情報伝送システム100は、複数のBMI装置10と、制御装置20とを備える。
BMI装置10は、BMI(Brain-Machine Interface:ブレインマシンインターフェース)の技術を用いた脳と外部とのインターフェースである。BMI装置10は、通信部11と、処理部12と、記憶部13とを有する。通信部11は、情報の送受信を行う。通信部11は、ユーザの脳から取得される脳情報、後述するユーザの脳情報に対する処理能力の情報を含む各種情報を制御装置20に送信する。通信部11は、制御装置20から送信される他のユーザの脳情報を含む各種情報を受信する。脳情報は、後述する脳活性化情報、刺激情報を含むものである。
処理部12は、通信部11における通信動作を制御する。処理部12は、検出部14で検出される脳情報を取得する。本実施形態において、検出部14は、脳情報として、例えば脳活性化情報を検出する。脳内活性化情報としては、例えばユーザの脳血流に含まれる酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度等が挙げられる。検出部14としては、例えばfMRI(functional Magnetic Resonance Imaging:機能的磁気共鳴画像法)、fNIRS(functional Near-Infrared Spectroscopy:機能的近赤外分光分析法)等の原理に基づいて計測を行う計測装置、侵襲式の電極を用いた計測装置、脳の血管の中にマイクロマシンを配置して当該マイクロマシンにより計測を行う計測装置等を用いることができる。なお、検出部14は、上記装置に限定されず、他の種類の装置が用いられてもよい。脳内活性化情報は、例えばユーザの脳を数ミリ以下のボクセルで構成される三次元マトリクスにより区画した場合において、ボクセルごとの活性度の大きさとして示すことができる。
処理部12は、取得した脳活性化情報に基づいて、他のユーザの脳に刺激付与部15により刺激を与えるための刺激情報を生成する。処理部12は、例えば、脳活性化情報を解析して、ユーザの意思、感情、感覚をデータとして抽出し、他のユーザに意思、感情、感覚を想起させる刺激を与える刺激情報を生成する。この場合、脳活性化情報と意思、感情、感覚との対応、意思、感情、感覚と刺激情報との対応を記憶部13に記憶してもよい。また、処理部12は、通信部11で受信した他のユーザの脳情報から抽出された刺激情報を刺激付与部15に供給する。
刺激付与部15は、ユーザの脳の対象部位に電磁波信号を照射して対象部位を活性化させることで、ユーザに刺激を与える。刺激付与部15は、ユーザの脳を、例えば数ミリ以下のボクセルで構成される三次元マトリクスにより区画し、ボクセルごとに電磁波を照射する。刺激情報は、三次元マトリクスのどのボクセルに対してどの程度の強度の電磁波を照射するかを示す情報を含む。刺激情報の三次元マトリクスにおけるボクセルは、例えば脳内活性化情報の三次元マトリクスにおけるボクセルとの間で寸法及び位置等が対応していてもよい。ユーザの脳のうちどのボクセルにどの程度の強度の電磁波を照射すれば、どのような意思、感情、感覚が生じるかについては、予め実験を行うことにより対応関係を求めておくことができる。例えば、ユーザに対する刺激情報と、当該刺激情報に基づいて電磁波を照射した場合にユーザの脳で生成される意思、感情、感覚とを対応付けて1組の学習データセットとし、当該学習データセットを機械学習させた学習モデルを生成することができる。当該学習モデルは、例えばBMI装置10の記憶部13に記憶させておくことができる。
また、刺激付与部15は、後述するユーザの脳情報の処理能力を測定するため、ユーザの脳に共通の刺激を付与することができる。一例として、刺激付与部15は、ユーザに対して聴覚刺激パルスにより刺激を付与することができる。図3は、ユーザに対して付与する聴覚刺激パルスの一例を示す図である。図3において、横軸が時間、縦軸が信号値を示している。図3に示すような聴覚刺激パルスを付与することにより、ユーザの聴覚に関する脳の部分が活性化する。この場合、検出部14によりユーザの脳内活性化情報を取得することができる。刺激付与部15は、例えば複数のユーザの間で意思伝達が行われる期間において、定期的に聴覚刺激パルスを付与するようにしてもよい。この場合、ユーザの脳情報の処理能力が定期的に求められることになる。
処理部12は、ユーザの処理能力の測定に際し、検出部14から取得される脳内活性化情報に基づいて、ユーザの活性度を算出する。図4は、図3に示す聴覚刺激パルスを異なるユーザに与えた場合の各ユーザの活性度の例を示す図である。図4において、横軸が時間、縦軸が活性度を示している。なお、図4の横軸(時間軸)は、図3の横軸(時間軸)と一致している。図4に示すように、処理部12は、刺激を受けていないリラックスした状態をユーザの定常状態とする。処理部12は、定常状態における活性度を基準値Sとし、聴覚刺激を付与した際の活性度のピーク値に基づいてユーザの処理能力を算出することができる。図4(a)に示すユーザ1の例では活性度のピーク値がA1、図4(b)に示すユーザ2の例では活性度のピーク値がA2、図4(c)に示すユーザ3の例では活性度のピーク値がA3である。このような活性度のピーク値を、処理能力を示す値として予め求めておき、記憶部16に記憶させておくことができる。この場合、処理部12は、記憶部16に記憶されたデータを用いることにより、活性度に対応する処理能力を容易に算出することができる。以下、処理部12における処理能力の判断の一例を説明する。例えば、ユーザ1とユーザ2とは、同じタイミングで活性度が上昇している。活性度のピーク値に基づいて処理能力を算出する場合、ユーザ1のピーク値A1の方がユーザ2のピーク値A2よりも大きいため、ユーザ1の方が、処理能力が高いと判断することができる。
また、処理部12は、活性度上昇開始時間の早さに基づいてユーザの処理能力を算出することができる。ユーザ1及びユーザ2に対してユーザ3は活性度のピーク値が低い一方、時間軸の早いタイミングで活性度が上昇している。具体的には、聴覚刺激パルスの最大振幅となる前の小さいパルスで活性度が上昇している。このことから、刺激に対する反応の早さに基づいて処理能力を算出する場合、ユーザ1及びユーザ2に対してユーザ3の方が、処理能力が高いと判断することができる。なお、処理能力はピーク値、上昇開始時間の早さのいずれかに基づいて算出してもよいし、両方から算出される指標に基づいて算出してもよい。また、ユーザの脳情報の処理能力を測定するための共通の刺激は、聴覚刺激に限らず、視覚刺激など他の刺激であってもよい。
処理部12は、求めた処理能力の値を通信部11から送信させる。処理部12は、求めた処理能力を例えば通信部11により制御装置20に送信させることができる。この場合、制御装置20では、後述するようにユーザごとの処理能力に基づいて、脳情報の伝送速度が設定される。設定された伝送速度は、制御装置20から各BMI装置10に送信される。また、処理部12は、求めた処理能力を例えば通信部11により各BMI装置10に対して同報配信させてもよい。処理能力を同報配信する場合、処理部12は、リアルタイムの音声・動画通信を行うためのプロトコルであるH.323を用いることができる。この場合、各BMI装置10の端末の能力の相互確認を行う通信制御メッセージであるTCS(Terminal Capability Set)を用いて、各ユーザの脳情報の処理能力を同報配信することができる。
処理部12は、制御装置20から送信された伝送速度の設定値に対応するように、通信部11から送信させる脳情報の伝送動作を制御する。処理部12は、例えば送受信する脳情報に無効情報を挿入することで伝送速度を制御することができる。脳情報に無効情報を挿入して送受信する場合、単位時間あたりに送受信される脳情報の情報量が少なくなる。このため、処理能力が低いユーザの伝送速度に容易に設定することができる。処理部12は、生成した刺激情報を脳情報として通信部11から制御装置20に送信させる。
記憶部13は、各種情報を記憶する。記憶部13は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部13として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部13は、例えば制御装置20から送信される、または各ユーザのBMI装置10における通信部11から同報配信される、各ユーザの脳情報の処理能力を記憶する。
制御装置20は、複数のBMI装置10を制御する。制御装置20は、通信部21と、通信制御部22と、設定部23と、記憶部24とを有する。通信部21は、有線通信又は無線通信を行うインターフェースである。通信部21は、各BMI装置10から送信される脳情報及びユーザの処理能力の値を受信する。通信部21は、受信した脳情報を、対応するBMI装置10に送信する。
通信制御部22は、通信部21における通信動作を制御する。
設定部23は、通信部21で受信した脳情報を送信元のBMI装置10とは異なる他のBMI装置10に対して転送させる。
設定部23は、通信部21で受信した各ユーザの処理能力の値に基づいて、BMI装置10の間の脳情報の伝送速度を設定する。脳情報の処理能力の値が相対的に高いユーザは、単位時間当たりに処理可能な脳情報の情報量が相対的に多いと推定される。また、脳情報の処理能力が相対的に低いユーザは単位時間当たりに処理可能な脳情報の情報量が相対的に少ないと推定される。ユーザの脳に対して脳情報を入力する場合、単位時間当たりの情報量が処理能力に対して多すぎると、リアルタイムでの処理が円滑に進まない可能性がある。本実施形態において、設定部23は、伝送速度を、単位時間当たりに伝送される脳情報の情報量が同じになるように設定することによって、全てのユーザがリアルタイムで円滑に処理可能な伝送速度に設定することができる。設定部23は、処理能力の値が最も低いユーザに対応する伝送速度に設定してもよいし、処理能力の値が最も低いユーザに対応する伝送速度よりも低い伝送速度に設定してもよい。
記憶部24は、各種情報を記憶する。記憶部24は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部24として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。
次に、上記のように構成された脳情報伝送システム100の動作の一例を説明する。以下の例では、第1ユーザA及び第2ユーザBの2人のユーザの間で脳情報に基づいた意思伝達を行う場合を例に挙げて説明する。なお、3人以上のユーザの間で脳情報に基づいた意思伝達を行う場合についても同様の説明が可能である。
まず、各BMI装置10において、処理部12は、第1ユーザA及び第2ユーザBに対して共通の刺激を付与した場合の各ユーザの脳の活性度を取得する。処理部12は、第1ユーザA及び第2ユーザBに対する刺激の付与については、予め行っておくことができる。処理部12は、取得した活性度に基づいて、ユーザの脳情報の処理能力を算出する。処理部12は、求めた結果である処理能力の値を通信部11により制御装置20に送信させる。なお、処理部12は、求めた結果である処理能力の値を通信部11により他のBMI装置10に同報配信してもよい。
制御装置20において、通信部21は、各BMI装置10から取得した処理能力の値を受信する。設定部23は、受信した各処理能力の値に基づいて、2つのBMI装置10の間における脳情報の伝送速度を設定する。この場合、設定部23は、処理能力の値が最も低いユーザに対応する伝送速度に設定してもよいし、処理能力の値が最も低いユーザに対応する伝送速度よりも低い伝送速度に設定してもよい。設定部23は、伝送速度の設定値を通信部21から各BMI装置10に送信させる。
処理部12は、制御装置20から送信される伝送速度の設定値に基づいて、制御装置20に送信する刺激情報を生成する。図5は、処理部12において生成される刺激情報の一例を模式的に示す図である。図5に示すように、処理部12は、例えば視覚、聴覚、触覚、味覚、嗅覚、体性感覚等の感覚ごとに刺激情報をパケット化する。パケットごとのサイズは、予め設定された値とすることができる。例えば、視覚パケットは、パケットヘッダと、視覚データと、無効データとを含む。他の感覚のパケットについても同様の構成とすることができる。
処理部12は、複数の感覚についてそれぞれ生成したパケットを時間多重化することにより、複数の感覚の刺激情報を一つの情報として生成することができる。処理部12は、刺激情報を多重化する際、例えばMPEG(Moving Picture Experts Group)のエレメンタリーストリームをパケット化する場合の多重化規格と同様の技術を用いることができる。この場合、処理部12は、例えばプログラムストリーム形式で多重化を行うことが好ましいが、トランポートストリーム形式で多重化を行ってもよい。
処理部12は、感覚ごとにパケット化した刺激情報について、例えば基準クロック等の信号により同期させる。このとき、処理部12は、制御装置20から受信した伝送速度の設定値に基づいて、単位時間当たりに伝送される刺激情報の情報量を調整する。図6は、脳情報の伝送動作の制御の一例を模式的に示す図である。図6(a)は、第1ユーザAと第2ユーザBの伝送速度、伝送時間の一例を示している。図6(a)に示すように、第1ユーザAが伝送速度Fに対応する処理能力を有し、第2ユーザBが伝送速度Fに対応する処理能力を有するとする。伝送速度F、Fは、同一情報量のパケットPをN個伝送する際の伝送時間T、Tに基づいて算出される。ここで、T>Tである。つまり、伝送速度についてはF<Fであり、第2ユーザBの方が第1ユーザAよりも高い処理能力を有するとする。この場合、制御装置20において、相対的に低い処理能力である第1ユーザAの処理能力に合わせ、単位時間当たりに伝送される脳情報の情報量が同じになるような伝送速度に設定される。
図6(b)は、伝送速度の設定値がFである場合の伝送動作の制御の一例を示している。図6(b)に示すように、伝送速度の設定値がFである場合、第1ユーザAの使用するBMI装置10においては、無効情報を挿入することなく、脳情報の伝送を行うことができる。また、第2ユーザBの使用するBMI装置10においては、伝送速度がFとなるようにヌルパケットNP等の無効情報が挿入される。第2ユーザBの使用するBMI装置10においては、図6(b)の中段(B1)に示すように、1つのパケット内に無効情報として無効データを挿入してもよい。また、図6(b)の下段(B2)に示すように、複数のパケットPの間にパケット単位の無効情報としてヌルパケットを挿入してもよい。
図6(c)は、伝送速度の設定値がFよりも低いFである場合の伝送動作の制御の例を示している。図6(c)に示すように、伝送速度の設定値がFよりも低いFである場合、第1ユーザAの使用するBMI装置10及び第2ユーザBの使用するBMI装置10においては、それぞれ伝送速度がFとなるようにヌルパケットNP、無効データ等の無効情報が挿入される。
処理部12は、例えば送信する脳情報のパケットPの間にヌルパケット等の無効情報を挿入することで伝送速度を制御することができる。脳情報に無効情報を挿入して送受信する場合、単位時間あたりに送受信される脳情報の情報量が少なくなる。このため、処理能力が低いユーザの伝送速度に容易に設定することができる。
処理部12は、送信する脳情報の全体としての伝送速度を調整すればよい。処理部12は、脳情報全体としての伝送速度が適切な伝送速度になるのであれば、例えば無効情報のパケットを挿入するタイミング、1パケット当たりの無効情報の情報量については適宜設定することができる。処理部12は、生成した脳情報を通信部11から制御装置20に送信させる。
制御装置20において、通信部21で脳情報が受信される。受信された脳情報は、通信制御部22により他のBMI装置10に転送される。
他のBMI装置10において、制御装置20で転送された脳情報が通信部11により受信される。これにより、制御装置20で設定された伝送速度の設定値に対応した伝送速度で脳情報がBMI装置10の間で伝送される。処理部12は、受信された脳情報を刺激付与部15に供給する。刺激付与部15は、供給された脳情報に対応した刺激を第2ユーザBに付与する。第2ユーザBは、刺激付与部15からの刺激により、第1ユーザAが想起した意思、感情、感覚等を追体験することができる。
図7は、脳情報伝送システム100における動作の流れを示すフローチャートである。図7に示すように、各BMI装置10の処理部12は、ユーザの脳に共通の刺激を付与した場合のユーザの脳の活性度に基づいて、ユーザの脳情報の処理能力を算出する(ステップS101)。
次に、制御装置20の設定部23は、ユーザの脳情報の処理能力に基づいて、複数のBMI装置10の間の脳情報の伝送速度を設定する(ステップS102)。
次に、各BMI装置10において、処理部12は、例えば無効情報を挿入した脳情報を生成し、生成した脳情報を送信する等、設定された伝送速度に応じて伝送動作を制御する(ステップS103)。
以上のように、本実施形態に係る脳情報伝送システム100は、複数のユーザの間で脳情報に基づいた意思伝達を行う複数のBMI装置10を備える脳情報伝送システム100であって、ユーザの脳に共通の刺激を付与した場合のユーザの脳の活性度に基づいて、ユーザの脳情報の処理能力を算出する処理部12を備える。
この構成によれば、ユーザの脳に共通の刺激を付与した場合のユーザの脳の活性度に基づいて、ユーザの脳情報の処理能力を算出するため、複数のユーザの間で脳情報に基づいた意思伝達を行う場合において、各ユーザの脳情報の処理能力を適切に把握することができる。
本実施形態に係る脳情報伝送システム100は、ユーザの脳情報の処理能力に基づいて、複数のBMI装置10の間の脳情報の伝送速度を設定する設定部23を更に備える。この構成によれば、ユーザの脳情報の処理能力に基づいて、複数のBMI装置10の間の脳情報の伝送速度が設定されるため、ユーザ同士の間における脳情報の処理能力に差がある場合でも、リアルタイムでの意思伝達を円滑に行うことができる。
本実施形態に係る脳情報伝送システム100において、複数のBMI装置10は、設定部23で設定される伝送速度に応じて脳情報に無効情報を挿入する。この構成によれば、ユーザ同士の間における脳情報の処理能力に差がある場合において、伝送速度の調整を容易に行うことができる。
本実施形態に係る脳情報伝送システム100において、脳情報は、ユーザの脳に刺激を与える複数の感覚についての情報であり、複数のBMI装置10は、複数の感覚による情報を多重化して同期させる。この構成によれば、複数の感覚による情報を含む脳情報を効率的に伝送することができる。
本実施形態に係る脳情報伝送システム100において、複数のBMI装置10は、意思伝達の開始時にそれぞれのユーザの処理能力を互いに取得する。この構成によれば、各BMI装置10が他のユーザの処理能力をそれぞれ取得することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、ユーザの脳情報の処理能力を算出する際に、ユーザに聴覚刺激を付与する例を挙げて説明したが、これに限定されない。例えば、ユーザに付与する刺激として、ユーザが想起する感覚に対応する刺激を付与して処理能力を算出するようにしてもよい。
また、上記実施形態において、各BMI装置10で処理能力の算出を行う場合を例に挙げて説明したが、これに限定されない。例えば、制御装置20が各BMI装置10に共通刺激を送信し、各BMI装置10で活性度を取得して制御装置20に送信し、BMI装置10から送信される活性度に基づいて、制御装置20において各ユーザの処理能力を算出する構成であってもよい。
また、上記実施形態では、伝送速度の調整を行う際、脳情報に無効情報を挿入する場合を例に挙げて説明したが、これに限定されず、脳情報の一部のみを伝送することで脳情報全体の伝送速度を調整してもよい。図8は、伝送速度を調整する動作の他の例を説明するための図である。図8(a)及び図8(b)は、脳情報の活性度と時間との関係を示しており、縦軸が活性度、横軸が時間である。
図8(a)に示すように、BMI装置10は、例えば脳情報のうち活性度の値が閾値S1以上の部分(図8(a)の斜線部分)を抽出して伝送することができる。換言すると、BMI装置10は、脳情報のうち活性度の値が閾値S1未満の部分を間引いて伝送することができる。脳情報のうち活性度の高い部分は、ユーザにより想起される感覚、感情等の強度が高い部分であるといえる。このため、活性度の閾値S1を用いて情報を抽出する、又は間引くことにより、脳情報の伝送量を抑えつつ、細かい部分を省いた大まかな感覚を伝送し、他のユーザと共有することができる。
また、図8(b)に示すように、BMI装置10は、例えば脳情報のうち活性度の値が閾値S2以下の部分(図8(b)の斜線部分)を抽出して伝送することができる。換言すると、BMI装置10は、脳情報のうち活性度の値が閾値S2を超える部分を間引いて伝送することができる。なお、図8(b)に示す例では、閾値S2を以上の振幅の変化を平滑化しているが、この構成に限定されず、全体を平滑化してもよい。このように、活性度の閾値S2を用いて情報を抽出する、又は間引くことにより、脳情報の伝送量を抑えつつ、過敏な反応を省いた感覚を伝送し、他のユーザと共有することができる。
なお、上記においては、設定される伝送速度に応じて脳情報の一部のみを伝送する伝送動作の例として、脳情報のうち活性度の閾値を用いて情報を抽出する又は間引く構成を説明したが、これに限定されず、他の態様で情報を抽出又は間引くようにしてもよい。
また、上記実施形態において、刺激付与部15は、ユーザの脳の対象部位に電磁波信号を照射し、対象部位を活性化させる以外の方法で意思、感情、感覚を想起させてもよい。視覚、聴覚、触覚、味覚、嗅覚、体性感覚等の刺激情報を、各感覚を提示する装置によって想起させてもよい。例えば視覚の刺激情報に相当する画像を提示するディスプレイ、聴覚の刺激情報に相当する音声を提示するスピーカ、などであってよい。ユーザの脳情報の処理能力を測定するための聴覚刺激パルスをスピーカ、ヘッドフォンなどの放音装置からユーザの耳に刺激を付与してもよい。
NP…ヌルパケット、P…パケット、10…BMI装置、11,21…通信部、12…処理部、13,16,24…記憶部、14…検出部、15…刺激付与部、20…制御装置、22…通信制御部、23…設定部、100…脳情報伝送システム

Claims (5)

  1. 複数のユーザの間で脳情報に基づいた意思伝達を行う複数のBMI装置を備える脳情報伝送システムであって、
    前記ユーザの脳に共通の刺激を付与した場合の前記ユーザの脳の活性度に基づいて、前記ユーザの前記脳情報の処理能力を算出する処理部を備える
    脳情報伝送システム。
  2. 前記ユーザの前記脳情報の処理能力に基づいて、複数の前記BMI装置の間の前記脳情報の伝送速度を設定する設定部を更に備える
    請求項1に記載の脳情報伝送システム。
  3. 複数の前記BMI装置は、前記設定部で設定される前記伝送速度に応じて前記脳情報に無効情報を挿入する
    請求項2に記載の脳情報伝送システム。
  4. 複数の前記BMI装置は、前記設定部で設定される前記伝送速度に応じて前記脳情報の一部のみを伝送する
    請求項2に記載の脳情報伝送システム。
  5. 前記脳情報は、前記ユーザの脳に刺激を与える複数の感覚についての情報であり、
    複数の前記BMI装置は、複数の感覚による前記情報を多重化して同期させる
    請求項2から請求項4のいずれか一項に記載の脳情報伝送システム。
JP2021209664A 2021-12-23 2021-12-23 脳情報伝送システム Pending JP2023094276A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021209664A JP2023094276A (ja) 2021-12-23 2021-12-23 脳情報伝送システム
PCT/JP2022/034178 WO2023119748A1 (ja) 2021-12-23 2022-09-13 脳情報伝送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021209664A JP2023094276A (ja) 2021-12-23 2021-12-23 脳情報伝送システム

Publications (1)

Publication Number Publication Date
JP2023094276A true JP2023094276A (ja) 2023-07-05

Family

ID=86901869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021209664A Pending JP2023094276A (ja) 2021-12-23 2021-12-23 脳情報伝送システム

Country Status (2)

Country Link
JP (1) JP2023094276A (ja)
WO (1) WO2023119748A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5119726B2 (ja) * 2007-05-08 2013-01-16 株式会社日立製作所 生体計測装置
JP6236620B2 (ja) * 2012-12-11 2017-11-29 株式会社国際電気通信基礎技術研究所 脳情報処理装置、脳情報処理方法、およびプログラム
JP6473658B2 (ja) * 2015-05-13 2019-02-20 株式会社国際電気通信基礎技術研究所 推定システム、推定方法、推定装置
JP6755507B2 (ja) * 2016-01-20 2020-09-16 国立大学法人大阪大学 脳活動訓練システム及び脳活動訓練システムの作動方法

Also Published As

Publication number Publication date
WO2023119748A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
Jessen et al. The temporal dynamics of processing emotions from vocal, facial, and bodily expressions
US10485972B2 (en) Apparatuses and methods for neuromodulation
CN108882875B (zh) 用于神经血管刺激的设备
Wouters et al. Sound coding in cochlear implants: From electric pulses to hearing
Riecke et al. 4-Hz transcranial alternating current stimulation phase modulates hearing
CN109585021B (zh) 基于全息投影技术的精神状态评估方法
US8170678B2 (en) Synchronized diagnostic measurement for cochlear implants
CN109637098B (zh) 可穿戴设备及其控制方法
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
Fraser et al. Temporal modulation transfer functions in cochlear implantees using a method that limits overall loudness cues
Paul et al. Poor early cortical differentiation of speech predicts perceptual difficulties of severely hearing-impaired listeners in multi-talker environments
Guenther et al. Brain-machine interfaces for real-time speech synthesis
US20240089679A1 (en) Musical perception of a recipient of an auditory device
Nogueira et al. Toward decoding selective attention from single-trial EEG data in cochlear implant users
Kryklywy et al. Emotion modulates activity in the ‘what’but not ‘where’auditory processing pathway
Francart et al. Effect of channel envelope synchrony on interaural time difference sensitivity in bilateral cochlear implant listeners
Chouiter et al. Experience-based auditory predictions modulate brain activity to silence as do real sounds
CN109567936B (zh) 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法
WO2023119748A1 (ja) 脳情報伝送システム
EP4168103A1 (en) Non-invasive peripheral nerve stimulation for the enhancement of behavioral therapy
Butcher et al. A lateralized auditory evoked potential elicited when auditory objects are defined by spatial motion
KR102499848B1 (ko) 음장감을 개선한 바이노럴 비트의 음향 출력 장치 및 그 방법
CN113195043A (zh) 评估对感觉事件的响应并基于其执行处理动作
Nisha et al. Pre-attentive neural signatures of auditory spatial processing in listeners with normal hearing and sensorineural hearing impairment: a comparative study
Rouhbakhsh Investigating the Effect of Spatial Spearation on the Detection of Sounds in Competiton, by Examining Electrophysiological Responses from the Brainstem and Auditory Cortex