JP2022114958A - 医用情報処理装置、医用情報処理方法、及びプログラム - Google Patents

Abstract

【課題】被験者の感覚を体感することが可能な情報を提示すること。【解決手段】医用情報処理装置は、取得部と、第１推定部と、決定部と、備える。前記取得部は、被験者の神経の活動を示す第１神経活動情報を取得する。前記第１推定部は、前記第１神経活動情報に基づいて、前記被験者が感じている感覚を示す第１感覚情報を推定する。前記決定部は、前記第１感覚情報に基づいて、評価者に前記被験者の感覚を体感させるための提示情報を決定する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理方法、及びプログラムに関する。

従来、機能的磁気共鳴画像法（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；ｆＭＲＩ）や脳波計（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ；ＥＥＧ）などを用いて脳活動情報を計測し，計測データから認知情報や感覚情報を推定する技術が知られている。

また、患者等の被験者の精神症状を客観的に把握する困難な精神医学の分野では、医師や臨床心理士等の評価者は、被験者自身の主観的体験の報告と行動観察とに基づいて、主観的に診断や治療効果の評価を行っている。

しかしながら、評価者は、主観的に診断や治療効果の評価を行っていると、誤診や不適切な投薬判断を行ってしまう可能性がある。

特表２０１９－５２７４１６号公報 特開２０１９－３２７６７号公報 特開２０１５－１１６２１３号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、被験者の感覚を体感することが可能な情報を提示することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用情報処理装置は、取得部と、第１推定部と、決定部と、備える。前記取得部は、被験者の神経の活動を示す第１神経活動情報を取得する。前記第１推定部は、前記第１神経活動情報に基づいて、前記被験者が感じている感覚を示す第１感覚情報を推定する。前記決定部は、前記第１感覚情報に基づいて、評価者に前記被験者の感覚を体感させるための提示情報を決定する。

図１は、第１の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図２は、視覚デコーダの概要を説明する説明図である。 図３は、第１感覚推定機能における感覚デコーダの概要を説明する説明図である。 図４は、第２感覚推定機能における感覚デコーダの概要を説明する説明図である。 図５は、入出力された単語のベクトルを有するベクトル空間の一例を示す図である。 図６は、第１の実施形態に係る医用情報処理装置が実行する検査処理の一例を示すフローチャートである。 図７は、第１の実施形態に係る医用情報処理装置が実行する被験者感覚推定処理の一例を示すフローチャートである。 図８は、第１の実施形態に係る医用情報処理装置が実行する評価者感覚推定処理の一例を示すフローチャートである。 図９は、第１の実施形態に係る医用情報処理装置が実行する同調処理の一例を示すフローチャートである。 図１０は、第１の実施形態に係る医用情報処理装置が実行する探索処理の一例を示すフローチャートである。 図１１は、第２の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図１２は、オノマトペの２次元分布図の一例を示す図である。

以下、図面を参照しながら、本実施形態に関する医用情報処理装置、医用情報処理方法、及びプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る医用情報処理装置１の構成の一例を示すブロック図である。医用情報処理装置１は、機能的磁気共鳴画像法（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；ｆＭＲＩ）や脳波計（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ；ＥＥＧ）等の計測装置から、患者等の被験者の第１神経活動情報及び第２神経活動情報を取得する。第１神経活動情報は、被験者の脳や神経の電気活動を記録した情報である。例えば、第１神経活動情報は、被検体の感覚に関連する前頭葉などの脳の活動を記録した脳活動情報である。第２神経活動情報は、第１神経活動情報とは異なる、被験者の脳や神経の電気活動を記録した情報である。例えば、第２神経活動情報は、被検体の視覚に関連する視覚野などの脳の活動を記録した脳活動情報である。なお、計測装置は、機能的磁気共鳴画像法や脳波計に限らず、他の装置であってもよい。

また、医用情報処理装置１は、第２神経活動情報に基づいて、被験者の視覚を示す視覚情報を生成する。すなわち、医用情報処理装置１は、第２神経活動情報により示された状態時の被験者の視覚を示す画像データを生成する。

また、医用情報処理装置１は、第１神経活動情報に基づいて、被験者が感じている感覚の種類と、感覚の程度とを推定することにより第１感覚情報を生成する。感覚の種類とは、例えば、歓喜、敬愛、恐怖、驚嘆、悲観、嫌悪、激怒、警戒等の種類である。感覚の程度とは、例えば、レベル１、レベル２、レベル３等の程度である。

また、医用情報処理装置１は、計測装置から、提示情報が提示された時の評価者の第３神経活動情報を取得する。提示情報は、被験者の感覚を体感されるために評価者に提示される情報である。例えば、提示情報は、視覚情報等の画像データである。または、提示情報は、被験者の感覚を体感されるために探索された画像データである。評価者とは、医師や臨床心理士等の被験者の感覚を評価する者である。第３神経活動情報とは、評価者の脳や神経の電気活動を記録した情報である。例えば、第３神経活動情報は、評価者の感覚に関連する前頭葉などの脳の活動を記録した脳活動情報である。

また、医用情報処理装置１は、第３神経活動情報に基づいて、評価者が感じている感覚の種類と、感覚の程度とを推定することにより第２感覚情報を生成する。

また、医用情報処理装置１は、第１感覚情報と、第２感覚情報との類似度が閾値以上であるか否かを判定する。医用情報処理装置１は、類似度が閾値未満の場合に、類似度が閾値以上になる提示情報を探索する。言い換えると、医用情報処理装置１は、被験者の感覚を評価者が体感することが可能な提示情報を探索する。例えば、医用情報処理装置１は、被験者が感じている恐怖と略同等な恐怖を評価者に感じさせることが可能な画像データ等の提示情報を探索する。

そして、医用情報処理装置１は、被験者の第１感覚情報と、評価者の第２感覚情報との類似度が閾値以上になった場合に、報知する。このようにして、医用情報処理装置１は、被験者の感覚を体感することが可能な提示情報を提示する。

次に、医用情報処理装置１の構成について説明する。医用情報処理装置１は、ＮＷ（ネットワーク）インタフェース１１と、入力インタフェース１２と、ディスプレイ１３と、記憶回路１４と、処理回路１５とを有する。

ＮＷインタフェース１１は、処理回路１５に接続され、ネットワークを介して接続された各装置との間で行われる各種データの伝送及び通信を制御する。例えば、ＮＷインタフェース１１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

入力インタフェース１２は、処理回路１５に接続され、操作者（医療従事者）から受け付けた入力操作を電気信号に変換して処理回路１５に出力する。具体的には、入力インタフェース１２は、操作者から受け付けた入力操作を電気信号へ変換して処理回路１５に出力する。例えば、入力インタフェース１２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インタフェース１２は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース１２の例に含まれる。

ディスプレイ１３は、処理回路１５に接続され、処理回路１５から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ１３は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

記憶回路１４は、処理回路１５に接続され、各種データを記憶する。また、記憶回路１４は、処理回路１５が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

処理回路１５は、医用情報処理装置１全体の動作を制御する。処理回路１５は、例えば、神経活動情報取得機能１５１、視覚情報生成機能１５２、第１感覚推定機能１５３、第３神経活動情報取得機能１５４、第２感覚推定機能１５５、探索機能１５６、提示機能１５７、及び報知機能１５８にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１４へ記憶されている。処理回路１５は、プログラムを記憶回路１４から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１５は、図１の処理回路１５内に示された各機能を有することになる。

なお、図１においては単一のプロセッサにて、神経活動情報取得機能１５１、視覚情報生成機能１５２、第１感覚推定機能１５３、第３神経活動情報取得機能１５４、第２感覚推定機能１５５、探索機能１５６、提示機能１５７、及び報知機能１５８を実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては、記憶回路１４等の単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路１５は、個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ），及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路１４に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路１４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

神経活動情報取得機能１５１は、被験者の神経の活動を示す第１神経活動情報を取得する。さらに、神経活動情報取得機能１５１は、被験者の視覚に関連する神経の活動を示す第２神経活動情報を取得する。神経活動情報取得機能１５１は、取得部の一例である。更に詳しくは、神経活動情報取得機能１５１は、機能的磁気共鳴画像法や脳波計等の計測装置から第１神経活動情報及び第２神経活動情報を取得する。また、神経活動情報取得機能１５１は、被験者における指定部分の第１神経活動情報及び第２神経活動情報を取得してもよい。例えば、神経活動情報取得機能１５１は、被験者の脳の前頭葉の第１神経活動情報を取得してもよい。また、神経活動情報取得機能１５１は、被験者の脳の視覚野の第２神経活動情報を取得してもよい。

視覚情報生成機能１５２は、第１神経活動情報が示す状態にある場合の被験者の視覚を再現した視覚情報を生成する。視覚情報は、被験者の視覚を再現した画像データである。

更に詳しくは、視覚情報生成機能１５２は、視覚デコーダにより第２神経活動情報から視覚情報を生成する。言い換えると、視覚情報生成機能１５２は、視覚に関連する神経の活動を示す第２神経活動情報と画像データとの対応関係を機械学習により学習した視覚デコーダに基づいて、画像データを生成する。ここで、図２は、視覚デコーダの概要を説明する説明図である。図２に示すように、視覚デコーダは、第２神経活動情報が入力された場合に、第２神経活動情報に対応する視覚情報を生成する。

例えば、視覚デコーダは、機械学習により生成された学習済みモデルにより実現される。更に詳しくは、視覚デコーダは、学習済みモデルの入力側の教師データとして第２神経活動情報を入力し、出力側の教師データとして第２神経活動情報に対応した視覚情報を入力する教師有り学習により生成される。

例えば、視覚デコーダは、入力側の教師データとして視野野の第２神経活動情報を入力し、出力側の教師データとしての第２神経活動情報を取得時に見ていた画像データを入力する教師有り学習により生成される。また、視覚デコーダを生成する教師データである第２神経活動情報を取得する対象となる人物は、何人であってもよいが、精神疾患を有していない健常者が好ましい。

第１感覚推定機能１５３は、第１神経活動情報に基づいて、被験者が感じている感覚を推定することにより第１感覚情報を生成する。言い換えると、第１感覚推定機能１５３は、第１神経活動情報に基づいて、被験者が感じている感覚を示す第１感覚情報を推定する。第１感覚推定機能１５３は、第１推定部の一例である。更に詳しくは、第１感覚推定機能１５３は、第１神経活動情報と第１感覚情報との対応関係を機械学習により学習した感覚デコーダに基づいて、第１感覚情報を推定する。第１感覚情報とは、被験者の五感及び当該五感の程度に関する情報である。

ここで、図３は、第１感覚推定機能１５３における感覚デコーダの概要を説明する説明図である。図３に示すように、感覚デコーダは、第１神経活動情報と、第１神経活動情報に対応した視覚情報とが入力された場合に、第１神経活動情報及び視覚情報に対応する第１感覚情報を生成する。言い換えると、感覚デコーダは、第１神経活動情報と、第１神経活動情報に対応する画像データと基づいて、第１感覚情報を推定する。例えば、感覚デコーダは、機械学習により生成された学習済みモデルにより実現される。更に詳しくは、感覚デコーダは、学習済みモデルの入力側の教師データとして第１神経活動情報及び視覚情報を入力し、出力側の教師データとして第１神経活動情報及び視覚情報に対応した第１感覚情報を入力する教師有り学習により生成される。

なお、図３に示す感覚デコーダは、視覚情報が入力されている。しかしながら、感覚デコーダは、視覚情報が入力されなくてもよい。すなわち、感覚デコーダは、第１神経活動情報が入力された場合に、第１神経活動情報に対応する第１感覚情報を生成してもよい。この場合、感覚デコーダは、学習済みモデルの入力側の教師データとして第１神経活動情報を入力し、出力側の教師データとして第１神経活動情報に対応した第１感覚情報を入力する教師有り学習により生成される。

第３神経活動情報取得機能１５４は、提示情報が提示された時の評価者の神経の活動を示す第３神経活動情報を取得する。更に詳しくは、第３神経活動情報取得機能１５４は、機能的磁気共鳴画像法や脳波計等の計測装置から第３神経活動情報を取得する。また、第３神経活動情報取得機能１５４は、評価者における指定部分の第３神経活動情報を取得してもよい。例えば、第３神経活動情報取得機能１５４は、評価者の感覚に関連する前頭葉の第３神経活動情報を取得してもよい。

第２感覚推定機能１５５は、第３神経活動情報に基づいて、評価者が感じている感覚を推定することにより第２感覚情報を生成する。更に詳しくは、第２感覚推定機能１５５は、感覚デコーダにより第３神経活動情報から第２感覚情報を生成する。第２感覚情報とは、評価者の五感及び当該五感の程度に関する情報である。

図４は、第２感覚推定機能１５５における感覚デコーダの概要を説明する説明図である。図４に示すように、評価者は、被験者の視覚情報を見る。言い換えると、評価者は、提示情報を見る。感覚デコーダは、視覚情報又は提示情報を見た時の第３神経活動情報と、第３神経活動情報に対応した視覚情報又は提示情報とが入力された場合に、第３神経活動情報及び視覚情報に対応する第２感覚情報を生成する。言い換えると、第２感覚推定機能１５５は、評価者の神経の活動を示す第３神経活動情報と、視覚デコーダが生成した前記画像データとに基づいて評価者が感じている感覚を示す第２感覚情報を推定する。また、第２感覚推定機能１５５は、第１感覚推定機能１５３と同じ感覚デコーダを使用してもよいし、専用に生成された感覚デコーダを使用してもよい。

なお、図４に示す感覚デコーダは、視覚情報が入力されている。しかしながら、第１感覚推定機能１５３と同様に、感覚デコーダは、視覚情報が入力されなくてもよい。すなわち、第２感覚推定機能１５５は、第１感覚推定機能１５３が第１神経活動情報及び視覚情報を感覚デコーダに入力している場合には、第１神経活動情報及び視覚情報を感覚デコーダに入力する。そして、第２感覚推定機能１５５は、第１感覚推定機能１５３が第１神経活動情報を感覚デコーダに入力している場合には、第１神経活動情報を感覚デコーダに入力する。

探索機能１５６は、評価者に被験者の感覚を体感させるための提示情報を探索する。更に詳しくは、探索機能１５６は、被験者の感覚を示す第１感覚情報と、評価者の感覚を示す第２感覚情報との類似度が閾値未満である場合に、感覚の類似度が閾値以上となる提示情報を探索する。そして、探索機能１５６は、第１感覚情報に基づいて、評価者に被験者の感覚を体感させるための提示情報を決定する。探索機能１５６は、決定部の一例である。

例えば、探索機能１５６は、第１感覚情報と、第２感覚情報との類似度を算出する。探索機能１５６は、第１感覚情報の感覚の種類と、第２感覚情報の感覚の種類との類似度を算出する。さらに、探索機能１５６は、第１感覚情報が示す感覚の程度と、第２感覚情報が示す感覚の程度との類似度を算出する。これにより、探索機能１５６は、感覚の類似度を算出する。言い換えると、探索機能１５６は、被験者の第１感覚情報と評価者の第２感覚情報とに基づいて、評価者への提示情報を決定する。ここで、第１感覚情報と、第２感覚情報とは、それぞれ第１神経活動情報と、第３神経活動情報とから生成される。そこで、探索機能１５６は、第１感覚情報と、第２感覚情報とに限らず、第１神経活動情報と、第３神経活動情報とにより類似度を算出してよい。さらに、探索機能１５６は、別の方法により感覚の類似度を算出してよい。言い換えると、探索機能１５６は、被験者の第１神経活動情報と、評価者の第３神経活動情報との類似度が閾値以上になるような提示情報を決定する。

次に、提示情報の探索方法について説明する。視覚情報が示す画像データを見た場合に、評価者が、どのような感覚になるかは気質や文化的背景により異なっている。例えば、蜘蛛の画像データを見た時に、評価者がどのような感覚になるのかは、評価者ごとに異なっている。そこで、探索機能１５６は、感覚の類似度が閾値以上となる提示情報を探索する処理を繰り返し実行する。

例えば、探索機能１５６は、視覚情報の対象を示す単語と、感情情報が示す感情の種類を示す単語とを入力した場合に、周辺単語を出力する自然言語処理モデルを使用する。周辺単語とは、入力した単語と意味合いが近い単語である。例えば、自然言語処理モデルは、機械学習により生成される。自然言語処理モデルは、「Ｗｏｒｄ２Ｖｅｃ」などの自然言語処理アルゴリズムである。自然言語処理モデルは、単語と単語の意味的な関係性を適切に表現する多次元のベクトル空間を学習する。単語同士の意味的な近さは，対応する単語ベクトルの距離として表現される。探索機能１５６は、自然言語処理モデルから周辺単語が出力された場合に、入出力された単語のベクトルを有するベクトル空間を構築する。

図５は、入出力された単語のベクトルを有するベクトル空間の一例を示す図である。図５に示すベクトル空間は、自然言語処理モデルから２つの周辺単語が出力された場合を示している。探索機能１５６は、ベクトル空間を構築した場合に、評価者の感覚をベクトル空間に設定する。例えば、探索機能１５６は、第２感覚情報が示す感情の種類、及び感情の程度の意味に該当するベクトル空間の位置に設定する。

探索機能１５６は、ベクトル空間において、被験者と、評価者との感情の類似度が閾値以上になると推定される目標位置を設定する。また、探索機能１５６は、ベクトル空間を探索することで、目標位置の単語を特定する。例えば、探索機能１５６は、ベクトル空間において、コスト関数が最小となる単語を探索する。そして、探索機能１５６は、探索した単語により特定される提示情報を出力する。すなわち、探索機能１５６は、単語を示す対象が含まれる画像データを出力する。

さらに，自然言語処理モデルは，単語ベクトルを用いて「王－男性＋女性＝女王」のように、単語同士の仮想的な加算や減算を実行することができる。そこで、探索機能１５６は、既に構築されたベクトル空間を構成する各単語に対して，評価者が後処理として自らの気質や文化的背景に即した文脈の中で被験者の感覚情報を共有することを目的として、単語同士の演算を実行してもよい。これにより、探索機能１５６は、ベクトル空間を再構築することができる。なお、探索機能１５６は、音や匂い等の視覚とは異なる感覚に関連する単語ベクトルが出力された場合、探索した特定の提示情報に対して、追加の情報としてそれら単語ベクトルに関連する感覚の情報を付与してもよい。

提示機能１５７は、探索機能１５６が提示情報を探索する度に、評価者に提示情報を提示する。更に詳しくは、提示機能１５７は、ディスプレイ１３に提示情報を表示させることで、評価者に提示情報を提示する。なお、提示機能１５７は、ディスプレイ１３に限らず、ＸＲ（Ｘ Ｒｅａｌｉｔｙ）等の仮想空間技術のデバイスにより評価者に提示情報を提示してもよい。更に詳しくは、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；複合現実）、ＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ；代替現実）、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；仮想現実）等のデバイスより評価者に提示情報を提示してもよい。

報知機能１５８は、被験者の感覚と、評価者の感覚との類似度が閾値以上になった場合に、報知する。これにより、評価者は、被験者の感覚と略同じ感覚であることを知ることができる。

次に、医用情報処理装置１が実行する各種処理について説明する。

図６は、第１の実施形態に係る医用情報処理装置１が実行する検査処理の一例を示すフローチャートである。

医用情報処理装置１は、図７に示す被験者の感覚を推定する被験者感覚推定処理を実行する（ステップＳ１）。

医用情報処理装置１は、図８に示す評価者の感覚を推定する評価者感覚推定処理を実行する（ステップＳ２）。

医用情報処理装置１は、図９に示す同調処理を実行する（ステップＳ３）。

以上により、医用情報処理装置１は、検査処理を終了する。

図７は、第１の実施形態に係る医用情報処理装置１が実行する被験者感覚推定処理の一例を示すフローチャートである。

神経活動情報取得機能１５１は、被験者の脳波等を計測する計測装置から第１神経活動情報及び第２神経活動情報を取得する（ステップＳ１１）。

視覚情報生成機能１５２は、視覚デコーダを使用して、第２神経活動情報から視覚情報を生成する（ステップＳ１２）。

第１感覚推定機能１５３は、感覚デコーダを使用して、被験者の感覚を推定することで第１感覚情報を生成する（ステップＳ１３）。

以上により、医用情報処理装置１は、被験者感覚推定処理を終了する。

図８は、第１の実施形態に係る医用情報処理装置１が実行する評価者感覚推定処理の一例を示すフローチャートである。

第３神経活動情報取得機能１５４は、提示された視覚情報を見た評価者の脳波等を計測する計測装置から第３神経活動情報を取得する（ステップＳ２１）。

第２感覚推定機能１５５は、感覚デコーダを使用して、第３神経活動情報から第２感覚情報を生成する（ステップＳ２２）。

以上により、医用情報処理装置１は、評価者感覚推定処理を終了する。

図９は、第１の実施形態に係る医用情報処理装置１が実行する同調処理の一例を示すフローチャートである。

探索機能１５６は、被験者の感覚と、評価者の感覚との類似度を算出する（ステップＳ３１）。すなわち、探索機能１５６は、第１感覚情報と、第２感覚情報との類似度を算出する。

探索機能１５６は、被験者の感覚と、評価者の感覚との類似度が閾値以上であるか否かを判定する（ステップＳ３２）。

感覚の類似度が閾値未満である場合に（ステップＳ３２；Ｎｏ）、医用情報処理装置１は、図１０に示す探索処理を実行する（ステップＳ３３）。

提示機能１５７は、探索処理により取得した提示情報を提示する（ステップＳ３４）。そして、医用情報処理装置１は、ステップＳ３１に移行する。

感覚の類似度が閾値以上である場合に（ステップＳ３２；Ｙｅｓ）、報知機能１５８は、被験者の感覚と評価者の感覚との類似を報知する（ステップＳ３５）。

以上により、医用情報処理装置１は、同調処理を終了する。

図１０は、第１の実施形態に係る医用情報処理装置１が実行する探索処理の一例を示すフローチャートである。

探索機能１５６は、視覚情報に関連する単語を特定する（ステップＳ４１）。なお、探索機能１５６は、被験者の感覚と、視覚情報を提示された評価者の感覚との類似度が閾値以上にならなかった場合には、提示情報に関連する単語を特定する。

探索機能１５６は、視覚情報又は提示情報が示す対象を示す単語と、評価者の第２感情情報が示す感情の種類を示す単語との周辺単語を推定する（ステップＳ４２）。すなわち、探索機能１５６は、画像データが示す対象を示す単語と、評価者の第２感情情報が示す感情の種類を示す単語とを自然言語処理モデルに入力する。そして、探索機能１５６は、自然言語処理モデルから出力された単語を周辺単語とする。

探索機能１５６は、自然言語処理モデルに入力した単語のベクトルと、自然言語処理モデルから出力された周辺単語のベクトルとを有するベクトル空間を構築する（ステップＳ４３）。

探索機能１５６は、評価者の感覚を初期位置としてベクトル空間に設定する（ステップＳ４４）。

探索機能１５６は、被験者と、評価者との感情の類似度が閾値以上になると推定される目標位置をベクトル空間に設定する（ステップＳ４５）。

探索機能１５６は、ベクトル空間を探索することで、目標位置に対応する単語を特定する（ステップＳ４６）。

探索機能１５６は、特定した単語に対応した提示情報を取得する（ステップＳ４７）。すなわち、探索機能１５６は、単語を示す対象が含まれる画像データを取得する。

以上により、医用情報処理装置１は、探索処理を終了する。

以上のように、第１の実施形態に係る医用情報処理装置１は、被験者の神経の活動を示す第１神経活動情報を取得する。また、医用情報処理装置１は、第１神経活動情報に基づいて、被験者が感じている感覚を示す第１感覚情報を推定する。そして、医用情報処理装置１は、第１感覚情報に基づいて、評価者に被験者の感覚を体感させるための提示情報を決定する。これにより、評価者は、被験者の感覚を体感しつつ、診断等を行うことができる。すなわち、医用情報処理装置１は、被験者の感覚を体感することが可能な情報を提示することができる。

（変形例１）
提示情報は、画像データであると説明した。しかしながら、提示情報は、画像データに限らず、聴覚情報であってもよい。

ここで、視覚情報生成機能１５２は、評価者に提示するために、視覚情報を生成する。また、探索機能１５６は、視覚情報を提示しても、被験者と評価者との感覚の類似度が閾値未満の場合に、画像データを探索する。提示機能１５７は、視覚情報生成機能１５２が視覚情報を生成した場合や、探索機能１５６が画像データを生成した場合に、視覚情報や画像データが示す対象に対応した聴覚情報を取得する。

例えば、提示機能１５７は、視覚情報や画像データが示す対象が火事の場合、火事の現場の音声を有する聴覚情報を取得する。そして、提示機能１５７は、取得した聴覚情報を評価者に提示する。すなわち、提示機能１５７は、スピーカーなどから聴覚情報を出力させる。

また、提示機能１５７は、如何なる方法により聴覚情報を取得してもよい。例えば、提示機能１５７は、聴覚情報のデータベースから、視覚情報や画像データが示す対象により特定される聴覚情報を取得する。または、提示機能１５７は、視覚情報や画像データが示す対象を示す情報を入力した場合に聴覚情報を出力する学習済みモデルにより、聴覚情報を取得してもよい。

なお、医用情報処理装置１は、視覚情報や画像データを介さずに、直接的に聴覚情報を取得してもよい。例えば、医用情報処理装置１は、聴覚野から取得した第１神経活動情報に基づいて、聴覚情報を生成してもよい。

（変形例２）
提示情報は、画像データであると説明した。しかしながら、提示情報は、画像データに限らず、嗅覚情報であってもよい。

ここで、視覚情報生成機能１５２は、評価者に提示するために、視覚情報を生成する。また、探索機能１５６は、視覚情報を提示しても、被験者と評価者との感覚の類似度が閾値未満の場合に、画像データを探索する。

提示機能１５７は、視覚情報生成機能１５２が視覚情報を生成した場合や、探索機能１５６が画像データを生成した場合に、視覚情報や画像データが示す対象に対応した嗅覚情報を取得する。提示機能１５７は、視覚情報や画像データが示す対象が火事の場合、火事の現場のにおいの成分が示された嗅覚情報を取得する。そして、提示機能１５７は、取得した嗅覚情報を評価者に提示する。すなわち、提示機能１５７は、指定された成分のにおいを発生させる装置から、嗅覚情報が示す成分のにおいを出力させる。

また、提示機能１５７は、如何なる方法により嗅覚情報を取得してもよい。例えば、提示機能１５７は、嗅覚情報のデータベースから、視覚情報や画像データが示す対象により特定される嗅覚情報を取得する。または、提示機能１５７は、視覚情報や画像データが示す対象を示す情報を入力した場合に嗅覚情報を出力する学習済みモデルにより、嗅覚情報を取得してもよい。

なお、医用情報処理装置１は、嗅覚情報や画像データを介さずに、直接的に嗅覚情報を取得してもよい。例えば、医用情報処理装置１は、嗅覚野から取得した第１神経活動情報に基づいて、嗅覚情報を生成してもよい。

（第２の実施形態）
第２の実施形態に係る医用情報処理装置１ａは、提示情報として、触覚情報を提示する。図１１は、第１の実施形態に係る医用情報処理装置１ａの構成の一例を示すブロック図である。

神経活動情報取得機能１５１ａは、筋肉電気刺激（Ｅｌｅｃｔｒｉｃａｌ Ｍｕｓｃｌｅ Ｓｔｉｍｕｌａｔｉｏｎ；ＥＭＳ）システムなどの触覚デバイスにより触覚刺激が与えられた被験者の第２神経活動情報を取得する。第２神経活動情報には、脊髄の神経電位や筋肉電位、又は大脳皮質における脳波や脳電位などの脳活動情報が含まれている。言い換えると、第２神経活動情報は、被検体の筋肉が収縮するときに生じる活動電位を示す筋電位情報である。

触覚情報生成機能１５９は、第２神経活動情報から触覚情報を生成する。触覚情報は、触覚デバイスを介して評価者に提示される提示情報である。例えば、触覚デバイスは、触覚情報に従って、接触刺激を評価者に与える。触覚情報生成機能１５９は、第２神経活動情報に基づいて、接触刺激の強度や持続時間等を含む触覚情報を生成する。例えば、触覚情報生成機能１５９は、基準線と振幅最大値との差分を接触刺激の強度とする。また、正規化が必要な場合は皮膚刺激を与えていない、すなわち触覚刺激のない時間スケールでの振幅値の平均を用いて補正する。また、触覚情報生成機能１５９は、測定時間中における基準線からある閾値以上の振幅値が続く時間の総和を持続時間とする。また、触覚情報生成機能１５９は、基準線上のノイズを考慮する。触覚情報生成機能１５９は、複数回断続してパルス状のノイズが続く場合には，その回数も一つの指標として算出する。さらに，触覚情報生成機能１５９は、接触刺激の強度と持続時間の積和を触覚全体の強度を示す指標として算出してもよい。

第１感覚推定機能１５３ａは、被検体の前頭葉などから取得した第１神経活動情報に基づいて、被験者が感じている感覚を推定することにより第１感覚情報を生成する。例えば、第１感覚推定機能１５３ａは、オノマトペにより被験者が感じている感覚を表現した第１感覚情報を生成する。言い換えると、第１感覚情報は、触覚を示す情報である。

ここで、図１２は、オノマトペの２次元分布図の一例を示す図である。オノマトペは、「つるつる」「さらさら」など擬音語や擬態語の総称である。そして、オノマトペに抱く感覚イメージは個人によって異なる。図１２は、触覚の対応関係を示した２次元分布図に、各個人が抱く「つるつる」「さらさら」等の各オノマトペが設定される。すなわち、オノマトペの２次元分布図は、被験者及び評価者ごとに作成される。よって、第１感覚推定機能１５３ａは、第１神経活動情報により特定される感覚を、オノマトペの２次元分布図に投影することで、被験者に適したオノマトペを特定することができる。

例えば、第１感覚推定機能１５３ａは、感覚デコーダを使用して、第１神経活動情報により特定される感覚を、オノマトペの２次元分布図に投影する。これにより、第１感覚推定機能１５３ａは、被験者に適したオノマトペを特定することができる。そして、第１感覚推定機能１５３ａは、特定したオノマトペを有する第１感覚情報を生成する。

第３神経活動情報取得機能１５４ａは、触覚デバイスにより触覚刺激が与えられた評価者の第３神経活動情報を取得する。触覚デバイスは、被験者の触覚情報に基づいて、動作する。すなわち、触覚デバイスは、被験者の触覚情報に基づいて、触覚刺激を出力する。よって、第３神経活動情報取得機能１５４ａは、被験者が感じた感覚が与えられた時の評価者の第３神経活動情報を取得することができる。

第２感覚推定機能１５５ａは、第３神経活動情報に基づいて、評価者が感じている感覚を推定することにより第２感覚情報を生成する。例えば、第２感覚推定機能１５５ａは、感覚デコーダを使用して、第３神経活動情報により特定される感覚を、オノマトペの２次元分布図に投影する。これにより、第２感覚推定機能１５５ａは、評価者に適したオノマトペを特定することができる。そして、第２感覚推定機能１５５ａは、特定したオノマトペを有する第２感覚情報を生成する。

探索機能１５６ａは、評価者に被験者の感覚を体感させるための提示情報を探索する。更に詳しくは、探索機能１５６ａは、被験者の感覚と、評価者の感覚との類似度が閾値未満である場合に、感覚の類似度が閾値以上となる提示情報を探索する。例えば、探索機能１５６ａは、第１感覚情報のオノマトペにより特定される２次元分布図上の感覚の投影位置と、第２感覚情報のオノマトペにより特定される２次元分布図上の感覚の投影位置との類似度を算出する。そして、探索機能１５６ａは、感覚の類似度が閾値未満である場合に、感覚の類似度が閾値以上になる提示情報を探索する。言い換えると、探索機能１５６ａは、触覚デバイスを介して評価者に提示される触覚情報を探索する。

提示機能１５７ａは、探索機能１５６ａが提示情報を探索する度に、触覚デバイスを介して評価者に触覚情報を提示する。

報知機能１５８は、被験者の感覚と、評価者の感覚との類似度が閾値以上になった場合に、報知する。これにより、評価者は、触覚において、被験者の感覚と略同じ感覚であることを知ることができる。

以上のように、第２の実施形態に係る医用情報処理装置１ａは、触覚刺激が与えられている被験者から１神経活動情報を取得する。医用情報処理装置１は、第１神経活動情報に基づいて、被験者が感じている触覚を示す第１感覚情報を推定する。そして、医用情報処理装置１は、第１感覚情報に基づいて、評価者に被験者の触覚を体感させるための提示情報を決定する。これにより、評価者は、被験者の触覚刺激を体感しつつ、診断等を行うことができる。すなわち、医用情報処理装置１は、被験者の感覚を体感することが可能な情報を提示することができる。

なお、提示機能１５７ａは、触覚情報に限らず、オノマトペを提示情報として提示してもよい。第２感覚推定機能１５５ａは、第１神経活動情報や第１感覚情報を使用して、評価者のオノマトペの２次元分布図上に、被験者の感覚を投影する。そして、第２感覚推定機能１５５ａは、評価者のオノマトペの２次元分布図上における被験者の感覚が投影された位置に最も近い評価者のオノマトペを特定する。これにより、第２感覚推定機能１５５ａは、被験者のオノマトペを、評価者のオノマトペに置換することができる。そして、提示機能１５７ａは、置換した評価者のオノマトペを提示情報として提示してもよい。この場合においても、評価者は、被験者の感覚を疑似的に体感することができる。

また、接触を定量化する方法としてオノマトペを例に説明した。しかしながら、接触を定量化する方法は、オノマトペに限らず、他の方法であってもよい。個人の表情から痛みの強さを判定するＦＲＳ（Ｆａｃｅ Ｒａｔｉｎｇ Ｓｃａｌｅ）により接触を定量化してもよいし、個人の問診に使用されるＰａｉｎ Ｄｅｔｅｃｔシートに基づいて接触を定量化してもよいし、他の方法により接触を定量化してもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１ａ 医用情報処理装置
１１ ＮＷ（ネットワーク）インタフェース
１２ 入力インタフェース
１３ ディスプレイ
１４ 記憶回路
１５ 処理回路
１５１、１５１ａ 神経活動情報取得機能
１５２ 視覚情報生成機能
１５３、１５３ａ 第１感覚推定機能
１５４、１５４ａ 第３神経活動情報取得機能
１５５、１５５ａ 第２感覚推定機能
１５６、１５６ａ 探索機能
１５７、１５７ａ 提示機能
１５８ 報知機能
１５９ 触覚情報生成機能

Claims (11)

1. 被験者の神経の活動を示す第１神経活動情報を取得する取得部と、
   前記第１神経活動情報に基づいて、前記被験者が感じている感覚を示す第１感覚情報を推定する第１推定部と、
   前記第１感覚情報に基づいて、評価者に前記被験者の感覚を体感させるための提示情報を決定する決定部と、
   を備える、医用情報処理装置。
2. 前記第１推定部は、前記第１神経活動情報と前記第１感覚情報との対応関係を機械学習により学習した感覚デコーダに基づいて、前記第１感覚情報を推定する、
   請求項１に記載の医用情報処理装置。
3. 前記感覚デコーダは、前記第１神経活動情報と、前記第１神経活動情報に対応する画像データとに基づいて、前記第１感覚情報を推定する、
   請求項２に記載の医用情報処理装置。
4. 視覚に関連する神経の活動を示す第２神経活動情報と前記画像データとの対応関係を機械学習により学習した視覚デコーダに基づいて、前記画像データを生成する生成部を更に備える、
   請求項３に記載の医用情報処理装置。
5. 前記第１感覚情報は、前記被験者の五感及び当該五感の程度に関する情報である、
   請求項１乃至４の何れか一項に記載の医用情報処理装置。
6. 前記第１神経活動情報は、脳活動情報である、
   請求項１乃至５の何れか一項に記載の医用情報処理装置。
7. 前記第１神経活動情報は、筋電位情報であり、前記第１感覚情報は、触覚を示す情報である、
   請求項１乃至５の何れか一項に記載の医用情報処理装置。
8. 前記評価者の神経の活動を示す第３神経活動情報と、前記視覚デコーダが生成した前記画像データとに基づいて前記評価者が感じている感覚を示す第２感覚情報を推定する第２推定部を更に備え、
   前記決定部は、前記被験者の第１感覚情報と前記評価者の第２感覚情報とに基づいて、前記評価者への提示情報を決定する、
   請求項４に記載の医用情報処理装置。
9. 前記決定部は、前記被験者の前記第１神経活動情報と、前記評価者の前記第３神経活動情報との類似度が閾値以上になるような前記提示情報を決定する、
   請求項８に記載の医用情報処理装置。
10. 被験者の神経の活動を示す第１神経活動情報を取得し、
    前記第１神経活動情報に基づいて、前記被験者が感じている感覚を示す第１感覚情報を推定し、
    前記第１感覚情報に基づいて、評価者に前記被験者の感覚を体感させるための提示情報を決定する、
    ことを含む、医用情報処理方法。
11. コンピュータに、
    被験者の神経の活動を示す第１神経活動情報を取得し、
    前記第１神経活動情報に基づいて、前記被験者が感じている感覚を示す第１感覚情報を推定し、
    前記第１感覚情報に基づいて、評価者に前記被験者の感覚を体感させるための提示情報を決定する、
    ことを実現させるプログラム。

Images