JP2021145969A - 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム - Google Patents

情報処理装置、情報処理方法、プログラムおよび生体信号計測システム Download PDF

Info

Publication number
JP2021145969A
JP2021145969A JP2020049878A JP2020049878A JP2021145969A JP 2021145969 A JP2021145969 A JP 2021145969A JP 2020049878 A JP2020049878 A JP 2020049878A JP 2020049878 A JP2020049878 A JP 2020049878A JP 2021145969 A JP2021145969 A JP 2021145969A
Authority
JP
Japan
Prior art keywords
interest
display control
control unit
region
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020049878A
Other languages
English (en)
Inventor
栄一 奥村
Eiichi Okumura
栄一 奥村
道成 篠原
Michinari Shinohara
道成 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020049878A priority Critical patent/JP2021145969A/ja
Publication of JP2021145969A publication Critical patent/JP2021145969A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間の相違に関する客観性かつ定量性の高い情報を提示することができる情報処理装置、情報処理方法、プログラムおよび生体信号計測システムを提供する。【解決手段】特定の発信源からの生体波形に基づく、時間、周波数および3次元空間の位置の5次元についての生体信号の強度のうち、3次元空間の位置の生体信号の第1強度分布を発信源の形状の画像に重畳し、かつ、形状の画像における解析対象となる複数の関心領域を形状の画像に重畳して表示する第1表示制御部と、複数の関心領域のうち、少なくとも2以上の関心領域それぞれに対応する生体信号の強度に基づく判別値を表示する第2表示制御部と、を備える。【選択図】図62

Description

本発明は、情報処理装置、情報処理方法、プログラムおよび生体信号計測システムに関する。
脳外科手術等を行うためには、切除対象となる脳の疾患部位であるターゲット部位と、切除せずに温存すべき温存部位とを特定することが必要となる。温存部位としては、視覚野、聴覚野、体性感覚野、運動野および言語野等がある。これらの温存部位を誤って切除してしまうと、人間の感覚および運動等が害されることになるので、脳外科手術等に際してのターゲット部位および温存部位の特定は非常に重要である。このような脳外科手術等のために、事前に脳の活動を調べるためには脳磁計、脳波計、fMRI(functional Magnetic Resonance Imaging)、またはfNIRS(functional Near−Infrared Spectroscopy)等を用いて脳内の物理現象を計測する。このうち、fMRIおよびfNIRSは、脳内を流れる血流を測定して生体信号を得るものであるが、血流という性質上、脳の活動を計測するのに精度的に制限がある。一方、脳磁計および脳波計は、脳内の電気的活動、および電気的活動により生じる磁場を測定して波形として生体信号を測定できる。
しかし、測定された生体信号を波形のままで表示させても、脳内の温存部位を特定することはできない。そこで、技術の進歩により、脳内の活動を波形ではなく、波形の情報から脳内の発火位置(生体信号の発生源(信号源)の位置)を特定し、MRI(Magnetic Resonance Imaging)等で計測された脳の形状を示す図に重畳して表示する技術が提案されてきている。これによって、脳のどの部位で生体信号が発生しているのかが一目瞭然となり、診察を容易としている。ここで、発火(fire)とは、脳内のニューロンが他のニューロンからの刺激を受けて活動することをいう。
また、測定された生体信号を解析する方法として、発生源における信号について時間周波数解析を行う方法があり、解析の対象となる着目領域(関心領域:Region of Interest(ROI))の間で発生源の優位性を比較する必要があることが知られている。例えば、左脳優位から右脳優位かを明らかにすることが必要な場面がある。ここで、関心領域(ROI)は、脳画像を解析する際に、例えばMRIではボクセルと呼ばれ空間での細かな格子に分けて画像化されるが、ボクセルをある程度の塊として設定される場合がある。この関心領域は、空間的に2次元になる場合もあるし、3次元になる場合もある。
このような、関心領域に関する技術として、被検者の脳の画像を解析する方法であって、被検者の脳の少なくとも3次元の画像を収集することと、脳に特有な脳固有基準座標系において画像を複数の関心領域に分割することと、各関心領域について、画像上で測定された画像データに基づいて少なくとも1つの判別値を自動的に決定することであって、画像データが脳の解剖学的または機能的特徴を表し、判別値が他の関心領域の判別値に対して相対的であることと、を含む方法が開示されている(例えば特許文献1)。
しかしながら、従来の技術では、解析の結果得られる時間・周波数・脳部位の5次元のデータに対して、脳の領域間での発生源の優位性を比較する際は目視で行っており、客観先および定量性に乏しいという問題があった。また、特許文献1に記載された技術では、少なくとも3次元の画像の関心領域を選択し、少なくとも1つの判別値を自動的に決定するものではあるものの、時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間での相違を示す客観的かつ定量的な情報を提供することができないという問題もあった。
本発明は、上記に鑑みてなされたものであって、時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間の相違に関する客観性かつ定量性の高い情報を提示することができる情報処理装置、情報処理方法、プログラムおよび生体信号計測システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、特定の発信源からの生体波形に基づく、時間、周波数および3次元空間の位置の5次元についての生体信号の強度のうち、3次元空間の位置の前記生体信号の第1強度分布を前記発信源の形状の画像に重畳し、かつ、前記形状の画像における解析対象となる複数の関心領域を該形状の画像に重畳して表示する第1表示制御部と、前記複数の関心領域のうち、少なくとも2以上の関心領域それぞれに対応する前記生体信号の強度に基づく判別値を表示する第2表示制御部と、を備えたことを特徴とする。
本発明によれば、時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間の相違に関する客観性かつ定量性の高い情報を提示することができる。
図1は、実施形態に係る生体信号計測システムの概略図である。 図2は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図3は、実施形態に係る情報処理装置の機能ブロック構成の一例を示す図である。 図4は、実施形態に係る情報処理装置に表示される開始画面の一例を示す図である。 図5は、測定収集画面の一例を示す図である。 図6は、測定収集画面の左側の領域の拡大図である。 図7は、測定収集画面の右側の領域の拡大図である。 図8は、アノテーション情報が入力された直後の状態を示す図である。 図9は、更新されたアノテーションリストの図である。 図10は、実施形態に係る情報処理装置における測定収集動作の一例を示すフローチャートである。 図11は、時間周波数解析画面の一例を示す図である。 図12は、レンジをデシベルで表記したヒートマップの一例を示す図である。 図13は、ヒートマップにおいて特定の位置が指定された状態の一例を示す図である。 図14は、ヒートマップにおいてピークリストの3つのピークの位置を表示した状態の一例を示す図である。 図15は、ヒートマップにおいてピークの情報に応じて表示形態を変えた状態の一例を示す図である。 図16は、ヒートマップにおいて特定の範囲が指定された状態の一例を示す図である。 図17は、ヒートマップにおいて特定の範囲が複数指定された状態の一例を示す図である。 図18は、時間周波数解析画面において立体図および頭部三面図が追加された状態の一例を示す図である。 図19は、時間周波数解析画面における立体図の一例を示す図である。 図20は、ヒートマップで指定された位置に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。 図21は、ヒートマップで指定された範囲に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。 図22は、立体図に表示された脳がヒートマップ上のどの時刻・周波数に対応するのかを線分で示した状態の一例を示す図である。 図23は、立体図に表示された脳がヒートマップ上のどの時刻・周波数の範囲に対応するのかを矩形領域で示した状態の一例を示す図である。 図24は、立体図に対してスクロール等をすることによって立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。 図25は、立体図上のいずれかの脳の表示をクリックすることによって、立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。 図26は、立体図に表示されたいずれかの脳の視点を変更した場合、同じ行のすべての脳の視点を変更する状態の一例を示す図である。 図27は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の一例を示す図である。 図28は、図27における視点の変更動作を具体的に説明する図である。 図29は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の別の例を示す図である。 図30は、図29における視点の変更動作を具体的に説明する図である。 図31は、立体図にコメントを付加した状態の一例を示す図である。 図32は、時間周波数解析画面における頭部三面図の一例を示す図である。 図33は、頭部三面図の立体画像としてカットモデルを表示した状態の一例を示す図である。 図34は、頭部三面図においてピークリストで選択されたピークの位置を示した状態の一例を示す図である。 図35は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を示した状態の一例を示す図である。 図36は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を色を変えて示した状態の一例を示す図である。 図37は、頭部三面図の立体画像にダイポール推定の結果を重畳表示した状態の一例を示す図である。 図38は、頭部三面図の立体画像に複数の測定対象の結果(ヒートマップ)を重畳表示した状態の一例を示す図である。 図39は、頭部三面図の立体画像に対して視点が変更される前の状態の一例を示す図である。 図40は、頭部三面図の立体画像に対して視点が変更された場合に表示されるダイアログボックスを示す図である。 図41は、立体画像の視点変更により立体図の1行目に同じ表示を反映するための設定例を示す図である。 図42は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1行目に同じ表示を反映した状態を示す図である。 図43は、立体画像の視点変更により立体図の1、2行目に同じ変換を反映するための設定例を示す図である。 図44は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に同じ変換を反映した状態を示す図である。 図45は、立体画像の視点変更により立体図の1、2行目に、対応した変換を反映するための設定例を示す図である。 図46は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に、対応した変換を反映した状態を示す図である。 図47は、立体画像の視点変更により立体図に同じ表示の新たな行を追加するための設定例を示す図である。 図48は、頭部三面図の立体画像に対して視点が変更された場合、立体図に同じ表示の新たな行を追加した状態を示す図である。 図49は、ピークリストの設定例を示す図である。 図50は、空間的なピークを説明する図である。 図51は、時間・周波数的なピークを説明する図である。 図52は、プルダウンされたピークリストから特定のピークを選択する状態を示す図である。 図53は、プルダウンされたピークリストから選択されたピークについてヒートマップ、立体図および頭部三面図に反映させた状態を示す図である。 図54は、再生制御パネルの操作によりヒートマップおよび立体図が再生表示される状態を示す図である。 図55は、再生制御パネルの操作によりヒートマップおよび立体図がコマ戻しされる状態を示す図である。 図56は、再生制御パネルの操作によりヒートマップおよび立体図がコマ送りされる状態を示す図である。 図57は、ピークに対してどの視点からの図を初期表示させるかを説明する図である。 図58は、2つのピークに対してどの視点からの図を初期表示させるかを説明する図である。 図59は、図58に説明する視点からの図を立体図に初期表示させた状態を示す図である。 図60は、時系列で、腰椎の信号が上に伝わっていく状態の一例を示す図である。 図61は、脳の左右での機能的な優位半球の同定について説明する図である。 図62は、立体画像が示す脳の画像に重畳された関心領域、およびその判別値を表示する動作について説明する図である。 図63は、関心領域を模式的に示した図である。 図64は、関心領域のグループ化について説明する図である。 図65は、対応のある関心領域について説明する図である。 図66は、アトラスについて説明する図である。 図67は、アトラスを選択する動作を説明する図である。 図68は、標準脳座標から個人脳座標に変換する動作を説明する図である。 図69は、脳の画像に重畳された関心領域の中から選択する動作を説明する図である。 図70は、選択された関心領域の生体信号の強度分布をヒートマップに反映する動作を説明する図である。 図71は、複数の関心領域が選択された場合の時間周波数解析画面の表示の一例を示す図である。 図72は、ヒートマップの頭部三面図の表示位置を左右逆にした例を示す図である。 図73は、変形例1に係る情報処理装置において、統計的な処理により関心領域を決定する動作を説明する図である。 図74は、変形例2に係る情報処理装置において、関心領域に含まれる生体信号の強度のうち閾値を超えるものに基づいて判別値を求める動作を説明する図である。 図75は、変形例3に係る情報処理装置において、関心領域の位置によって立体画像に表示される脳の視点を自動的に変更する動作を説明する図である。 図76は、変形例4に係る情報処理装置において、動作モードを変更する動作を説明する図である。 図77は、変形例5に係る情報処理装置において、プルダウンから関心領域を選択する動作を説明する図である。
以下に、図面を参照しながら、本発明に係る情報処理装置、情報処理方法、プログラムおよび生体信号計測システムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(生体信号計測システムの概略)
図1は、実施形態に係る生体信号計測システムの概略図である。図1を参照しながら、本実施形態に係る生体信号計測システム1の概略について説明する。
生体信号計測システム1は、被検者の複数種類の生体信号(例えば、脳磁(MEG:Magneto−encephalography)信号、および脳波(EEG:Electro−encephalography)信号)を計測し、表示するシステムである。なお、測定対象となる生体信号は、脳磁信号および脳波信号に限られるものではなく、例えば、心臓の活動に応じて発生する電気信号(心電図として表現可能な電気信号)であってもよい。図1に示すように、生体信号計測システム1は、被検者の1以上の生体信号を測定する測定装置3と、測定装置3で測定された1種類以上の生体信号を記録するサーバ40と、サーバ40に記録された1種類以上の生体信号を解析する情報処理装置50と、を含む。なお、図1では、サーバ40と情報処理装置50とが別々に記載されているが、例えば、サーバ40が有する機能の少なくとも一部が情報処理装置50に組み込まれる形態であってもよい。
図1の例では、被検者(被測定者)は、頭に脳波測定用の電極(またはセンサ)を付けた状態で測定テーブル4に仰向けで横たわり、測定装置3のデュワ31の窪み32に頭部を入れる。デュワ31は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ31の窪み32の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置3は、電極からの脳波信号と、磁気センサからの脳磁信号とを収集し、収集した脳波信号および脳磁信号を含むデータ(以下、「測定データ」と称する場合がある)をサーバ40へ出力する。サーバ40へ出力された測定データは、情報処理装置50に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ31および測定テーブル4は、磁気シールドルーム内に配置されているが、図1では便宜上、磁気シールドルームの図示を省略している。
情報処理装置50は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する装置である。脳波信号とは、神経細胞の電気的な活動(シナプス伝達の際のニューロンの樹状突起で起きるイオン電荷の流れ)を電極間の電圧値として表される信号である。脳磁信号とは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計(SQUID:Superconducting Quantum Interference Device)センサで検知される。これらの脳波信号および脳磁信号は、「生体信号」の一例である。
(情報処理装置のハードウェア構成)
図2は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施形態に係る情報処理装置50のハードウェア構成について説明する。
図2に示すように、情報処理装置50は、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、補助記憶装置104と、ネットワークI/F105と、入力装置106と、表示装置107と、を有し、これらがバス108で相互に接続されている。
CPU101は、情報処理装置50の全体の動作を制御し、各種の情報処理を行う演算装置である。CPU101は、ROM103または補助記憶装置104に記憶された情報表示プログラムを実行して、測定収集画面および解析画面(時間周波数解析画面等)の表示動作を制御する。
RAM102は、CPU101のワークエリアとして用いられ、主要な制御パラメータおよび情報を記憶する揮発性の記憶装置である。ROM103は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、上述の情報表示プログラムがROM103に記憶されているものとしてもよい。
補助記憶装置104は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。補助記憶装置104は、例えば、情報処理装置50の動作を制御する制御プログラム、ならびに、情報処理装置50の動作に必要な各種のデータおよびファイル等を記憶する。
ネットワークI/F105は、サーバ40等のネットワーク上の機器と通信を行うための通信インターフェースである。ネットワークI/F105は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に準拠したNIC(Network Interface Card)等によって実現される。
入力装置106は、タッチパネルの入力機能、キーボード、マウスおよび操作ボタン等のユーザインターフェース等である。表示装置107は、各種の情報を表示するディスプレイ装置である。表示装置107は、例えば、タッチパネルの表示機能、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro−Luminescence)等によって実現される。表示装置107は、測定収集画面および解析画面を表示し、入力装置106を介した入出力操作に応じて画面が更新される。
なお、図2に示す情報処理装置50のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図2に示す情報処理装置50は、例えば、PC(Personal Computer)を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークI/F105は、無線通信機能を有する通信インターフェースであればよい。
(情報処理装置の機能ブロック構成)
図3は、実施形態に係る情報処理装置の機能ブロック構成の一例を示す図である。図3を参照しながら、本実施形態に係る情報処理装置50の機能ブロック構成について説明する。
図3に示すように、情報処理装置50は、収集表示制御部201と、解析表示制御部202と、ピークリスト制御部203と、通信部204と、センサ情報取得部205と、解析部206と、記憶部207と、入力部208と、を有する。
収集表示制御部201は、センサ情報の収集動作時の画面表示を、図5〜図10を参照して説明する手法で制御する機能部である。
解析表示制御部202は、センサ情報取得部205により取得されたセンサ情報(脳波信号または脳磁信号)から解析部206により算出された生体信号の信号強度等の画面表示を、図11〜図59を参照して説明する手法で制御する機能部である。解析表示制御部202は、図3に示すように、ヒートマップ表示制御部211(第3表示制御部)と、立体表示制御部212と、断面表示制御部213(第1表示制御部、第2表示制御部、算出部)と、再生表示制御部214と、を有する。
ヒートマップ表示制御部211は、後述する図11等に示す時間周波数解析画面601のヒートマップ611の画面表示を制御する機能部である。立体表示制御部212は、時間周波数解析画面601の立体図612の画面表示を制御する機能部である。断面表示制御部213は、時間周波数解析画面601の頭部三面図613の画面表示を制御する機能部である。再生表示制御部214は、時間周波数解析画面601の再生制御パネル615に対する操作入力に従って、再生表示を制御する機能部である。
ピークリスト制御部203は、設定された条件を満たす信号強度のピークを抽出して、後述する図11等に示す時間周波数解析画面601のピークリスト614に登録する機能部である。
通信部204は、測定装置3またはサーバ40等とデータ通信を行う機能部である。通信部204は、図2に示すネットワークI/F105によって実現される。
センサ情報取得部205は、測定装置3またはサーバ40から、通信部204を介して、センサ情報(脳波信号または脳磁信号)を取得する機能部である。解析部206は、センサ情報取得部205により取得されたセンサ情報(測定された信号)を解析し、脳内の各部における信号強度を示す信号(以下、当該信号についても「生体信号」と称する場合がある)を算出する機能部である。
記憶部207は、解析部206により算出された信号強度を示す生体信号のデータ等を記憶する機能部である。記憶部207は、図2に示すRAM102または補助記憶装置104によって実現される。
入力部208は、センサ情報に付加されるアノテーション情報の入力操作、および、時間周波数解析画面601に対する各種入力操作を受け付ける機能部である。入力部208は、図2に示す入力装置106によって実現される。
上述の収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205および解析部206は、CPU101がROM103等に記憶されたプログラムをRAM102に展開して実行することにより実現される。なお、収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205および解析部206の一部または全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)またはFPGA(Field−Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(開始画面での動作)
図4は、実施形態に係る情報処理装置に表示される開始画面の一例を示す図である。図4を参照しながら、開始画面501での動作について説明する。
開始画面501には、「測定収集」および「解析」の選択ボタンが表示される。脳波測定および脳磁測定の場合、データの測定収集とデータの解析とでは、別々の主体によって行われる場合が多い。例えば、測定技師(測定者)によって「測定収集」のボタンが選択されると、測定装置3で測定されたデータは順次、サーバ40に保存され、情報処理装置50に読み出されて表示される。測定収集の終了後、医師によって「解析」のボタンが選択されると、収集された測定データが読み出されて解析される。
(測定収集時の動作)
図5は、測定収集画面の一例を示す図である。測定収集画面502は、図5に示すように、測定された生体信号(ここでは、脳磁信号および脳波信号)の信号波形を表示する領域511aと、信号波形以外のモニタ情報を表示する領域511bと、を有する。信号波形を表示する領域511aは、測定者からみて画面の左側に配置され、信号波形以外のモニタ情報を表示する領域511bは、測定者からみて画面の右側に配置されている。これによって、リアルタイムで検出され表示される波形の動き(画面の左側から右側に向かって表示される)に合わせた測定者の視線の動きと、画面左側の領域511aから右側の領域511bへマウスを移動させるときの動きに無駄が生じず、作業効率が向上する。
表示画面の領域511bでは、測定中に被測定者の様子を確認するためのモニタウィンドウ512が表示される。測定中の被測定者のライブ映像を表示することで、後述するように、信号波形のチェックおよび判断の信頼性を高めることができる。図5では、1台のモニタディスプレイ(表示装置107)の表示画面に、測定収集画面502の全体が表示される場合を示しているが、左側の領域511aおよび右側の領域511bを、2台またはそれ以上のモニタディスプレイに分けて別々に表示してもよい。
図6は、測定収集画面の左側の領域の拡大図である。領域511aは、信号検出の時間情報を画面の水平方向(第1方向)に表示する第1表示領域530と、信号検出に基づく複数の信号波形を画面の垂直方向(第2方向)に並列に表示する第2表示領域521〜523と、を有する。
第1表示領域530で表示される時間情報は、図6の例では、時間軸531に沿って付された時間表示を含むタイムラインであるが、時間(数字)を表示せずに、帯状の軸だけでもよく、軸を設けずに時間(数字)の表示だけであってもよい。また、画面上側の第1表示領域530の他に、第2表示領域523の下側に時間軸531を表示して、タイムラインを表示してもよい。
領域511aでは、同種の複数のセンサから取得される複数の信号波形、または複数種類のセンサ群から取得される複数種類の信号の波形が、同じ時間軸531で同期して表示される。図6に示す例では、第2表示領域521には被測定者の頭部右側から得られる複数の脳磁信号の波形が、第2表示領域522には被測定者の頭部左側から得られる複数の脳磁信号の波形が、それぞれ並列に表示されている。第2表示領域523には、複数の脳波信号の波形が並列に表示されている。これらの複数の脳波信号の波形は、各電極間で測定された電圧信号である。これらの複数の信号波形それぞれは、その信号が取得されたセンサの識別番号またはチャネル番号と対応付けられて表示されている。
測定が開始され各センサからの測定情報が収集されると、時間の経過と共に領域511aの各第2表示領域521〜523の左端から右方向に向けて信号波形が表示される。ライン532は、計測の時刻(現在)を示しており、画面の左から右へ向けて移動する。領域511aの右端(時間軸531の右端)まで信号波形が表示されると、その後は画面の左端から右へ向けて徐々に信号波形が消え、消えた位置に新しい信号波形が順次左から右方向に表示され、かつ、ライン532も左端から右へ向けて移動していく。これと共に、水平方向の第1表示領域530でも測定の進行に対応して、時間の経過が時間軸531上に表示される。測定収集は、終了ボタン539が押下されるまで継続される。
実施形態の特徴として、測定者(収集者)がデータ収集中に信号波形上で波形の乱れ、振幅の特異点等に気付いたときに、問題となる箇所または範囲を信号波形上でマークすることができる。マーキングの箇所または範囲は、マウスによるポインタ操作またはクリック操作で指定することができる。指定された箇所または範囲は、第2表示領域521〜523の信号波形上に強調表示されると共に、指定結果が対応する時刻位置または時間範囲で、第1表示領域530の時間軸531に沿って表示される。時間軸531上への表示を含むマーキングの情報は、信号波形データと共に保存される。指定された箇所は、ある時刻に対応し、指定された範囲は、ある時刻を含む一定範囲に対応する。
図6の例では、時刻t1で、第2表示領域523で1以上のチャネルを含む範囲が指定され、マーク523a−1で時刻t1を含んだ時間がハイライトで表示されている。マーク523a−1の表示と関連して第1表示領域530の対応する時刻位置に、指定結果を示すアノテーション530a−1が表示されている。時刻t2で、第2表示領域523で別の波形位置またはその近傍がマークされ、その位置(時刻t2)または近傍の領域(少なくとも時間範囲か複数の波形のいずれか一つが指示される)にマーク523a−2がハイライト表示されている。同時に、第1表示領域530の対応する時刻位置(時間範囲)に、アノテーション530a−2が表示される。ここで、アノテーションとは、あるデータに対して関連する情報を注釈として付与することを示す。本実施形態では、少なくとも指定された時間情報に基づいて注釈として表示されるものであって、少なくとも時間情報に基づく波形が表示される位置と結び付けて、注釈として表示するものである。また、複数のチャネルを表示する場合、対応するチャネル情報と結びつけ、注釈として表示してもよい。
時刻t1で第1表示領域530に追加されたアノテーション530a−1は、一例として、アノテーション識別番号と、波形の属性を示す情報と、を含む。この例では、アノテーション番号「1」と共に、波形の属性を表わすアイコンと「strong spike」(ストロングスパイク)というテキスト情報が表示されている。
時刻t2で、測定者が別の波形箇所またはその近傍領域を指定すると、指定された箇所でマーク523a−2がハイライト表示され、これと共に、第1表示領域530の対応する時刻位置に、アノテーション番号「2」が表示される。さらに、ハイライト表示された箇所に、属性選択のためのポップアップウィンドウ535が表示される。ポップアップウィンドウ535は、種々の属性を選択する選択ボタン535aと、コメントおよび追加情報を入力する入力ボックス535bと、を有する。選択ボタン535aには、波形の属性として「速波(fast activity)」、「眼球運動(eye motion)」、「体動(body motion)」、「スパイク(spike)」等、波形乱れの要因が示されている。測定者は、画面の領域511bのモニタウィンドウ512で被測定者の様子を確認することができるので、波形の乱れの原因を示す属性を適切に選択することができる。例えば、波形にスパイクが生じたときに、てんかんの症状を示すスパイクなのか、被測定者の体動(くしゃみ等)に起因するスパイクなのかを判断することができる。
時刻t1でも同じ操作が行われており、図6では、ポップアップウィンドウ535で「スパイク」の選択ボタン535aが選択され、入力ボックス535bに「strong spike」と入力されたことにより第1表示領域530にアノテーション530a−1が表示されている。このような表示態様により、同じ時間軸531上に多数の信号波形を同期して表示する際に、信号波形の注目箇所または範囲を視認により容易に特定することができ、かつ注目箇所の基本情報を容易に把握することができる。
なお、アノテーション530a−1の一部または全部、例えば、属性アイコンおよびテキスト情報の少なくとも一方を、第2表示領域523の信号波形上のマーク523a−1の近傍にも表示してもよい。ここで、信号波形上へのアノテーションの追加は、波形形状のチェックの妨げになる場合もあり得るので、第2表示領域521〜523の信号波形上にアノテーションを表示させる場合は、表示・非表示を選択可能にしておくことが望ましい。
カウンタボックス538は、スパイクのアノテーションの累積数を表示する。「スパイク」が選択される都度、カウンタボックス538のカウンタ値がインクリメントされ、収録開始から現在(ライン532)までのトータルのスパイク数が一目でわかるようになっている。
図7は、測定収集画面の右側の領域の拡大図である。図7は、図6と同じ時刻(ライン532の時点)での状態を示している。領域511bのモニタウィンドウ512では、頭部を測定装置3に入れて測定テーブル4に横たわっている被測定者の状態のライブ映像が表示される。領域511bでは、第2表示領域521、522、523の信号波形のそれぞれに対応する脳磁分布図541、542、脳波分布図550と、アノテーションリスト560と、が表示される。アノテーションリスト560は、図6の信号波形上でマークされたアノテーションの一覧である。第2表示領域521〜523で信号波形上の位置または範囲が指定されアノテーションが付される都度、対応する情報がアノテーションリスト560に順次追加される。測定収集画面502におけるアノテーションリスト560への追加および表示は、例えば、降順(新しいデータを上に表示)で行われるが、この例に限定されない。アノテーションリスト560の表示を昇順にしても構わないが、第1表示領域530で時間軸531に沿って表示されるアノテーションとの対応関係がわかるように表示する。さらに、表示順序を変更させたり、項目ごとにソートさせることも可能である。
図7の例では、アノテーションリスト560には、アノテーション番号「1」に対応する時刻情報と、付加されたアノテーション情報と、がリストされている。アノテーション情報として、「スパイク」を表わす属性アイコンと、「strong spike」というテキストが記録されている。また、マーク523a−1がハイライト表示された時点で、アノテーション番号「2」に対応する時刻情報がリストされている。ここでは、「アノテーション」は、アノテーション番号と、時刻情報と、アノテーション情報との組であると考えてもよいし、アノテーション情報のみであると考えてもよいし、アノテーション情報と、アノテーション番号または時刻情報との組であると考えてもよい。
また、アノテーションリスト560の近傍に、表示/非表示の選択ボックス560aが配置されている。選択ボックス560aで非表示が選択されると、第2表示領域521〜523で、信号波形上のハイライトマーク以外のアノテーションが非表示にされるが、第1表示領域530の時間軸531に沿ったアノテーションの表示は維持される。これにより、信号波形の視認性を阻害せずにアノテーション情報を認識可能にする。
図8は、アノテーション情報が入力された直後の状態を示す図である。具体的には、図8は、時刻t2でポップアップウィンドウ535の「スパイク」が選択され、「normal spike」(ノーマルスパイク)というテキストが入力された直後の画面を示す。図6で例示したポップアップウィンドウ535で「OK」ボタンが選択されると、ポップアップウィンドウ535が閉じて、図8に示すように第1表示領域530の対応する時刻位置にアノテーション530a−2が表示される。アノテーション番号「2」と対応付けて、「スパイク」を表わす属性アイコンと、「normal spike」のテキスト情報が表示される。これと同時に、カウンタボックス538の値がインクリメントされる。また、ハイライト表示されたマーク523a−2の近傍に、属性アイコン526−2が表示される。この例では、マーク523a−1の近傍にも属性アイコン526−1が表示されているが、上述したように、属性アイコン526−1、526−2の表示、非表示は選択可能である。マーク523a−1と属性アイコン526−1とを含むアノテーションA1、およびマーク523a−2と属性アイコン526−2とを含むアノテーションA2も、アノテーション情報に含まれる。
図9は、更新されたアノテーションリストの図である。測定収集画面502の画面左側の領域511aでマーク523a−2に対応するアノテーションが付加されたことにより、アノテーションリスト560が更新される。アノテーション番号「2」に「normal spike」というメモが追加される。
以下同様に、測定中に領域511aで信号波形上の特定の箇所または範囲が指定される都度、指定箇所が強調表示されると共に、第1表示領域530の時間軸531に沿ってアノテーション情報が表示される。領域511bでは、アノテーションリスト560にアノテーション情報が順次追加される。
アノテーションリスト560および信号波形表示の領域511aにおいて、アノテーション番号の表示は必須ではなく、用いなくてもよい。付加されたアノテーションを識別できる情報であれば任意の情報を識別情報として用いることができる。例えば、属性アイコンと、属性文字列(「strong spike」等)と、時間軸531の近傍での時刻とを対応付けて表示してもよい。さらに、領域511aにファイル番号(図9の「File」の項目に表示される番号)を併記して表示してもよい。
終了ボタン539(図8参照)が選択(押下)され測定が終了すると、第2表示領域521〜523で指定されたハイライト箇所は信号波形に対応付けて保存される。第1表示領域530の対応する時刻位置に表示されたアノテーション情報も、アノテーション番号と時刻とに対応付けて保存される。カウンタボックス538のカウンタ値、および、アノテーションリスト560の内容等の関連情報も保存される。これらの表示情報を保存することで、測定者と解析者とが異なる場合でも、解析者は容易に問題となる箇所を認識し、解析することができる。
図10は、実施形態に係る情報処理装置における測定収集動作の一例を示すフローチャートである。図10を参照しながら、本実形態に係る情報処理装置50での測定収集動作について説明する。
図4に示す開始画面501で「測定収集」が選択されると(ステップS11)、測定が開始され、複数の信号の波形が同じ時間軸に沿って同期して表示される(ステップS12)。ここで「複数の信号波形」という場合は、同一種類の複数のセンサで検知された信号波形、および、異なる種類のセンサのそれぞれで検知された複数の信号波形の両方を含む。この例では、複数の生体信号の波形は、被測定者の頭部右側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の頭部左側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の脳波測定用の電極から得られる脳波信号の波形と、から構成されるが、これに限られるものではない。なお、センサの選択については、左/右のセンサ群にとらわれず、頭頂部、前頭葉、側頭葉等のパートから、任意に選択可能である。例えば、図7等に示す「MEG Window Control 1」で頭頂部のセンサが選択された場合は、「MEG Window Control 2」でそれ以外のセンサが選択された状態となる。
情報処理装置50は、表示されている信号波形上で注目箇所または範囲が指定されたか否かを判断する(ステップS13)。注目箇所または範囲の指定があると(ステップS13:Yes)、信号波形の表示領域(第2表示領域521〜523)に指定箇所を強調表示すると共に、時間軸領域(第1表示領域530)の対応する時刻位置に指定結果を表示する(ステップS14)。指定結果には、指定がなされたこと自体を示す情報、または指定の識別情報が含まれる。時間軸領域への指定結果の表示と同時に、または前後して、アノテーションの入力要求の有無を判断する(ステップS15)。アノテーション入力の要求がある場合は(ステップS15:Yes)、入力されたアノテーション情報を時間軸領域の対応する時刻位置に表示すると共に、アノテーションリストに追加する(ステップS16)。その後、測定終了コマンドが入力されたか否かを判断する(ステップS17)。注目位置(領域)の指定がない場合(ステップS13:No)、および、アノテーションの入力要求がない場合(ステップS15:No)は、ステップS17へ移行して測定終了の判断を行う。測定が終了するまで(ステップS17:Yes)、ステップS13〜S16を繰り返す。
この情報表示方法により、複数のセンサからの信号を収集する際に、信号情報の視認性の高い測定収集画面502が提供される。
(時間周波数解析画面における解析動作)
図11は、時間周波数解析画面の一例を示す図である。図11を参照しながら、情報処理装置50に表示される時間周波数解析画面601における解析動作について説明する。
上述の図4に示す開始画面501において「解析」ボタンが押下されると、解析部206は、上述の測定収集画面502での測定収集動作により収集されたセンサ情報(脳波信号または脳磁信号)を解析し、脳(生体部位の一例、発信源の一例)内の各位置における信号強度を示す生体信号を算出する。信号強度を算出する方法としては、例えば、公知の方法である空間フィルタ法等が挙げられるが、その他の方法を用いるものとしてもよい。解析表示制御部202は、上述の図4に示す開始画面501において、「解析」ボタンが選択されると、表示装置107に図11に示す時間周波数解析画面601を表示させる。時間周波数解析画面601は、図11に示すように、解析画面切替リスト605と、ヒートマップ611と、立体図612と、頭部三面図613と、ピークリスト614と、再生制御パネル615と、判別値表示領域616aと、指標値表示領域616bと、アトラス選択リスト617と、を表示する。時間周波数解析画面601を用いた解析および測定の主目的は、視覚野、聴覚野、体性感覚野、運動野および言語野等の人間の生存に欠かせない部位を特定して表示することである。ピークリスト614の右側に表示されているピークリスト設定ボタン614aは、ピークリスト614に登録されるピークの条件を設定するためのウィンドウを表示させるためのボタンである。ピークリスト設定ボタン614aの押下による上述の設定については後述する。また、ヒートマップ611、立体図612、頭部三面図613、ピークリスト614、再生制御パネル615、判別値表示領域616aおよび指標値表示領域616bの表示および動作の詳細は、順次後述する。
解析画面切替リスト605は、各種解析画面を選択するためのリストである。解析画面切替リスト605から選択できる解析画面としては、本実施形態の生体信号に対する時間および周波数での解析をするための時間周波数解析画面601の他、生体信号からてんかん等の部位を推定および解析を行うためのダイポール推定を行うための解析画面等がある。本実施形態では時間周波数解析画面601での解析動作について説明する。
<ヒートマップについて>
図13は、ヒートマップにおいて特定の位置が指定された状態の一例を示す図である。図14は、ヒートマップにおいてピークリストの3つのピークの位置を表示した状態の一例を示す図である。図15は、ヒートマップにおいてピークの情報に応じて表示形態を変えた状態の一例を示す図である。図16は、ヒートマップにおいて特定の範囲が指定された状態の一例を示す図である。図17は、ヒートマップにおいて特定の範囲が複数指定された状態の一例を示す図である。図18は、時間周波数解析画面において立体図および頭部三面図が追加された状態の一例を示す図である。図13〜図18を参照しながら、時間周波数解析画面601のヒートマップ611についての動作について説明する。
図11に示すように、ヒートマップ611は、解析部206により算出された脳内の各位置の信号強度を示す生体信号について時間周波数分解を施し、横軸を時刻(トリガ時刻からの時間)、縦軸を周波数、そして、時刻および周波数で特定される生体信号の信号強度の分布(第2強度分布)を色で表した図である。図11に示す例では、信号強度は、例えば、所定の基準に対する増減で示されている。ここで所定の基準とは、例えば、被験者に何も刺激を与えていない場合の信号強度の平均値を0[%]とする。なお、本実施形態では、0±100[%]で図示しているが、これに限られず、100[%]以上の場合には、例えば200[%]等、レンジを変えて表示してもよい。また、単位[%]に代えて、例えば図12に示すヒートマップ611のように、[db](デシベル)で表記してもよい。また、ヒートマップ611は、例えば、時刻0[ms]に被験者に対して何らかの刺激(物理的に衝撃を与える、腕を動かす、言葉を発する、音を聴かせる等)を与えた場合、その後の時刻では刺激を与えた後の脳の活動状態を示し、時刻0[ms]以前の時刻では、刺激を与える前の脳の活動状態を示すことになる。このヒートマップ611の表示動作は、ヒートマップ表示制御部211によって制御される。
図13に示すように、解析者による入力部208に対する操作入力(クリック操作またはタップ操作)によって、ヒートマップ611上の特定の位置(点)を指定することができる。図13に示すように、ヒートマップ表示制御部211は、指定された位置を、例えば、指定部621のように表示する。なお、指定部621は、白抜きの矩形で示しているが、これに限定されるものではなく、その他の表示態様で示すものとしてもよい。
また、図13に示すヒートマップ611では、入力部208に対する操作入力によって指定された位置を表示しているが、ピークリスト614に登録されたピークのうち選択されたピークの時刻および周波数でのヒートマップおよびそのピーク位置が表示されるものとしてもよい。また、例えば、ピークリスト614で選択されたピークから数えて上位N個のピークの位置がヒートマップ611に表示されるものとしてもよい。図14では、上位3個のピークの位置が表示された例を示す。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がM以上のピークを表示させる設定等を切り替えられるものとしてもよい。
また、図15に示すように、ヒートマップ611上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図15では、表示されたピークごとに番号を付加し、番号の表示部分の色をそれぞれ異なる色となるように変えて表示させた例を示している。
上述のように、ヒートマップ611において特定の位置が指定されると、指定された位置に対応する時刻および周波数に対応する生体信号の信号強度の分布が、例えば図11に示すように、立体図612の脳の図では部位712a−1〜712a−5、712b−1〜712b−5のように、頭部三面図613の脳の図では部位713a−1、713a−2、713b、713c、713dのようにヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。具体的には、ヒートマップ611において指定された位置に対応する時刻および周波数の生体信号の信号強度が、赤〜青のヒートマップとして表示される。
また、図16に示すように、解析者による入力部208に対するドラッグ操作またはスワイプ操作によって、ヒートマップ611上の特定の範囲を指定することができる。図16に示すように、ヒートマップ表示制御部211は、指定された範囲を、例えば、ドラッグ操作等で定まる面積を有する矩形形状の指定領域622のように表示する。なお、指定領域622は、白抜きの矩形範囲で示しているが、これに限定されるものではなく、丸形状、自由形状その他の表示態様で示すものとしてもよい。
このように、ヒートマップ611において特定の範囲が指定されると、指定された範囲に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、例えば図11に示すように、立体図612の脳の図では部位712a−1〜712a−5、712b−1〜712b−5のように、頭部三面図613の脳の図では部位713a−1、713a−2、713b、713c、713dのようにヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。
また、図17に示すように、解析者による入力部208に対する追加の操作(例えば、右クリックによるドラッグ操作、または新たなスワイプ操作等)によって、すでに指定された指定領域622の他、追加で指定領域623のように指定することができる。この場合、新たに指定された指定領域623に対応する立体図および頭部三面図として、図18に示すように、それぞれ立体図612aおよび頭部三面図613aが表示される。そして、指定領域623に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、立体図612aおよび頭部三面図613aの脳の図にヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。ヒートマップ611で複数指定した情報を受け取ると、この情報を受け取った順にこれに対応する立体図612および頭部三面図613が上から下に表示される。図18の例では、指定領域622、623の順に選択された例を示す。このように表示することで、直感的にわかりやすくなる。ここで、ヒートマップ611で複数選択した情報を受け取ると、この情報を受け取った順にこれに対応する立体図612および頭部三面図613が下から上に表示される形態としてもよい。この場合、ヒートマップ611の直下に、最新で指定された選択領域に対応する立体図612および頭部三面図613が表示されるため、ヒートマップ611、立体図612、頭部三面図613への視線の移動を少なくできる。なお、ヒートマップ611上で複数の位置を指定する場合、上述の指定領域622、623のような範囲に限らず、指定部621のように点位置を複数指定することも可能である。このように、ヒートマップ611上で複数の位置(点または領域)が指定されることによって、その指定された時刻および周波数に対応する生体信号の信号強度の分布を比較することができる。
<立体図について>
図19は、時間周波数解析画面における立体図の一例を示す図である。図20は、ヒートマップで指定された位置に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図21は、ヒートマップで指定された範囲に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図22は、立体図に表示された脳がヒートマップ上のどの時刻・周波数に対応するのかを線分で示した状態の一例を示す図である。図23は、立体図に表示された脳がヒートマップ上のどの時刻・周波数の範囲に対応するのかを矩形領域で示した状態の一例を示す図である。図24は、立体図に対してスクロール等をすることによって立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図25は、立体図上のいずれかの脳の表示をクリックすることによって、立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図19〜図25を参照しながら、時間周波数解析画面601の立体図612の基本的な表示動作について説明する。
図19に示すように、立体図612は、所定の視点からの脳の立体画像(3D画像)を表示する図であり、ヒートマップ611上で指定された位置(点または範囲)、または、ピークリスト614で選択されたピークの位置に対応する生体信号の信号強度をヒートマップとして重畳表示する。図19に示すように、立体図612では、同じ行では同じ視点からの脳の立体画像が表示される。図19に示す例では、立体図612の上側の行である表示領域612−1に表示された脳の立体画像は、脳の左側面からの視点での画像であり、下側の行である表示領域612−2に表示された脳の立体画像は、脳の右側面からの視点での画像である。この立体図612の表示動作は、立体表示制御部212によって制御される。
なお、図19に示す立体図612では2つの視点から見た場合の脳の立体図、すなわち、2行で構成された脳の立体図であるが、これに限定されるものではなく、その他の数の行で表示するものとしてもよく、行の数を設定により変更できるものとしてもよい。例えば、脳の言語野の測定であれば、左右の際が重要な情報となるので、脳の左側面および右側面からの2つの視点からの脳の立体図を表示(2行で表示)するものとすればよい。ここで、測定対象と視点の対応の一例を下記の(表1)に示す。測定対象は、測定時に被験者へ与える刺激(刺激装置による付与であり(表1)のNo.1〜4に対応する)や、被験者の動作((表1)のNo.5)を示し、収集時に測定収集画面上で選択する項目である。この測定対象を選択することで、これに対応する視点の脳立体図が表示される。また、視点は、被験者の正面を起点としたときの方向を示す。なお、行数についても別途設定することができるものとしてもよい。また、図19に示す立体図は、(表1)におけるNo.2に相当する。以降の説明では、便宜上、立体図612は、2つの行(2つの視点)で構成されているものとして説明する。
Figure 2021145969
また、図20に示すように、ヒートマップ611上で指定部621が指定されると、立体表示制御部212は、指定部621に対応する時刻を立体図612の表示領域の中心として、前後の時刻に対応した脳における信号強度のヒートマップを立体図612に表示する。図20の例では、ヒートマップ611上で時刻560[ms]が指定されたため、立体図612において560[ms]を中心として、550、555、560、565、570[ms]のように、隣り合う脳の表示時刻の間隔を5[ms]おきで表示している。ただし、隣り合う脳の表示時刻の間隔は、その他10[ms]、25[ms]等、設定で変更できるようにしてもよい。
なお、図21に示すように、ヒートマップ611上で範囲(指定領域622)が指定された場合、当該範囲内の信号強度を平均した信号強度のヒートマップを立体図612に表示するものとすればよい。この場合、選択された時刻の範囲に応じて、立体図612で表示される隣り合う立体画像の時刻を調整設定するものとすればよい。例えば、図21に示すように、指定領域622の範囲が450〜600[ms]の場合、立体図612で表示させる隣り合う立体画像の表示時刻の間隔を150[ms]に設定したとき、立体図612の中央に表示される立体画像は450〜600[ms]に対応する。立体図612の中央の立体画像の左の立体画像は300〜450[ms]に対応する図とし、右の立体画像は、600〜750[ms]に対応する図とすればよい。また、各立体画像に表示されるヒートマップは、各時間幅における平均値である。
次に、図22および図23を参照しながら、ヒートマップ611上の位置または範囲と、立体図612の各立体画像との対応付けについて説明する。このような対応付けとしては、まず、図22に示すように、ヒートマップ611上で特定の点位置である指定部621−1が指定された場合、その指定部621−1の時刻および周波数に対応する脳の立体画像(第1画像)が立体図612に表示される。この場合、その脳の立体画像を中心として前後の時刻に対応した脳の立体画像(第2画像)が表示されるので(図22に示す例では5つの時刻に対応する脳)、ヒートマップ表示制御部211は、それぞれの脳の時刻に対応する点を、ヒートマップ611上で対応部621−2〜621−5としてそれぞれ表示させる。この場合、対応部621−2〜621−5の周波数位置は、指定部621−1の周波数位置に合わせる。さらに、ヒートマップ表示制御部211は、図22に示すように、ヒートマップ611上の指定部621−1および対応部621−2〜621−5と、立体図612上の対応する脳の立体画像とをそれぞれ結ぶ線分631−1〜631−5で表示する。これによって、立体図612上で表示されている脳の状態が、ヒートマップ611上のどの位置に対応する状態であるのかを一目で確認することができる。なお、図22に示す例では、線分を用いているが、その他の対応付けの方法として、指定部621−1および対応部621−2〜621−5のマークと、立体図612の脳の背景色とを合わせる等、対応付けが確認できる方法であればよい。また、この場合、解析者が指定した指定部621−1は、対応部621−2〜621−5と区別する態様で表示するものとすればよい。
また、ヒートマップ611上で特定の範囲である指定領域622−1が指定された場合、まず、図23に示すように、その指定領域622−1の時刻および周波数に対応する脳の立体画像が立体図612に表示される。この場合、その脳の立体画像を中心として前後の時刻範囲に対応した脳の立体画像が表示されるので(図23に示す例では5つの時刻範囲に対応する脳)、ヒートマップ表示制御部211は、それぞれの脳の時刻範囲に対応する範囲を、ヒートマップ611上で対応領域622−2〜622−5としてそれぞれ表示させる。また、この場合、解析者が指定した指定領域622−1は、対応領域622−2〜622−5と区別する態様で表示するものとすればよく、例えば、指定領域622−1の矩形の枠の色だけ異なる色となるように表示するものとすればよい。さらに、立体表示制御部212は、図23に示すように、ヒートマップ611上の指定領域622−1および対応領域622−2〜622−5と同様な矩形を、立体図612上で対応する脳の立体画像を囲うように表示させる。これによって、立体図612上で表示されている脳の状態が、ヒートマップ611上のどの範囲に対応する状態であるのかを一目で確認することができる。なお、ヒートマップ611上で特定の範囲である指定領域622−1が指定された場合、指定領域622−1および対応領域622−2〜622−5の枠を表示すると共に、立体図612上で、枠722−1〜722−5およびヒートマップを表示するものとしてもよい。
次に、図24および図25を参照しながら、立体図612上でドラッグ操作、スワイプ操作またはカーソルキー操作をした場合に、立体図612の表示を左右に移動させる動作について説明する。図24では、立体図612におけるスクロール操作(時刻の移動操作)、または立体図612上でドラッグ操作、スワイプ操作もしくはカーソルキー操作等により、立体図612の立体画像を右側に移動させた状態の例を示す。この場合、図24に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図612で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部212は、立体図612における立体画像に移動に従って、ヒートマップ611上の指定領域622−1および対応領域622−2〜622−5の表示も移動させる。
また、図25に示すように、解析者による操作によって、立体図612上の中央の立体画像以外の立体画像がクリック操作またはタップ操作されると、操作された脳の立体画像が立体図612の中心に移動する。なお、実装上は脳の画像はそのままで、オーバーラップするヒートマップのみが移動するものとしてもよい。この場合、図25に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図612で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部212は、立体図612における立体画像に移動に従って、ヒートマップ611上の指定領域622−1および対応領域622−2〜622−5の表示も移動させる。
以上のように、立体図612における表示を自由に移動することが可能となることにより、時間の前後で脳の状態の変化を素早く確認することができる。
図26は、立体図に表示されたいずれかの脳の視点を変更した場合、同じ行のすべての脳の視点を変更する状態の一例を示す図である。図27は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の一例を示す図である。図28は、図27における視点の変更動作を具体的に説明する図である。図29は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の別の例を示す図である。図30は、図29における視点の変更動作を具体的に説明する図である。図31は、立体図にコメントを付加した状態の一例を示す図である。図26〜図31を参照しながら、時間周波数解析画面601の立体図612の特定の立体画像について視点変更を行った場合の動作について説明する。
立体図612に立体画像として表示されている脳は、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)によって視点を変更することが可能である。この場合、立体図612の特定の脳の立体画像の視点を変更した場合において、他の立体画像への反映方法の類型について以下に説明する。
まず、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像について同じ視点変更がなされる場合について説明する。図26(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612−1に表示された脳の立体画像のうち右端の立体画像(以下、「対象立体画像」と称する場合がある)に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図26(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。このとき、脳の画像に重畳しているヒートマップも同様に視点変更する。そして、立体表示制御部212は、図26(c)に示すように、対象立体画像と同じ行(表示領域612−1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像についてもその視点変更が反映されるので、操作性が向上し、同じ視点での時間的に前後の脳の活動変化を確認することが容易になる。なお、立体画像の視点変更の操作として、例えば、視点変更したい立体画像上にマウスを合わせてドラック操作またはクリック操作等でもよく、ポップアップ表示によるパラメータの指定等でもよい。
次に、特定の立体画像の視点が変更された場合に、他のすべての立体画像について同じ視点変更がなされる場合について説明する。図27(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612−1に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図27(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部212は、図27(c)に示すように、対象立体画像と同じ行(表示領域612−1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図28(a)に示す脳の左側面の視点を、表示領域612−1の他の立体画像について、図28(b)に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部212は、図27(c)に示すように、対象立体画像と異なる行(表示領域612−2)の立体画像に対しても、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図28(a)に示す脳の右側面の視点を、表示領域612−2の立体画像について、図28(c)に示すように、脳の前面の視点となるように変更する。なお、処理環境に余裕があれば図28(a)〜図28(c)の処理を高速に行い、見た目上すべての脳の視点が同時に変わっているようにしてもよいし、処理環境が貧弱な場合には、ユーザが動かしている画像のみについて視点を変えた後、それが確定したタイミング(例えばドラッグ操作で脳画像を回転させることで視点を変更している場合、マウスのボタンを離したタイミング)で他の画像の視点を変えてもよい。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像、および他の行の立体画像についてもその視点変更が反映されるので、操作性が向上し、時間的に前後の脳の活動変化を確認することが容易になる。また、脳のネットワーク活動の伝播を考慮した際に、それぞれの活動部位に対して最も信号が強いものに立体図612の3Dの脳画像の視点を自動で変更するようにしてもよい。
そして、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像については同じ視点変更がなされ、他の行の立体画像については、対応する視点変更(具体的には、脳の中心面(対象面)に対して面対称となる視点変更)がなされる場合について説明する。図29(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612−1に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図29(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の左前側の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部212は、図29(c)に示すように、対象立体画像と同じ行(表示領域612−1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図30(a)に示す脳の左側面の視点を、表示領域612−1の他の立体画像について、図30(b)に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部212は、図29(c)に示すように、対象立体画像と異なる行(表示領域612−2)の立体画像に対して、対象立体画像の視点変更に対応する視点変更をして表示する。すなわち、図30(a)に示す脳の右側面の視点を、表示領域612−2の立体画像について、図30(c)に示すように、脳の中心面(対象面)に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像についてはその視点変更が反映され、他の行の立体画像については、対応する視点変更が反映されるので、操作性が向上し、さらに、複数の行を見比べることによって、対応する視点から時間的に前後の脳の活動変化を確認することができる。
以上で説明した3つの他の立体画像への反映方法のうち、いずれの方法を採用してもよく、または、これらの方法のうちどの方法で反映するかを設定により切り替えることができるものとしてもよい。
なお、図26〜図30で上述したように、解析者が最初に視点変更の操作の対象とする対象立体画像を、表示領域612−1の右端の立体画像としたが、これに限定されるものではなく、表示領域612−1または表示領域612−2のいずれの立体画像が操作の対象であってもよい。
また、立体図612の特定の脳の立体画像の視点を変更した場合に、他の立体画像へ視点変更を反映する動作を説明したが、立体画像に対して変更を加える表示態様について視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、他の立体画像に変更を反映するものとすればよい。
また、上述のように、立体図612に表示される立体画像に対して変更を加えた結果、図31に示すように、解析者による入力部208への操作入力により、特定の立体画像に対してメモ(例えば、図31に示すコメント635)を付加できるようにしてもよい。これによって、解析者(医者等)が脳の気になる活動部位に対するコメントをその立体画像に関連付けて保存しておくことができ、脳に対する外手術の他、当該脳の疾患についてのカンファレンスにおいても役立てることができる。
<頭部三面図について>
図32は、時間周波数解析画面における頭部三面図の一例を示す図である。図33は、頭部三面図の立体画像としてカットモデルを表示した状態の一例を示す図である。図34は、頭部三面図においてピークリストで選択されたピークの位置を示した状態の一例を示す図である。図35は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を示した状態の一例を示す図である。図36は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を色を変えて示した状態の一例を示す図である。図37は、頭部三面図の立体画像にダイポール推定の結果を重畳表示した状態の一例を示す図である。図38は、頭部三面図の立体画像に複数の測定対象の結果(ヒートマップ)を重畳表示した状態の一例を示す図である。図32〜図38を参照しながら、時間周波数解析画面601の頭部三面図613の基本的な表示動作について説明する。
図32に示すように、頭部三面図613は、脳の特定の位置(点)における3方向の断面図(以下、「三面図」と総称する場合がある)、および3D画像である立体画像644を含む図である。図32に示す例では、頭部三面図613は、脳の特定の位置における3方向の断面図として、脳の前後方向に対して垂直な断面を示す断面図641、脳の左右方向に対して垂直な断面を示す断面図642、および、脳の上下方向に対して垂直な断面を示す断面図643を含む。断面図641は、上述の特定の位置を通るように基準線645aおよび基準線645bが引かれている。また、断面図642は、上述の特定の位置を通るように、基準線645aおよび基準線645cが引かれている。また、断面図643は、上述の特定の位置を通るように、基準線645bおよび基準線645dが引かれている。断面図641〜643には、それぞれ、ヒートマップ611で指定された位置(点または範囲)に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ(ヒートマップ611とは異なる)(第3強度分布)が重畳して表示される。この頭部三面図613の表示動作は、断面表示制御部213によって制御される。
基準線645aは、上述の脳の特定の位置の上下方向の位置を規定する線であるため、断面図641および断面図642にわたって連続した線として描画されている。また、基準線645bは、上述の脳の特定の位置の左右方向の位置を規定する線であるため、断面図641および断面図643にわたって連続した線として描画されている。また、基準線645cは、断面図642において、上述の脳の特定の位置の前後方向の位置を規定する線である。また、基準線645dは、断面図643において、上述の脳の特定の位置の前後方向の位置を規定する線である。なお、頭部三面図613における断面図641〜643の並びは、上述のように、基準線645aおよび基準線645bが複数の断面図に連続して描画することが可能であるために、図32に示す並びとしているが、これに限定されるものではなく、任意でよい。その場合、各断面図において、脳の特定の位置を通るように基準線がそれぞれ描画されるものとすればよい。また、基準線は必ずしも描画される必要はなく、各断面図において、脳の特定の位置を示すマーク等が表示されるものとしてもよい。
立体画像644は、脳の3D画像であり、後述するように、この立体画像644に対する操作に応じて、立体図612に描画された脳の立体画像の視点が変更される。また、立体画像644には、ヒートマップ611で指定された位置(点または範囲)に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ(ヒートマップ611とは異なる)(第4強度分布)が重畳して表示される。なお、立体画像644は、脳の特定の視点の立体画像を表示することに限定されるものではなく、例えば、図33に示すように、三面図で特定される脳の位置を中心に3次元方向で一部カットしたカットモデル画像であってもよい。
また、図32に示す頭部三面図613では、ピークリスト614に登録されたピークのうち選択されたピークの位置が特定される三面図を表示し、図34に示すように、立体画像644上に当該選択されたピーク位置を示すピーク点646を表示するものとしてもよい。また、例えば、ピークリスト614で選択されたピークから数えて上位N個のピークの位置が立体画像644に表示されるものとしてもよい。図35では、上位3個のピークの位置(ピーク点646、646a、646b)が表示された例を示す。また、図35では、上位3個ではなく、ピークリスト614で選択されたピークの前後の時刻におけるピーク位置をピーク点646、646a、646bとして表示(ピークの軌跡を表示)するものとしてもよい。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がM以上のピークを表示させる設定等を切り替えられるものとしてもよい。
また、図36に示すように、立体画像644上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図36では、表示されたピークごとにマークの色をそれぞれ異なる色となるように変えて表示させた例を示している。
また、図37に示すように、断面表示制御部213は、立体画像644に対して、他の解析画面等でダイポール推定の結果であるダイポール647を重畳表示させるものとしてもよい。これによって、立体画像644が示す温存部位を示すヒートマップと、疾患部位(ターゲット部位)を示すダイポールとの位置関係を把握することができ、外科手術等に役立てることができる。
また、三面図のいずれかの断面図上で、解析者による入力部208を用いてクリック操作またはタップ操作によって、脳の三次元空間の特定の位置を指定することができる。このように、三面図において特定の位置が指定されると、指定された位置(点)に対応する時刻および周波数に関する生体信号の信号強度の分布がヒートマップ611に反映される。
また、三面図のいずれかの断面図上で、解析者による入力部208に対するドラッグ操作またはスワイプ操作によって、脳の三次元空間の特定の範囲を指定することができる。このように、三面図において特定の範囲が指定されると、指定された範囲に対応する時刻および周波数に関する生体信号の信号強度(その範囲での平均)の分布がヒートマップ611に反映される。
なお、立体画像644(および三面図)に描画されるヒートマップ(信号強度の強弱を示す等高線図)は、各脳の部位の活動が活発となるようなそれぞれの刺激の結果を重畳して表示するものとしてもよい。例えば、言語刺激(測定時)を行った信号に対する結果と、視覚刺激(測定時)を行った信号に対する結果を求めた後に、断面表示制御部213は、図38(a)に示す言語野を活性化させた場合のヒートマップと、図38(b)に示す視覚野を活性化させた場合のヒートマップとを、図38(c)に示すように、重畳させて表示可能とするものとしてもよい。このように図38(c)に示すように重畳されたヒートマップで示される部位が温存部位であるということが確認できる。重畳させるための操作方法としては、現在表示されている測定結果が言語野であるものとした場合、メニューによって異なる測定結果(例えば、視覚野)を選択することができるようにすればよい。なお、重畳する際には、測定対象より刺激に対する反応時間が異なる可能性もある。そこで、測定対象を追加する場合に時間のずれを設定できるようにすれば、より的確に重畳することができる。さらに、ヒートマップを重畳した結果である図38(c)に示す立体画像を、図38(d)に示すように反転表示させることによって、逆に温存部位ではない切除可能な部位を示すことが可能になる。また、断面表示制御部213は、立体画像644に重畳させたヒートマップの位置に応じて、解析者が見やすい角度に立体画像644に描画された脳画像を回転させるものとしてもよい。
また、頭部三面図613に示す断面図は、断面方向の異なる3つの断面図である三面図としているが、これに限定されるものではなく、特定の断面方向の1つの断面図、または断面方向の異なる2つもしくは4つ以上の断面図であってもよい。
図39は、頭部三面図の立体画像に対して視点が変更される前の状態の一例を示す図である。図40は、頭部三面図の立体画像に対して視点が変更された場合に表示されるダイアログボックスを示す図である。図41は、立体画像の視点変更により立体図の1行目に同じ表示を反映するための設定例を示す図である。図42は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1行目に同じ表示を反映した状態を示す図である。図43は、立体画像の視点変更により立体図の1、2行目に同じ変換を反映するための設定例を示す図である。図44は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に同じ変換を反映した状態を示す図である。図45は、立体画像の視点変更により立体図の1、2行目に、対応した変換を反映するための設定例を示す図である。図46は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に、対応した変換を反映した状態を示す図である。図47は、立体画像の視点変更により立体図に同じ表示の新たな行を追加するための設定例を示す図である。図48は、頭部三面図の立体画像に対して視点が変更された場合、立体図に同じ表示の新たな行を追加した状態を示す図である。図39〜図48を参照しながら、時間周波数解析画面601の頭部三面図613の立体画像に対して視点変更した場合における立体図612への反映動作について説明する。
頭部三面図613の立体画像644に表示されている脳は、立体図612と同様に、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)によって視点を変更することが可能である。この場合、立体画像644の脳の視点を変更した場合において、立体図612に表示された脳の視点に反映するものとしてもよく、以下、その反映方法の類型について以下に説明する。
図39に示すような時間周波数解析画面601に表示された頭部三面図613の立体画像644に対して、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)が行われると、断面表示制御部213は、図40に示すように、ダイアログボックス650を表示させる。ダイアログボックス650は、立体画像644の脳について視点変更された場合に、どのように立体図612に反映するかを決定するための画面である。ここで、例えば、「立体図は変更しない」ボタンが押下されると、立体図612の立体画像に対する視点変更はなされない。ここでは、解析者は、図40に示すように、脳の左側面の視点の立体画像644を、脳の背面の視点の立体画像の表示となるように視点変更したものとする。
まず、図41に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンが押下されたものとする。すると、断面表示制御部213は、図41に示すように、立体図612にどのように反映するかの詳細を設定するためのダイアログボックス651を表示させる。解析者は、図41に示すように、ダイアログボックス651において、変更する行として立体図612の1行目に選択し、「立体図の3Dと同じ表示」を選択したものとする。この場合、立体表示制御部212は、図42に示すように、立体図612の1行目(上の行)の立体画像に対して、立体画像644の変更された視点と同じ視点となるように表示する。
次に、図40のように視点変更された状態から、解析者は、図43に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス651において、変更する行として立体図612の1行目および2行目に選択し、「立体図の3Dと同じ変換」を選択したものとする。この場合、立体表示制御部212は、図44に示すように、もともと立体画像644と同じ視点であった立体図612の1行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図44に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部212は、図44に示すように、もともと脳の右側面の視点であった立体図612の2行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図44に示すように、脳の前面の視点となるように変更する。なお、「立体図の行の表示に反映する」ボタン押下によるダイアログボックス651での選択を初期設定済みとするか初期設定可能なようにしておき、その上で、例えば、[ビューのリンク]/[ビューのリンク解除]ボタンを設けることで、その選択結果を表示するようにしてもよい。このような構成とすることで毎回の選択動作を省略(簡略化)できる。
次に、解析者は、図46に示すように、脳の左側面の視点の立体画像644を、脳の左前側の視点の立体画像の表示となるように視点変更したものとする。そして、この状態から、解析者は、図45に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス651において、変更する行として立体図612の1行目および2行目を選択し、「立体図の3Dに対応した変換」を選択したものとする。この場合、立体表示制御部212は、図46に示すように、もともと立体画像644と同じ視点であった立体図612の1行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図46に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部212は、図46に示すように、もともと脳の右側面の視点であった立体図612の2行目の立体画像に対して、立体画像644の視点変更に対応する視点変更をして表示する。すなわち、図46に示すように、脳の中心面(対象面)に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。
次に、図40のように視点変更された状態から、解析者は、図47に示すように、ダイアログボックス650の「立体図の行を追加する」ボタンを押下することによって表示されるダイアログボックス652において、「立体図の3Dと同じ表示」を選択したものとする。この場合、立体表示制御部212は、図48に示すように、立体画像644の視点変更の結果、同一の視点となる脳の立体画像を、立体図612の表示領域612−3に新たな行として表示する。すなわち、図48に示すように、表示領域612−3における新たな行に、脳の背面の視点の立体画像が表示される。
以上のように、頭部三面図613における立体画像644に対して行った視点変更を、各種設定に応じて、立体図612の時系列に並んだ脳の立体画像の視点に反映することができる。これによって、立体画像644の視点変更と同様の視点変更を、立体図612に対して改めて行う必要がないので、操作性が向上し、さらに、立体画像644で変更した視点と同一の視点、または対応する視点で、立体図612において脳の状態の変化を時系列に確認することができる。
なお、図41、図43、図45および図47で示すダイアログボックス650〜652によって設定される立体図612に表示された脳の視点への反映方法は、一例であり、その他の反映方法が設定できるものとしてもよい。
また、立体画像644の視点を変更した場合に、立体図612の立体画像へ視点変更を反映する動作を説明したが、立体画像644に対して変更を加える表示態様は視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。また、立体画像644の脳画像に対して脳の一部を除去(カットアウト)する操作による変更であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、立体図612の立体画像に変更を反映するものとすればよい。
<ピークリストについて>
図49は、ピークリストの設定例を示す図である。図50は、空間的なピークを説明する図である。図51は、時間・周波数的なピークを説明する図である。図52は、プルダウンされたピークリストから特定のピークを選択する状態を示す図である。図53は、プルダウンされたピークリストから選択されたピークについてヒートマップ、立体図および頭部三面図に反映させた状態を示す図である。図49〜図53を参照しながら、時間周波数解析画面601のピークリスト614の基本的な動作について説明する。
ピークリスト614は、ピークリスト制御部203により抽出された、設定された条件を満たす信号強度のピークが登録されたリストである。図49に示すように、ピークリスト制御部203は、ピークリスト614でプルダウンされることによって登録された信号強度の一覧であるプルダウンリスト656を表示する。
また、上述のピークリスト制御部203により抽出される信号強度のピークの条件は、ピークリスト設定ボタン614aを押下することにより設定することができる。ピークリスト制御部203は、ピークリスト設定ボタン614aが押下されると、抽出される信号強度のピークの条件を設定するためのダイアログボックス655を表示させる。
ダイアログボックス655では、まず、ピークリスト614に登録されたピーク情報をどのようにソートするかを設定することができる。ダイアログボックス655において、「ピークの値が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されているピーク情報を、ピークの信号強度が大きい順にソートする。一方、ダイアログボックス655において、「ピークの高さ(頂点と谷点の差)が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されているピーク情報を、ピーク点の信号強度と、当該ピークの谷部分の信号強度との差が大きい順にソートする。
さらに、ダイアログボックス655では、ピークリスト614にどのようなピーク情報を登録(リストアップ)させるかを設定することができる。ダイアログボックス655において、「すべての空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面の各時刻・各周波数においての脳全体における空間的なピークを抽出して、ピークリスト614に登録する。ここで、空間的なピークとは、図50に示すピーク部801のように、着目する時刻・周波数の生体信号の、脳全体における信号強度のピークであり、このピーク部801の信号強度は、周辺より信号強度が強い。
また、ダイアログボックス655において、「すべての時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、脳全体の各位置においての時刻・周波数平面における時刻/周波数的なピークを抽出して、ピークリスト614に登録する。ここで、時刻/周波数的なピークとは、図51に示すピーク部802のように、着目する脳の位置での生体信号の、時刻・周波数平面における信号強度のピークであり、このピーク部802の信号強度は、周辺よりも信号強度が強い。
また、ダイアログボックス655において、「指定されている時刻/周波数における空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面で指定された時刻・周波数においての脳全体における空間的なピークを抽出して、ピークリスト614に登録する。なお、指定されている時刻/周波数は一点とは限らず、範囲で選択される場合もある。
また、ダイアログボックス655において、「指定されている位置における時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、指定された脳の位置においての時刻・周波数平面における時刻/周波数的なピークを抽出して、ピークリスト614に登録する。なお、指定されている位置は一点とは限らず、範囲で選択される場合もある。例えば、視覚野についてのピークを抽出する場合、後頭部全体の範囲を指定することによって、所望のピークを抽出しやすくなる。
次に、各ピーク情報が登録されたピークリスト614から特定のピーク情報を選択した場合の動作について説明する。解析者によって、ピークリスト614から表示されたプルダウンリスト656から特定のピーク情報(例えば、図52に示す「95%/9ms/70Hz/voxel:1736」)が選択されると、ヒートマップ表示制御部211は、当該ピーク情報が示す脳の特定の位置に対応するヒートマップ611を表示する。この場合、ヒートマップ表示制御部211は、図14で上述したように、ヒートマップ611においてピーク情報が示すピークの位置を具体的に示すものとすればよい。
また、立体表示制御部212は、選択されたピーク情報が示す時刻・周波数の脳の立体画像を立体図612の各行の中央に表示させ、さらに、その時刻の前後の脳の立体画像を表示させる。この場合、立体図612の脳の各立体画像に重畳されるヒートマップは、ピーク情報が示す周波数の生体信号の信号強度に対応するものとすればよい。
また、断面表示制御部213は、選択されたピーク情報が示す脳の位置を通る三面図を頭部三面図613に表示させる。さらに、断面表示制御部213は、選択されたピーク情報が示す時刻・周波数の生体信号の信号強度に対応するヒートマップを立体画像644の脳に重畳表示させるものとすればよい。なお、断面表示制御部213は、図53に示すように、選択されたピーク情報が示す脳の位置を中心に3次元方向で一部カットしたカットモデルを立体画像644に表示させるものとしてもよい。
以上のように、ピークリスト614に登録されたピーク情報から特定のピーク情報を選択することによって、当該ピーク情報に対応したヒートマップ611、立体図612および頭部三面図613が表示される。これによって、選択したピークが脳のどの位置、およびどの時刻・周波数であるかを瞬時に認識することができ、さらに、ヒートマップ611においては当該ピークおよびその周りの時刻/周波数における信号強度の状態、および、当該ピークの位置およびその周りの脳の信号強度の状態も把握することが可能となる。
<再生制御パネルについて>
図54は、再生制御パネルの操作によりヒートマップおよび立体図が再生表示される状態を示す図である。図55は、再生制御パネルの操作によりヒートマップおよび立体図がコマ戻しされる状態を示す図である。図56は、再生制御パネルの操作によりヒートマップおよび立体図がコマ送りされる状態を示す図である。図54〜図56を参照しながら、時間周波数解析画面601の再生制御パネル615を操作した場合の動作について説明する。
再生制御パネル615は、解析者の操作によって、時間経過と共に、ヒートマップ611、立体図612および頭部三面図613の状態を再生表示するためのユーザインターフェースである。
例えば、解析者が、再生制御パネル615の「再生」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図54(a)および図54(b)に示すように、ヒートマップ611で指定されている指定領域622−1、およびその周りの対応領域622−2〜622−5を、時間経過と共に、右方向(時間が進む方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1および対応領域622−2〜622−5の移動に伴い、立体表示制御部212に対して、図54(a)および図54(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、断面表示制御部213に対して、移動している指定領域622−1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「コマ戻し」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図55(a)および図55(b)に示すように、ヒートマップ611で指定されている指定領域622−1、およびその周りの対応領域622−2〜622−5を、所定時間分だけ左方向(時間が戻る方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1および対応領域622−2〜622−5の移動に伴い、立体表示制御部212に対して、図55(a)および図55(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、断面表示制御部213に対して、移動した指定領域622−1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「コマ送り」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図56(a)および図56(b)に示すように、ヒートマップ611で指定されている指定領域622−1、およびその周りの対応領域622−2〜622−5を、所定時間分だけ右方向(時間が進む方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1および対応領域622−2〜622−5の移動に伴い、立体表示制御部212に対して、図56(a)および図56(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、断面表示制御部213に対して、移動した指定領域622−1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「停止」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211、立体表示制御部212および断面表示制御部213に対して、ヒートマップ611、立体図612、および頭部三面図613におけるそれぞれの再生表示動作を停止するように指示する。
また、解析者が、再生制御パネル615の「先頭へ移動」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、ヒートマップ611で指定されている指定領域622−1を、時刻の先頭に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、立体表示制御部212に対して、指定領域622−1に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、断面表示制御部213に対して、移動した指定領域622−1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「末尾へ移動」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、ヒートマップ611で指定されている指定領域622−1を、時刻の末尾に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、立体表示制御部212に対して、指定領域622−1に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622−1の移動に伴い、断面表示制御部213に対して、移動した指定領域622−1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
以上のように、再生表示させることによって、立体図612および頭部三面図613に表示される信号強度の分布(ヒートマップ)の時間経過による変化を動画として確認することができ、時間経過によるピークの移動等を視覚的に確認することができる。なお、図54〜図56では、ヒートマップ611上で領域を指定した場合の動作を説明したが、これに限定されるものではなく、上述の図22で示したように、ヒートマップ611上の特定の点を指定した場合においても同様である。
<初期表示について>
図57は、ピークに対してどの視点からの図を初期表示させるかを説明する図である。図58は、2つのピークに対してどの視点からの図を初期表示させるかを説明する図である。図59は、図58に説明する視点からの図を立体図に初期表示させた状態を示す図である。図57〜図59を参照しながら、時間周波数解析画面601を起動した(開いた)場合におけるヒートマップ611、立体図612および頭部三面図613の初期表示について説明する。
解析者が、時間周波数解析画面601を起動した(開いた)場合に、ヒートマップ611、立体図612および頭部三面図613の初期表示としてどのような画像を表示させるかについての類型を説明する。
例えば、解析表示制御部202は、時刻・周波数全体を通じて、脳全体において信号強度が最大となる時刻・周波数および脳内の位置を求める。この場合、ヒートマップ表示制御部211は、解析表示制御部202により求められた脳内の位置でのヒートマップ611を表示させる。また、立体表示制御部212は、解析表示制御部202により求められた信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、解析表示制御部202により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、解析表示制御部202により求められた信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、解析表示制御部202は、時刻・周波数全体を通じての信号強度の平均が最大となる脳内の位置を求めるものとしてもよい。この場合、ヒートマップ表示制御部211は、解析表示制御部202により求められた脳内の位置でのヒートマップ611を表示させる。また、立体表示制御部212は、表示されたヒートマップ611のうち信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、解析表示制御部202により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、表示されたヒートマップ611のうち信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、解析表示制御部202は、脳全体で信号強度の平均値が最大となる時刻・周波数を求めるものとしてもよい。この場合、立体表示制御部212は、解析表示制御部202により求められた時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、ヒートマップ表示制御部211は、立体図612の立体画像に表示された、解析表示制御部202により求められた時刻・周波数に対応するヒートマップにおいて信号強度が最大となる脳内の位置を求め、当該位置でのヒートマップ611を表示させる。また、断面表示制御部213は、ヒートマップ表示制御部211により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、解析表示制御部202により求められた時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、立体表示制御部212は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置でのヒートマップ611を表示させるものとしてもよい。また、立体表示制御部212は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置を通るような三面図を頭部三面図613に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、立体表示制御部212は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた脳内の位置でのヒートマップ611を表示させるものとしてもよい。また、立体表示制御部212は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた脳内の位置を通るような三面図を頭部三面図613に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
次に、解析者が、時間周波数解析画面601を起動した(開いた)場合に、立体図612の脳の立体画像、および、頭部三面図613の立体画像644の表示の初期視点について説明する。
例えば、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた視点を初期視点として用いるものとしてもよい。この場合、立体図612については、行(視点)の数もプリセットしておく。立体図612が2行である場合、2つの視点をプリセットしておく必要がある。例えば、言語野が測定対象であれば、脳の左側面および右側面の視点をプリセットしておく。
また、ピークリスト614において先頭に登録されているピークが最もよく見えるような視点を初期視点として用いるものとしてもよい。具体的には、図57に示すように、脳の中心とピークとを結んだ直線811上に初期視点として視点P0を設定するものとすればよい。
また、ピークリスト614において所定のパラメータ(例えば、図50に示すピークの値(信号強度)またはピークの高さ)が、所定の閾値を超えたピークを用いて設定した視点を初期視点として用いるものとしてもよい。例えば、閾値を超えたピークが2つある場合、立体図612の表示を2行表示とし、図58に示すように、脳の中心とそれぞれのピークとを結んだ直線812、813上に、初期視点としてそれぞれ視点P1、P2を設定するものとすればよい。この場合において、視点P1からの脳の立体画像を立体図612の上の行に、視点P2からの脳の立体画像を立体図612の下の行に表示した例を、図59に示す。
なお、上述の実施形態は、生体部位としての脳についての生体信号を取り扱うものとしたが、これに限定されるものではなく、例えば、脊髄、筋肉等の生体部位の生体信号に対して適用することが可能である。例えば、脳の図で説明した立体図612を、腰椎の場合、図60のように表示することが可能である。図60では、図60(a)〜図60(d)の順で時系列に腰椎の信号が上に伝わっていく状態を示している。
<関心領域を用いた動作>
以下、図61〜図71を参照しながら、脳の立体の画像を表示する立体画像644において設定された関心領域を用いた動作について説明する。
<<機能的な優位半球の同定について>>
図61は、脳の左右での機能的な優位半球の同定について説明する図である。図61を参照しながら、脳の左右での機能的な優位半球の同定について説明する。
脳の各部位がどのような働きをしているのかを脳に対してマッピングを行う脳機能マッピングでは、特定の脳機能が左脳(以下、左半球と称する場合がある)で優位か、右脳(以下、右半球と称する場合がある)で優位かについて同定することが重要である。例えば、重要な脳機能の1つである言語機能について優位な半球(優位半球)を求めることは、てんかん患者および脳腫瘍患者に対する脳外科手術において極めて重要となる。というのも、利き手と、大脳の優位性との関係として、右利きでは左半球が95〜96[%]、右半球が4〜5[%]と圧倒的に左半球が優位であるのに対し、左利きでは左半球が61〜70[%]、右半球が15〜19[%]、両半球が15〜20[%]と多彩であるため、手術前に機能的な優位半球を同定することが重要だからである。
例えば、図61では、右利き健常者の言語機能について生体信号の強度分布(ヒートマップ)を重畳した結果を示す。図61では、左から見た脳の左半球の立体画像と、右から見た脳の右半球の立体画像とを並べて表示している。図61に示すように言語機能については、デシベル値が負値になるほど脳活動が強いと推定される部位となる。図61に示すように、左半球が右半球よりも優位のように見受けられるが、左右差が目視では分かりにくい。専門家であれば、解剖学的な見識によりその言語機能で優位となる部分に着目して判断することが可能となるが、熟練していない解析者の場合、単に全脳に対して生体信号の強度分布を重畳するだけでは、対象となる脳機能とは関係のない脳の活動の部位に着目してしまい、不適正な解釈を引き起こす虞がある。
そこで、以下において図62および図63に示すような関心領域(ROI)を定義する動作について説明する。
<<関心領域について>>
図62は、立体画像が示す脳の画像に重畳された関心領域、およびその判別値を表示する動作について説明する図である。図63は、関心領域を模式的に示した図である。図62および図63を参照しながら、脳の関心領域について説明する。
本実施形態では、断面表示制御部213は、図62に示すように、特定の脳機能に関係する部分として絞り込むために、解析者が着目する対象となる領域、すなわち、関心領域(ROI)を定義して、立体画像644の脳の立体画像(形状の画像の一例)、および生体信号の強度分布(ヒートマップ)(第1強度分布)の上にこの関心領域を重ねることによって、着目する領域を明示的に表示させる。これによって、脳全体に重畳された生体信号の強度分布のうち、どの部分を見ればよいかが明確になる。さらに、断面表示制御部213は、関心領域内の生体信号の強度を判別値として算出して判別値表示領域616aに表示させる。
図62に示す例では、関心領域としては2か所あるものとし、解剖学的に対称な部位を示しており、対応のある関心領域となっている。図62に示す左半球の関心領域750aは、左の下前頭回(Left Inferior Frontal Gyrus)を示し、右半球の関心領域750bは、右の下前頭回(Right Inferior Frontal Gyrus)を示している。これらの関心領域は、言葉を話すときに機能すると考えられているブローカ野と称される領域を含む。
ここで、対応のある関心領域とは、対応関係が定義された関心領域のことをいう。例えば、脳は左半球と右半球に分かれており、解剖学的な関心領域として、中心前回に着目した場合、左半球の中心前回、および右半球の中心前回が存在し、これら2つは対になっていて、対応のある関心領域となる。脳機能マッピングでは、特定の脳機能が左半球で優位か、右半球で優位かが度々議論になるため、このように関心領域を対にして取り扱えると都合がよい。
また、断面表示制御部213は、各関心領域を識別する情報(名称等)をラベルとして当該各関心領域の近傍に表示させる。例えば、図62に示す例では、断面表示制御部213は、関心領域750aの近傍に、「Frontal_Inf_Tri_Left」とするラベル850aを表示させ、関心領域750bの近傍に「Frontal_Inf_Tri_Right」とするラベル850bを表示させる。このように、関心領域を示す情報(名称等)を近傍に表示させることによって、どのような意味を持つ関心領域なのかを把握することができる。
また、図62の例では、断面表示制御部213は、関心領域750aに対応する判別値として「−1.5dB」、関心領域750bに対応する判別値として「−0.3dB」を、判別値表示領域616aに表示させる。この場合、断面表示制御部213は、判別値と共に、対応するラベルも判別値表示領域616aに表示させる。関心領域には、後述するように、一般に複数のボクセルが含まれており、各ボクセルに対応する生体信号の強度についての平均値、最大値、主成分分析後の第一主成分、または独立成分分析後の成分等が考えられる。本実施形態は、判別値は、関心領域に含まれる各ボクセルに対応する生体信号の強度の平均値であるものとして説明する。このように、対応のある関心領域のように、複数の関心領域それぞれに対応する判別値を表示させることによって、各関心領域の相違を客観的かつ定量的に把握することが可能となる。
このように、各関心領域の判別値を表示するだけでも各関心領域の優位性を判断することは可能であるが、さらに、断面表示制御部213は、さらに、明示的に複数の関心領域の優位性としての指標値を表示する。すなわち、この指標値は、複数の関心領域の判別値の相対的な関係を定量的に表した値となる。例えば、断面表示制御部213は、以下の式(1)で示される指標値LI(Laterality Index)を算出して、指標値表示領域616bに表示させる。
LI=2×(R−L)/(|R|+|L|) ・・・(1)
式(1)における値R、Lは、値が負であるほど脳活動(生体信号の強度)が強いことを示す値である。すなわち、LI>0の場合、左半球側が優位となり、LI<0の場合、右半球側が優位となる。図62の例では、LI=2×(−0.3+1.5)/(0.3+1.5)≒1.3となる。このような複数の関心領域の優位性を示す指標値を表示させることによって、さらに各関心領域の相違を客観的かつ定量的に把握することが可能となる。
次に、図63に示した関心領域の模式図を参照しながら、関心領域の概念について説明する。頭部三面図613の立体画像644に表示された3次元の脳画像が、図63に示す黒塗りの背景に相当する。その脳画像に、生体信号の強度分布714(ヒートマップ)が重畳される。当該強度分布714は、一般にボクセルと呼ばれる細かい格子点を含み、各ボクセルには、その位置に対応する生体信号の強度が対応付けられている。図63では、各格子点(ボクセル)の濃淡によって、生体信号の強弱を表している。この強度分布714のうち枠で囲まれた関心領域751は、上述のボクセルの集合体として定義される。すなわち、断面表示制御部213は、立体画像644において、脳の三次元画像に対して生体信号の強度分布(図63では強度分布714)を重畳させ、さらに、当該三次元画像および強度分布に対して、関心領域(具体的には関心領域を示す枠)を重畳させて表示させる。
<<関心領域のグループ化について>>
図64は、関心領域のグループ化について説明する図である。図64を参照しながら、関心領域のグループ化について説明する。
例えば、言語機能の活動的な領域は、大きく分けると前頭葉のプローカ領域と、側頭葉のウェルニッケルニッケ領域とに分かれており、この2つの領域は離れた位置にあり、脳の表面上は連続していない。しかし、これらの言語機能についての関心領域としては分けつつも、判別値の計算としてはひとまとめに求めたいという場合がある。したがって、このような場合に対応するために、断面表示制御部213は、機能的に密接に関連した関心領域をグループ化して、当該グループを明示するように関心領域を表示する。例えば、図64に示す強度分布714において、関心領域752a、752bは、機能的に密接に関連した領域であり、関心領域753a〜753cは、また異なる機能について密接に関連した領域であり、断面表示制御部213は、これら関心領域を機能ごとのグループに区別して、表示する。具体的には、断面表示制御部213は、関心領域752a、752bを同じデザインの枠により表示し、関心領域753a〜753を、また異なるデザインの枠によって表示する。これによって、同じデザインの枠で示された関心領域は、機能的に密接に関連した同じグループの領域であることを認識することができ、異なるデザインの枠で示された関心領域は、機能的に異なるグループの関心領域であることを把握することができる。
また、断面表示制御部213は、同じグループの関心領域については、関心領域ごとに判別値を求めるのではなく、例えば、各関心領域は離間しているものの、ひとまとめの領域と扱って、1つの判別値を求めて、判別値表示領域616aに表示させる。これによって、互いに離間しているものの、機能的に密接に関連した同じグループの関心領域についてひとまとめにした1つの判別値を表示することができるので、当該判別値によって、グループ化された関心領域全体の活動の状態を把握することができる。
<<対応のある関心領域について>>
図65は、対応のある関心領域について説明する図である。図65を参照しながら、対応のある関心領域について説明する。
上述の図62で示したように、例えば、左の下前頭回および右の下前頭回のように、対称かつ対応した関係のある関心領域がある。このような関係にある関心領域(対応のある関心領域)についても、まとめて取扱いたいという要望がある。したがって、このような場合に対応するために、断面表示制御部213は、対応のある関心領域について、当該対応関係が明示できるように関心領域を表示する。例えば、図65に示す強度分布714において、関心領域754a、754bは、対応のある関心領域であり、関心領域755a、755bも、対応のある関心領域であり、関心領域756a、756bも、対応のある関心領域であり、これらを区別して表示する。具体的には、断面表示制御部213は、関心領域754a、754bを同じデザインの枠により表示し、関心領域755a、755b、また関心領域756a、756bについても、また異なるデザインの枠によってそれぞれ表示する。
また、図65に示すように、後述するアトラスによって、対応のある関心領域のそれぞれには名称(または略称)が割り当てられているので、断面表示制御部213は、対応のある関心領域の各関心領域の近傍に、図62で上述した場合と同様に、ラベルを表示させる。例えば、図65に示す例では、断面表示制御部213は、関心領域754aの近傍にラベル「F_L」を表示させ、関心領域754bの近傍にラベル「F_R」を表示させている。
また、対応のある関心領域については、いずれの関心領域が優位であるのかが求められる場合が多いため、断面表示制御部213は、対応のある関心領域については、関心領域ごとに判別値を算出し、判別値表示領域616aに表示させ、各関心領域についての指標値を算出し、指標値表示領域616bに表示させる。このように、対応のある関心領域を脳画像および強度分布に重畳して、他の関心領域から区別して表示させ、かつ、各関心領域の判別値を表示することにより、対応のある関心領域について、その領域箇所およびいずれの関心領域が優位であるかを把握することができる。
<<アトラスの選択について>>
図66は、アトラスについて説明する図である。図67は、アトラスを選択する動作を説明する図である。図68は、標準脳座標から個人脳座標に変換する動作を説明する図である。図66〜図68を参照しながら、アトラス、およびその選択動作について説明する。
アトラスとは、脳の解剖学的知見を基に、関心領域の区分けの仕方、グループ、および対の関係を定義し、定義した関心領域にラベルを付与した脳地図をいう。アトラスの例として、図66(a)にアトラスATS1の模式図、図66(b)にアトラスATS2の模式図を示す。このように種々のアトラスが定義され、利用されている。例えば、アトラスとして、AAL(Automated AnatomicaI Labeling)アトラス、Brodmannアトラス、Desikan−Killianyアトラス等がある。このように、本実施形態では、アトラスのデータを用いることによって関心領域を定義する。
上述の図11に示した時間周波数解析画面601に含まれるアトラス選択リスト617は、複数のアトラスのデータから所望のアトラスのデータを選択するためのリストである。図67では、アトラス選択リスト617をクリックすることにより、選択できるアトラスがプルダウン表示された状態を示しており、このプルダウンには、例えばAALアトラス、Brodmannアトラス、Desikan−Killianyアトラスが含まれている。断面表示制御部213は、アトラス選択リスト617から選択されたアトラスのデータに基づいて、例えば上述の図62に示したように、立体画像644の脳の画像および強度分布(ヒートマップ)に対して関心領域を示す枠を重畳して表示させる。
ただし、一般にアトラスは、標準脳座標で定義されている場合が多い。ここで、標準脳座標とは、被験者間を比較するために使われ、複数人の脳画像を平均化して求めた座標である。国際的な標準脳座標の座標系として、MNI(Montreal Neurological Institute)座標系およびタライラッハ座標系等がある。一方、生体信号の強度分布を重畳する脳画像は、MRIの撮像時のMRIスキャナと脳との位置関係で定めるスキャナ座標系、または、被検者の鼻根と左右の耳介前点から定まる頭部座標系等の被検者ごとに定まる個人脳座標の座標系で規定されている。このため、断面表示制御部213は、アトラスで規定されている標準脳座標の座標系に基づく関心領域(例えば図68(a)に示す関心領域757a)を、個人脳座標の座標系に基づく関心領域(例えば図68(b)に示す関心領域757b)に座標変換する必要がある。
<<関心領域の選択について>>
図69は、脳の画像に重畳された関心領域の中から選択する動作を説明する図である。図69を参照しながら、定義された関心領域の中から選択する動作について説明する。
図69に示す立体画像644は、三次元の脳画像に、アトラスにより定義された関心領域として、関心領域758a〜758dが重畳して表示された状態を示している。断面表示制御部213は、例えば、図69に示すように、脳画像に重畳された関心領域のうち選択されていない状態の関心領域(関心領域758a〜758c)を点線の枠で表示し、選択されている状態の関心領域(関心領域758d)を実線の枠で表示している。複数の関心領域からいずれかの関心領域を選択する方法としては、例えば、マウスポインタが脳画像の任意の位置にある状態で、入力装置106としてのマウスのクリック操作を行うと、断面表示制御部213は、そのポインタの最近傍にある関心領域を選択状態とし、点線表示から実線表示に切り替える。さらに、断面表示制御部213は、選択された関心領域の生体信号の強度に基づいて判別値を算出し、判別値表示領域616aに表示させる。
なお、例えば、入力装置106としてのキーボードのシフトキーを押しながらのマウスによるクリック操作等により、複数の関心領域が選択できるものとしてもよい。また、複数の関心領域のうち、対応のある関心領域のうち1つの関心領域が選択された場合、対となるもう1つの関心領域も同様に選択状態となるものとしてもよい。この場合、断面表示制御部213は、対応のある関心領域のそれぞれに対応する判別値を算出し、判別値表示領域616aに表示させ、対応のある関心領域についての指標値を算出し、指標値表示領域616bに表示させるものとすればよい。また、複数の関心領域のうち、グループ化された関心領域のうちの1つの関心領域が選択された場合、同じグループに属する他の関心領域も選択状態となるものとしてもよい。この場合、断面表示制御部213は、同じグループの関心領域についてひとまとめにした1つの判別値を算出し、判別値表示領域616aに表示させるものとすればよい。
また、関心領域の選択方法としては、上述のようなマウスのクリック操作に限定されるものではなく、例えば、マウスポインタを関心領域上にロールオーバー(マウスオーバー)させることによって選択状態にするものとしてもよい。例えば、図69に示すように、断面表示制御部213は、マウスによってマウスポインタが関心領域758d上にロールオーバーされると、関心領域758dを示す点線の枠を実線の枠に変化させて選択状態にし、マウスポインタを関心領域758d上から外されると、選択状態が解除され、点線の枠の表示に切り替わるものとすればよい。また、マウスオーバーにより特定の関心領域が選択されると、断面表示制御部213は、当該関心領域に対応する判別値を算出して判別値表示領域616aに表示させ、選択状態が解除されると、判別値表示領域616aの判別値を非表示にするものとすればよい。また、この場合、マウスオーバーされた関心領域上でクリック操作等を行うことによって、当該関心領域の選択が確定されるものとすればよい。
<<ヒートマップへの反映>>
図70は、選択された関心領域の生体信号の強度分布をヒートマップに反映する動作を説明する図である。図70を参照しながら、選択された関心領域における時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611に反映する動作を説明する。
立体画像644に表示された脳画像に重畳された関心領域のうち、例えば関心領域759が選択されたものとすると、断面表示制御部213は、図70に示すように、選択された関心領域の位置に対応する三面図を断面図641〜643に表示させる。この場合、断面表示制御部213は、例えば、三面図における関心領域に対応する部位を明示するため、関心領域に含まれるボクセルを、図70に示すように、ドットで表示するものとしてもよい。なお、ドットの表示は、断面画像および強度分布(ヒートマップ)の表示に支障を来す場合も想定されるため、表示または非表示の切り替ええができるものとしてもよい。また、断面図641〜643における基準線645a〜645dで特定される脳内の位置は、例えば、選択された関心領域の中央位置を示すようにすればよい。
また、関心領域759が選択されると、ヒートマップ表示制御部211は、図70に示すように、当該関心領域759における時刻および周波数で特定される生体信号の強度分布(第2強度分布)を、ヒートマップ611に反映して表示させる。また、図70に示すように、ヒートマップ611の一部の領域である指定領域624が指定されることによって、断面表示制御部213は、三面図および立体画像644の脳の画像に、指定領域624に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布をヒートマップとして重畳して表示させる。なお、図70では、ヒートマップ611上の領域である指定領域624が指定された状態を示しているが、これに限定されるものではなく、特定の1点の位置が指定できるものとしてもよい。
<<複数の関心領域が選択された場合の時間周波数解析画面の表示>>
図71は、複数の関心領域が選択された場合の時間周波数解析画面の表示の一例を示す図である。図71を参照しながら、複数の関心領域が選択された場合の時間周波数解析画面の表示について説明する。
上述の図62および図69で説明したように、複数の関心領域が選択された場合には、脳内の位置(領域)としては複数指定されたことになる。したがって、ヒートマップ611が示す生体信号の強度分布、および、三面図(断面図641〜643)についても、それぞれの関心領域に対応するものを表示させることが望ましい。
例えば、立体画像644に表示された関心領域のうち、図62に示したような対応のある関心領域である関心領域750aと、関心領域750bとが選択されたものとする。この場合、断面表示制御部213は、図71に示すように、関心領域750aが選択された状態を示す脳画像を表示する立体画像644aを頭部三面図613a内に表示させ、関心領域750bが選択された状態を示す脳画像を表示する立体画像644bを、立体画像644aと並べるように、頭部三面図613b内に表示させる。また、断面表示制御部213は、図71に示すように、選択された関心領域750aの位置に対応する三面図として頭部三面図613a内の断面図641a〜643aに表示させ、選択された関心領域750bの位置に対応する三面図として頭部三面図613b内の断面図641b〜643bに表示させる。また、断面表示制御部213は、関心領域750a、750bそれぞれについて判別値を算出し、判別値表示領域616aに表示させ、各関心領域についての指標値を算出し、指標値表示領域616bに表示させる。
さらに、ヒートマップ表示制御部211は、図71に示すように、関心領域750aにおける時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611aに反映して表示させ、関心領域750bにおける時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611aと並べるようにヒートマップ611bに反映して表示させる。これによって、対応のある関心領域等のように複数の関心領域が選択された場合、それぞれの関心領域に対応する三面図(断面図641a〜643aと断面図641b〜643b)、立体画像(立体画像644aと立体画像644b)、およびヒートマップ(ヒートマップ611aとヒートマップ611b)を、見比べて比較することが容易となる。
また、例えば、ヒートマップ611a上において例えば、指定領域625aが指定された場合、断面表示制御部213は、図71に示すように、これに同期して、ヒートマップ611b上で、指定領域625aと対応する領域である指定領域625bが指定されたものとして取り扱う。この場合、断面表示制御部213は、三面図(断面図641a〜643a)および立体画像644aの脳の画像に、指定領域625aに含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布をヒートマップとして重畳して表示させる。さらに、断面表示制御部213は、三面図(断面図641b〜643b)および立体画像644bの脳の画像に、指定領域625bに含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布をヒートマップとして重畳して表示させる。これによって、ヒートマップ611a(またはヒートマップ611b)において指定領域が指定された場合、ヒートマップ611b(またはヒートマップ611a)において、同じ領域を手作業で指定する必要がなく、複数の関心領域に関する情報の比較がさらに容易となる。
以上のように、本実施形態に係る情報処理装置50では、特定の発信源からの生体信号について時刻、周波数、および3次元空間の位置(脳部位)からなる5次元の情報を表示させるものとし、発信源の形状(脳等)の画像において着目する複数の関心領域を重畳して表示させ、当該各関心領域における生体信号の強度についての判別値をそれぞれ表示させるものとしている。これによって、時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間の相違に関する客観性かつ定量性の高い情報を提示することができる。
なお、上述の図11等で示したように、時間周波数解析画面601において、ヒートマップ611および立体図612は、画面左側に配置し、頭部三面図613、判別値表示領域616aおよび指標値表示領域616bは、画面右側に配置させるものとしているが、これに限定されるものではない。例えば、頭部三面図613、判別値表示領域616aおよび指標値表示領域616bに表示される各種情報を、ヒートマップ611および立体図612で表示される情報よりも優先的に確認したいというニーズがある場合は、図72に示すように、これらの配置を左右逆に配置させるものとしてもよい。
(変形例1)
本変形例に係る情報処理装置50について、上述の実施形態に係る情報処理装置50と相違する点を中心に説明する。上述の実施形態では、関心領域を、選択されたアトラスの情報に基づいて定義するものとして説明した。本変形例では、複数の生体信号の強度分布に基づいて統計的に関心領域を決定する動作について説明する。
図73は、変形例1に係る情報処理装置において、統計的な処理により関心領域を決定する動作を説明する図である。図73を参照しながら、複数の生体信号の強度分布に基づいて統計的に関心領域を決定する動作について説明する。
上述の実施形態では、アトラスによる解剖学的の知見に基づいて関心領域は定義することを前提としたが、生体信号の強度分布から関心領域を求める方法も考えられる。脳の活動は、神経細胞の発火が起源であり、生体信号が最も脳の活動を反映すると考えられるため、生体信号から求めた関心領域を用いることによって、言語機能等の脳機能を評価する上で有用となる可能性がある。
そこで、例えば、1被験者で何度も特定のタスク(刺激)を行った場合に得られた生体信号、または、複数の被験者で共通のタスクを行った場合に得られた生体信号をデータベースとして記憶部207(または外部の記憶装置)に蓄積し、断面表示制御部213は、これらの複数の生体信号のデータを用いて、統計的な計算を行い、生体信号の統計的な強度分布を求める。そして、断面表示制御部213は、この統計的な強度分布に対して、閾値判定を行うことにより、統計的に有意な生体信号の強度分布を関心領域として決定する。なお、データベースに蓄積される生体信号の情報は、測定した生データであってもよく、解析を施した、例えば時間周波数解析の結果情報であってもよい。
例えば、図73に示すように、複数の生体信号に基づいた強度分布715−1、715−2、・・・、715−nがあるものとする。断面表示制御部213は、これら複数の生体信号に基づく各強度分布について統計的処理(例えば強度分布の平均値を算出する等)を行い、当該統計的処理の結果としての強度分布715を得る。そして、断面表示制御部213は、強度分布715に対して所定の閾値判定を行い、当該閾値以上の強度を有するボクセルで構成される領域を関心領域760として決定する。
このように、複数の生体信号の強度分布に基づいて統計的に関心領域を決定することによって、脳機能を評価する上で有用となる関心領域を抽出することができる可能性があり、時間・周波数・脳部位の5次元の生体信号に基づくデータについて、関心領域間の相違に関して、さらに観性かつ定量性の高い情報を提示することができる可能性ある。
(変形例2)
本変形例に係る情報処理装置50について、上述の実施形態に係る情報処理装置50と相違する点を中心に説明する。上述の実施形態では、関心領域に含まれるボクセルのすべての強度を用いて判別値を算出する動作について説明した。本変形例では、関心領域に含まれるボクセルの強度のうち閾値を超える強度を用いて判別値を算出する動作について説明する。
図74は、変形例2に係る情報処理装置において、関心領域に含まれる生体信号の強度のうち閾値を超えるものに基づいて判別値を求める動作を説明する図である。図74を参照しながら、関心領域に含まれるボクセルの強度のうち閾値を超える強度を用いて判別値を算出する動作について説明する。
本変形例において、断面表示制御部213は、図74に示すように、立体画像644の脳画像に重畳された強度分布716に定義された関心領域761に含まれるボクセルの強度のうち、所定の閾値を超える強度を用いて、判別値を算出し、判別値表示領域616aに表示させる。例えば、言語機能のマッピングのために、単語を提示して動詞を想起するというタスクを繰り返し50回行ったとする。この50回のうち、毎回観測される再現性の高い生体信号が言語機能を反映していると想定されるので、50回分のデータについて統計解析を行い、閾値判定の結果、統計的有意な生体信号の強度分布に限定して、当該限定した強度分布を用いて判別値を計算する。
これによって、統計的に有意な生体信号の強度分布から判別値を算出することが可能となる。
(変形例3)
本変形例に係る情報処理装置50について、上述の実施形態に係る情報処理装置50と相違する点を中心に説明する。本変形例では、定義(決定)された関心領域の位置に基づいて、立体画像644に表示される3次元の脳画像の視点を自動で変更する動作について説明する。
図75は、変形例3に係る情報処理装置において、関心領域の位置によって立体画像に表示される脳の視点を自動的に変更する動作を説明する図である。図75を参照しながら、定義(決定)された関心領域の位置に基づいて、立体画像644に表示される3次元の脳画像の視点を自動で変更する動作について説明する。
上述のように、脳機能のマッピングが規定されたアトラスにより関心領域が定義される。例えば、言語・聴覚機能のマッピングに基づく関心領域は、図75(a)に示すように
左半球の左側、および右半球の右側に存在する。この場合、立体画像644に表示される3次元の脳画像は、図75(d)に示す視点A(すなわち左半球の左側からの視点、および右半球の右側からの視点)から表示させると、関心領域および関心領域に含まれる強度分布を確認しやすい。この場合、関心領域が見やすい視点が複数となるので、例えば、断面表示制御部213は、上述の図71に示したように、各関心領域が見やすい視点ごとに、立体画像644を分けて(例えば立体画像644aと立体画像644bとに分けて)、表示させる。
また、運動・体性感覚機能のマッピングに基づく関心領域は、図75(b)に示すように、左半球および右半球の上側に存在する。この場合、立体画像644に表示される3次元の脳画像は、図75(d)に示す視点B(すなわち、左半球および右半球の上側からの視点)から表示させると、関心領域および関心領域に含まれる強度分布を確認しやすい。
また、視覚機能のマッピングに基づく関心領域は、図75(c)に示すように、左半球および右半球の後側に存在する。この場合、立体画像644に表示される3次元の脳画像は、図75(d)に示す視点C(すなわち、左半球および右半球の後側からの視点)から表示させると、関心領域および関心領域に含まれる強度分布を確認しやすい。
以上のように、本変形例では、断面表示制御部213は、アトラス等により定義された関心領域の中から、特定の関心領域が選択されると、立体画像644に表示される3次元の脳画像について、当該関心領域が確認しやすいように視点を自動で変更する。
これによって、選択された関心領域の位置に応じて、立体画像644に表示される3次元の脳画像の視点が自動的に変更されるので、関心領域の位置、および関心領域に含まれる強度分布の状態が把握しやすくなる。
(変形例4)
本変形例に係る情報処理装置50について、上述の実施形態に係る情報処理装置50と相違する点を中心に説明する。本変形例では、動作モードを変更する動作について説明する。
図76は、変形例4に係る情報処理装置において、動作モードを変更する動作を説明する図である。図76を参照しながら、動作モードを変更する動作について説明する。
上述の実施形態では、例えば、三面図等で指定した脳内の一点を指定して、当該一点に対応する生体信号の強度分布をヒートマップ611等に表示する動作、立体画像644において定義された1つの関心領域を選択して、当該関心領域に対応する生体信号の強度分布をヒートマップ611等に表示する動作、および、立体画像644において複数の関心領域(特に、対応のある関心領域)が選択された場合に、各関心領域に対応する生体信号の強度分布をヒートマップ611a、611bに分けて表示する動作について説明した。本変形例では、上述の3つの動作モード(便宜上、上述の1つ目の動作モードを「ボクセルモード」(第3動作モードの一例)、2つ目の動作モードを「関心領域モード」(第1動作モードの一例)、3つ目の動作モードを「複数領域モード」(第2動作モードの一例)と称するものとする)を明示的に選択する動作について説明する。
本変形例に係る情報処理装置50の表示装置107に表示される時間周波数解析画面601は、さらに図76に示すモード選択リスト618を含む。モード選択リスト618は、動作モードをプルダウン表示し、いずれかの動作モードを選択可能とするプルダウンリストである。図76に示す「Voxel」はボクセルモードに対応し、「ROI」は関心領域モードに対応し、「ROI Group」は複数領域モードに対応する。ユーザは、モード選択リスト618でプルダウン表示された動作モードのうちいずれかの動作モードを選択する。
例えば、「ボクセルモード」が選択された場合には、アトラス選択リスト617におけるアトラスの選択を不可とし、立体画像644には、関心領域が表示されず、三面図等において脳内の一点の選択のみが可能となる。
また、「関心領域モード」が選択された場合には、アトラス選択リスト617におけるアトラスの選択が可能となり、立体画像644には、選択されたアトラスに基づく関心領域が表示され、表示された関心領域が1つ選択可能となる。そして、関心領域が1つ選択されると、断面表示制御部213は、選択された関心領域の位置に対応する三面図を断面図641〜643に表示させる。また、断面表示制御部213は、選択された関心領域の生体信号の強度に基づいて判別値を算出し、判別値表示領域616aに表示させる。さらに、ヒートマップ表示制御部211は、選択された関心領域における時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611に反映して表示させる。
また、「複数領域モード」が選択された場合には、アトラス選択リスト617におけるアトラスの選択が可能となり、立体画像644には、選択されたアトラスに基づく関心領域が表示され、表示された関心領域のうち複数の関心領域が選択可能となる。そして、例えば、複数の関心領域として対応のある関心領域が選択されると、断面表示制御部213は、選択された一方の関心領域の位置に対応する三面図として頭部三面図613a内の断面図641a〜643aに表示させ、選択された他方の関心領域の位置に対応する三面図として頭部三面図613b内の断面図641b〜643bに表示させる。また、断面表示制御部213は、対応のある関心領域それぞれについて判別値を算出し、判別値表示領域616aに表示させ、各関心領域についての指標値を算出し、指標値表示領域616bに表示させる。さらに、ヒートマップ表示制御部211は、一方の関心領域における時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611aに反映して表示させ、他方の関心領域における時刻および周波数で特定される生体信号の強度分布を、ヒートマップ611aと並べるようにヒートマップ611bに反映して表示させる。
このように、動作モードを明示的に選択することができるので、解析の目的に合わせた動作モードを選択し、選択した動作モードに従った表示動作を行わせることができる。
(変形例5)
本変形例に係る情報処理装置50について、上述の実施形態に係る情報処理装置50と相違する点を中心に説明する。上述の実施形態では、関心領域を選択する場合、立体画像644に表示された関心領域に対してクリック操作等によって選択するものとしていた。本変形例では、関心領域を関心領域選択リストで表示されるプルダウンリストから、目的とする関心領域が選択できる動作について説明する。
図77は、変形例5に係る情報処理装置において、プルダウンから関心領域を選択する動作を説明する図である。図77を参照しながら、関心領域を関心領域選択リストで表示されるプルダウンリストから、目的とする関心領域が選択できる動作について説明する。
本変形例に係る情報処理装置50の表示装置107に表示される時間周波数解析画面601は、上述の図11で示したアトラス選択リスト617に加えて、図77に示すように、関心領域選択リスト619を含む。関心領域選択リスト619は、アトラス選択リスト617で選択されたアトラスで定義されている関心領域のラベルをプルダウン表示するプルダウンリストである。
したがって、本変形例では、立体画像644に表示された関心領域からいずれかの関心領域を選択することに代えて、あるいはそれに加えて、関心領域選択リスト619でプルダウン表示された関心領域から選択することが可能となる。また、当該プルダウン表示から複数の関心領域も選択することができる。例えば、キーボードのシフトキーを押しながらマウスのクリック操作により複数の関心領域が選択できるものとしてもよく、アトラスで定義されたグループ化された関心領域のいずれかが選択された場合は、同じグループに属する他の関心領域も自動で選択されるものとしてもよく、対応のある関心領域のいずれかが選択された場合は、対となる他の関心領域も自動で選択されるものとしてもよい。
なお、断面表示制御部213は、立体画像644に表示される関心領域として、関心領域選択リスト619から選択された関心領域のみ表示させるものとしてもよい。
これによって、アトラスで定義されたラベルをリスト表示できるので、関心領域の位置に対する知見が乏しくても、ラベルと手掛かりに所望する関心領域を選択することができ、ユーザ(解析者)の利便性を向上させることができる。
また、上述の実施形態および各変形例において、生体信号計測システム1の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態および各変形例に係る生体信号計測システム1で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および各変形例の生体信号計測システム1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および各変形例の生体信号計測システム1で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および各変形例の生体信号計測システム1で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUがROM等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。
1 生体信号計測システム
3 測定装置
4 測定テーブル
31 デュワ
32 窪み
40 サーバ
50 情報処理装置
101 CPU
102 RAM
103 ROM
104 補助記憶装置
105 ネットワークI/F
106 入力装置
107 表示装置
108 バス
201 収集表示制御部
202 解析表示制御部
203 ピークリスト制御部
204 通信部
205 センサ情報取得部
206 解析部
207 記憶部
208 入力部
211 ヒートマップ表示制御部
212 立体表示制御部
213 断面表示制御部
214 再生表示制御部
501 開始画面
502 測定収集画面
511a、511b 領域
512 モニタウィンドウ
521〜523 第2表示領域
523a−1、523a−2 マーク
526−1、526−2 属性アイコン
530 第1表示領域
530a−1、530a−2 アノテーション
531 時間軸
532 ライン
535 ポップアップウィンドウ
535a 選択ボンタン
535b 入力ボックス
538 カウンタボタン
539 終了ボタン
541、542 脳磁分布図
550 脳波分布図
560 アノテーションリスト
560a 選択ボックス
601 時間周波数解析画面
605 解析画面切替リスト
611、611a、611b ヒートマップ
612、612a 立体図
612−1〜612−3 表示領域
613、613a、613b 頭部三面図
614 ピークリスト
614a ピークリスト設定ボタン
615 再生制御パネル
616a 判別値表示領域
616b 指標値表示領域
617 アトラス選択リスト
618 モード選択リスト
619 関心領域選択リスト
621、621−1 指定部
621−2〜621−5 対応部
622、622−1 指定領域
622−2〜622−5 対応領域
623 指定領域
624 指定領域
625a、625b 指定領域
631−1〜631−5 線分
635 コメント
641〜643、641a〜643a、641b〜643b 断面図
644、644a、644b 立体画像
645a〜645d 基準線
646、646a、646b ピーク点
647 ダイポール
650〜652 ダイアログボックス
655 ダイアログボックス
656 プルダウンリスト
712a−1〜712a−5 部位
712b−1〜712b−5 部位
713a−1、713a−2、713b〜713d 部位
714 強度分布
715、715−1、751−2 強度分布
716 強度分布
722−1〜722−5 枠
750a、750b 関心領域
751 関心領域
752a、752b 関心領域
753a〜753c 関心領域
754a、754b 関心領域
755a、755b 関心領域
756a、756b 関心領域
757a、757b 関心領域
758a〜758d 関心領域
759〜761 関心領域
801、802 ピーク部
811〜813 直線
850a、850b ラベル
A1、A2 アノテーション
ATS1、ATS2 アトラス
P0〜P2 視点
特表2010−526572号公報

Claims (20)

  1. 特定の発信源からの生体波形に基づく、時間、周波数および3次元空間の位置の5次元についての生体信号の強度のうち、3次元空間の位置の前記生体信号の第1強度分布を前記発信源の形状の画像に重畳し、かつ、前記形状の画像における解析対象となる複数の関心領域を該形状の画像に重畳して表示する第1表示制御部と、
    前記複数の関心領域のうち、少なくとも2以上の関心領域それぞれに対応する前記生体信号の強度に基づく判別値を表示する第2表示制御部と、
    を備えた情報処理装置。
  2. 前記第1表示制御部は、前記複数の関心領域のうち同じグループの関心領域を、該グループに属さない関心領域と区別して表示し、
    前記第2表示制御部は、入力装置によりグループに属するいずれかの関心領域が選択された場合、該グループに属するすべての関心領域に対応する前記判別値を表示する請求項1に記載の情報処理装置。
  3. 前記第1表示制御部は、前記複数の関心領域のうち、対応関係が定義された対応のある関心領域を、対応関係がない関心領域と区別して表示し、
    前記第2表示制御部は、入力装置により、前記対応のある関心領域のうちいずれかの関心領域が選択された場合、該対応のある関心領域それぞれに対応する前記判別値を表示する請求項1または2に記載の情報処理装置。
  4. 前記第2表示制御部は、前記対応のある関心領域それぞれに対応する前記判別値の相対的な関係を示す指標値を表示する請求項3に記載の情報処理装置。
  5. 前記第1表示制御部は、予め関心領域を定義する複数のアトラスのうち、入力装置により選択されたアトラスで定義される関心領域を前記形状の画像に重畳して表示する請求項1〜4のいずれか一項に記載の情報処理装置。
  6. 前記第2表示制御部は、前記選択されたアトラスで定義される各関心領域を表示するリストの中から、入力装置により選択された関心領域に対応する前記判別値を表示する請求項5に記載の情報処理装置。
  7. 前記第1表示制御部は、前記選択されたアトラスで規定される座標系に基づく関心領域を、別の座標系に基づく関心領域に座標変換して前記形状の画像に重畳して表示する請求項5または6に記載の情報処理装置。
  8. 前記第1表示制御部は、複数の前記生体信号の強度に対する統計的処理に基づいて、関心領域を決定する請求項1〜4のいずれか一項に記載の情報処理装置。
  9. 前記第2表示制御部は、前記形状の画像に重畳された複数の関心領域に対して入力装置により選択された関心領域に対応する前記判別値を表示する請求項1〜5、8のいずれか一項に記載の情報処理装置。
  10. 前記第1表示制御部により表示された前記複数の関心領域から選択された関心領域に対応する時間および周波数を単位とした第2強度分布を表示する第3表示制御部を、さらに備えた請求項1〜9のいずれか一項に記載の情報処理装置。
  11. 前記第1表示制御部は、前記第3表示制御部により表示された前記第2強度分布上で指定された点または領域に対応する前記生体信号の前記第1強度分布を、前記形状の画像に重畳して表示する請求項10に記載の情報処理装置。
  12. 前記第3表示制御部は、前記形状の画像に重畳された前記複数の関心領域から、複数の関心領域が選択された場合、少なくとも、選択された該複数の関心領域それぞれに対応する前記第2強度分布を並べて表示する請求項10または11に記載の情報処理装置。
  13. 前記第3表示制御部は、並べて表示された前記第2強度分布のうち、一方の第2強度分布上で点または領域が指定された場合、他方の第2強度分布上で、該点または領域に対応する点または領域が指定されたものとして扱い、
    前記第1表示制御部は、
    前記一方の第2強度分布上で指定された点または領域に対応する前記生体信号の前記第1強度分布を、前記形状の画像に重畳して表示し、
    前記他方の第2強度分布上で指定されたものとして扱われた点または領域に対応する前記生体信号の前記第1強度分布を、前記形状の画像に重畳して表示する請求項12に記載の情報処理装置。
  14. 前記関心領域に含まれる前記生体信号の強度のうち、所定の閾値を超える強度に基づいて前記判別値を算出する算出部を、さらに備えた請求項1〜13のいずれか一項に記載の情報処理装置。
  15. 前記第1表示制御部は、前記複数の関心領域のうち入力装置により選択された関心領域の位置に基づいて、前記形状の画像を表示する視点を自動で変更する請求項1〜14のいずれか一項に記載の情報処理装置。
  16. 前記複数の関心領域のうち、1の関心領域を選択できる第1動作モードと、
    前記複数の関心領域のうち、2以上の関心領域を選択できる第2動作モードと、
    前記形状の画像における一点を選択できる第3の動作モードと、
    を有し、
    前記第2表示制御部は、
    入力装置により前記第1動作モードが選択された場合、選択された1の関心領域に対応する前記生体信号の強度に基づく判別値を表示し、
    該入力装置により前記第2動作モードが選択された場合、選択された2以上の関心領域に対応する前記生体信号の強度に基づく判別値を表示する請求項1〜15のいずれか一項に記載の情報処理装置。
  17. 前記第1表示制御部は、前記形状の画像に重畳して表示した関心領域の近傍に、該関心領域を識別するラベルを表示する請求項1〜16のいずれか一項に記載の情報処理装置。
  18. 特定の発信源からの生体波形に基づく、時間、周波数および3次元空間の位置の5次元についての生体信号の強度のうち、3次元空間の位置の前記生体信号の第1強度分布を前記発信源の形状の画像に重畳し、かつ、前記形状の画像における解析対象となる複数の関心領域を該形状の画像に重畳して表示する第1表示制御ステップと、
    前記複数の関心領域のうち、少なくとも2以上の関心領域それぞれに対応する前記生体信号の強度に基づく判別値を表示する第2表示制御ステップと、
    を有する情報処理方法。
  19. コンピュータに、
    特定の発信源からの生体波形に基づく、時間、周波数および3次元空間の位置の5次元についての生体信号の強度のうち、3次元空間の位置の前記生体信号の第1強度分布を前記発信源の形状の画像に重畳し、かつ、前記形状の画像における解析対象となる複数の関心領域を該形状の画像に重畳して表示する第1表示制御ステップと、
    前記複数の関心領域のうち、少なくとも2以上の関心領域それぞれに対応する前記生体信号の強度に基づく判別値を表示する第2表示制御ステップと、
    を実行させるためのプログラム。
  20. 被験者から1種類以上の前記生体波形を測定する測定装置と、
    請求項1〜17のいずれか一項に記載の情報処理装置と、
    を備えた生体信号計測システム。
JP2020049878A 2020-03-19 2020-03-19 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム Pending JP2021145969A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020049878A JP2021145969A (ja) 2020-03-19 2020-03-19 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020049878A JP2021145969A (ja) 2020-03-19 2020-03-19 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Publications (1)

Publication Number Publication Date
JP2021145969A true JP2021145969A (ja) 2021-09-27

Family

ID=77849999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020049878A Pending JP2021145969A (ja) 2020-03-19 2020-03-19 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Country Status (1)

Country Link
JP (1) JP2021145969A (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005133A (ja) * 1998-06-19 2000-01-11 Toshiba Corp 医用画像表示装置
JP2002360538A (ja) * 2001-06-08 2002-12-17 Hitachi Ltd 画像表示装置
JP2003199715A (ja) * 2001-08-31 2003-07-15 Daiichi Radioisotope Labs Ltd 画像関連データ処理方法
JP2004160171A (ja) * 2002-06-11 2004-06-10 Ge Medical Systems Global Technology Co Llc 画像処理方法及びシステム、並びにそのような方法及びシステムを組み込んだ画像形成設備
JP2008229238A (ja) * 2007-03-23 2008-10-02 National Institute Of Advanced Industrial & Technology 脳活動解析方法および装置
JP2008237747A (ja) * 2007-03-28 2008-10-09 Dainippon Printing Co Ltd 関心領域決定装置
JP2009039240A (ja) * 2007-08-08 2009-02-26 Toshiba Corp 超音波診断装置、及び超音波画像処理プログラム
JP2010057528A (ja) * 2008-09-01 2010-03-18 Fujifilm Corp 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
JP2010088592A (ja) * 2008-10-07 2010-04-22 National Institute Of Advanced Industrial Science & Technology 生体信号計測システム
JP2013022154A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
JP2019051315A (ja) * 2017-09-13 2019-04-04 ザ・ユニバーシティ・オブ・シカゴThe University Of Chicago 医用画像処理装置、医用画像撮像装置及び医用画像処理プログラム
US20190236824A1 (en) * 2018-01-30 2019-08-01 Ricoh Company, Ltd. Information processing device, information processing method, computer program product, and biosignal measurement system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005133A (ja) * 1998-06-19 2000-01-11 Toshiba Corp 医用画像表示装置
JP2002360538A (ja) * 2001-06-08 2002-12-17 Hitachi Ltd 画像表示装置
JP2003199715A (ja) * 2001-08-31 2003-07-15 Daiichi Radioisotope Labs Ltd 画像関連データ処理方法
JP2004160171A (ja) * 2002-06-11 2004-06-10 Ge Medical Systems Global Technology Co Llc 画像処理方法及びシステム、並びにそのような方法及びシステムを組み込んだ画像形成設備
JP2008229238A (ja) * 2007-03-23 2008-10-02 National Institute Of Advanced Industrial & Technology 脳活動解析方法および装置
JP2008237747A (ja) * 2007-03-28 2008-10-09 Dainippon Printing Co Ltd 関心領域決定装置
JP2009039240A (ja) * 2007-08-08 2009-02-26 Toshiba Corp 超音波診断装置、及び超音波画像処理プログラム
JP2010057528A (ja) * 2008-09-01 2010-03-18 Fujifilm Corp 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
JP2010088592A (ja) * 2008-10-07 2010-04-22 National Institute Of Advanced Industrial Science & Technology 生体信号計測システム
JP2013022154A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
JP2019051315A (ja) * 2017-09-13 2019-04-04 ザ・ユニバーシティ・オブ・シカゴThe University Of Chicago 医用画像処理装置、医用画像撮像装置及び医用画像処理プログラム
US20190236824A1 (en) * 2018-01-30 2019-08-01 Ricoh Company, Ltd. Information processing device, information processing method, computer program product, and biosignal measurement system

Similar Documents

Publication Publication Date Title
US9747421B2 (en) Multi-factor brain analysis via medical imaging decision support systems and methods
Lévêque et al. State of the art: Eye-tracking studies in medical imaging
US7933437B2 (en) Information processing apparatus and its control method and data processing system
JP2020146204A (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US10679394B2 (en) Information processing device, information processing method, computer program product, and biosignal measurement system
US11207044B2 (en) Information processing apparatus, information processing method, computer-readable medium, and biological signal measurement system
US20200297231A1 (en) Information processing device, information processing method, recording medium storing program code, and biomedical-signal measuring system
US11666262B2 (en) Information display device, biological signal measurement system and computer-readable recording medium
US20190282176A1 (en) Information display device, biological signal measurement system, and computer program product
CN108958489A (zh) 一种基于脑电和眼动仪的图像感兴趣区域快速检出方法
US11237712B2 (en) Information processing device, biomedical-signal measuring system, display method, and recording medium storing program code
US11457856B2 (en) Information processing device, information processing method, recording medium storing program code, and biomedical-signal measuring system
US11138779B2 (en) Information processing apparatus, information processing method, computer-readable medium, and biological signal measurement system
Tula et al. Heatmap explorer: An interactive gaze data visualization tool for the evaluation of computer interfaces
US11484268B2 (en) Biological signal analysis device, biological signal measurement system, and computer-readable medium
JP7135845B2 (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
Lévêque et al. A statistical evaluation of eye-tracking data of screening mammography: Effects of expertise and experience on image reading
JP2021145969A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
Cavaro-Ménard et al. Eye-position recording during brain MRI examination to identify and characterize steps of glioma diagnosis
JP7176197B2 (ja) 情報処理装置、生体信号計測システム、表示方法、及びプログラム
JP2021145875A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
JP6962188B2 (ja) 情報処理装置、生体信号計測システム、及びプログラム
CN112741598A (zh) 波形生成识别方法和计算机可读介质
JP2021019954A (ja) 情報処理装置、生体信号表示装置およびプログラム
JP7200774B2 (ja) 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240319