JP2021019954A - 情報処理装置、生体信号表示装置およびプログラム - Google Patents

Abstract

【課題】注目点の網羅性と、注目点の分布の探索性を向上させる。【解決手段】時間、周波数、３次元空間の座標、信号強度のうち、少なくとも前記３次元空間の座標を含む５以上の多次元時系列データを有するデータから得られた特徴量を３次元表示する散布図上に表示する散布図表示手段を備える。【選択図】図９

Description

本発明は、情報処理装置、生体信号表示装置およびプログラムに関する。

脳磁計（Ｍａｇｎｅｔｏ−ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ：ＭＥＧ）は、脳から発生する微弱な磁場を測定することで、脳活動を無侵襲で観測・可視化することができる。例えば、３次元ＭＲＩ、ＭＲＩ三面図、時間周波数マップを用いて脳活動を表示する技術が既に知られている。

しかし、従来の脳活動の表示方法では、注目点（ピーク、ダイポール）の情報（時間、周波数、位置など）だけを一目で俯瞰して見ることができない。そのため、注目点情報の一覧性が悪く、医師はどこの時間、周波数、脳領域に重要な脳活動があるのか、その都度、表示画面を切り替えながら探すしかない、という問題があった。

特許文献１には、多次元時系列データを３次元上に並べて表示する技術が開示されている。

しかしながら、特許文献１に開示の技術では、多次元時系列データを３次元上に並べて表示しているだけであるため、重要な情報を探そうとしても一覧性が悪いという問題がある。特に、生体磁気データはデータ数が多く、領域数８０００点、周波数２０００点ほどあるため、次元数は約１６００万にもなる。

また、特許文献１に開示の技術では、多次元データを主成分分析にかけベクトル情報を取得し、機械的に正常／異常の判定を行っているだけで、ベクトル情報をユーザに視覚的に表示させる機能はない。そのため、注目点の分布から相関を見つけたり、どの範囲に分布しているのか探索したりするのが難しいという問題がある。

本発明は、上記に鑑みてなされたものであって、注目点の網羅性と、注目点の分布の探索性を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、時間、周波数、３次元空間の座標、信号強度のうち、少なくとも前記３次元空間の座標を含む５以上の多次元時系列データを有するデータから得られた特徴量を３次元表示する散布図上に表示する散布図表示手段を備える、ことを特徴とする。

本発明によれば、注目点の網羅性と、注目点の分布の探索性を向上させることができるという効果を奏する。

図１は、実施形態に係る生体信号計測システムの構成を示す概略図である。 図２は、サーバの機能構成を概略的に示すブロック図である。 図３は、サーバのデータ記憶部に記憶されているデータの一例を示す図である。 図４は、情報処理装置のハードウェア構成の一例を示す図である。 図５は、情報処理装置の機能ブロック構成の一例を示す図である。 図６は、サーバから受け取るデータを例示的に示す図である。 図７は、表示処理の流れを示すフローチャートである。 図８は、３次元ＭＲＩ、ＭＲＩ三面図、時間周波数マップの表示例を示す図である。 図９は、ピークの脳領域位置の散布図の表示例を示す図である。 図１０は、図９に示した散布図を時間方向に平行移動させた場合の表示例を示す図である。 図１１は、図９に示した散布図を回転させた場合の表示例を示す図である。 図１２は、図９に示した散布図を拡大させた場合の表示例を示す図である。 図１３は、図９に示した散布図を縮小させた場合の表示例を示す図である。 図１４は、図９に示した散布図の所定の平面に対して注目点の存在する位置をハイライト表示した場合の表示例を示す図である。 図１５は、図９に示した散布図上のプロットのサイズに対して３軸とは異なるデータを付与した場合の表示例を示す図である。 図１６は、図９に示した散布図上のプロットの色（但し、色の違いは異なる符号として表現）に対して３軸とは異なるデータを付与した場合の表示例を示す図である。 図１７は、図９に示した散布図上のプロットの形に３軸とは異なるデータを付与した場合の表示例を示す図である。 図１８は、散布図上の注目点に対して、ユーザが任意の注目点を選択して表示する場合の表示例を説明するための図である。 図１９は、Ｘ軸に対してユーザが所望の範囲を表示する例を説明する図である。 図２０は、Ｙ軸に対してユーザが所望の範囲を表示する例を説明する図である。 図２１は、Ｚ軸に対してユーザが所望の範囲を表示する例を説明する図である。 図２２は、プロットサイズに対して、ユーザが所望の範囲を表示する例を説明する図である。 図２３は、プロット点の形に対してユーザが所望の範囲を表示する例を説明する図である。 図２４は、プロット点の色（但し、色の違いは異なる符号として表現）に対してユーザが所望の範囲を表示する例を説明する図である。 図２５は、散布図のＹ軸をボクセルナンバーにするとともに注目点の大きさを信号強度にした散布図の表示例を示す図である。

以下に、図面を参照しながら、本発明に係る情報処理装置、生体信号表示装置およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（生体信号計測システムの概略）
図１は、実施形態に係る生体信号計測システムの構成を示す概略図である。図１を参照しながら、本実施形態に係る生体信号計測システム１の概略について説明する。

生体信号計測システム１は、特定の発信源（生体部位）からの被検者の複数種類の生体信号（例えば、脳磁（ＭＥＧ：Ｍａｇｎｅｔｏ−ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）信号、および脳波（ＥＥＧ：Ｅｌｅｃｔｒｏ−ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）信号を計測し、表示するシステムである。なお、本発明において、測定対象となる生体信号は、脳磁信号および脳波信号に限られるものではなく、例えば、心臓の活動に応じて発生する電気信号（心電図として表現可能な電気信号）などであってもよい。

図１に示すように、生体信号計測システム１は、被検者の１以上の生体信号を測定する測定装置３と、測定装置３で測定された１種類以上の生体信号を記録するサーバ４０と、サーバ４０に記録された１種類以上の生体信号を解析する生体信号表示装置である情報処理装置５０と、を含む。測定装置３は、例えば脳磁場や刺激を与えたタイミング等の計測値を収集する脳磁計である。なお、図１では、サーバ４０と情報処理装置５０とが別々に記載されているが、例えば、サーバ４０が有する機能の少なくとも一部が情報処理装置５０に組み込まれる形態であってもよい。

図１の例では、被検者（被測定者）は、頭に脳波測定用の電極（またはセンサ）を付けた状態で測定テーブル４に仰向けで横たわり、測定装置３のデュワ３１の窪み３２に頭部を入れる。デュワ３１は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ３１の窪み３２の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置３は、電極からの脳波信号と、磁気センサからの脳磁信号とを収集し、収集した脳波信号および脳磁信号を含むデータ（以下、「測定データ」と称する場合がある）をサーバ４０へ出力する。サーバ４０へ出力された測定データ４３１（図２参照）は、情報処理装置５０に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ３１および測定テーブル４は、磁気シールドルーム内に配置されているが、図１では便宜上、磁気シールドルームの図示を省略している。

情報処理装置５０は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する装置である。脳波信号とは、神経細胞の電気的な活動（シナプス伝達の際のニューロンの樹状突起で起きるイオン電荷の流れ）を電極間の電圧値として表される信号である。脳磁信号とは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計（ＳＱＵＩＤ：Ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ Ｑｕａｎｔｕｍ Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｄｅｖｉｃｅ）センサで検知される。これらの脳波信号および脳磁信号は、「生体信号」の一例である。

ここで、図２はサーバ４０の機能構成を概略的に示すブロック図である。図２に示すように、サーバ４０は、データ取得部４１と、データ計算部４２と、データ記憶部４３とを有する。

データ取得部４１は、測定装置３から測定データ４３１（図３で図示）を定期的に取得する。

データ計算部４２は、測定装置３から取得した測定データ４３１に対して信号源の推定や、脳領域内の信号強度や信号源推定の結果から特徴量の算出を行う。特徴量とは、多次元データの極値（ピーク値）や、主成分分析等によって得られた値を指す。推定された信号源や算出された特徴量は、算出データ４３２（図３で図示）である。

データ記憶部４３は、測定装置３から取得した測定データ４３１やデータ計算部４２で算出した算出データ４３２（特徴量など）を記憶する。

ここで、図３はサーバ４０のデータ記憶部４３に記憶されているデータの一例を示す図である。測定装置３から取得した測定データ４３１は、測定装置３における測定によって得られた生のデータを指す。生のデータは、アカウントデータ、信号データ、センサーデータなどである。

算出データ４３２は、測定データ４３１を用いて、計算処理を行った結果を指す。ピークとは、特徴量に該当し、脳領域での信号の強度が極大値、または極小値となるグリッドを指す。ピークの信号強度データとは、そのグリッドの信号の強度の値を指す。クラスターとは、ピークを含む、任意の信号強度値よりも大きい／小さい値をもつグリッドの集合体を指す。ピークのクラスターサイズデータとは、そのクラスターのグリッドの数を指す。ピークの座標データは、ピークのグリッド座標を指す。ピークのボクセルナンバーデータは、ピークのボクセルナンバーを指す。ピークの脳領域位置データは、ピークがどの脳領域にあるのかを指す。ピークの左右判定とは、ピークが脳領域の左右どちらにあるのかを指す。

（情報処理装置のハードウェア構成）
図４は、情報処理装置のハードウェア構成の一例を示す図である。図４を参照しながら、情報処理装置５０のハードウェア構成について説明する。

図４に示すように、情報処理装置５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、補助記憶装置１０４と、ネットワークＩ／Ｆ１０５と、入力装置１０６と、表示装置１０７と、を有し、これらがバス１０８で相互に接続されている。

ＣＰＵ１０１は、情報処理装置５０の全体の動作を制御し、各種の情報処理を行う演算装置である。ＣＰＵ１０１は、ＲＯＭ１０３または補助記憶装置１０４に記憶された情報表示プログラムを実行して、測定収集画面および解析画面（散布図３０１（図９参照）等）の表示動作を制御する。

ＲＡＭ１０２は、ＣＰＵ１０１のワークエリアとして用いられ、主要な制御パラメータおよび情報を記憶する揮発性の記憶装置である。ＲＯＭ１０３は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、上述の情報表示プログラムがＲＯＭ１０３に記憶されているものとしてもよい。

補助記憶装置１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。補助記憶装置１０４は、例えば、情報処理装置５０の動作を制御する制御プログラム、ならびに、情報処理装置５０の動作に必要な各種のデータおよびファイル等を記憶する。

ネットワークＩ／Ｆ１０５は、サーバ４０等のネットワーク上の機器と通信を行うための通信インターフェースである。ネットワークＩ／Ｆ１０５は、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に準拠したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。

入力装置１０６は、タッチパネルの入力機能、キーボード、マウスおよび操作ボタン等のユーザインターフェース等である。表示装置１０７は、各種の情報を表示するディスプレイ装置である。表示装置１０７は、例えば、タッチパネルの表示機能、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。表示装置１０７は、測定収集画面および解析画面を表示し、入力装置１０６を介した入出力操作に応じて画面が更新される。

なお、図４に示す情報処理装置５０のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図４に示す情報処理装置５０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークＩ／Ｆ１０５は、無線通信機能を有する通信インターフェースであればよい。

（情報処理装置の機能ブロック構成）
図５は、情報処理装置の機能ブロック構成の一例を示す図である。図５を参照しながら、情報処理装置５０の機能ブロック構成について説明する。

図５に示すように、情報処理装置５０は、散布図表示処理部５０１と、位置情報処理部５０２と、数値情報処理部５０３と、通信部５０４と、記憶部５０５と、を備える。

散布図表示処理部５０１は、散布図表示手段として機能するものであって、横軸を第１の種類のデータ値を示す軸Ｘとし、この軸Ｘに直交する縦軸を第２の種類のデータ値を示す軸Ｙとし、第１軸と第２軸とに直交する第３軸を時間に関するデータ値を示す軸Ｚとする。散布図表示処理部５０１は、ＸＹＺの３軸で示される空間上に注目点をプロットし、プロットしたデータを散布図３０１（図９参照）として表示装置１０７上に表示する

位置情報処理部５０２は、表示範囲指定手段として機能するものであって、散布図３０１が表示される表示画面Ｄ中の位置表示部３０２（図９参照）の表示範囲を、位置情報として散布図表示処理部５０１に表示させる。

数値情報処理部５０３は、データ範囲指定手段として機能するものであって、散布図３０１が表示される表示画面Ｄ中の閾値設定部３０３（図９参照）の数値情報を、数値情報として散布図表示処理部５０１に表示させる。

通信部５０４は、サーバ４０とデータ通信を行う機能部である。通信部５０４は、図４に示すネットワークＩ／Ｆ１０５によって実現される。

記憶部５０５は、サーバ４０から受け取ったデータ（測定データ４３１、算出データ４３２）等を記憶する機能部である。記憶部５０５は、図４に示すＲＡＭ１０２または補助記憶装置１０４によって実現される。

ここで、図６はサーバ４０から受け取るデータを例示的に示す図である。図６に示すように、サーバ４０から受け取るデータとしては、アカウントナンバー、生体信号に対する時間データ、生体信号に対する周波数データ、ピークの信号強度データ、ピークのボクセルナンバーデータ（Ｘ座標、Ｙ座標、Ｚ座標）、ピークの脳領域位置データ、ピークの左右判定データ、ピークのクラスターサイズデータなどである。

ピークの信号強度データは、脳領域での信号の強度が極大値、または極小値となるグリッドの信号の強度の値を指すデータである。

ピークのボクセルナンバーデータは、ピークのボクセルナンバー（Ｘ座標、Ｙ座標、Ｚ座標）を指すデータである。

ピークの脳領域位置データは、ピークがどの脳領域（例えば、前頭葉など）にあるのかを指すデータである。

ピークの左右判定とは、ピークが脳領域の左右どちらにあるのかを指すデータである。

ピークのクラスターサイズデータとは、ピークを含む、任意の信号強度値よりも大きい／小さい値をもつグリッドの集合体であるクラスターのグリッドの数を指すデータである。

上述の散布図表示処理部５０１と、位置情報処理部５０２と、数値情報処理部５０３とは、ＣＰＵ１０１がＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２に展開して実行することにより実現される。なお、散布図表示処理部５０１と、位置情報処理部５０２と、数値情報処理部５０３との一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

次に、情報処理装置５０が実行する散布図表示処理について詳述する。

図７は、表示処理の流れを示すフローチャートである。図７に示すように、散布図表示処理部５０１は、測定装置３（脳磁計）で測定された測定データ４３１や算出データ４３２をサーバ４０から取得し、そのデータをもとに信号源推定を行う（ステップＳ１）。

次いで、散布図表示処理部５０１は、ステップＳ１における信号源推定結果をもとに、ピークとなる特徴量（脳領域での信号の強度が極大値、または極小値となるグリッド）がどこにあるのか算出する（ステップＳ２）。

次に、散布図表示処理部５０１は、散布図３０１上に表示する注目点を対象のデータから選択する（ステップＳ３）。より詳細には、グラフ化の対象となる数値データであって、関連する時系列データを含む３種類以上の数値データを選択する。ここでは、図６に示すような、時間データと、周波数データと、ピークの信号強度データと、ピークの脳領域位置と、ピークの左右判定と、ピークのクラスターサイズと、の５種類の数値データを選択するとして説明を進める。

ここで、図８は３次元ＭＲＩ２０１、ＭＲＩ三面図２０２、時間周波数マップ２０３の表示例を示す図である。図８の表示例は、従来からある表示例であって、３次元ＭＲＩ２０１、ＭＲＩ三面図２０２、時間周波数マップ２０３を備えている。ＭＲＩ三面図２０２に重畳されている白丸は、時間周波数マップ２０３の図中の黒枠で囲まれた、時間、周波数領域における脳領域に存在するピーク（信号強度の極値）を示す。また、図８に示す黒点は、ダイポール（信号源）を示す。

上述のように測定装置３（脳磁計）によって得られる脳活動の情報は、時間、周波数、脳領域の位置、ダイポールの位置、ピークの位置等、大量にある。また注目点（ピークやダイポール）に関する情報だけに注目しても、時間、周波数、位置、クラスターのサイズ、ボクセルのナンバー、信号強度などがある。注目点を表示する場合、それらの情報をできる限りわかりやすく、多く表示することで、医師はどこに重要な脳活動が隠れているのかを即座に発見することができる。

そこで、本実施形態においては、時間軸を含む３次元で散布図３０１を表示する。これにより、脳活動の変化を俯瞰的に見ることができる。

次に、散布図表示処理部５０１は、散布図３０１上に対象のデータを表示する（図７：ステップＳ４）。より詳細には、散布図表示処理部５０１は、ユーザから、注目点に関するデータと、そのデータの範囲（時間、周波数、位置など）に関する要求が出されると、その指定されたデータについて、指定された範囲のデータをサーバ４０のデータ記憶部４３から取得し、この取得したデータをグラフ化して表示装置１０７上に表示する。

ここで、図９はピークの脳領域位置の散布図３０１の表示例を示す図である。図９に示す例では、周波数のデータ値を示す軸を軸Ｘとし、この軸Ｘに直交する縦軸を注目点の信号強度を示す軸Ｙとし、Ｘ軸とＹ軸とに直交するＺ軸を時間に関するデータ値とする。図９に示すように、ＸＹＺの３軸で示される空間上に注目点をプロットし、このプロットしたデータ（黒丸で示す点）を散布図３０１として表示装置１０７上に表示する。

図９に示す散布図３０１は、医師などがどこに重要な脳活動が隠れているのかについてあたりをつける判断材料とすることができる。

なお、図９に示す散布図３０１にプロットしたデータ（黒丸で示す点）をクリックすると数値が表示されるようにしてもよい。

また、図９に示す散布図３０１にプロットしたデータ（黒丸で示す点）をクリックすると図８の画面上に表示されるようにしてもよい。

なお、図９に示す散布図３０１は、初期表示時に表示されてもよいし、図８に示す画面に設けられたボタンを介した指示に従って表示されてもよい。

また、散布図表示処理部５０１は、図９に示す散布図３０１が表示される表示画面Ｄ中に、位置表示部３０２と、閾値設定部３０３と、を表示する。

位置表示部３０２には、プロットしたい特徴量の表示範囲を指定する表示窓３０２ａと、３次元ＭＲＩ２０１を表示する表示部３０２ｂと、が設けられている。３次元ＭＲＩ２０１を表示する表示部３０２ｂは、プロットしたデータ（黒丸で示す点）に対応する箇所を光らせて表示してもよい。

閾値設定部３０３には、各種の取得したデータの範囲を設定し、表示する表示窓３０３ａが設けられている。表示窓３０３ａにおいては、時間、周波数、信号強度、クラスターサイズ、左右判定が設定可能である。

次に、位置情報処理部５０２は、散布図３０１上の表示方法の操作を受け付ける（図７：ステップＳ５）。

［散布図の移動］
ここで、図１０は図９に示した散布図３０１を時間方向に平行移動させた場合の表示例を示す図である。図９に示す散布図３０１において、各注目点がどのように配置されているのかを確認したい場合、ユーザは、図１０に示すように、入力装置１０６を操作して３次元空間の座標である位置表示部３０２の表示範囲を変更する。位置情報処理部５０２は、位置表示部３０２の表示範囲を位置情報として散布図表示処理部５０１に表示させることにより、散布図３０１を時間方向に平行移動させて所望の位置に変更することができる。なお、移動させる方法は、入力装置１０６による数値入力でもよい。なお、散布図３０１の移動は、時間方向の移動に限るものではなく、信号強度や周波数であってもよい。

これにより、ユーザは、散布図３０１において、所望の注目点を確実に確認することができる。

［散布図の回転］
ここで、図１１は図９に示した散布図３０１を回転させた場合の表示例を示す図である。図９に示す散布図３０１において、各注目点がどのように配置されているのかを確認したい場合、ユーザは、図１１に示すように、入力装置１０６を操作して３次元空間の座標である位置表示部３０２の表示範囲を変更する。位置情報処理部５０２は、位置表示部３０２の表示範囲を位置情報として散布図表示処理部５０１に表示させることにより、散布図３０１を所望の角度に変更することができる。回転させる方法は、入力装置１０６による数値入力でもよい。

これにより、ユーザは、散布図３０１において、所望の注目点を確実に確認することができる。

［散布図の縮尺の変更］
ここで、図１２は図９に示した散布図３０１を拡大させた場合の表示例を示す図、図１３は図９に示した散布図３０１を縮小させた場合の表示例を示す図である。図９に示す散布図３０１において、各注目点がどのように配置されているのか確認したい場合、ユーザは、図１２または図１３に示すように、入力装置１０６を操作して３次元空間の座標である位置表示部３０２の表示範囲を変更する。位置情報処理部５０２は、位置表示部３０２の表示範囲を位置情報として散布図表示処理部５０１に表示させることにより、散布図３０１を所望の縮尺に変更することができる。縮尺させる方法は、入力装置１０６による数値入力でもよい。

これにより、ユーザは、散布図３０１において、所望の注目点を確実に確認することができる。

［散布図のハイライト表示］
ここで、図１４は図９に示した散布図３０１の所定の平面に対して注目点の存在する位置をハイライト表示した場合の表示例を示す図である。図９に示す散布図３０１において、各注目点がどの座標に存在しているのか確認したい場合、ユーザは、図１４に示すように、散布図３０１上にハイライト表示を行うことができる。ハイライト表示させる平面は、ＸＹ軸領域、ＸＺ軸領域、ＹＺ軸領域のいずれでもよい。このような領域は、ユーザが指定することが可能であってよい。図１４に示す例では、注目点の存在する時間周波数領域に対して、時間周波数平面にハイライト表示をしている。なお、ハイライト表示は、複数平面であってもよい。また、複数平面のハイライト表示を切り替えるようにしてもよい。

これにより、ユーザは、散布図３０１において、所望の注目点がどの領域にあるのか確実に確認することができる。

［プロットサイズを用いた表現］
ここで、図１５は図９に示した散布図３０１上のプロットのサイズに対して３軸とは異なるデータを付与した場合の表示例を示す図である。図１５に示す散布図３０１では、プロットされている点のサイズの大きさによって、他の情報を表現することができる。図１５に示す例では、図９に示す散布図３０１の注目点に対して、クラスターサイズデータを加え、クラスターサイズが大きいほど、点のサイズを大きくした場合の表示例を示す。

これにより、ユーザは、散布図３０１において、３軸以外のデータの情報も視覚的に確認することができる。

［プロットカラーを用いた表現］
ここで、図１６は図９に示した散布図３０１上のプロットの色（但し、色の違いは異なる符号として表現）に対して３軸とは異なるデータを付与した場合の表示例を示す図である。図１６に示す散布図３０１では、プロットされている点の色によって、他の情報を表現することができる。図１６に示す例では、図９に示す散布図３０１の注目点に対して、脳領域の領域ごとに色を変えた場合の表示例を示す。マゼンタ（図１６では丸に斜め１本線で示す）は前頭葉、シアン（図１６では丸に点で示す）は運動野、ブルー（図１６では丸に２本のクロス線で示す）は感覚野、緑（図１６では丸に斜め２本線で示す）はブローカ野を示している。

これにより、ユーザは、散布図３０１において、３軸以外のデータの情報も視覚的に確認することができる。

［プロット点の形を用いた表現］
ここで、図１７は図９に示した散布図３０１上のプロットの形に３軸とは異なるデータを付与した場合の表示例を示す図である。図１７に示す散布図３０１では、プロットされている点の形によって、他の情報を表現することができる。図１７に示す例では、図９に示す散布図３０１の注目点に対して、注目点の左右判定ごとに形を変えた場合の表示例を示す。＊マークは注目点が脳領域の左側にあることを示し、〇マークは、注目点が脳領域の右側にあることを示す。

これにより、ユーザは、散布図３０１において、３軸以外のデータの情報も視覚的に確認することができる。

数値情報処理部５０３は、散布図３０１上の注目点の選定を受け付ける（図７：ステップＳ６）。

ここで、図１８は散布図３０１上の注目点に対して、ユーザが任意の注目点を選択して表示する場合の表示例を説明するための図である。図１８に示すように、周波数のデータ値を示す軸をＸ軸とし、このＸ軸に直交する縦軸を注目点の信号強度を示すＹ軸とし、Ｘ軸とＹ軸とに直交するＺ軸を時間に関するデータ値とし、ＸＹＺの３軸で示される空間上に注目点をプロットし、散布図３０１として表示装置１０７上に表示する。

また、図１８に示す例では、プロットされている点のサイズにクラスターのサイズの大きさの情報を付与しており、クラスターサイズが大きければ大きいほど、注目点のサイズも大きくなっている。

また、図１８に示す例では、プロットされている点の色に脳領域情報を付与しており、赤（図１８では太線の四角または丸で示す）は前頭葉、黒（図１８では細線の四角で示す）は運動野、青（図１８では細線の丸で示す）は感覚野、緑（図１８では破線の丸で示す）はブローカ野を示している。

また、図１８に示す例では、プロットされている点の形に左右判定情報を付与しており、四角で表されるマークは注目点が脳領域の左側にあることを示し、丸で表されるマークは、注目点が脳領域の右側にあることを示す。

また、図１８に示す例では、注目点の存在する時間周波数領域には、時間周波数平面にハイライト表示をしている。

ユーザは、図１８に示す散布図３０１において、任意の注目点を確認したい場合、閾値設定部３０３、または、位置表示部３０２に必要な情報を入力する。

位置表示部３０２には、３次元ＭＲＩ２０１を表示する表示部３０２ｂと、プロットしたい表示範囲を指定する表示窓３０２ａと、が設けられている。ここでは、表示範囲を前頭葉、運動野、感覚野、ブローカ野としている。

閾値設定部３０３には、各種、取得したデータの範囲を設定し、表示する表示窓３０３ａが設けられている。

ここでは、時間、周波数、信号強度、クラスターサイズ、左右判定に関する情報のデータ範囲を選択する。時間は０〜３０（ｓ）に相当するデータ、周波数は０〜８（Ｈｚ）に相当するデータ、信号強度は−４〜４に相当するデータ、クラスターサイズは０以上のデータ、左右判定は左、右に相当するデータを選択する。

測定装置３（脳磁計）によって得られる脳活動の時間、周波数、脳領域の位置などの情報はとても重要である。ピークは、時間、周波数、脳領域の位置、クラスターサイズ、信号強度、左右判定などに密接に関係している。そのため、ピークの数が多くなれば多くなるほど、各データの相関関係をみつけるのは難しくなる。そこで散布図３０１上の注目点の選定を行い、必要な情報だけを見ることで、相関関係の見つけやすさは向上する。

ここで、図１９はＸ軸に対してユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、患者への刺激の種類、与え方によって低周波側に信号が強く出たり、高周波側に信号が強く出たりする。低周波領域での脳活動に対して注目したい場合、閾値設定部３０３の周波数の項目に、該当する数値を入力することで、注目したい領域のみを見ることができる。

そこで、図１９に示す例では、閾値設定部３０３の周波数の項目に、「０〜４（Ｈｚ）」を入力する。図１９に示すように、数値が入力されると、数値情報処理部５０３は、閾値設定部３０３の数値情報に該当するデータの注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この数値入力は、何度でも行うことができ、初期状態に戻すこともできる。

ここで、図２０はＹ軸に対してユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、刺激などの事象に前後して増加したり、減少したりする。そのため、脳活動を調べるとき信号強度の大きさは重要な要因となる。脳活動が小さくなるときにだけ注目したい場合、閾値設定部３０３の信号強度の項目に、該当する数値を入力することで、注目したい領域のみを見ることができる。

そこで、図２０に示す例では、閾値設定部３０３の信号強度の項目に、「−４〜０」を入力する。図２０に示すように、数値が入力されると、数値情報処理部５０３は、閾値設定部３０３の数値情報に該当するデータの注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この数値入力は、何度でも行うことができ、初期状態に戻すこともできる。

ここで、図２１はＺ軸に対してユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、患者への刺激の種類、与え方によって、反応時間が異なる。正中神経電気刺激では、刺激を与えて、２０ｍｓに反応が出るといわれている。反応が出そうな付近にだけ注目したい場合、閾値設定部３０３の時間の項目に、該当する数値を入力することで、注目したい領域のみを見ることができる。

そこで、図２１に示す例では、閾値設定部３０３の時間の項目に、「１５〜２０」を入力する。図２１に示すように、数値が入力されると、数値情報処理部５０３は、閾値設定部３０３の数値情報に該当するデータの注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この数値入力は、何度でも行うことができ、初期状態に戻すこともできる。

ここで、図２２はプロットサイズに対して、ユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、個人や、刺激の種類、与え方によって、脳活動の伝搬の広がりは異なる。そこで、与えた刺激に対する脳活動の範囲の大きさに注目したい場合、閾値設定部３０３のクラスターサイズの項目に、該当する数値を入力することで、注目したい大きさのみを見ることができる。

そこで、図２２に示す例では、閾値設定部３０３のクラスターサイズの閾値を「１００」と入力する。図２２に示すように、数値が入力されると、数値情報処理部５０３は、クラスターのサイズが１００以上の注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この数値入力は、何度でも行うことができ、初期状態に戻すこともできる。

ここで、図２３はプロット点の形に対してユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、個人や、刺激の種類、与え方によって、脳活動に左右優位差がある。言語関連の研究では、被験者の言語野の左右どちらが優位なのか判断するために様々な研究を行っている。そこで、脳活動が脳領域の左側か右側なのかに注目したい場合、閾値設定部３０３の左右判定に、該当する情報を入力することで、注目したい情報のみを見ることができる。

そこで、図２３に示す例では、閾値設定部３０３の左右判定に左と入力する。図２３に示すように、情報が入力されると、数値情報処理部５０３は、脳領域の左側に該当する四角で表されるマークの注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この入力は、何度でも行うことができ、初期状態に戻すこともできる。

ここで、図２４はプロット点の色（但し、色の違いは異なる符号として表現）に対してユーザが所望の範囲を表示する例を説明する図である。例えば、脳活動は、刺激の種類、与え方によって、活発におこる領域が異なる。聴覚刺激実験では、ウエルニッケ野（側頭）とブローカ野（前頭）で脳活動が活発に起きる。そこで、脳活動が脳領域のどこでおきているのか注目したい場合、位置表示部３０２に、該当する情報を入力することで、注目したい情報のみを見ることができる。

そこで、図２４に示す例では、位置表示部３０２に前頭葉と入力する。図２４に示すように、情報が入力されると、数値情報処理部５０３は、前頭葉に該当する赤色（図１８では太線の四角または丸で示す）の注目点のみを、散布図表示処理部５０１によって散布図３０１に表示させる。もちろん、この入力は、何度でも行うことができ、初期状態に戻すこともできる。

このように本実施形態によれば、時間、周波数、座標（ｘ，ｙ，ｚ）、信号強度等の複数の次元を有する生体磁気データから得られた特徴量だけを注目点情報として３次元空間に散布図３０１として表示する。これにより、膨大な生体磁気データの中から、重要な情報だけを取り出してユーザに見せることができるので、どの時間範囲、または、どのデータ値の範囲で注目点が多く（少なく）存在しているのかの探索がしやすくなる。すなわち、本実施形態によれば、注目点の網羅性と、注目点の分布の探索性を向上させることができる。

また、本実施形態によれば、注目点を複数表示させることができるので、分布や相関を見つけることが可能である。

以上、本発明を実施の形態を参照して説明したが、本発明は上記実施の形態に限定されるものではない。

図２５は、散布図３０１のＹ軸をボクセルＮｏ.にするとともに注目点の大きさを信号強度にした散布図３０１の表示例を示す図である。図２５に示す例によれば、本実施形態とは違い、脳活動が時間変化とともに、どのように移動しているのか見ることができる。

また、上述の実施形態において、生体信号計測システム１の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態に係る生体信号計測システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭ等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

５０ 情報処理装置、生体信号表示装置
３０１ 散布図
５０１ 散布図表示手段
５０２ 表示範囲指定手段
５０３ データ範囲指定手段

特許第５７７８３０５号公報

Claims (11)

1. 時間、周波数、３次元空間の座標、信号強度のうち、少なくとも前記３次元空間の座標を含む５以上の多次元時系列データを有するデータから得られた特徴量を３次元表示する散布図上に注目点として表示する散布図表示手段を備える、
   ことを特徴とする情報処理装置。
2. 前記散布図に対してプロットしたい注目点の表示範囲を指定する表示範囲指定手段を更に備え、
   前記散布図表示手段は、前記表示範囲指定手段により指定された表示範囲に応じて前記散布図を移動させる、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記散布図に対してプロットしたい注目点の表示範囲を指定する表示範囲指定手段を更に備え、
   前記散布図表示手段は、前記表示範囲指定手段により指定された表示範囲に応じて前記散布図を回転させる、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記散布図に対してプロットしたい注目点の表示範囲を指定する表示範囲指定手段を更に備え、
   前記散布図表示手段は、前記表示範囲指定手段により指定された表示範囲に応じて前記散布図の縮尺を変える、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記散布図表示手段は、前記散布図上の注目点に対応させたハイライト表示を行う、
   ことを特徴とする請求項１ないし４の何れか一項に記載の情報処理装置。
6. 前記散布図表示手段は、前記散布図上の注目点のサイズにデータ情報を付与する、
   ことを特徴とする請求項１ないし５の何れか一項に記載の情報処理装置。
7. 前記散布図表示手段は、前記散布図上の注目点の色にデータ情報を付与する、
   ことを特徴とする請求項１ないし６の何れか一項に記載の情報処理装置。
8. 前記散布図表示手段は、前記散布図上の注目点の形にデータ情報を付与する、
   ことを特徴とする請求項１ないし７の何れか一項に記載の情報処理装置。
9. 前記散布図に対してプロットしたい注目点にかかる特徴量のデータ範囲を指定するデータ範囲指定手段を更に備え、
   前記散布図表示手段は、前記データ範囲指定手段により指定された任意の注目点を前記散布図上に選択表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
10. 特定の生体部位からの生体信号についての時間、周波数、３次元空間の座標、信号強度のうち、少なくとも前記３次元空間の座標を含む５以上の多次元時系列データを有するデータから得られた特徴量を３次元表示する散布図上に表示する散布図表示手段を備える、
    ことを特徴とする生体信号表示装置。
11. コンピュータを、
    時間、周波数、３次元空間の座標、信号強度のうち、少なくとも前記３次元空間の座標を含む５以上の多次元時系列データを有するデータから得られた特徴量を３次元表示する散布図上に表示する散布図表示手段、
    として機能させるためのプログラム。