JP2012148059A - タンジブルデバイスを備えている生体画像処理システム - Google Patents

Abstract

【課題】 改良された生体画像処理システムを提供する。
【解決手段】 タンジブルデバイスとデータベースと画像処理部と出力部とを備える生体画像処理システムで、前記デバイスが固体寸法にばらつきのある、特定の種類の生体の１つの形状の全部又は一部を模したものを、拡大、等倍又は縮小した大きさのものであり、表面のタッチ位置を検出し、位置を表す信号を出力する検出手段と、デバイスの２以上の基準位置と３次元画像データの対応する２以上の基準位置とを一対一に対応付ける位置整合手段と、整合された、デバイスと３次元画像データとの位置対応情報に基づいて、前記タッチ位置特定手段によって特定されたタッチ位置に対応する対象物の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベースに記録している３次元画像データに基づいて形成し、出力部に出力する出力手段と、を少なくとも備えている。
【選択図】 図１

Description

本発明は、個体によって寸法にばらつきのある、特定の種類の生体の画像処理システム、例えば、人の医療用の画像処理システムで用いるマン・マシン・インターフェースにタンジブルデバイスを用いるものに関する。

前記個体によって寸法にばらつきのある、特定の種類の生体には、人を含む種々の動物が該当する。例えば、人の医療分野において、被験者の３次元画像を処理するＣＴ、ＭＲＩ等の画像処理装置では、マン・マシン・インターフェースとして、キーボードの他に、マウス、ペンタブレット、メインディスプレイ全面に取り付けられたタッチパネル等が用いられている。医師は、これらのマン・マシン・インターフェースを操作して、ディスプレイ上に被験者の必要な部位の３次元画像又は２次元画像を表示する。

例えば、下記特許文献１には、小型のタッチパネル式ディスプレイを備え、大型のメインディスプレイに表示させる画像を指定（ポインティング）する、医療画像処理用の補助コントローラ（マン・マシン・インターフェース）が、開示されている。

特開２００９−１１９０００号公報

前記小型のタッチパネル式ディスプレイを含め、既存のマン・マシン・インターフェースでは、例えば、ヒト型モデルとの対比において、画面表示している被験者の部位の位置を、分かりやすく正確に説明するのが難しい。

本発明は、前記説明を容易に行なうことができるように、マン・マシン・インターフェースとして新規のタンジブルデバイスを備えている生体画像処理システムを提供することを目的とする。

請求項１記載のタンジブルデバイスを備えている生体画像処理システムは、タンジブルデバイスと、データベースと、画像処理部と、出力部と、を備えている生体画像処理システムであって、前記タンジブルデバイスが、個体によって寸法にばらつきのある、特定の種類の生体の１つの形状の全部又は一部を模したものを、拡大、等倍、又は、縮小した大きさのものであり、表面のタッチ位置を検出し、タッチ位置を表す信号を出力する検出手段を有しており、前記データベースが、対象物の３次元画像データを記録しているものであり、前記画像処理部が、コンピュータ読み取り可能なプログラムを実行することによって、位置整合手段と、タッチ位置特定手段と、出力手段と、を実現するものであり、前記位置整合手段が、タンジブルデバイスの２以上の基準位置と、３次元画像データの対応する２以上の基準位置と、を整合させることによって、前記検出手段によって検出されたタッチ位置と３次元画像データの位置とを一対一に対応付けるものであり、前記タッチ位置特定手段が、前記検出手段からの信号に基づいてタッチ位置を特定するものであり、前記出力手段が、位置整合手段によって整合された、タンジブルデバイスと３次元画像データとの位置対応情報に基づいて、前記タッチ位置特定手段によって特定されたタッチ位置に対応する対象物の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベースに記録している３次元画像データに基づいて形成し、出力部に出力するものであり、前記出力部が、出力手段からの画像データに基づく画像を表示する、ことを特徴とする。

請求項２記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１記載の画像処理システムであって、前記検出手段が、タッチしている、又は、していない、を検出するタッチセンサであり、前記タッチ位置特定手段が、前記センサをタッチしている時間に基づいて、タッチしたのか、又は、タンジブルデバイスを保持するために継続して触っている状態であるのか、の判断を行ない、タッチ位置を特定する、ことを特徴とする。

請求項３記載のタンジブルデバイスを備えている生体画像処理システムは、請求項２記載の画像処理システムであって、前記タッチ位置特定手段が、タッチセンサがタッチされたこと検出し、更に、定めた時間内に、該タッチ位置が再タッチされたことを検出した場合、該再タッチの継続時間に応じて定まる、表面から予め定めた深度までの何れかの位置を特定する、ことを特徴とする。

請求項４記載のタンジブルデバイスを備えている生体画像処理システムは、請求項２記載の画像処理システムであって、前記タッチ位置特定手段が、タッチセンサがタッチされたことを検出し、更に、定めた時間間隔内に、該タッチ位置が１回以上タッチされた場合、再タッチされた回数を検出し、該再タッチの回数に応じて定まる表面から予め定めた深度までの何れかの位置を特定する、ことを特徴とする。

請求項５記載のタンジブルデバイスを備えている生体画像処理システムは、請求項２記載の画像処理システムであって、前記検出手段が、タッチしている部分の情報と、タッチしている部分を押す圧力値の情報と、を検出する感圧センサであり、前記タッチ位置特定手段が、ある圧力値以上の力でタッチされた場合に、タッチされたと判断し、そのときの圧力値に応じて定まる、表面から予め定めた深度までの何れかの位置を特定する、ことを特徴とする。

請求項６記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至５の何れかに記載の画像処理システムであって、前記データベースが、解剖学情報及び／又は辞書情報を、更に記録しており、前記出力手段が、更に、前記検出手段によって検出されたタッチ位置に関係付けられている解剖学情報及び／又は辞書情報を、データベースから検索して出力部に出力する、ことを特徴とする。

請求項７記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至６の何れか１つに記載の画像処理システムであって、前記データベースが、前記検出手段によって検出されたタッチ位置に関連する検索キーワードと、インターネット上にある検索エンジンの情報と、を更に記録しており、前記画像処理部が、前記検出手段によって検出されたタッチ位置に関連する検索キーワードの前記検索エンジンによる検索を行なう検索手段を、実現するものであり、前記出力手段が、検索結果を出力部に、更に出力する、ことを特徴とする。

請求項８記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至７の何れか１つに記載の画像処理システムであって、前記タンジブルデバイスは、前記検出手段によって検出されたタッチ位置を視覚的に知らせる複数の確認手段を備えており、前記画像処理部のタッチ位置特定手段によって特定されたタッチ位置にある確認手段を動作させる、ことを特徴とする。

請求項９記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至８の何れか1つに記載の画像処理システムであって、前記タンジブルデバイスは、対象物の内部をタッチできるように、展開するようになっており、各展開した面にタッチ位置検出手段を備えていることを特徴とする。

請求項１０記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至９の何れか１つに記載の画像処理システムであって、前記タンジブルデバイスは、重力加速度センサを有しており、前後方向が定められており、基準位置からの前後方向への相対的な移動距離を表す信号を前記出力手段に出力するものであり、前記出力手段は、入力された信号の値が、前方へ進んだことを表す場合、出力部に出力する画像を、移動距離に応じて定められる率で拡大し、後方へ進んだことを表す場合、出力部に出力する画像を移動距離に応じて定められる率で縮小する、ことを特徴とする

請求項１１記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１０記載の画像処理システムであって、前記重力加速度センサは、タンジブルデバイスが回転した場合に、回転角度を検出できるものであり、前記出力手段は、回転角度に応じて定められる角度だけ、出力部に出力する画像を出力部の中心を基準に時計回り又は反時計回りに回転させる、ことを特徴とする。

請求項１２に記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１乃至１１の何れか１つに記載の画像処理システムであって、前記対象物が、被験者の身体である、ことを特徴とする。

請求項１３記載のタンジブルデバイスを備えている生体画像処理システムは、請求項１２記載の画像処理システムであって、前記対象物が、被験者の脳である、ことを特徴とする。

請求項１４記載のタンジブルデバイスを備えている生体画像処理システムは、前記出力部が、出力手段からの画像データに基づく画像を表示している場合に、タンジブルデバイスをタッチパッド式のポインティングデバイスとして機能させる機能切り換え手段を更に備えている、ことを特徴とする。

請求項１５記載のタンジブルデバイスを備えている生体画像処理システムは、３次元位置センサを先端部に内蔵するタッチペンを備え、前記検出手段は、前記タッチペンの先端を前記タンジブルデバイスの表面に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部へ出力するレシーバである、ことを特徴とする。

請求項１６記載のタンジブルデバイスを備えている生体画像処理システムは、前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものである、ことを特徴とする。

請求項１７記載のタンジブルデバイスを備えている生体画像処理システムでは、前記タッチペンは、前後方向にスライド可能なズームイン・アウトボタンが設けられており、前記ズームイン・アウトボタンを前後方向にスライドさせることにより、前記３軸地磁気センサから発生する磁界を変化させるものであり、前記レシーバは、前記磁界の変化に応じた信号を前記画像処理部に出力するものであり、前記出力手段は、前記磁界の変化に応じて、出力部に出力する画像を縮小又は拡大する、ことを特徴とする。

請求項１８記載のタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイスと、データベースと、画像処理部と、出力部と、を備えている、タンジブルデバイスを備えている生体画像処理システムであって、前記タンジブルデバイスは、３次元位置センサを先端部に内蔵するタッチペンと、前記タッチペンの先端を人の身体に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部へ出力するレシーバと、を有し、前記データベースは、人の身体の３次元画像データを記録しているものであり、前記画像処理部は、コンピュータ読み取り可能なプログラムを実行することによって、タッチ位置特定手段と、出力手段と、を実現するものであり、前記タッチ位置特定手段は、前記レシーバからの信号に基づいてタッチ位置を特定するものであり、前記出力手段は、前記タッチ位置特定手段によって特定されたタッチ位置に対応する人の身体の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベースに記録している３次元画像データに基づいて形成し、前記出力部に出力するものであり、前記出力部は、前記出力手段からの画像データに基づく画像を表示する、ことを特徴とする。

請求項１９記載のタンジブルデバイスを備えている生体画像処理システムでは、前記レシーバは、椅子のヘッドレストまたは座部または背部に埋め込まれる、ことを特徴とする。

請求項２０記載のタンジブルデバイスを備えている生体画像処理システムでは、前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものである、ことを特徴とする。

請求項２１記載のタンジブルデバイスを備えている生体画像処理システムでは、前記タッチペンは、前後方向にスライド可能なズームイン・アウトボタンが設けられており、前記ズームイン・アウトボタンを前後方向にスライドさせることにより、前記３軸地磁気センサから発生する磁界を変化させるものであり、前記レシーバは、前記磁界の変化に応じた信号を前記画像処理部に出力するものであり、前記出力手段は、前記磁界の変化に応じて、出力部に出力する画像を縮小又は拡大する、ことを特徴とする。

請求項１記載のタンジブルデバイスを備えている生体画像処理システムは、マン・マシン・インターフェースとして、個体によって寸法にばらつきのある、特定の種類の生体の１つの形状を模したタンジブルデバイスを用いる。形状を模したものの各個体が均一寸法の場合と異なり、生体の３次元画像は、個体によって寸法のばらつきがある。前記画像処理システムでは、位置整合手段を備えたことによって、タンジブルデバイスのタッチ位置と、出力部に出力する画像の位置とを整合することができる。これによって、操作者が表示させようとした部位と実際に出力部に表示される部位との間の差を解消することができる。

請求項２記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチ位置特定手段が、タッチしている時間に基づいて、操作者がタンジブルデバイスを手にしているのか、又は、ある部分をタッチしたのかを判断することができる。故に、操作者は、タンジブルデバイスを、例えば、机上に設置させたままの状態でなく、手にとって、例えば被験者に説明しながら用いることが、可能になる。

請求項３記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチ位置特定手段が、一度タッチした後に、再タッチの持続時間に応じて、生体の、出力部に表示させようとする部分の深度を定めることができる。故に、操作者は、他の機器を用いずとも、タンジブルデバイスのみによって、その表面からある深さの位置を特定し、対応する画像を、出力部に表示させることができる。

請求項４記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチ位置特定手段が、一度タッチした後に、その位置を再タッチした回数に応じて、生体の、出力部に表示させようとする部分の深度を定めることができる。故に、操作者は、他の機器を用いずとも、タンジブルデバイスのみによって、その表面からある深さの位置を特定し、対応する画像を、出力部に表示させることができる。

請求項５記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチ位置特定手段が、ある圧力以上の力でタッチした場合に、その圧力に応じて、生体の、出力部に表示させようとする部分の深度を定めることができる。故に、操作者は、他の機器を用いずとも、タンジブルデバイスのみによって、その表面からある深さの位置を特定し、対応する画像を、出力部に表示させることができる。

請求項６記載のタンジブルデバイスを備えている生体画像処理システムでは、出力手段が、更に、前記検出手段によって検出されたタッチ位置に関係付けられている解剖学情報及び／又は辞書情報を、データベースから検索して出力部に出力して、付加情報を表示させることができる。

請求項７記載のタンジブルデバイスを備えている生体画像処理システムでは、出力手段が、更に、前記検出手段によって検出されたタッチ位置に関連する検索キーワードのインターネット上での検索結果を出力部に出力して、付加情報を表示させることができる。

請求項８記載のタンジブルデバイスを備えている生体画像処理システムでは、確認手段を用いることによって、タッチ位置を視覚確認することができる。

請求項９記載のタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイスが、対象物の内部をタッチできるように展開するため、より一層所望の位置の画像を表示しやすくなる、という効果がある。

請求項１０記載のタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイスを前後に移動させるだけで、表示画像の拡大、縮小を行なうことができる。

請求項１１記載のタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイスを回転させるだけで、表示画像の回転を行なうことができる。

請求項１２記載のタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイスが被験者の身体であり、請求項１３記載の画像処理システムでは、タンジブルデバイスが被験者の脳である。このように、個人によって寸法の違いのあるものであっても、操作者は、表示させようとした部位と実際に出力部に表示される部位との間の差の無い、画像出力を得ることができる。

請求項１４記載のタンジブルデバイスを備えている生体画像処理システムでは、出力部が、出力手段からの画像データに基づく画像を表示している場合、ポインティングデバイスとして機能させることができる。

請求項１５記載のタンジブルデバイスを備えている生体画像処理システムでは、３次元位置センサを先端部に内蔵するタッチペンを備え、前記検出手段は、前記タッチペンの先端を前記タンジブルデバイスの表面に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部へ出力するレシーバを設けたので、タッチペンの先端でタンジブルデバイスの表面を指し示すことにより、手の指でタンジブルデバイスをタッチする場合よりも狭い範囲で、タンジブルデバイスの表面の指し示した位置の検出が可能となる。このため、タンジブルデバイスの表面の指し示した位置に対応する画像をより正確に出力部に表示させることができる。また、レシーバは、タンジブルデバイスに１つ備えるだけで足りるので、前記検出手段としてタッチセンサを使用する場合と比べて、生体画像処理システムの製造が容易になる。

請求項１６記載のタンジブルデバイスを備えている生体画像処理システムでは、前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものを用いることにより、タンジブルデバイスの表面の指し示した位置に対応する画像を出力部に表示させることができる。

請求項１７記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチペンのズームイン・アウトボタンを前後にスライドさせるだけで、表示画像の拡大、縮小を行なうことができる。

請求項１８記載のタンジブルデバイスを備えている生体画像処理システムでは、上記構成を備えることにより、タッチペンの先端を人の身体に向けて指し示すと、その指し示した位置に対応する画像を出力部に表示させることができる。

請求項１９記載のタンジブルデバイスを備えている生体画像処理システムでは、前記レシーバは、椅子のヘッドレストまたは座部または背部に埋め込まれることにより、前記椅子に座った状態で、タッチペンの先端を人の身体に向けて指し示すと、その指し示した位置に対応する画像を出力部に表示させることができる。

請求項２０記載のタンジブルデバイスを備えている生体画像処理システムでは、前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものを用いることにより、タンジブルデバイスの表面の指し示した位置に対応する画像を出力部に表示させることができる。

請求項２１記載のタンジブルデバイスを備えている生体画像処理システムでは、タッチペンのズームイン・アウトボタンを前後にスライドさせるだけで、表示画像の拡大、縮小を行なうことができる。

実施例に係る生体画像処理システムの全体を示す図である。 実施例に係る生体画像処理システムの構成を示す図である。 タンジブルデバイスの構成を示す斜視図である。 メインルーチンのフローチャートである。 位置整合処理のフローチャートである。 位置整合処理の説明を行なう図である。 付加情報追加処理のフローチャートである。 タンジブルデバイスのタッチ位置検出を説明するための図である。 付加情報表示処理の実施例を示す図である。 ３次元データ上の位置特定処理のフローチャートである。 タンジブルデバイスのタッチ位置と、深度切り換え処理の一実施例の説明用の図である。 ３次元データ上の位置特定処理の変形例のフローチャートである。 ３次元データ上の位置特定処理の変形例のフローチャートである。 その他の表示制御処理のフローチャートである。 その他の表示制御処理の実施例を説明するための図である。 タンジブルデバイスの変形例の構成を示す図である。 タッチペンを示す図である。 変形例に係る生体画像処理システムの全体を示す図である。

図１は、実施例に係る生体画像処理システムの全体を示す図である。画像処理システム１は、タンジブルデバイスＤ１と、画像処理装置２００と、画像読み取り装置３００と、を備えている。該画像処理システムＤ１は、タンジブルデバイスをタッチすることで、画像処理装置２００の出力部に被験者の身体部位の位置を、タッチ位置とのずれの無い状態で、表示することができる。このため、画面表示している被験者の部位の位置をタンジブルデバイスの位置を示しながら、分かりやすく正確に説明することができる。

タンジブルデバイスＤ１は、個体によって寸法にばらつきのある、特定の種類の生体の１つの形状の全部又は一部を模したものを、拡大、等倍、又は、縮小した大きさのものであり、例えば、全身の人型タンジブルデバイス１０００及び／又は人の脳のタンジブルデバイス１００がある。以下、脳のタンジブルデバイス１００を例にとって、詳しく説明する。タンジブルデバイス１００は、表面のタッチ位置を検出し、タッチ位置を表す信号を出力する検出手段を有している。デバイス１００の構成については、後に詳しく説明する。

画像処理装置２００は、インターネット網４００に接続されている。画像処理装置２００の構成は、後に詳しく説明する。

画像読み取り装置３００は、被験者の身体内部をスキャンして、その３次元画像データを読み取る、ＣＴ，ＭＲＩ等の周知の装置である。

図２は、実施例に係る画像処理システム１の構成を示す図である。タンジブルデバイス１００は、表面に光透過型のタッチ式のセンサ１５０と、センサ１５０の直下の位置に多数のＬＥＤ１６０と、内部に相対的な移動量を検知するための重力加速度センサ１７０と、を備えている。画像処理装置２００は、画像処理部２０１と、出力部（ディスプレイ）２０６と、データベース（ＨＤＤ）２５０と、を備えている。画像読取装置３００の読み取り画像データは、画像処理装置２００へと入力され、ＣＰＵ２０２によって、データベース２５０に記録される。データベース２５０は、解剖学情報及び／又は辞書情報を、記録している。

画像処理部２０１は、中央演算処理装置（以下、ＣＰＵ）２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、入力部２０５と、を備えている。ＲＯＭ２０３は、システムのＯＳのプログラムと、本発明に係る画像処理プログラムと、を記録している。ＲＡＭ２０４は、プログラム又はデータ処理用の作業領域として用いられる。ＣＰＵ２０２は、ＲＯＭ２０３からプログラムをＲＡＭ２０４へと読み出し、展開し、実行する。画像処理の内容は、後にフローチャートを用いて詳しく説明する。入力部２０５は、キーボード、マウスで構成されており、例えば、後述する位置整合処理（図４、図５に記載のステップＳ２）実行時に必要な数値データ等の入力を行なうのに用いる。

図３は、タンジブルデバイス１００の構成を示す斜視図である。図３（ａ）に示すように、タンジブルデバイス１００は、人の脳を模したものである。タンジブルデバイス１００は、脳の内部に直接タッチできるように、例えば、図３（ｂ）に示すように、台１０５上に設けた脳の半分１００ａを水平面に平行な複数の平面で部分１０２、１０３、１０４へと分割し、各分割した部分１０２、１０３、１０４が、図面手前にいる操作者側に展開するようになっている。図３（ｃ）は、部分１０２、１０３、１０４を全て手前に引き出した状態を示している。

なお、前記展開は、一例であり、異なる方向、例えば、垂直方向に展開する構成を採用することもできる。さらに、例えば、全身のタンジブルデバイス１０００を用いる場合等、種々の方向に展開する構成を採用することも考えられる。また、何ら展開せず、１つの塊とする構成も、考えられる（後述する図１６を参照）。また、手にとって操作しやすいように、脳の残り半分１００ｂに必要なセンサ（例えば、重力加速度センサ１７０）を収め、台１０５から着脱可能に構成しても良い。さらに好ましくは、デバイス１００の脳の部分の大きさは、手にとって操作しやすい大きさ、例えば、直径約１１〜１４ｃｍである。

各部分１０２、１０３、１０４の上面（図中斜線を付して示す領域）１０２ａ、１０３ａ、１０４ａには、操作者によるタッチ位置を検出し、検出した位置を表す信号をＣＰＵ２０２へと出力する検出手段を備えている。検出手段は、周知の、いわゆるタッチセンサが用いられる。なお、変形例として、タッチの有無だけでなく、その強さ（押圧力）を検知し、出力する感圧式のものを用いるものについて、後に説明する。

図４は、メインルーチンのフローチャートである。ＣＰＵ２０２は、ＲＯＭ２０３から画像処理プログラムを読み出して実行することによって、位置整合手段（ステップＳ２）と、タッチ位置特定手段（ステップＳ４、Ｓ５）と、出力手段（ステップＳ８、Ｓ９）と、を実現する。なお、ステップＳ１乃至Ｓ３は、動作初期にのみ実行される、いわゆる初期設定である。

画像読取装置３００を動かし、被験者の全身、又は、限られた範囲の３次元画像データの読み取りを行い、読み取った画像データをハードディスク２５０に記録する（ステップＳ１）。タンジブルデバイス１００の位置と、読み取った被験者との位置とを整合させる処理を行なう（ステップＳ２）。該処理は、前記位置整合手段に相当し、タンジブルデバイス１００の２以上の基準位置と、３次元画像データの対応する２以上の基準位置と、を整合させることによって、前記検出手段によって検出されたタッチ位置と３次元画像データの位置とを一対一に対応付けるものである。本処理は、後に図５を参照しつつ詳しく説明する。

付加情報追加処理（ステップＳ３）を行なう。該処理は、タンジブルデバイスのタッチ可能な位置を、複数の領域に分け、その領域の全部または一部の領域に、タッチされた場合に、画面に表示する辞書情報と、インターネットで検索する検索キーワードと、を対応付ける処理である。本処理は、後に図７を参照しつつ詳しく説明する。

タッチ位置特定処理を行なう（ステップＳ４とステップＳ５）。該処理は、前記タッチ位置特定手段に相当し、デバイス１００表面に備えられている前記検出手段からタッチされたことを示す信号を受けるのを待機する（ステップＳ４でＮｏ）。前記信号を受けたとき（ステップＳ４でＹｅｓ）、デバイス１００のタッチ位置に対応する、３次元画像データ上での位置を特定する処理を行なう（ステップＳ５）。本処理は、後に図１０を参照しつつ詳しく説明する。

出力情報の特定（ステップＳ６）、検索キーワードによる検索（ステップＳ７）、画像出力（ステップＳ８）、その他の表示制御処理（ステップＳ９）を行なう。これらの処理は、前記出力手段に相当し、前記ステップＳ２の処理によって整合された、タンジブルデバイス１００と３次元画像データとの位置対応情報に基づいて、前記タッチ位置特定処理によって特定されたタッチ位置に対応する対象物の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベース２５０に記録している３次元画像データに基づいて形成し、更に、追加の付加情報画像と共に、出力部２０６に出力する処理である。

前記ステップＳ６では、タッチ位置の表面が特定された場合、ステップＳ２で設定された２次元画像を出力画像に特定し、タッチ位置の表面からの特定深度が設定された場合、３次元画像データから対応する特定深度の位置の２次元画像を形成し、これを出力画像に特定する。なお、周知のように、タッチ位置と３次元画像データとに基づいて、タッチ位置を中心に、ある角度から見た特定深度の３次元画像を、２次元画像と共に、又は、２次元画像の代わりに、出力するように特定しても良い。

処理終了コマンドの入力を受けていない場合（ステップＳ１０でＮｏ）、ステップＳ４に戻り、ステップＳ４乃至Ｓ９の処理を繰り返し実行する。例えば、入力部２０５から処理終了コマンドの入力を受けた場合（ステップＳ１０でＹｅｓ）、処理を終了する。

図５は、位置整合処理（図４のステップＳ２）のフローチャートである。図６は、本処理の説明のための図である。図６（ａ）は、デバイス１００で想定される、頭頂部の位置Ａ０と、あごの位置Ｂ０と頭部の前後幅Ｃ０が、それぞれどの位置又は範囲を示すのかを図解している。図６（ｂ）は、被験者の頭頂部の位置Ａ１と、あごの位置Ｂ１と頭部の前後幅Ｃ１が、それぞれどの位置又は範囲を示すのかを図解している。

入力部２０５から図６（ｂ）に示すＡ１、Ｂ１、Ｃ１についてデータ入力されるのを待機する（ステップＳ２１でＮｏ）。入力があった場合、頭頂部Ａ１の位置を定め（ステップＳ２２）、あごの位置Ｂ１を定め（ステップＳ２３）、その他の基準点として、例えば、Ｃ１の入力があった場合には（ステップＳ２４でＹｅｓ）、その他の基準点、例えば頭部の前後幅Ｃ１の設定（ステップＳ２５）を行なう。例えば、予め定めた時間内に前記Ｃ１の入力が無い場合には（ステップＳ２４でＮｏ）、ステップＳ２５をスキップする。

前記入力値に基づいて、タンジブルデバイス１００と、３次元画像データの対応する箇所の画像データとを、一対一に対応させる整合処理（ステップＳ２６）を実行する。３次元画像データのサイズを拡大又は縮小して、正規化処理を実行する。タンジブルデバイス１００のタッチ可能な領域を多数のマトリクスに分割し、同様に、３次元画像データの対応する領域を同数の多数のマトリクスに分割し、それぞれを一対一に対応付ける処理（いわゆるマッピング処理）を行なう。前記一対一に対応付ける処理は、例えば、あるタッチ位置に対し、対応する３次元画像データの１の位置を、表を参照しつつ特定する、いわゆるルックアップテーブル方式により行なう。該処理を行なうことによって、大きさの固定されているタンジブルデバイス１００と、大人、子供、老若男女等によって生じる個体差のある３次元画像データとを整合させる。更に、各マトリクスに対応する対象物の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを特定する。図４に示すメインルーチンにリターンする。

前記位置整合処理を行なうことによってタンジブルデバイス１００のタッチ位置と、出力部２０６に出力する画像の位置とを整合することができる。これによって、操作者が表示させようとしたタッチ位置と実際に出力部２０６に表示される部位との間の差を解消することができる。

図７は、付加情報追加処理（図４のステップＳ３）のフローチャートである。前記図５のステップＳ２６の説明で用いた複数のマトリクスと同じもの、又は、これらのマトリクスを均一に又は部分毎に定めた数集めて構成されるブロックとして、タッチ部分又は領域の設定を行なう（ステップＳ３１）。設定したタッチ部分又は領域に対応する、データベース２５０に予め記録している表示内容の設定を行なう（ステップＳ３２）。該処理は、入力部２０５と出力部２０６とを用いて、全てのタッチ部分又は領域について行なう。入力部２０５の入力を受け付けて（ステップＳ３３でＹｅｓ）、インターネットを用いて検索するキーワードの設定を行なう（ステップＳ３４）。該処理は、入力部２０５と出力部２０６とを用いて、全てのタッチ部分又は領域について行なう。検索を行なう際に用いる検索エンジンの設定を行なう（ステップＳ３５）。該検索エンジンは、一般に使用可能検索エンジンの他、臨床治験のデータ等の専用のデータベースを検索するものを含む。各設定内容をデータベース２５０に記録させる（ステップＳ３６）。図４に示すメインルーチンにリターンする。

図８は、タンジブルデバイスのタッチ位置検出を説明するための図である。図８（ａ）は、タンジブルデバイス１００を実際にタッチしている状態を示している。図８（ｂ）は
前記図５のステップＳ２６の説明で用いた複数のマトリクスＰ_{１０４−１}乃至Ｐ_{１０４−ｎ}（但し、ｎは０〜ｎ_ｍａｘの整数）、を可視化して表す図である。マトリクスの１つが、１つのタッチ位置を表す。図８（ａ）に示す位置は、Ｐ_{１０４−２４}である。図８（ｃ）は、図７のステップＳ３２乃至Ｓ３５でタッチ位置Ｐ_{１０４−２４}に対応付けた、付加情報等を示す図である。該タッチ位置Ｐ_{１０４−２４}には、位置情報として、前頂葉の説明文書と、検索キーワード「前頂葉」と、使用する検索エンジンの情報「・・・検索サイト（http：//www…）」が対応付けられている。

図９は、付加情報表示処理の実施例を示す図である。図９（ａ）は、例えば、図５のステップＳ２６でタッチ位置Ｐ_{１０４−２４}に対応付けた画像データＩ_{１０４−２４}と、図７のステップＳ３６でデータベース２５０に記録された付加情報と、を示す。図９（ｂ）は、タッチ位置Ｐ_{１０４−２４}がタッチされたときに、出力部２０６に表示する画面の例を示している。

図１０は、３次元画像データ上の位置特定処理（図４のステップＳ５）のフローチャートである。タンジブルデバイス１００を最初にタッチしてから、５秒以内に同じ位置が再タッチされた場合（ステップＳ５１でＹｅｓ）、この再タッチの時間を測定する（ステップＳ５２）。前記５秒は、誤検出防止等の実施の実情に応じて、予め定められる値であり、種々の値（例えば、４秒又は６秒等）をとり得る。以下の変形例（図１２のステップＳ５４）においても同じである。測定したタッチ時間に基づいて、対応する深度を決定する（ステップＳ５３）。図４のメインルーチンへリターンする。５秒以内に再タッチが無かった場合（ステップＳ５２でＮｏ）、図４のメインルーチンのステップＳ４に戻り、再び、タッチ検出を行なう。該処理によって、タンジブルデバイス１００を手にとって操作している場合でもタッチ位置を正確に検出することができる。また、タッチした位置からの深度を設定することができる。故に、操作者は、タンジブルデバイス１００を、例えば、机上に設置させたままの状態でなく、手にとって、例えば被験者に説明しながら用いることが、可能になる。また、操作者は、他の機器を用いずとも、タンジブルデバイス１００のみによって、その表面からある深さの位置を特定し、対応する画像を、出力部２０６に表示させることができる。

図１１は、タンジブルデバイスのタッチ位置と、深度切り換え処理によって特定される深度の一実施例の説明用の図である。図１１（ａ）に示すように、部分１０４のある位置が再タッチ（即ち２度タッチ）された場合、図１１（ｂ）に示すように、再タッチしていた時間が０秒乃至２秒の場合、第１層（表層）Ｔ０の画像を出力する。該画像は、タッチ位置に対応させてハードディスクに記録してある画像である。再タッチしていた時間が２秒から４秒の場合、第２層Ｔ１の画像を出力する。以下同様に、再タッチしていた時間が４秒から６秒の場合には、第３層Ｔ２を、６秒より長い場合には第４層Ｔ３の画像を出力する。

図１２は、３次元画像データ上の位置特定処理（図４のステップＳ５）の変形例のフローチャートである。タンジブルデバイス１００を最初にタッチしてから、５秒以内に同じ位置が再タッチされた場合（ステップＳ５４でＹｅｓ）、再タッチされた累計回数を１つカウントアップする（ステップＳ５５）。５秒以上タッチされない場合には（ステップＳ５４でＮｏ）、再タッチ回数合計（累計値）から対応深度を決定する。例えば、図１１（ｂ）で示した例を用いれば、再タッチの回数が１回、即ち、同じ位置を２回タッチした場合、第１層（表層）Ｔ０の画像を出力する。同様に、再タッチの回数が２回の場合、第２層Ｔ１の画像を、３回の場合、第３層Ｔ２の画像を、４回以上の場合、第４層Ｔ３の画像を出力する。該構成を採用することによって、操作者は、他の機器を用いずとも、タンジブルデバイス１００のみによって、その表面からある深さの位置を特定し、対応する画像を、出力部に表示させることができる。

図１３は、３次元画像データ上の位置特定処理（図４のステップＳ５）の変形例のフローチャートである。本例では、タンジブルデバイス１００は、表面に備える検出手段の変形例として、タッチの有無だけでなく、その強さ（押圧力）を検知し、出力する感圧式のものを用いることが必須になる。該構成において、押圧が、Ｐ０〜Ｐ１の範囲の場合（ステップＳ５７でＹｅｓ）、深度をＴ０に設定する（ステップＳ５８）。同様に、押圧が、Ｐ１〜Ｐ２の範囲の場合（ステップＳ５９でＹｅｓ）、深度をＴ１に設定する（ステップＳ６０）。押圧が、Ｐ２〜Ｐ３の範囲の場合（ステップＳ６１でＹｅｓ）、深度をＴ２に設定する（ステップＳ６２）。押圧がＰ３より強く押されている場合（ステップＳ６１でＮｏ）、深度をＴ３に設定する（ステップＳ６３）。該構成を採用することによって、操作者は、他の機器を用いずとも、タンジブルデバイス１００のみによって、その表面からある深さの位置を特定し、対応する画像を、出力部に表示させることができる。

図１４は、その他の表示制御処理（図４のステップＳ９）のフローチャートである。出力部２０６に図９（ｂ）の画像出力をした後、タンジブルデバイス１００の表面がダブルクリックされた場合（ステップＳ９０でＹｅｓ）、タンジブルデバイス１００をタッチパッド式のポインティングデバイスとして機能させる（ステップＳ９１）。前記ダブルクリックとは、例えば、０．５秒間の間に２度同じ位置がタッチされた場合をいう。なお、図９（ｂ）の画面表示されていない場合には、かかる機能は無効にされており、本ステップＳ９の処理実行時にのみ有効になる。タッチパッドとして機能する場合、出力部２０６の画面上に矢印型のポインタを表示し、タッチ位置の移動と共に画面上を移動させる。例えば、図９（ｂ）の（ｂ−１）欄上でワンクリックすると、その詳細な内容を画面表示する。本機能は、もう一度ダブルクリックすることで、解除される。

なお、前記ステップＳ９１では、ＣＰＵ２０２は、重力加速度センサ１７０の出力に基づいて、いわゆるマウスのように、机上又は空中でのタンジブルデバイス１００の移動方向、距離に応じて、画面上の矢印型のポインタを移動させる。この機能は、もう一度ダブルクリックすることで、解除される。

タッチパッドとしての機能が解除された場合、又は、予め定めた時間経過等によって前記ダブルクリックが無いと判断される場合（ステップＳ９０でＮｏ）、タッチ位置にあるＬＥＤ１６０の点灯を行なう（ステップＳ９２）。タンジブルデバイス１００の移動を重力加速度センサ１７０の出力に基づいて検出する（ステップＳ９３）。タンジブルデバイス１００が移動している場合であって（ステップＳ９４でＹｅｓ）、前方に移動している場合（ステップＳ９５でＹｅｓ）、出力部２０６に出力している画像を前方での移動距離に応じて拡大する処理を行なう（ステップＳ９６）。前方以外に移動している場合（ステップＳ９５でＮｏ）、後方へ移動していると判断し（ステップＳ９７）、後方への移動距離に応じて縮小する処理を行なう（ステップＳ９８）。回転していることが検出された場合（ステップＳ９９でＹｅｓ）、回転軸と回転角度とを検出し（ステップＳ１００）、出力部２０６に表示のタッチ位置に関する画面中心を軸に、検出した回転角度に応じた角度（センサ精度に依存するところもあるが、好ましくは一対一の対応角度）だけ画像を時計回り又は反時計回りに回転させる（ステップＳ１０１）。回転が検出されない場合には（ステップＳ９９でＮｏ）、図４のメインルーチンへリターンする。

前記構成を採用することで、操作者は、タンジブルデバイス１００を、タッチパッドとして用いることができる他、前後に移動又は回転させるだけで、表示画像の拡大、縮小又は回転を行なうことができる。

図１５は、その他の表示制御処理の実施例を説明するための図である。図１５（ａ）は、例えば、部分１０４の位置Ｐ_{１０４−３０}がタッチされた場合を示す。図１５（ｂ）は、部分１０４の表面に設けられている検出手段である光透過型のセンサ１５０と、該センサ１５０の真下に設けられている複数のＬＥＤ１６０を示す図である。本図において、タッチ位置Ｐ_{１０４−３０}の位置にあるセンサ１５０を、センサ１５０_{１０４−３０}と表し、その真下にあるＬＥＤ１６０をＬＥＤ１６０_{１０４−３０}と表す。センサ１５０_{１０４−３０}は、光透過性の樹脂に実装されている。該構成を採用したことによって、部分１０４の位置Ｐ_{１０４−３０}がタッチされた場合、ＬＥＤ１６０_{１０４−３０}が発光し、その光が、部分１０４の表面に現れ、タッチ位置を視覚確認することができる。

図１６は、タンジブルデバイス１００の変形例のタンジブルデバイス１２０の構成を示す図である。タンジブルデバイス１２０は、前記タンジブルデバイス１００と基本構成は同じであるが、人の脳を模し、手のひらサイズにまで縮小した一体のものである。その表面には、操作者によるタッチ位置を検出し、検出した位置を表す信号をＣＰＵ２０２へと出力する検出手段が設けられている。このように、タンジブルデバイスの形状は、使用に際し、種々の大きさのものを用いることができる。また、脳以外に、全身、胴体、四肢等を、手にして扱いやすい大きさにしたものを用いることができる。このような場合であっても、図４のステップＳ２の位置整合処理を実行することで、タンジブルデバイスのタッチ位置と、出力部に出力する画像の位置とを整合することができる。これによって、操作者が表示させようとした部位と実際に出力部に表示される部位との間の差を解消することができる。

上記タンジブルデバイス１００を備えている生体画像処理システム１は、タンジブルデバイス１００の表面にタッチセンサ１５０を設け、そのタンジブルデバイス１００の表面を指で直接タッチすることにより、タッチ位置に対応する対象物の画像を出力部２０６に表示したが、図１７に示すタッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて指し示すことにより、その指し示した位置に対応する対象物の画像を出力部２０６に表示するようにしてもよい。

この場合、タッチペン５０１は、３次元位置センサ（図示せず）を先端部５０２に内蔵するものを用い、前記検出手段としては、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて差し示した状態のときに、前記３次元位置センサから発生する信号を受けて、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を画像処理部２０１へ出力するレシーバ（図示せず）を用いる。なお、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて指し示すとは、タッチペン５０１の先端５０１ａでタンジブルデバイス１００の表面を直接タッチしない場合と、タッチペン５０１の先端５０１ａでタンジブルデバイス１００の表面を直接タッチした場合の両方が含まれる。

前記３次元位置センサとしては、例えば、３軸地磁気センサや超音波発振機を用いることができる。３軸地磁気センサは、３方向の直交コイルで構成され、３軸方向の磁界を発生させるものである。超音波発振機は、超音波を発生させるものである。

前記３次元位置センサとして前記３軸地磁気センサを用いる場合、レシーバとしては、３方向の直交コイルで構成され、前記３軸地磁気センサの３つのコイルを励磁すると、その３軸地磁気センサから発生する磁界を受けて、３つの前記直交コイルに起電力が発生し、各直交コイルの起電力を測定することにより、３軸地磁気センサの相対的な位置を検出し、前記検出された位置を示す信号を画像処理部２０１へ出力する手段を備えたものを用いる。

この場合、レシーバは、タンジブルデバイス１００の表面に埋め込まれる。前記レシーバのタンジブルデバイス１００の表面に埋め込まれる位置は、特に限定されないが、例えば、頭頂部など対象物の中心となる位置に埋め込めば、タンジブルデバイス１００の表面の指し示す位置によらず、前記３軸地磁気センサからの磁界をレシーバが受けやすくなるので、タンジブルデバイス１００の表面の指し示す位置の情報が得やすくなり好ましい。

前記３次元位置センサとして前記超音波発振機を用いる場合、レシーバは、超音波を受信することができるものを３つ設けておく。そして、各レシーバに超音波が到達するまでの時間を測定して、三角測量の原理により、レシーバに対する超音波発振機の位置を検出し、前記検出された位置を示す信号を画像処理部２０１へ出力する手段を備えたものを用いる。

タッチペン５０１には、その表面の先端部寄りの位置に、前後方向にスライド可能なズームイン・アウトボタン５０３が設けられており、ズームイン・アウトボタン５０３を前後にスライドさせることにより、前記３軸地磁気センサから発生する磁界を変化させることができるようになっている。また、タッチペン５０１は、ズームイン・アウトボタン５０３の移動距離が大きくなるほど、前記３軸地磁気センサから発生する磁界の変化が大きくなるように設定されている。前記磁界の変化を受けたレシーバは、前記磁界の変化に応じた信号を画像処理部２０１に出力する手段を備えている。画像処理部２０１は、前記磁界の変化に応じた信号を受け取ると、前記出力手段により、前記磁界の変化に応じて出力部に表示させる画像を縮小・拡大するようになっている。例えば、ズームイン・アウトボタンをタッチペン５０１の後方にスライドさせた場合は、出力部２０６に表示する画像を拡大し、タッチペン５０１の前方にスライドさせた場合は、出力部２０６に表示する画像を縮小するように設定することができる。

前記位置整合処理は、上記ステップＳ２１〜上記ステップＳ２５まで上記実施形態と同様に行なうことができる。上記ステップＳ２６のマッピング処理では、まず、タンジブルデバイス１００のタッチ可能な位置をタッチペン５０１の先端５０１ａで直接タッチし、レシーバによってタンジブルデバイス１００の表面のタッチ位置を検出し、そのタッチ位置の位置情報を得る。この操作を、タンジブルデバイス１００のタッチ可能な全領域について行ない、そのタッチ可能な全領域の位置情報を得る。次に、この位置情報と、上記ステップＳ２１〜上記ステップＳ２５で入力された入力値とを一対一に対応させる。この処理は、前記位置整合手段により行なわれる。

前記タッチ位置特定手段は、前記レシーバから出力される、前記３次元位置センサの相対的な位置を示す信号が、前記位置情報と相違する場合（例えば、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に直接タッチさせるのではなく、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて指し示す場合）、前記レシーバから出力される前記信号を前記位置情報に変換する。変換は、例えば、タッチペン５０１の先端５０１ａが指し示す向きに延びる直線と、タンジブルデバイス１００の表面との交点を求めることにより行なうことができる。これにより、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて指し示すと、前記レシーバが前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を画像処理部２０１へ出力し、前記タッチ位置特定手段により、前記信号を前記位置情報に変換し、その位置情報と前記入力値に基づいて、タンジブルデバイス１００の表面のタッチペン５０１の先端５０１ａで指し示した位置に対応する３次元画像データの位置を特定することができる。

また、上記実施形態では、タンジブルデバイス１００の表面をタッチペン５０１で指し示すことにより、その指し示した位置の画像を出力部２０６に表示させるようにしたが、図１８に示すように、人の身体をタッチペン５０１で指し示すことにより、その指し示した位置に対応する画像を出力部２０６に表示させるようにすることもできる。なお、タッチペン５０１の先端５０１ａをタンジブルデバイス１００の表面に向けて指し示すとは、タッチペン５０１の先端５０１ａでタンジブルデバイス１００の表面を直接タッチしない場合と、タッチペン５０１の先端５０１ａでタンジブルデバイス１００の表面を直接タッチする場合の両方が含まれる。

このタンジブルデバイスを備えている生体画像処理システムでは、タンジブルデバイス１００は、前記３次元位置センサを先端部に内蔵するタッチペン５０１と、タッチペン５０１の先端５０１ａを人の身体に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部２０１へ出力するレシーバとから構成される。

この場合、レシーバは、人に埋め込むことができないので、例えば、椅子５０４のヘッドレスト５０４ａまたは座部５０４ｂまたは背部５０４ｃに埋め込むようにする。また、図示はしていないが、椅子５０４の肘掛や脚置、ベッド（図示せず）のマットなどにレシーバを埋め込んでもよい。ベッドのマットにレシーバを埋め込む場合は、前記ベッドに寝た状態で、タッチペン５０１の先端５０１ａを人の身体に向けて指し示すと、その指し示した位置に対応する画像を出力部２０６に表示させることができる。ベッドのマットにレシーバを埋め込む位置は、人がベッドに寝た状態で人の身体に対して中心となる位置、例えば、人の後頭部の中心位置や背中の中心位置と対面する位置に埋め込むと、人の身体の表面の指し示す位置によらず、前記３軸地磁気センサからの磁界をレシーバが受けやすくなるので、人の身体の表面の指し示す位置の情報が得やすくなり好ましい。

また、タッチペン５０１の先端５０１ａを向けて指し示す対象物が人の身体であるので、画像読取装置３００で読み取った３次元画像データと、タッチペン５０１の先端５０１ａで人の身体を指し示した位置の位置情報とが一対一の対応関係にある。このため、人の身体に対するレシーバの埋め込んだ位置を３次元画像における基準位置として設定しておくだけで、人の身体に向けてタッチペン５０１の先端５０１ａを指し示したときに、その指し示した位置に対応する画像を出力部２０６に表示させることができる。具体的には、人の身体に向けてタッチペン５０１の先端５０１ａを指し示すと、前記タッチ位置特定手段により、前記レシーバから出力される前記信号をタッチペン５０１の先端５０１ａが指し示す向きに延びる直線と、３次元画像における人の身体の表面との交点の位置情報に変換し、その交点の位置の画像を形成して出力部２０６に表示させる。このため、人の身体に対するレシーバの埋め込んだ位置を３次元画像における基準位置として設定しておくだけで、タッチペン５０１の先端５０１ａを人の身体に向けて指し示すと、画像処理部２０１は、レシーバによって検出された３次元位置センサの位置情報に基づいて、３次元画像データにおける人の身体のタッチペン５０１の先端５０１ａが指し示した位置に対応する画像を出力部２０６に表示させることができるので、上記ステップＳ２１〜ステップＳ２６の位置整合処理を省略することができる。

本発明の画像処理システムは、主に、人の診断用に用いられるが、個体によって寸法にばらつきのある、特定の種類の生体、例えば、他の哺乳類等、の治療診断、大学での授業、研究（医学教育・科学教育、家庭内での医学辞典や手引き）等に応用することができる。

１ 画像処理システム
１００ タンジブルデバイス
１５０ タッチセンサ
１６０ ＬＥＤ
１７０ 重力加速度センサ
２００ 画像処理装置
２０１ 画像処理部
２０２ 中央演算処理装置（ＣＰＵ）
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ 入力部
２０６ 出力部
３００ 画像読取装置
５０１ タッチペン
５０１ａ 先端部
５０４ 椅子
５０４ａ ヘッドレスト
５０４ｂ 座部
５０４ｃ 背部

Claims (21)

1. タンジブルデバイスと、データベースと、画像処理部と、出力部と、を備えている、タンジブルデバイスを備えている生体画像処理システムであって、
   前記タンジブルデバイスが、個体によって寸法にばらつきのある、特定の種類の生体の１つの形状の全部又は一部を模したものを、拡大、等倍、又は、縮小した大きさのものであり、表面のタッチ位置を検出し、タッチ位置を表す信号を出力する検出手段を有しており、
   前記データベースが、対象物の３次元画像データを記録しているものであり、
   前記画像処理部が、コンピュータ読み取り可能なプログラムを実行することによって、位置整合手段と、タッチ位置特定手段と、出力手段と、を実現するものであり、
   前記位置整合手段が、タンジブルデバイスの２以上の基準位置と、３次元画像データの対応する２以上の基準位置と、を整合させることによって、前記検出手段によって検出されたタッチ位置と３次元画像データの位置とを一対一に対応付けるものであり、
   前記タッチ位置特定手段が、前記検出手段からの信号に基づいてタッチ位置を特定するものであり、
   前記出力手段が、位置整合手段によって整合された、タンジブルデバイスと３次元画像データとの位置対応情報に基づいて、前記タッチ位置特定手段によって特定されたタッチ位置に対応する対象物の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベースに記録している３次元画像データに基づいて形成し、出力部に出力するものであり、
   前記出力部が、出力手段からの画像データに基づく画像を表示する、
   ことを特徴とする、タンジブルデバイスを備えている生体画像処理システム。
2. 前記検出手段が、タッチしている、又は、していない、を検出するタッチセンサであり、
   前記タッチ位置特定手段が、前記センサをタッチしている時間に基づいて、タッチしたのか、又は、タンジブルデバイスを保持するために継続して触っている状態であるのか、の判断を行ない、タッチ位置を特定する、
   ことを特徴とする請求項１記載の、タンジブルデバイスを備えている生体画像処理システム。
3. 前記タッチ位置特定手段が、タッチセンサがタッチされたことを検出し、更に、定めた時間内に、該タッチ位置が再タッチされたことを検出した場合、該再タッチの継続時間に応じて定まる、表面から予め定めた深度までの何れかの位置を特定する、
   ことを特徴とする請求項２記載の、タンジブルデバイスを備えている生体画像処理システム。
4. 前記タッチ位置特定手段が、タッチセンサがタッチされたことを検出し、更に、定めた時間間隔内に、該タッチ位置が１回以上タッチされた場合、再タッチされた回数を検出し、該再タッチの回数に応じて定まる表面から予め定めた深度までの何れかの位置を特定する、
   ことを特徴とする請求項２記載の、タンジブルデバイスを備えている生体画像処理システム。
5. 前記検出手段が、タッチしている部分の情報と、タッチしている部分を押す圧力値の情報と、を検出する感圧センサであり、
   前記タッチ位置特定手段が、ある圧力値以上の力でタッチされた場合に、タッチされたと判断し、そのときの圧力値に応じて定まる、表面から予め定めた深度までの何れかの位置を特定する、
   ことを特徴とする請求項２記載の、タンジブルデバイスを備えている生体画像処理システム。
6. 前記データベースが、解剖学情報及び／又は辞書情報を、更に記録しており、
   前記出力手段が、更に、前記検出手段によって検出されたタッチ位置に関係付けられている解剖学情報及び／又は辞書情報を、データベースから検索して出力部に出力する、
   ことを特徴とする請求項１乃至５の何れか１つに記載の、タンジブルデバイスを備えている生体画像処理システム。
7. 前記データベースが、前記検出手段によって検出されたタッチ位置に関連する検索キーワードと、インターネット上にある検索エンジンの情報と、を更に記録しており、
   前記画像処理部が、前記検出手段によって検出されたタッチ位置に関連する検索キーワードの前記検索エンジンによる検索を行なう検索手段を、実現するものであり、
   前記出力手段が、検索結果を出力部に、更に出力する、
   ことを特徴とする請求項１乃至６の何れか１つに記載の、タンジブルデバイスを備えている生体画像処理システム。
8. 前記タンジブルデバイスは、前記検出手段によって検出されたタッチ位置を視覚的に知らせる複数の確認手段を備えており、
   前記画像処理部の出力手段が、前記タッチ位置特定手段によって特定されたタッチ位置にある確認手段を動作させる、
   ことを特徴とする請求項１乃至７の何れか１つに記載の、タンジブルデバイスを備えている生体画像処理システム。
9. 前記タンジブルデバイスは、対象物の内部をタッチできるように、展開するようになっており、各展開した面にタッチ位置検出手段を備えていることを特徴とする請求項１乃至８の何れか１つに記載の画像処理システム。
10. 前記タンジブルデバイスは、重力加速度センサを有しており、前後方向が定められており、基準位置からの前後方向への相対的な移動距離を表す信号を前記出力手段に出力するものであり、
    前記出力手段は、入力された信号の値が、前方へ進んだことを表す場合、出力部に出力する画像を、移動距離に応じて定められる率で拡大し、後方へ進んだことを表す場合、出力部に出力する画像を移動距離に応じて定められる率で縮小する、
    ことを特徴とする請求項１乃至９の何れか1つに記載の、タンジブルデバイスを備えている生体画像処理システム。
11. 前記重力加速度センサは、タンジブルデバイスが回転した場合に、回転角度を検出できるものであり、
    前記出力手段は、回転角度に応じて定められる角度だけ、出力部に出力する画像を出力部の中心を基準に時計回り又は反時計回りに回転させる、
    ことを特徴とする請求項１０記載の、タンジブルデバイスを備えている生体画像処理システム。
12. 前記対象物が、被験者の身体である、
    ことを特徴とする請求項１乃至１１の何れか１つに記載の、タンジブルデバイスを備えている生体画像処理システム。
13. 前記対象物が、被験者の脳である、
    ことを特徴とする請求項１２記載の、タンジブルデバイスを備えている生体画像処理システム。
14. 前記出力部が、出力手段からの画像データに基づく画像を表示している場合に、タンジブルデバイスをタッチパッド式のポインティングデバイスとして機能させる機能切り換え手段を更に備えている、
    ことを特徴とする請求項１乃至１３の何れか1つに記載の、タンジブルデバイスを備えている生体画像処理システム。
15. ３次元位置センサを先端部に内蔵するタッチペンを備え、
    前記検出手段は、前記タッチペンの先端を前記タンジブルデバイスの表面に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部へ出力するレシーバである
    ことを特徴とする請求項１に記載の、タンジブルデバイスを備えている生体画像処理システム。
16. 前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、
    前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものである
    ことを特徴とする請求項１５に記載の、タンジブルデバイスを備えている生体画像処理システム。
17. 前記タッチペンは、前後方向にスライド可能なズームイン・アウトボタンが設けられており、前記ズームイン・アウトボタンを前後方向にスライドさせることにより、前記３軸地磁気センサから発生する磁界を変化させるものであり、
    前記レシーバは、前記磁界の変化に応じた信号を前記画像処理部に出力するものであり、
    前記出力手段は、前記磁界の変化に応じて、出力部に出力する画像を縮小又は拡大する
    ことを特徴とする請求項１６に記載の、タンジブルデバイスを備えている生体画像処理システム。
18. タンジブルデバイスと、データベースと、画像処理部と、出力部と、を備えている、タンジブルデバイスを備えている生体画像処理システムであって、
    前記タンジブルデバイスは、３次元位置センサを先端部に内蔵するタッチペンと、
    前記タッチペンの先端を人の身体に向けて指し示した状態で、前記３次元位置センサから発生する信号を受けると、前記３次元位置センサの相対的な位置を検出し、その位置を示す信号を前記画像処理部へ出力するレシーバと、を有し、
    前記データベースは、人の身体の３次元画像データを記録しているものであり、
    前記画像処理部は、コンピュータ読み取り可能なプログラムを実行することによって、タッチ位置特定手段と、出力手段と、を実現するものであり、
    前記タッチ位置特定手段は、前記レシーバからの信号に基づいてタッチ位置を特定するものであり、
    前記出力手段は、前記タッチ位置特定手段によって特定されたタッチ位置に対応する人の身体の位置の、予め定めた１以上の方向から見た１又は複数の２次元又は３次元画像データを、データベースに記録している３次元画像データに基づいて形成し、前記出力部に出力するものであり、
    前記出力部は、前記出力手段からの画像データに基づく画像を表示する、
    ことを特徴とする、タンジブルデバイスを備えている生体画像処理システム。
19. 前記レシーバは、椅子のヘッドレストまたは座部または背部に埋め込まれることを特徴とする、請求項１８に記載の、タンジブルデバイスを備えている生体画像処理システム。
20. 前記３次元位置センサは、３軸方向の磁界を発生させる３軸地磁気センサであり、
    前記レシーバは、前記３軸地磁気センサから発生する磁界を受けるものである
    ことを特徴とする請求項１９に記載の、タンジブルデバイスを備えている生体画像処理システム。
21. 前記タッチペンは、前後方向にスライド可能なズームイン・アウトボタンが設けられており、前記ズームイン・アウトボタンを前後方向にスライドさせることにより、前記３軸地磁気センサから発生する磁界を変化させるものであり、
    前記レシーバは、前記磁界の変化に応じた信号を前記画像処理部に出力するものであり、
    前記出力手段は、前記磁界の変化に応じて、出力部に出力する画像を縮小又は拡大する
    ことを特徴とする請求項２０に記載の、タンジブルデバイスを備えている生体画像処理システム。