JP2018206405A - 医療情報仮想現実サーバ、医療情報仮想現実プログラム、および医療情報仮想現実用データの作製方法 - Google Patents

Abstract

【課題】仮想現実空間に用いられる３次元データを利用するユーザ間のコミュニケーションを円滑にし、共有者間でのデータに関するコミュニケーションを円滑にし、かつ、データの取得対象となる者のプライバシー保護やデータの取扱いの容易さにも適い、データの活用性も高める医療情報仮想現実サーバを提供する。
【解決手段】仮想現実サーバにおいて、医用画像データを入力する手段と、医用画像データを、生体部位、インプラント、医療デバイス、指標マーカ又は装着物を含む特徴部位毎のセグメントに区分けする手段と、医用画像データを、セグメントを有する３次元ポリゴンデータへ変換する手段と、３次元ポリゴンデータ又はセグメントにタグ付けする手段と、３次元ポリゴンデータを任意のワールド座標位置に関連付けする手段と、３次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力する手段を備える。
【選択図】図３

Description

本発明は、医療情報仮想現実サーバ、医療情報仮想現実プログラム、医療情報仮想現実用データの作製方法、および医療情報仮想現実用データに関するものである。

従来から一般的に、病気の診断のために、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonanse Imaging）による検査が多く行われている。ＣＴやＭＲＩ検査によって得られる画像には、医学的に有益な情報が多数存在するため、かかる情報を多くの医療機関や医療提供者の間で共有することは、医学上の研究・教育のために極めて有益である。
しかし、ＣＴ画像やＭＲＩ画像は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）と呼ばれる規格で管理され、そこには患者本人の個人情報が記録されているため、プライバシー保護の観点から、安易にデータを共有することはできないという問題がある。しかも、一般にデータを共有する場合には、データの活用性を向上させるためタグ付けが行われるが、タグ付けはデータへのアクセスを容易にするものであるから、個人情報が記録された情報にタグ付けを行うことは、プライバシー保護の観点からは、より慎重に行う必要がある。そのため、これまでは、病院の垣根を越えて、患者のＣＴ画像やＭＲＩ画像の情報を共有するということは行われてこなかった。

一方、近年、バーチャルリアリティなどに関する技術の進歩は目覚ましく、ＶＲ（仮想現実：Virtual Reality）以外にも、ＡＲ（拡張現実：Augmented Reality）やＭＲ（複合現実：Mixed Reality）といった概念が存在する。
そこで、仮想現実を用いて仏像等の木造美術品の復元を可能とした、仏像の仮想修復システムが知られている（特許文献１を参照）。これは、ＣＴスキャナを用いて断層画像を取得・補正し、複数の２次元断層画像を積層して３次元立体画像を構築する。そして、スムージング等によりデータ量を削減して、バーチャルリアリティ画像へ変換するというものである。
しかし、上記特許文献１に開示された仏像の仮想修復システムは、２次元断層画像を積層して３次元立体画像を構築し、スムージング等を行うものであるが、例えば、タグ付けを行いやすくするための区分けをするといった工夫は無く、データの活用性や利便性の点で問題がある。

また、仮想現実を用いたシステムとして、手術等の際に、三次元デジタル拡大鏡を利用して、本来、人の目では見えない部分の画像を合成表示することで視覚的に支援をするシステムが知られている（特許文献２を参照）。
これは、２次元の医用画像データを基に、サーフェースポリゴンモデルを作製するものである。しかしながら、上記特許文献２に開示された三次元デジタル拡大鏡システムは、得られた３次元データを当該患者のために用いる限りでは問題は無いが、多数のユーザとデータを共有するためには、３次元画像の活用性を高めるための工夫が必要であるところ、このような工夫は見られないという問題がある。
現状では、２次元の医用画像データを３次元画像データとし、仮想現実空間を作製した場合に、データの活用性を高めるためにセグメント化するといったものは見当たらない。

特開２００２−２１６１０２号公報 国際公開パンフレットＷＯ２００９／１１６６６３号

かかる状況に鑑みて、本発明は、仮想現実空間に用いられる３次元データを利用するユーザ間のコミュニケーションを円滑にし、共有者間でのデータに関するコミュニケーションを円滑にし、かつ、データの取得対象となる者のプライバシー保護やデータの取扱いの容易さにも適い、データの活用性も高める医療情報仮想現実サーバ、医療情報仮想現実プログラム、医療情報仮想現実用データの作製方法、および医療情報仮想現実用データを提供することを目的とする。

すなわち、本発明の医療情報仮想現実サーバは、ユーザに対してインタラクティブに仮想現実空間を表示させるクライアント端末とネットワークを介して接続されデータを送受信するサーバであって、下記手段を備える。
１）医用画像データを入力するデータ入力手段。
２）医用画像データを、生体部位、インプラント、医療デバイス、指標マーカ又は装着物を含む特徴部位毎のセグメントに区分けするセグメント区分け手段。
３）医用画像データを、セグメントを有する３次元ポリゴンデータへ変換する３次元データ変換手段。
４）３次元ポリゴンデータ又はセグメントにタグ付けするタグ付け手段。
５）３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段。
６）３次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力するデータ出力手段。
そして、クライアント端末からユーザが入力したタグ情報を受信し、受信したタグ情報に基づいて３次元ポリゴンデータを抽出してクライアント端末へ送信し、クライアント端末から３次元ポリゴンデータに基づく仮想現実空間におけるユーザの動作及び動作に基づく仮想現実空間の変化情報を受信する。

本発明において、医用画像データは、ＣＴ画像データ、ＭＲＩ画像データまたは超音波画像データを含む２次元の医用画像データと、特徴部位の３次元位置計測データの少なくとも何れかであることが好ましい。ここで、２次元の医用画像データには、単純Ｘ線画像データ等も含まれ、３次元位置計測データとしては、例えば、赤外線スキャナにより取得されたデータが含まれる。

本発明において、セグメントに区分けする生体部位とは、人体の部位に限らず動物における部位も含む趣旨であるが、臓器、血管、病巣、神経、膜、血液を含む液体から選択される少なくとも何れかである。
また、医療デバイスとは、医用画像の撮像時に生体と共に撮像され得る医療器具や医療機器を広く含み、医療器具の例としては、メスや鉗子等があり、医療機器の例としては、人工呼吸器等がある。
指標マーカの例としては、手術における切開箇所を指し示すために設けられる物品等があり、装着物の例としては、被験者が着用している衣服等がある。

本発明において、セグメントに区分けする手段としては、医用画像データをセグメントに区分けする手段が設けられる。従来は、医用画像において、どこが癌であるか、血管であるかといった判断については、人の手のみによって行われてきた。しかしながら、例えば、２次元医用画像データを自動的にセグメント化することで、より効率的に区分けを行うことが可能となる。したがって、ここで、セグメントに区分けする手段としては、自動又は手動の何れの手段も含む。
また、３次元ポリゴンデータを任意のワールド座標位置に関連付けする手段が設けられることにより、任意の位置に３次元ポリゴンデータをワールド座標位置に関連付けて、複数人のユーザが同時に、同一の空間を共有して仮想現実空間を体感することができることとなる。

本発明の医療情報仮想現実サーバは、医用画像データに紐付けされた個人情報を削除する個人情報削除手段を更に備えたことが好ましい。
例えば、ＣＴ画像には、通常、被験者の氏名等の個人情報がタグ付けされている。そのため、ＣＴ画像をそのまま医療機関の垣根を越えて共有することは、個人のプライバシー保護の点から問題となる。そこで、２次元の医用画像データにタグ付けされた個人情報を削除する手段が設けられ、これにより、多数の医療機関の間でデータを共有することが可能となる。

本発明の医療情報仮想現実サーバにおけるセグメント区分け手段は、医用画像データが２次元の医用画像データの場合に、画像の濃淡差又は３次元位置座標情報に基づいて、セグメントに区分けすることが好ましい。画像の濃淡差又は３次元位置座標情報に基づいて、セグメントに区分けすることにより、精度の高い区分けが可能となる。

本発明の医療情報仮想現実サーバにおいて、セグメント区分け手段は、３次元ポリゴンデータのセグメントを修正し、修正後のセグメントに区分けする手段を更に備えたことが好ましい。３次元ポリゴンデータのセグメントを修正し、修正後のセグメントに区分けする手段が備えられることにより、より精度の高い区分けが可能となる。セグメントに区分けする手段としては、自動又は手動の何れの手段も含む。

本発明の医療情報仮想現実サーバにおいて、セグメント区分け手段は、セグメントに区分けされた医用画像データに基づいて、セグメントを修正し、修正後のセグメントに区分けする手段を更に備えたことが好ましい。ここでの区分けは、コンピュータの画像処理による自動的な区分けだけではなく、医療提供者により行われる手動的な区分けも含み、これにより精度の高い区分けが可能となる。
このように、２次元医用画像データや３次元ポリゴンデータをセグメントに区分けする手段が設けられるだけではなく、区分けされたセグメントを評価・修正する手段が設けられることにより、人がセグメントに区分けした結果をプログラムがパターン化して学習し、自動的な区分けの精度を向上させることも可能となっている。

３次元ポリゴンデータは、３次元座標で構成されているため、各座標にタグ付けすることが可能であり、また、区分けされたセグメントにタグ付けすることも可能である。さらに、複数の座標やセグメントをまとめてタグ付けすることも可能である。
このように、パターン化してセグメントに区分けし、タグ付けして管理できることで、検索が容易となり、ユーザの利便性が向上すると共に、共有者のコミュニティにおけるデータの配布や集積が容易となる。

本発明の医療情報仮想現実サーバは、３次元ポリゴンデータと、３次元ポリゴンデータと同一の被験体に関する過去の医用画像データを変換して得られた３次元ポリゴンデータとの時系列上の変化を一連の時系列データとして、データベースに保存することが好ましい。
仮想現実システムを用いることにより、時間的な経過についてもデータ化して管理することが可能となる。すなわち、例えば、ある特定の被験者の３次元ポリゴンデータであったとしても、手術前後、１年前或は１年後といった時間経過により、病態が変わることがあるので、かかるデータを一連のデータとして、データベースに保存することで、病態を比較することが可能となる。

本発明の医療情報仮想現実サーバは、３次元ポリゴンデータの時間変化に伴う形状変化を一連の時系列データとして、データベースに保存することが好ましい。３次元ポリゴンデータの時系列上の変化とは異なり、例えば、心臓の拍動のような短い時間変化に伴う形状変化を一連の時系列データとして、データベースに保存することで、より正確で臨場感のある仮想現実空間を作製することができる。

本発明の医療情報仮想現実サーバは、３次元ポリゴンデータを用いた仮想現実空間におけるユーザの視野および動作を一連の時系列データとして、３次元ポリゴンデータの時系列データに関連付けしてデータベースに保存することもできる。仮想現実システムにおいては、ユーザの視野や動作を直感的に他のユーザに伝えることが可能であることから、これまで言葉では説明しづらかった熟練者の非言語的なノウハウについても、他のユーザにシステムを体験させるだけで、伝授することができる。

本発明の医療情報仮想現実サーバは、３次元ポリゴンデータを用いた仮想現実空間におけるユーザの変形動作に伴う特徴部位の３次元形状の変化を一連の時系列データとして、３次元ポリゴンデータの時系列データに関連付けしてデータベースに保存することもできる。
例えば、臓器と骨のように、生体部位によっても固さ、弾力性等は異なるため、ユーザの分離動作や結合動作といった変形動作に伴って、生体部位の３次元形状は多種多様に変化する。また、トレーニングやシミュレーションのためには、例えば、ある臓器に該当するセグメントだけを歪ませたり、或は、切ったりといった加工が必要となる場合がある。このような形状の変化を一連の時系列データとして、３次元ポリゴンデータの時系列データに関連付けしてデータベースに保存することで、よりデータの活用性を高めることができる。

本発明の医療情報仮想現実サーバは、３次元データ変換手段において、変換した３次元ポリゴンデータの元となる医用画像データ以外から生成した３次元ポリゴンデータを、３次元ポリゴンデータに追加又は重畳するポリゴンデータ追加手段を更に備えたことが好ましい。例えば、医用画像の撮像時には存在しなかった医療器具をデータに追加し仮想現実空間で表示することで、実際の手術を想定したシミュレーション等が容易となり、ユーザの利便性を高める。
また、３次元データ変換手段においては、変換した３次元ポリゴンデータの一部又は全部を削除する手段が設けられることが好ましい。

本発明の医療情報仮想現実プログラムは、コンピュータを、上記の医療情報仮想現実サーバにおけるデータ入力手段、セグメント区分け手段、３次元データ変換手段、タグ付け手段およびデータ出力手段として機能させるためのものである。

クライアント端末は、受信した３次元ポリゴンデータに基づいて仮想現実空間を構成して表示し、仮想現実空間におけるユーザの動作及び動作に基づく仮想現実空間の変化を記録して医療情報仮想現実サーバに送信する。
ここで、ユーザの動作には、手の動きだけではなく視点の移動等も含む。そのため、クライアント端末において仮想現実空間を表示できるだけではなく、仮想現実空間におけるユーザの動作等を記録してサーバに保存することにより、例えば、記録されたデータを基にベテラン術者の視点や動きを若手の術者が学ぶといったことが容易となる。

また、クライアント端末には、少なくとも１台のモバイル端末が有線又は無線で接続され、クライアント端末において作製された仮想現実空間を構成するデータをモバイル端末へ送信し、モバイル端末において、受信したデータに基づいて仮想現実空間を表示し、クライアント端末において表示される仮想現実空間と、モバイル端末において表示される仮想現実空間が、同一の仮想現実空間を共有するように表示される。

仮想現実システムに用いるＰＣ、ヘッドマウントディスプレイ、コントローラ等は、非常に高価であるため、多数人でのリアルタイムでの利用は、これまで難しかったが、スマートフォン等にアプリケーションをインストールすることで、安価で、かつ、容易に、仮想現実空間によって得られる感覚を多数人で共有することができる。ここで、モバイル端末とは、スマートフォン、タブレット端末、携帯電話、モバイルＰＣ等をいう。なお、クライアント端末は、デスクトップＰＣ等の機器に限られるわけではなく、例えば、タブレット端末などのモバイル端末をクライアント端末として使用することも可能である。

具体的な方法としては、クライアント端末とモバイル端末にそれぞれアプリケーションをインストールし、ネットワークを通じて接続する。ここで、ネットワークとしては、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術が好適に用いられるが、その他の方法であってもよい。
クライアント端末と有線又は無線で接続したヘッドマウントディスプレイ及びコントローラの位置情報を、クライアント端末からモバイル端末へ送信し、クライアント端末で仮想現実空間を見ているユーザと同じ仮想現実空間をモバイル端末でも見ることができる。コントローラの位置情報も同期することで、視野だけではなく、コントローラを使用するユーザの手の動きについても、モバイル端末で、リアルタイムで見ることができる。すなわち、クライアント端末を使用するユーザとモバイル端末を使用するユーザは、同一の仮想現実空間を共有した上で、それぞれの位置情報に合った仮想現実空間を認識することができる。

クライアント端末又はモバイル端末において表示される仮想現実空間としては、それぞれの位置情報に合った仮想現実空間が表示されるが、例えば、モバイル端末の位置情報が取得できない場合には、モバイル端末においてもクライアント端末の位置情報に合った仮想現実空間と同様の仮想現実空間が表示されるといった構成でもよい。

本発明の医療情報仮想現実用データの作製方法は、ユーザに対してインタラクティブに医療情報仮想現実空間を表示させるための医療情報仮想現実用データの作製方法であって、下記ステップを備える。
１）ＣＴ画像データ、ＭＲＩ画像データまたは超音波画像データの２次元医用画像データと、生体部位、インプラント、医療デバイス、指標マーカ又は装着物の特徴部位の３次元位置計測データ、の少なくとも何れかである医用画像データを用いて、特徴部位毎のセグメントに区分けするセグメント区分けステップ。
２）医用画像データを、セグメントを有する３次元ポリゴンデータへ変換する３次元データ変換ステップ。
３）３次元ポリゴンデータ又はセグメントにタグ付けするタグ付けステップ。
４）３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付けステップ。
５）３次元ポリゴンデータに基づいて構成された仮想現実空間におけるユーザの動作及び動作に基づく仮想現実空間の変化が記録された時系列データを３次元ポリゴンデータの時系列データに関連付けするステップ。

また、本発明の医療情報仮想現実用データの作製方法は、医用画像データに紐付けされた個人情報を削除する個人情報削除ステップを更に備えたことが好ましい。

上記５）において、ユーザの動作に基づく仮想現実空間の変化とは、例えば、ユーザが仮想現実空間内で操作した仮想のメスの動きや仮想のメスによって切断された臓器の形状変化といったものであり、ユーザの動作以外の仮想現実空間における変化を広く含む趣旨である。
また、上記方法により作製されたデータと、同一の被験体に関する過去の医用画像データを変換して得られた３次元ポリゴンデータとの時系列上の変化を一連の時系列データとして、データベースに保存するステップが設けられてもよい。

本発明の医療情報仮想現実用データは、上記の何れかの医療情報仮想現実用データの作製方法によって作製されたものである。

本発明の医療情報仮想現実サーバによれば、学習、トレーニング又はシミュレーションの際に、熟練の医療提供者が有する非言語的な知見を他の医療提供者や被験者等に容易に伝えることができ、コミュニケーションが円滑になるといった効果がある。また、３次元ポリゴンデータは、データ量が軽いため、計算処理コストを抑えることができ、安価にサービスを提供できるといった効果がある。しかも、被験者の個人情報はデータベースに保存されないため、プライバシーを保護することもできる。

実施例１の医療情報仮想現実サーバの機能ブロック図１ 実施例１の医療情報仮想現実サーバの機能ブロック図２ 実施例１の医療情報仮想現実サーバのシステム構成図 実施例２の医療情報仮想現実システムの機能ブロック図 実施例２の医療情報仮想現実システムのシステム構成図 実施例３の医療情報仮想現実システムの機能ブロック図 実施例３の医療情報仮想現実システムのシステム構成図 人体の上肢についてセグメントに区分けされた３次元ポリゴンデータのイメージ図であり、（１）は正面図、（２）は斜視拡大図を示している。 実施例４の医療情報仮想現実システムのシステム構成図 実施例４の医療情報仮想現実システムのデータフロー図 医用画像データのセグメント化のフロー図 医用画像データの利用及び集積のフロー図 実施例５の医療情報仮想現実用データの作製フロー図１ 実施例５の医療情報仮想現実用データの作製フロー図２ 実施例５の医療情報仮想現実用データの作製フロー図３

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

図１及び２は、実施例１の医療情報仮想現実サーバの機能ブロック図を示している。
図１に示すように、本実施例の医療情報仮想現実サーバである医療情報仮想現実サーバシステム１には、入力手段１７、区分け手段１３、医用画像データ変換手段１４、タグ付け手段１５、３次元ポリゴンデータ管理手段１６及び出力手段１８が設けられている。
医療情報仮想現実サーバシステム１は、１つのコンピュータで構成される必要はなく、ＰＣやサーバが有線又は無線で接続された構成でもよい。例えば、図２に示すように、ＰＣ３ｄとサーバ４から成る構成でもよい。ここで、ＰＣ３ｄ及びサーバ４にはそれぞれ入力手段１７と出力手段１８が設けられており、通信可能な構成となっている。また、ＰＣやサーバは、それぞれ複数設けられた構成でもよい。
また、ここでは図示しないが、医療情報仮想現実サーバシステム１には、座標関連付け手段が設けられており、ユーザが３次元ポリゴンデータを利用して仮想現実空間を体感するにあたり、３次元ポリゴンデータを任意のワールド座標位置に関連付けすることができる。
なお、ＰＣ及びサーバにおける入力手段及び出力手段については、以下の実施例でも同様であるため、実施例２以降ではかかる記述を省略している。

図３は、実施例１の医療情報仮想現実サーバシステムのシステム構成図を示している。図３に示すように、医療情報仮想現実サーバシステム１は、ＰＣ３ｄ及びサーバ４から成り、ＰＣ３ｄとサーバ４はネットワーク５により接続されている。ＰＣ３ｄは医用画像撮像装置２から医用画像データが入力され、図２に示すように、区分け手段１３によって３次元ポリゴンデータが生体部位、医療器具又は医療機器毎のセグメントに区分けされる。ＰＣ３ｄに設けられた医用画像データ変換手段１４によって医用画像データが３次元ポリゴンデータへと変換される。タグ付け手段１５によって、３次元ポリゴンデータ又はセグメントがタグ付けされる。タグ付けがされた３次元ポリゴンデータは、図３に示すように、ネットワーク５を介してサーバ４へと送られる。サーバ４においては、図２に示す３次元ポリゴンデータ管理手段１６によって、３次元ポリゴンデータがデータベースに保存され、タグに基づいて出力される。

図３に示すように、３次元ポリゴンデータは、ユーザの求めに応じて出力される。ここではユーザとして医療機関８ａ、教育機関８ｂ、保健機関８ｃを例示している。
なお、ここでは、例として医療機関、教育機関又は保健機関を示しているが、共有対象となるユーザはこの限りではなく、その他、営利企業や個人等のユーザも対象となる。また、ネットワーク５により共有されるため、複数の医療機関、研究・教育機関等が加わることが可能である。

図４は、実施例２の医療情報仮想現実システムの機能ブロック図を示している。
図４に示すように、本実施例の医療情報仮想現実システム１ａは、医用画像撮像装置２、ＰＣ３ｄ及びサーバ４から成る。

医用画像撮像装置２には、医用画像データ取得手段１１が設けられている。ＰＣ３ｄには、個人情報削除手段１２、区分け手段１３、医用画像データ変換手段１４及びタグ付け手段１５が設けられている。また、サーバ４には、３次元ポリゴンデータ管理手段１６が設けられている。

図５は、実施例２の医療情報仮想現実システムのシステム構成図を示している。
図５に示すように、医療情報仮想現実システム１ａは、ＰＣ（３ａ〜３ｄ）、サーバ４、ネットワーク５、ヘッドマウントディスプレイ６及びセンサ７から成る。

医用画像撮像装置２では、図４に示すように、医用画像データ取得手段１１を用いて、医用画像取得の対象となる被験者の医用画像データを取得する。取得した医用画像データは、ＰＣ３ｄに設けられた個人情報削除手段１２によって、個人情報が削除される。また、区分け手段１３によって３次元ポリゴンデータが生体部位、医療器具又は医療機器毎のセグメントに区分けされる。ＰＣ３ｄに設けられた医用画像データ変換手段１４によって医用画像データが３次元ポリゴンデータへと変換される。タグ付け手段１５によって、３次元ポリゴンデータ又はセグメントがタグ付けされる。タグ付けがされた３次元ポリゴンデータは、図５に示すように、ネットワーク５を介してサーバ４へと送られる。サーバ４においては、図４に示す３次元ポリゴンデータ管理手段１６によって、３次元ポリゴンデータがデータベースに保存され、タグに基づいて出力される。

医療機関８ａにはＰＣ３ａが設けられ、教育機関８ｂにはＰＣ３ｂ、保健機関８ｃにはＰＣ３ｃが設けられている。ここでは、被験者は、医療機関８ａ、教育機関８ｂ又は保健機関８ｃにおいて医用画像の撮像を受けたわけではないが、被験者の個人情報が削除された状態でサーバ４にデータが保存されているため、医療機関８ａ、教育機関８ｂ又は保健機関８ｃの何れにおいても該データをタグにより検索・利用することが可能である。また、例えば、医療機関８ａに設けられた医用画像撮像装置によって医用画像データ取得し、ＰＣ３ａに予め設けられた個人情報削除手段を用いて個人情報を削除する構成でもよい。

医療機関８ａにおいて、サーバ４に保存されたデータが、タグにより出力された場合、ユーザは、ＰＣ３ａと有線又は無線で接続されたヘッドマウントディスプレイ６及びセンサ７を用いて、仮想現実空間１０を体感することができる。仮想現実空間１０を体感したデータは、ＰＣ３ａにより自動で、又は、ＰＣ３ａ或はＰＣ３ａと有線又は無線で接続された付属のコントローラ（図示せず）により手動で、タグ付けが行われ、ネットワーク５を介して、サーバ４に送られ、保存される。このようなシステムの利用が繰り返されることにより、ユーザによる利用データが蓄積し、さらに活用性の高いデータベースが構築されることになる。

図６は、実施例３の医療情報仮想現実システムの機能ブロック図を示している。図６に示すように、本実施例の医療情報仮想現実システム１ｂは、ＰＣ（３ｄ，３ｅ）及びサーバ４から成る。

医用画像撮像装置２には、医用画像データ取得手段１１が設けられている。ＰＣ３ｄには、個人情報削除手段１２が設けられている。また、ＰＣ３ｅには、区分け手段１３、医用画像データ変換手段１４、タグ付け手段１５が設けられている。サーバ４には、３次元ポリゴンデータ管理手段１６が設けられている。

図７は、実施例３の医療情報仮想現実システムのシステム構成図を示している。
図７に示すように、医療情報仮想現実システム１ｂは、医用画像撮像装置２、ＰＣ（３ａ〜３ｅ）、サーバ４、ネットワーク５、ヘッドマウントディスプレイ６及びセンサ７から成る。
医用画像撮像装置２では、図６に示すように、医用画像データ取得手段１１を用いて、医用画像取得の対象となる被験者の医用画像データを取得する。取得した医用画像データは、ＰＣ３ｄに設けられた個人情報削除手段１２によって、個人情報が削除され、図７に示すネットワーク５を介してＰＣ３ｅへと送られる。ＰＣ３ｅにおいては、図６に示す区分け手段１３によって３次元ポリゴンデータが生体部位毎のセグメントに区分けされる。医用画像データ変換手段１４によって医用画像データが３次元ポリゴンデータへと変換される。タグ付け手段１５によって、３次元ポリゴンデータ又はセグメントがタグ付けされる。３次元ポリゴンデータ管理手段１６によって、３次元ポリゴンデータがサーバ４に設けられたデータベースに保存され、タグにより出力可能とされる。

医用画像データから個人情報を削除する手段は、医用画像撮像装置２と有線又は無線で接続されたＰＣ３ｄに設けられ、ＰＣ３ｄにおいて、個人情報が削除されることにより、個人情報が切り離された状態で、インターネット５に接続されることとなり、プライバシー保護が図られる。医用画像データを３次元ポリゴンデータへと変換する手段は、医用画像撮像装置２と有線又は無線で接続されたＰＣ３ｄに設けられることは必須ではなく、これとは異なり、インターネット５を介して設けられたＰＣ３ｅ又はサーバ４に設けられてもよい。

医療機関８ａ、教育機関８ｂ又は保健機関８ｃにそれぞれＰＣ（３ａ〜３ｃ）が設けられ、仮想現実空間を体感できる点は実施例２と同様である。

図８は、人体の上肢についてセグメントに区分けされた３次元ポリゴンデータのイメージ図であり、（１）は正面図、（２）は斜視拡大図を示している。図８（１）に示すように、画像中では、肝臓２０、門脈２１、膵臓２２、腎臓２３、大動脈２４、心臓２５、肋骨２６、脾臓２７、脊椎２８及び骨盤２９がセグメント化され、表示されている。また、各部位は、それぞれセグメントとして区分けされ、部位の名称がタグ付けされている。そのため、図８（１）に示すように、各部位の名称がテキストで表示され、矢印により、どの箇所がどの部位であるかが明確に認識できるように表示されている。このように、生体部位が色分けされて表示され、各部位の名称がテキストで表示されることにより、視認性やデータの活用性が向上する。

図８（２）は、図８（１）に示した画像を拡大し、やや下方から見た状態を示している。図８（２）に示すように、画像中では、膵臓２２、腎臓２３、脾臓２７及び胆嚢３０がセグメント化され、表示されている。各部位のセグメントは３次元ポリゴンデータとして保存され、管理されているため、図８（２）に示すように、見る角度を変えても、各部位の名称がそれぞれの部位を指し示すように表示される。また、図８（２）では、図８（１）には表示されていない胆嚢３０が表示されている。このように、表示する角度等によって、表示が必要と考えられる部位の名称だけを表示したり、或は、全て表示したりといったように、ユーザにとって見やすく、かつ、分かりやすい表示を行うことができる。

このようなセグメント化の方法について、図１１を参照しながら説明する。図１１は、医用画像データのセグメント化のフロー図を示している。
図１１に示すように、まず、２次元医用画像データを自動で区分けする（Ｓ２１）。２次元医用画像データを３次元ポリゴンデータへ変換する（Ｓ２２）。３次元ポリゴンデータを自動で区分けする（Ｓ２３）。２次元医用画像データを基にした自動的な区分けと、３次元ポリゴンデータを基にした自動的な区分けは、本実施例に示すように両方行ってもよいし、何れか一方のみでもよい。

２次元医用画像データと３次元ポリゴンデータを見比べて評価をする（Ｓ２４）。自動的な区分けに誤りがない（Ｓ２５）場合には、区分け結果をデータベースに保存する（Ｓ２６）。自動的な区分けに誤りがある場合には、手動で区分けを修正する（Ｓ２７）。例えば、３次元ポリゴンデータを作製した状態で、医療提供者の知見から、特定の臓器、血管等であることが明らかである場合には、３次元ポリゴンデータ中の該当箇所をマーキングする。医療提供者の知見からいかなる臓器か、腫瘍があるか等が明らかでない箇所については、該当箇所に相当する部位の２次元医用画像データと見比べて、３次元ポリゴンデータ中の該当箇所をマーキングする。
区分けの具体的な判断要素としては、画像の濃淡差又は３次元位置座標情報が重要な判断要素となる。
なお、医療提供者による評価・修正は必須ではなく、データの蓄積によって、人の手による修正を必要としないシステムとすることも可能である。

図１２は、医用画像データの利用及び集積のフロー図を示している。図１２に示すように、本実施例の医療情報仮想現実システムにおいては、データベースを用いて自動で区分けを行う（Ｓ３１）。次に、医療提供者により評価及び修正を行う（Ｓ３２）。区分けの結果をデータベースに保存する（Ｓ３３）。以上のステップを繰り返し行う。
ここで、保存する区分けの結果とは、医療提供者による評価・修正がなされた最終的な結果だけではなく、自動的な区分けと手動的な区分けの結果の差異等も含み、このようなデータが蓄積することにより、より精度の高い自動的な区分けが可能となる。

上記のようなセグメント化を行うことにより、タグ付けが容易となる。タグ付けの方法としては、データの取得対象となった生体全体行うこともできるし、臓器や血管といったセグメント毎に行うこともできる。例えば、年齢についてタグ付けする場合には、生体全体についてタグ付けする。また、腫瘍のある箇所についてタグ付けする場合には、腫瘍のある臓器や、腫瘍のある臓器内にセグメント化された腫瘍箇所についてタグ付けする。
また、各セグメントにとらわれず、特定の３次元座標にタグ付けを行うことも可能であるし、空間的範囲を設定してタグ付けすることも可能である。

タグ付けの種類としては、マーキング、数値入力、テキストでのコメント等が可能である。
例えば、生体の年齢等については、数値入力により行うが、定性的なコメントを記録する場合には、テキストでコメントを行うこともできる。さらに、マーカを用いて、３次元空間にマーキングを行うこともできる。

図９は、実施例４の医療情報仮想現実システムのシステム構成図を示している。
図９に示すように、医療情報仮想現実システム１００は、ＰＣ（３ａ，３ｄ）、スマートフォン（３０ａ〜３０ｃ）、サーバ４、ネットワーク５、ヘッドマウントディスプレイ６及びセンサ７から成る。
医療機関８ａには、ＰＣ３ａ、スマートフォン（３０ａ〜３０ｃ）、ヘッドマウントディスプレイ６及びセンサ７が設けられている。スマートフォン（３０ａ〜３０ｃ）は、ネットワーク５０を介して、ＰＣ３ａと接続されている。ＰＣ３ａは、ヘッドマウントディスプレイ６及びセンサ７と有線又は無線で接続されている。スマートフォン（３０ａ〜３０ｃ）には、ヘッドマウントディスプレイ６及びセンサ７は接続されていないが、医療情報仮想現実システム１００を利用するためのスマートフォン用ＶＲアプリ（図示せず）がインストールされており、ＰＣ３ａ、ヘッドマウントディスプレイ６及びセンサ７を用いて表現される仮想現実空間１０を同時に見ることができる構造となっている。

具体的な構造としては、ＰＣ３ａにインストールされた仮想現実用アプリケーション（図示せず）と、スマートフォン（３０ａ〜３０ｃ）にインストールされた仮想現実用アプリケーション（図示せず）をネットワーク５０で接続する。本実施例では、ネットワーク５０は無線で通信を行うものを示しているが、有線通信でもよい。ＰＣ３ａの仮想現実用アプリケーション内にセンサ７を用いて取得されたヘッドマウントディスプレイ６の位置情報とコントローラ（図示せず）の情報をスマートフォン（３０ａ〜３０ｃ）に向けて送信し、スマートフォン（３０ａ〜３０ｃ）ではヘッドマウントディスプレイ６で仮想現実空間１０を見ているユーザと同じ仮想現実空間内の位置で仮想現実空間１０を見ることができる。また、スマートフォン（３０ａ〜３０ｃ）の画面を操作することで角度を変えて仮想現実空間１０を見ることもできる。コントローラの位置情報は、コントローラの位置だけではなくコントローラの向きについてもセンサ７によりセンシングされているので、ＰＣ３ａにおいて仮想現実用アプリケーションを使用しているユーザの手の動きを、リアルタイムにスマートフォン（３０ａ〜３０ｃ）が表示する仮想現実空間上で見ることができる。すなわち、ヘッドマウントディスプレイ６やコントローラを使用するユーザとスマートフォン（３０ａ〜３０ｃ）を使用するユーザは、同一の仮想現実空間を共有した上で、それぞれの位置情報に合った仮想現実空間を認識することができる。
このように、スマートフォンを利用することにより、多数の参加者がいる場合でも、容易かつ安価に、仮想現実システムを利用することができる。

図１０は、実施例４の医療情報仮想現実システムのデータフロー図を示している。図１０に示すように、まず、クライアント端末において、検索情報を入力する（Ｓ０１）。検索情報に関するデータをサーバに送信する（Ｓ０２）。サーバにおいてデータを受信する（Ｓ０３）。サーバにおいて、検索を行い、検索結果を抽出する（Ｓ０４）。サーバからクライアント端末へ検索結果を送信する（Ｓ０５）。クライアント端末において検索結果を受信する（Ｓ０６）。クライアント端末において、検索結果に基づき、仮想現実空間を作製する（Ｓ０７）。作製した仮想現実空間を構成するデータを、クライアント端末からモバイル端末へ送信する（Ｓ０８）。仮想現実空間を構成するデータをモバイル端末において受信する（Ｓ０９）。クライアント端末において、仮想現実空間を表示する（Ｓ１０）。モバイル端末において、仮想現実空間を表示する（Ｓ１１）。

図１３〜１５は、実施例５の医療情報仮想現実用データの作製フロー図を示している。まず、図１３に示すように、医療情報仮想現実用データを作製する場合は、医用画像データを医療情報仮想現実サーバシステム１に入力する（Ｓ４１）。次に、ＣＴ画像データ、ＭＲＩ画像データまたは超音波画像データの２次元医用画像データと、生体部位、インプラント、医療デバイス、指標マーカ又は装着物の特徴部位の３次元位置計測データの少なくとも何れかである医用画像データを用いて、特徴部位毎のセグメントに区分けする（Ｓ４２）。医用画像データを、セグメントを有する３次元ポリゴンデータへ変換する（Ｓ４３）。３次元ポリゴンデータ又はセグメントにタグ付けする（Ｓ４４）。３次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力する（Ｓ４５）。

上記と異なる構成として、医用画像データ中に存在する個人情報を削除する構成が考えられる。例えば、図１４に示すように、医用画像データを入力（Ｓ５１）した後に、個人情報を削除し（Ｓ５２）、その後、前述した何れかの医用画像データを用いて、特徴部位毎のセグメントに区分けする（Ｓ５３）。ここで、個人情報の削除は、医用画像データの入力後である必要はなく、既に個人情報が削除された医用画像データを入力する方法でもよい。
なお、セグメントに区分けする（Ｓ５３）以降のフローは、図１３と同様である。

更に上記と異なる構成として、医療情報仮想現実サーバシステム１から出力された３次元ポリゴンデータを利用して、ユーザが仮想現実空間を体感した際のデータを記録し、医療情報仮想現実サーバシステム１へ送信することで、更なる活用性の高いデータベースとする方法が考えられる。例えば、図１５に示すように、医療情報仮想現実サーバシステム１からのデータ出力（Ｓ６５）の後、仮想現実空間におけるユーザの動作等が記録されたデータを、３次元ポリゴンデータの時系列データに関連付けて保存することで、より活用性の高い医療情報仮想現実用データを作製することが可能である（Ｓ６６）。
なお、医療情報仮想現実サーバシステム１からのデータ出力（Ｓ６５）以前のフローは、図１３と同様である。

本発明は、医療提供者による診断、学習、トレーニング、研究、治療に当たってのチーム内でのコミュニケーション向上、さらには患者への説明を行うためのシステムとして有用である。

１ 医療情報仮想現実サーバシステム
１ａ，１ｂ，１００ 医療情報仮想現実システム
２ 医用画像撮像装置
３，３ａ〜３ｅ ＰＣ
４ サーバ
５，５０ ネットワーク
６ ヘッドマウントディスプレイ
７ センサ
８ａ 医療機関
８ｂ 教育機関
８ｃ 保健機関
１０ 仮想現実空間
１１ 医用画像データ取得手段
１２ 個人情報削除手段
１３ 区分け手段
１４ 医用画像データ変換手段
１５ タグ付け手段
１６ ３次元ポリゴンデータ管理手段
１７ 入力手段
１８ 出力手段
２０ 肝臓
２１ 門脈
２２ 膵臓
２３ 腎臓
２４ 大動脈
２５ 心臓
２６ 肋骨
２７ 脾臓
２８ 脊椎
２９ 骨盤
３０ 胆嚢

Claims (16)

1. ユーザに対してインタラクティブに仮想現実空間を表示させるクライアント端末とネットワークを介して接続されデータを送受信するサーバであって、
   医用画像データを入力するデータ入力手段と、
   前記医用画像データを、生体部位、インプラント、医療デバイス、指標マーカ又は装着物を含む特徴部位毎のセグメントに区分けするセグメント区分け手段と、
   前記医用画像データを、前記セグメントを有する３次元ポリゴンデータへ変換する３次元データ変換手段と、
   前記３次元ポリゴンデータ又は前記セグメントにタグ付けするタグ付け手段と、
   前記３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段と、
   前記３次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力するデータ出力手段、
   を備え、
   前記クライアント端末からユーザが入力したタグ情報を受信し、
   受信したタグ情報に基づいて３次元ポリゴンデータを抽出して前記クライアント端末へ送信し、
   前記クライアント端末から前記３次元ポリゴンデータに基づく仮想現実空間におけるユーザの動作及び動作に基づく前記仮想現実空間の変化情報を受信する、
   ことを特徴とする医療情報仮想現実サーバ。
2. 前記医用画像データに紐付けされた個人情報を削除する個人情報削除手段を更に備えたことを特徴とする請求項１に記載の医療情報仮想現実サーバ。
3. 前記セグメント区分け手段は、前記医用画像データが２次元医用画像データの場合に、画像の濃淡差又は３次元位置座標情報に基づいて、セグメントに区分けすることを特徴とする請求項１に記載の医療情報仮想現実サーバ。
4. 前記医用画像データは、ＣＴ画像データ、ＭＲＩ画像データまたは超音波画像データを含む２次元の医用画像データと、前記特徴部位の３次元位置計測データの少なくとも何れかであることを特徴とする請求項１〜３の何れかに記載の医療情報仮想現実サーバ。
5. 前記セグメント区分け手段は、前記３次元ポリゴンデータの前記セグメントを修正し、修正後のセグメントに区分けする手段を更に備えたことを特徴とする請求項１〜４の何れかに記載の医療情報仮想現実サーバ。
6. 前記セグメント区分け手段は、セグメントに区分けされた前記医用画像データに基づいて、前記セグメントを修正し、修正後のセグメントに区分けする手段を更に備えたことを特徴とする請求項１〜４の何れかに記載の医療情報仮想現実サーバ。
7. 前記３次元ポリゴンデータと、前記３次元ポリゴンデータと同一の被験体に関する過去の医用画像データを変換して得られた３次元ポリゴンデータと、の時系列上の変化を一連の時系列データとして、前記データベースに保存することを特徴とする請求項１〜６の何れかに記載の医療情報仮想現実サーバ。
8. 前記３次元ポリゴンデータの時間変化に伴う形状変化を一連の時系列データとして、前記データベースに保存することを特徴とする請求項１〜６の何れかに記載の医療情報仮想現実サーバ。
9. 前記３次元ポリゴンデータを用いた仮想現実空間におけるユーザの視野および動作を一連の時系列データとして、前記３次元ポリゴンデータの時系列データに関連付けして前記データベースに保存することを特徴とする請求項１〜８の何れかに記載の医療情報仮想現実サーバ。
10. 前記３次元ポリゴンデータを用いた仮想現実空間におけるユーザの変形動作に伴う前記特徴部位の３次元形状の変化を一連の時系列データとして、前記３次元ポリゴンデータの時系列データに関連付けして前記データベースに保存することを特徴とする請求項９に記載の医療情報仮想現実サーバ。
11. 前記セグメントに区分けする前記生体部位は、臓器、血管、病巣、神経、膜、血液を含む液体から選択される少なくとも何れかであることを特徴とする請求項１〜１０の何れかに記載の医療情報仮想現実サーバ。
12. 前記３次元データ変換手段において、変換した前記３次元ポリゴンデータの元となる医用画像データ以外から生成した３次元ポリゴンデータを、前記３次元ポリゴンデータに追加又は重畳するポリゴンデータ追加手段を備えたことを特徴とする請求項１〜１１の何れかに記載の医療情報仮想現実サーバ。
13. 請求項１の医療情報仮想現実サーバにおける前記データ入力手段、前記セグメント区分け手段、前記３次元データ変換手段、前記タグ付け手段および前記データ出力手段として、コンピュータを機能させるための医療情報仮想現実プログラム。
14. ユーザに対してインタラクティブに医療情報仮想現実空間を表示させるための医療情報仮想現実用データの作製方法であって、
    ＣＴ画像データ、ＭＲＩ画像データまたは超音波画像データの２次元医用画像データと、生体部位、インプラント、医療デバイス、指標マーカ又は装着物の特徴部位の３次元位置計測データ、の少なくとも何れかの医用画像データを用いて、前記特徴部位毎のセグメントに区分けするセグメント区分けステップと、
    前記医用画像データを、前記セグメントを有する３次元ポリゴンデータへ変換する３次元データ変換ステップと、
    前記３次元ポリゴンデータ又は前記セグメントにタグ付けするタグ付けステップ、
    前記３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付けステップ、
    前記３次元ポリゴンデータに基づいて構成された仮想現実空間におけるユーザの動作及び動作に基づく仮想現実空間の変化が記録された時系列データを前記３次元ポリゴンデータの時系列データに関連付けするステップ、
    を備えたことを特徴とする医療情報仮想現実用データの作製方法。
15. 前記医用画像データに紐付けされた個人情報を削除する個人情報削除ステップを更に備えたことを特徴とする請求項１４に記載の医療情報仮想現実用データの作製方法。
16. 請求項１４又は１５に記載の医療情報仮想現実用データの作製方法によって作製された医療情報仮想現実用データ。