JP2021137348A - 幻肢痛ケアシステム、被術者装置、及びプログラム - Google Patents

Abstract

【課題】施術者から離れた位置に存在する幻肢痛患者に対するケアを可能にする。【解決手段】第一の地点において仮想空間の映像を被術者に提供し、第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置と通信するする被術者装置であって、被術者の健肢の位置を検出する位置検出部と、検出した健肢の位置に基づいて健肢の三次元モデルを生成すると共に、健肢の位置に基づいて健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、三次元モデルを含む仮想空間の映像を生成する映像生成部と、被術者の頭部に装着され、仮想空間の映像をディスプレイ画面上に表示させるＨＭＤと、被術者の状態を示す被術者状況情報を施術者装置へ送信する状況情報送信部と、施術者装置から施術者の指示を示す指示情報を受信する指示受信部と、前記指示情報として仮想空間の映像や音声を被術者に対して出力させる指示出力部とを備える。【選択図】図１

Description

本発明は、幻肢痛ケアシステムに関する。

幻肢痛は、手腕や足の切断後に、失ったはずの四肢が存在するように感じられ、四肢が存在していた空間に痛みを知覚する現象である。幻肢痛は、四肢切断患者の８０％以上に現れるとされている。

幻肢痛の治療方法としては、欠損した四肢と対になる現存四肢を鏡に写し、現存四肢を動かすことで欠損した四肢が正常に動いているように視覚的にフィードバックすることで、痛みを緩和させるものが知られている。

また、特許文献１では、位置センサによって患者の姿勢等を検出し、これに基づいて所定作業を実行する当該患者の動きに対応する幻視画像を、仮想空間において提示することによって疼痛を軽減させる疼痛治療支援装置が開示されている。

特開２００４−２９８４３０号公報

上肢切断、腕神経叢損傷患者は、推定４，５千人いるとされ、脳卒中、視床痛など脳に障害が起きて手足が痛むという患者で、運動療法で緩和ケアが必要な患者数は５００万人いるとされる。幻肢の痛み方は人によって異なり、また日によって異なることがある。このため、治療には相応の知識と経験が必要であり、適切に治療できる人は少ない。経験豊富な医師等は、比較的都市部に集中しているが、幻肢痛の患者は、都市部だけではない。このため、治療に通えない患者も存在するという問題があった。

そこで、本発明は、施術者から離れた位置に存在する幻肢痛患者に対するケアを可能にする技術の提供を目的とする。

上記課題を解決するため、本発明の幻肢痛ケアシステムは、
被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供する被術者装置と、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置とを備え、
前記被術者装置が、
前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、
前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する映像生成部と、
前記被術者の頭部に装着され、前記仮想空間の映像をディスプレイ画面上に表示させるヘッドマウントディスプレイと、
少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信する状況情報送信部と、
前記施術者装置から前記施術者の指示を示す指示情報を受信する指示受信部と、
前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させる指示出力部と、を備え、
前記施術者装置が、
前記被術者装置から前記被術者状況情報を受信する状況情報受信部と、
前記被術者状況情報に基づいて前記被術者の状況をディスプレイに表示させる表示制御部と、
前記指示情報を前記被術者装置へ送信する指示情報送信部と、を備える。

前記幻肢痛ケアシステムは、
前記施術者装置が、
前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、を備え、
前記指示情報送信部が、前記施術者の健肢に基づく三次元モデル及び幻肢の三次元モデルを指示情報に含めて前記被術者装置へ送信し、
前記被術者装置の映像生成部が、前記三次元モデルを含む前記指示情報に基づいて、前記施術者の健肢及び幻肢の三次元モデルを前記仮想空間の映像に合成して表示させてもよい。

前記幻肢痛ケアシステムは、前記映像生成部が、前記被術者の三次元モデルと前記施術者の三次元モデルとを向かい合わせた映像を生成する、又は前記被術者の三次元モデルと前記施術者の三次元モデルとを同じ方向に向けて、前記被術者の三次元モデルの背面側に前記施術者の三次元モデルを位置させた映像を生成してもよい。

幻肢痛ケアシステムは、前記映像生成部が、前記被術者の三次元モデルと前記施術者の三次元モデルとを向かい合わせた映像と、同じ方向を向けた映像とを前記施術者装置からの前記指示情報に基づいて切り替えてもよい。

前記幻肢痛ケアシステムは、一つの前記施術者装置が、複数の前記被術者装置と接続し、前記指示情報を複数の前記被術者装置へ送信してもよい。

上記課題を解決するため、本発明の被術者装置は、
被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供し、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置と通信するする被術者装置であって、
前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、
前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する映像生成部と、
前記被術者の頭部に装着され、前記仮想空間の映像をディスプレイ画面上に表示させるヘッドマウントディスプレイと、
少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者
装置へ送信する状況情報送信部と、
前記施術者装置から前記施術者の指示を示す指示情報を受信する指示受信部と、
前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させる指示出力部と、
を備える。

上記課題を解決するため、本発明の幻肢痛ケアプログラムは、
被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供し、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置と通信するする被術者装置に実行させるプログラムであって、
前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出するステップと、
検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成するステップと、
前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成するステップと、
前記被術者の頭部に装着されたヘッドマウントディスプレイのディスプレイ画面上に前記仮想空間の映像を表示させるステップと、
少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信するステップと、
前記施術者装置から前記施術者の指示を示す指示情報を受信するステップと、
前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させるステップと、
を前記被術者装置に実行させる。

本発明は、施術者から離れた位置に存在する幻肢痛患者に対するケアを可能にする技術を提供することができる。

幻肢痛ケアシステムの構成を示す図である。 ヘッドマウントディスプレイの構成を示す図である。 被術者装置における制御部の構成を示す図である。 施術者装置における制御部の構成を示す図である。 被術者装置が、プログラムに基づいて実行する幻肢痛ケアの処理手順を示す図である。 施術者装置が、プログラムに基づいて実行する幻肢痛ケアの処理手順を示す図である。 被術者の健肢として左側の上肢を指定した場合に、現実空間において被術者から見える健肢の例を示している。 健肢の三次元モデルを生成し、仮想空間内に配置した場合の映像情報の例を示す図である。 健肢及幻肢の三次元モデルを生成し、仮想空間内に配置した場合の映像情報の例を示す図である。 被術者の三次元モデルと施術者の三次元モデルとを同一の仮想空間内に配置した場合の映像情報の例を示す図である。 図１０における被術者の三次元モデルと施術者の三次元モデルとの位置関係を示す図である。 被術者の三次元モデルと施術者の三次元モデルとを同一の仮想空間内に近接配置した場合の映像情報の例を示す図である。 図１２における被術者の三次元モデルと施術者の三次元モデルとの位置関係を示す図である。 被術者の三次元モデルと施術者の三次元モデルとを仮想空間内の略同じ位置に、同じ方向を向けて配置した場合の映像情報の例を示す図である。 図１４における被術者の三次元モデルと施術者の三次元モデルとの位置関係を示す図である。 一つの仮想空間に複数の被術者の三次元モデルを表示させた例を示す図である。

〈第一実施形態〉
《システム構成》
以下本発明の一実施形態について図面を用いて説明する。本実施形態では、幻肢痛の治療を支援するシステムについて説明する。本実施形態の幻肢痛ケアシステム１は、幻肢痛に対するケアを支援するシステムである。幻肢痛のケアとは、幻肢痛を無くす又は緩和する行為であり、治療やリハビリテーション等である。本実施形態において、幻肢痛のケアは、医師法によって認められている治療行為に限定されるものではなく、トレーニングや、リラクゼーションといった行為であってもよい。

図１は、幻肢痛ケアシステム１の構成を示す図である。幻肢痛ケアシステム１は、被術者（患者）が存在する第一の地点において仮想空間の映像を被術者に提供する被術者装置１０と、第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置２０とを備えている。

《被術者装置》
図１に示すように、被術者装置１０は、位置検出部１１，１２、制御部１３、ヘッドマウントディスプレイ（ＨＭＤ）１４を備えている。

位置検出部１１，１２は、被術者の四肢のうち予め定められた一つを健肢とし、少なくとも当該健肢の位置を検出する。位置検出部１１，１２は、例えば、四肢の位置を周期的に求め、その位置の経時変化を動作として検出する。本実施形態では、手指の動きを検出する位置検出部１１と、健肢を含む身体の動きを検出する位置検出部１２の２つを備えている。

位置検出部１１，１２は、例えば、二つのカメラと赤外線照射部とを備え、赤外線照射部が赤外線パターンを検出対象者（被術者）の身体に照射し、所定の間隔（基線長）を隔てて配置した二つのカメラで身体を撮影する。位置検出部１１，１２は、撮影画像から身体が写っている領域を特定し、画像処理によって、検出対象者の手、手首、前腕、肘、上腕などのように、関節とそれに連なる部位（対象部位）を認識する。そして、位置検出部１１，１２は、各対象部位について、それらが写っている撮影画像中の位置と、各対象部位に照射されている赤外線パターンの大きさ及び傾き、これらのカメラ間の差異に基づいて、各対象部位の三次元座標上の位置及び向きを求める。

位置検出部１１，１２は、上記のように二つのカメラで撮影した画像の差異に基づいて三次元座標上の位置を検出する構成に限定されるものではない。例えば、位置検出部１１，１２は、カメラと、ＴｏＦセンサとを備え、カメラで検出対象者の身体を撮影すると共に、ＴｏＦセンサによって撮影画像中の物体までの距離を求める。位置検出部１１，１２は、前述と同様に撮影画像から身体が写っている領域を特定し、画像処理によって、検出対象者の対象部位を認識する。そして、位置検出部１１，１２は、各対象部位について、それらが写っている撮影画像中の位置と、各対象部位との距離に基づいて、各対象部位の
三次元座標上の位置を求める。また、ＴｏＦセンサは、各対象部位との距離を画素毎に検出できるので、位置検出部１１，１２は、各対象部位を点群として認識し、この点群が成す形状から、各部位の向き等を検出する。

本実施形態では、位置検出部１１が、健肢の位置を詳細に検出し、位置検出部１２が健肢と健肢周囲の身体の位置を検出する。例えば、健肢として上肢を設定した場合、位置検出部１１は、手、手首、前腕、そして手の各指、各指の第一〜第三関節等を各対象部位とし、それらの位置を検出する。なお、健肢として下肢を設定した場合、手のような細かい動きを検出する必要がなければ、位置検出部１２のみを用いてもよい。

ＨＭＤ１４は、前記被術者の頭部に装着され、前記仮想空間の映像をディスプレイ画面上に表示させる。図２は、ＨＭＤ１４の構成を示す図である。

ＨＭＤ１４は、表示部１４１や、イヤフォン１４２、マイク１４３、検出部１４４、レンズ１４５、制御部１４６を備えている。レンズ１４５は、表示部１４１の表示面から射出する光束を装着者の眼１４９へ導光し、網膜上に結像させる接眼レンズ系である。これにより装着者が、当該映像を拡大された虚像として観察できるようにしている。

検出部１４４は、例えば角速度センサや地磁気センサであり、ＨＭＤ１４の向き、即ちＨＭＤ１４を装着した装着者の頭部の向き、即ち、視線の向きを検出する。制御部１４６は、映像生成部３１３で生成した映像を表示部１４１に表示させる。

図３は、制御部１３の構成を示す図である。制御部１３は、例えば、接続バス１３１によって相互に接続されたプロセッサ１３２、メモリ１３３、入出力ＩＦ（インターフェース）１３４、通信ＩＦ１３５を有する。プロセッサ１３２は、入力された情報を処理し、処理結果を出力することにより、装置全体の制御等を行う。プロセッサ１３２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）、コントローラとも呼ばれる。プロセッサ１３２は、単一のプロセッサに限られず、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のチップ内に複数のコアを有したマルチコア構成であってもよい。

メモリ１３３は、主記憶装置と補助記憶装置とを含む。主記憶装置は、プロセッサ１３２の作業領域、プロセッサ１３２で処理される情報を一時的に記憶する記憶領域、通信データのバッファ領域として使用される。主記憶装置は、プロセッサ１３２がプログラムやデータをキャッシュしたり、作業領域を展開したりするための記憶媒体である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、フラッシュメモリを含む。補助記憶装置は、プロセッサ１３２により実行されるプログラムや、情報処理に用いられるデータ、動作の設定情報などを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢメモリ、メモリカード等
である。

入出力ＩＦ１３４は、制御部１３に接続する機器との間でデータの入出力を行うインターフェースである。入出力ＩＦ１３４は、例えば、マウスやキーボード等の操作部、カメラ、スキャナ、スピーカ、表示装置等の機器との間でデータの入出力を行う。また、入出力ＩＦ１３４は、ＣＤやＤＶＤ等の記憶媒体からデータを読み取るディスクドライブ、カードリーダライタ、アンプ、ディスプレイ、スピーカ等の機器との間でデータの入出力を行う。操作部は、入力ボタンやダイヤル、タッチパネル等、ユーザの操作によって制御部１３に対する情報が入力される入力部である。スピーカや表示部は、ユーザに対して情報を出力する出力部である。

通信ＩＦ１３５は、通信回線を介して他の装置との通信を行うインターフェース（通信モジュール）であり、ＣＣＵ（Communication Control Unit）とも称す。通信ＩＦ１３５は、例えば、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）やＬＴ
Ｅ（Long Term Evolution）、ＷｉＦｉ、ブルートゥース（登録商標）等の無線通信方式
で通信を行う。なお、図３に示した制御部１３の構成要素はそれぞれ複数設けられてもよいし、一部の構成要素を設けないようにしてもよい。

制御部１３では、プロセッサ１３２が、アプリケーションプログラムを実行することにより、三次元モデル生成部３１２、映像生成部３１３、状況情報送信部３３１、指示受信部３３２、指示出力部３３３といった各処理部として機能する。プロセッサ１３２は、一つのプロセッサ１３２又は一つのコアが、複数の処理部として兼用され得る。例えば、プロセッサ１３２は、マルチスレッド或いはマルチタスクといった技術で複数の処理部として機能する。また、上記複数の処理部の一部又は全部が、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、論理回路、その
他のデジタル回路といったハードウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。

三次元モデル生成部３１２は、前記位置検出部で検出した身体の位置に基づいて健肢を含む身体の三次元モデルを生成する。検出対象者が存在する現実の空間と対応する仮想空間を設定し、三次元モデル生成部３１２は、現実の空間において検出対象者が存在する位置と対応する仮想空間上の位置に作成した三次元モデルを配置するように、三次元モデルの位置を設定する。また、三次元モデル生成部３１２は、前記健肢と対になる幻肢の三次元モデルを生成する。本実施形態では、健肢の三次元モデルに対して左右対称のモデルを生成し、幻肢が有るべき位置に配置する。

映像生成部３１３は、前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する。ここで、検出対象者が健肢を動かした場合、三次元モデル生成部が作成する三次元モデルも仮想空間内で同じように動くため、映像生成部３１３は、この仮想空間内で動く三次元モデルの映像を生成する。また、本実施形態の映像生成部３１３は、検出対象者の左目の位置から仮想空間内を見た場合の映像（左目用映像）と、検出対象者の右目の位置から仮想空間内を見た場合の映像（右目用映像）とを生成する。即ち、左目用映像と右目用映像とは、同じ空間を見た場合の映像であって、左右の目の間隔（目幅）だけ見る位置に差（視差）を有した映像である。また、映像生成部３１３は、ＨＭＤ１４を装着している検出対象者の頭部の向きに応じて、仮想空間内を見る方向を定めて映像を生成しても良い。

状況情報送信部３３１は、少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信する。被術者状況情報は、例えば、三次元モデル生成部３１２が生成した三次元モデルを示す情報、又は映像生成部３１３が生成した映像情報である。また、状況情報送信部３３１は、マイク１４３で取得した被術者の音声情報を状況情報に含めて送信してもよい。

指示受信部３３２は、施術者装置２０から施術者の指示を示す指示情報を受信する。指示情報は、例えば、施術者装置２０が生成した施術者の三次元モデルを示す情報、映像情報、及び音声情報の少なくとも１つである。

指示出力部は、指示情報に基づいて仮想空間の映像及び音声のうち少なくとも一方として被術者に対して出力させる。例えば、指示情報が、施術者の三次元モデルを示す情報で
あった場合、この情報を映像生成部３１３へ送り、仮想空間内に被術者の三次元モデルと施術者の三次元モデルとを配置した状態で映像情報と生成させる。また、指示情報が、施術者の映像情報であった場合、この情報を映像生成部３１３へ送り、被術者の映像情報に施術者の映像情報を合成させる。指示情報が、施術者の音声情報であった場合、この情報をイヤフォン１４２から音声として出力させる。

《施術者装置》
図１に示すように、施術者装置２０は、位置検出部２１，２２、制御部２３、ＨＭＤ２４を備えている。施術者装置２０において、位置検出部２１，２２、ＨＭＤ２４は、前述の被術者装置１０における位置検出部２１，２２、ＨＭＤ１４と同じ構成のため、再度の説明を省略する。

図４は、制御部２３の構成を示す図である。制御部２３は、例えば、接続バス２３１によって相互に接続されたプロセッサ２３２、メモリ２３３、入出力ＩＦ（インターフェース）２３４、通信ＩＦ２３５を有する。施術者装置２０における制御部２３は、前述の被術者装置１０の制御部１３と比べて、プロセッサ２３２が実現する機能が異なっている。この他、制御部２３における接続バス２３１、プロセッサ２３２、メモリ２３３、入出力ＩＦ２３４、通信ＩＦ２３５のハードウェア構成は、被術者装置１０における制御部１３の接続バス１３１、プロセッサ１３２、メモリ１３３、入出力ＩＦ１３４、通信ＩＦ１３５と同じ構成のため、再度の説明を省略する。

制御部２３では、プロセッサ２３２が、アプリケーションプログラムを実行することにより、三次元モデル生成部４１２、状況情報受信部４３１、状況情報出力部４３２、指示情報送信部４３３といった各処理部として機能する。

三次元モデル生成部４１２は、位置検出部２１，２２で検出した身体の位置に基づいて健肢を含む身体の三次元モデルを生成する。検出対象者が存在する現実の空間と対応する仮想空間を設定し、三次元モデル生成部４１２は、現実の空間において検出対象者が存在する位置と対応する仮想空間上の位置に作成した三次元モデルを配置するように、三次元モデルの位置を設定する。また、三次元モデル生成部４１２は、前記健肢と対になる幻肢の三次元モデルを生成する。本実施形態では、健肢の三次元モデルに対して左右対称のモデルを生成し、幻肢が有るべき位置に配置する。

映像生成部４１３は、前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する。ここで、検出対象者が健肢を動かした場合、三次元モデル生成部が作成する三次元モデルも仮想空間内で同じように動くため、映像生成部４１３は、この仮想空間内で動く三次元モデルの映像を生成する。また、本実施形態の映像生成部４１３は、検出対象者の左目の位置から仮想空間内を見た場合の映像（左目用映像）と、検出対象者の右目の位置から仮想空間内を見た場合の映像（右目用映像）とを生成する。即ち、左目用映像と右目用映像とは、同じ空間を見た場合の映像であって、左右の目の間隔（目幅）だけ見る位置に差（視差）を有した映像である。また、映像生成部４１３は、ＨＭＤ２４を装着している検出対象者の頭部の向きに応じて、仮想空間内を見る方向を定めて映像を生成しても良い。

状況情報受信部４３１は、被術者装置１０から被術者状況情報を受信する。状況情報出力部４３２は、被術者状況情報に基づいて被術者の状況をディスプレイに表示出力させる。本実施形態において、状況情報出力部４３２は表示制御部の一形態である。また、状況情報出力部４３２は、被術者装置１０から受信した音声情報をＨＭＤ２４のイヤフォンから音声として出力させる。

指示情報送信部４３３は、例えば、三次元モデル生成部４１２で生成した施術者の三次元モデルや映像生成部４１３で生成した映像情報を指示情報として被術者装置１０へ送信する。また、指示情報送信部４３３は、ＨＭＤ２４のマイクで取得した施術者の音声情報を指示情報として被術者装置１０へ送信する。また、指示情報送信部４３３は、施術者の三次元モデルを配置させる仮想空間内の位置を指定する位置指定情報を含んでもよい。

《幻肢痛ケア方法》
図５は、被術者装置１０が、プログラムに基づいて実行する幻肢痛ケアの処理手順を示す図である。被術者装置１０は、起動時や処理開始の指示を受けた時に図５の処理を開始し、処理の停止が指示されるまで、繰り返し実行する。

ステップＳ１０にて、被術者装置１０は、被術者の健肢を含む身体の位置を検出する。

ステップＳ２０にて、被術者装置１０は、施術者装置２０から、指示情報を受信する。

ステップＳ３０にて、被術者装置１０は、ステップＳ１０で検出した位置に基づいて、被術者の三次元モデルを生成する。

ステップＳ４０にて、被術者装置１０は、ステップＳ２０で指示情報として受信した施術者の三次元モデルと、ステップＳ３０で生成した被術者の三次元モデルとを仮想空間内に配置し、この仮想空間において被術者の左目及び右目の位置から当該仮想空間内を見た場合の映像情報を生成する。なお、ステップＳ２０で指示情報として音声情報を受信している場合には、この音声情報を映像情報に付加する。

ステップＳ５０にて、被術者装置１０は、映像情報に基づいてＨＭＤ１４の表示部に仮想空間の映像を表示させると共に、イヤフォン１４２から施術者による指示の音声を出力させる。

図６は、施術者装置２０が、プログラムに基づいて実行する幻肢痛ケアの処理手順を示す図である。施術者装置２０は、起動時や処理開始の指示を受けた時に図６の処理を開始し、処理の停止が指示されるまで、繰り返し実行する。

ステップＳ１１０にて、施術者装置２０は、施術者の健肢を含む身体の位置を検出する。

ステップＳ１２０にて、施術者装置２０は、被術者装置１０から、被術者状況情報を受信する。

ステップＳ１３０にて、施術者装置２０は、ステップＳ１１０で検出した位置に基づいて、施術者の三次元モデルを生成する。

ステップＳ１４０にて、施術者装置２０は、ステップＳ１２０で被術者状況情報として受信した被術者の三次元モデルと、ステップＳ１３０で生成した施術者の三次元モデルとを仮想空間内に配置し、この仮想空間において施術者の左目及び右目の位置から当該仮想空間内を見た場合の左目用映像情報及び右目用映像情報を生成する。なお、ステップＳ１２０で被術者状況情報として音声情報を受信している場合には、この音声情報を映像情報に付加する。

ステップＳ１５０にて、施術者装置２０は、映像情報に基づいてＨＭＤ２４の表示部１４１に仮想空間の映像を表示させると共に、ＨＭＤ２４のイヤフォンから被術者の音声を
出力させる。

《具体例》
図７は、被術者の健肢として左側の上肢を指定した場合に、現実空間において被術者から見える健肢５の例を示している。

図８は、健肢５の三次元モデル５Ｍを生成し、仮想空間内に配置した場合の映像情報の例を示す図である。なお、図８では、説明のため健肢５の三次元モデル５Ｍ以外の要素を省略して示している。図８に示すように、ＨＭＤ１４に表示される三次元モデル５Ｍは、現実の健肢５（図７）と重なる位置に表示される。

また、被術者装置１０は、健肢５の三次元モデル５Ｍと左右対称に幻肢の三次元モデル５Ｌを生成し、図９に示すように三次元モデル５Ｍと左右対称の位置に三次元モデル５Ｌを配置して表示させる。これらモデル５Ｍ，５Ｌの映像は、例えば３０フレーム／秒など、所定の周期でリアルタイムに生成されるので、被術者は動かした健肢５と一致してモデル５Ｍ，５Ｌが動くので、自身の上肢のように視認できる。この場合、視界内に幻肢の三次元モデル５Ｌが表示されるので、被術者は、あたかも幻肢が存在するように感じることができる。

また、被術者装置１０は、図１０に示すように、被術者の三次元モデル５Ｍ，５Ｌと同じ仮想空間内に施術者の三次元モデル５０を表示させる。これにより施術者が操作の見本を映像で示すことができ、「このように腕をひねってください」「手をこっちに向けて下さい」などのように、簡潔に指示を伝えることができる。なお、本実施形態では、図１０に示すように被術者の視界に施術者の三次元モデルも表示させる構成としたが、必ずしもこの構成に限定されるものではなく、施術者の三次元モデルを表示せずに音声のみで指示をする構成としてもよい。この場合、施術者装置２０の位置検出部２１，２２や三次元モデル生成部４１２、映像生成部４１３は省略してもよい。

なお、仮想空間において、施術者の三次元モデル５０を配置する位置と、被術者の位置との位置関係は、施術者が任意に選択してもよい。例えば、施術者が施術者装置２０に、この位置関係を指定する情報（配置情報）を入力すると、施術者装置２０は、この配置情報を指示情報に付加して被術者装置１０へ送信する。被術者装置１０は、受信した配置情報に基づいて三次元モデル５０を配置する。

図１１は、図１０における被術者の三次元モデル５１と施術者の三次元モデル５０との位置関係を示す平面図である。図１１に示すように、図１０は、被術者の三次元モデル５１と施術者の三次元モデル５０との距離ＬＡを比較的大きくとる配置（遠位モード）としている。図１２では、図１３に示すように被術者の三次元モデル５１と施術者の三次元モデル５０との距離ＬＢを図１０と比べて小さくした配置（近位モード）としている。更に、図１３では、図１４に示すように被術者の三次元モデル５１と施術者の三次元モデル５０とが略重なる位置に配置され、被術者及び施術者の三次元モデル５０，５１を同じ方向に向けた配置（重畳モード）としている。このように遠位モードでは施術者の全体を見ることができ、近位モードでは施術者の四肢を近くで詳細に見ることができ、重畳モードでは施術者の四肢と被術者の四肢を並べて見ることができるようにしている。なお、図１０、図１２では、被術者から見た映像の例を示したが、このとき施術者装置２０は、図１０、図１２とは逆に、被術者の三次元モデルが対向する位置に表示される。

また、一つの施術者装置２０が、複数の被術者装置１０と接続し、この複数の被術者装置１０へ指示情報を同時に送信する構成としてもよい。この場合、一つの施術者装置２０が、複数の被術者装置１０から被術者状況情報を受信し、複数の被術者の状況を表示させ
る。図１５は、一つの仮想空間に複数の被術者の三次元モデル５１を表示させた例を示している。

このように本実施形態の幻肢痛ケアシステムによれば、施術者が通信回線Ｎを介して被術者装置１０へ指示をすることができるので、遠隔地にいる人（患者）に対して施術することができる。即ち、遠隔地にいる人（患者）であっても幻肢痛のケアを受けることができる。

また、本実施形態の幻肢痛ケアシステムでは、同じ仮想空間内に被術者と施術者の三次元モデルを表示させることにより、施術者が動作で手本を示すことができ、分かりやすく指示を行うことができる。

本実施形態の幻肢痛ケアシステムでは、被術者と施術者の三次元モデルの位置関係を変えて表示させることにより、被術者から見やすい位置で動作を示すことができ、分かりやすく指示を行うことができる。

本実施形態の幻肢痛ケアシステムでは、一つの施術者装置２０から、複数の被術者装置１０へ指示情報を同時に送信することにより、一人の施術者が複数の被術者に対して同時に施術することができる。

１ ：幻肢痛ケアシステム
５ ：健肢
５Ｍ ：健肢の三次元モデル
５Ｌ ：幻肢の三次元モデル
１０ ：被術者装置
１１，１２ ：位置検出部
１３ ：制御部
１４ ：ヘッドマウントディスプレイ（ＨＭＤ）
２０ ：施術者装置
２１ ：位置検出部
２２ ：位置検出部
２３ ：制御部
２４ ：ＨＭＤ
Ｎ ：通信回線

Claims (7)

1. 被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供する被術者装置と、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置とを備え、
   前記被術者装置が、
   前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
   前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、
   前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する映像生成部と、
   前記被術者の頭部に装着され、前記仮想空間の映像をディスプレイ画面上に表示させるヘッドマウントディスプレイと、
   少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信する状況情報送信部と、
   前記施術者装置から前記施術者の指示を示す指示情報を受信する指示受信部と、
   前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させる指示出力部と、を備え、
   前記施術者装置が、
   前記被術者装置から前記被術者状況情報を受信する状況情報受信部と、
   前記被術者状況情報に基づいて前記被術者の状況をディスプレイに表示させる表示制御部と、
   前記指示情報を前記被術者装置へ送信する指示情報送信部と、を備える幻肢痛ケアシステム。
2. 前記施術者装置が、
   前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
   前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、を備え、
   前記指示情報送信部が、前記施術者の健肢に基づく三次元モデル及び幻肢の三次元モデルを指示情報に含めて前記被術者装置へ送信し、
   前記被術者装置の映像生成部が、前記三次元モデルを含む前記指示情報に基づいて、前記施術者の健肢及び幻肢の三次元モデルを前記仮想空間の映像に合成して表示させる
   請求項１に記載の幻肢痛ケアシステム。
3. 前記映像生成部が、前記被術者の三次元モデルと前記施術者の三次元モデルとを向かい合わせた映像を生成する、又は前記被術者の三次元モデルと前記施術者の三次元モデルとを同じ方向に向けて、前記被術者の三次元モデルの背面側に前記施術者の三次元モデルを位置させた映像を生成する請求項２に記載の幻肢痛ケアシステム。
4. 前記映像生成部が、前記被術者の三次元モデルと前記施術者の三次元モデルとを向かい合わせた映像と、同じ方向を向けた映像とを前記施術者装置からの前記指示情報に基づいて切り替える請求項３に記載の幻肢痛ケアシステム。
5. 一つの前記施術者装置が、複数の前記被術者装置と接続し、前記指示情報を複数の前記被術者装置へ送信する請求項１から４の何れか１項に記載の幻肢痛ケアシステム。
6. 被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供し、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置と通信するする被術者装置であって、
   前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出する位置検出部と、
   前記位置検出部で検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成する三次元モデル生成部と、
   前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成する映像生成部と、
   前記被術者の頭部に装着され、前記仮想空間の映像をディスプレイ画面上に表示させるヘッドマウントディスプレイと、
   少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信する状況情報送信部と、
   前記施術者装置から前記施術者の指示を示す指示情報を受信する指示受信部と、
   前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させる指示出力部と、
   を備える被術者装置。
7. 被術者が存在する第一の地点において仮想空間の映像を前記被術者に提供し、前記第一の地点から離れた第二の地点に存在する施術者によって操作される施術者装置と通信するする被術者装置に実行させるプログラムであって、
   前記被術者の四肢のうち予め定めた一つを健肢とし、当該健肢の位置を検出するステップと、
   検出した前記健肢の位置に基づいて前記健肢の三次元モデルを生成すると共に、前記健肢の位置に基づいて前記健肢と対になる幻肢の三次元モデルを生成するステップと、
   前記健肢及び前記幻肢の三次元モデルを含む前記仮想空間の映像を生成するステップと、
   前記被術者の頭部に装着されたヘッドマウントディスプレイのディスプレイ画面上に前記仮想空間の映像を表示させるステップと、
   少なくとも前記健肢の位置を含む前記被術者の状態を示す被術者状況情報を前記施術者装置へ送信するステップと、
   前記施術者装置から前記施術者の指示を示す指示情報を受信するステップと、
   前記指示情報を前記仮想空間の映像の一部と音声とのうち少なくとも一方として前記被術者に対して出力させるステップと、
   を前記被術者装置に実行させるためのプログラム。

Images