JP2014131552A - 医療支援装置 - Google Patents

Abstract

【課題】術者が治療や手術に集中でき、また、医療器具をその位置にかかわらず常に視認することができ、さらに、ディスプレイ上の映像に、ほとんどタイムラグが発生することなく医療器具を表示することが可能な医療支援装置を提供する。
【解決手段】外科処置対象部位としての腫瘍Ｆを含む患者の術野に設けられたＡＲ認識用マーカＭＫと、術野をＡＲ認識用マーカＭＫとともに撮影するカメラ２０と、カメラ２０で撮影中の映像を表示するディスプレイ３０と、ディスプレイ３０上に表示されるカメラ２０が撮影中の映像に、腫瘍Ｆについての３次元的位置情報を、撮影中のＡＲ認識用マーカＭＫの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置４０とを備える。
【選択図】図１

Description

本発明は、ディスプレイ上に表示されたカメラで撮影中の映像に、患者の腫瘍や膿胞等の外科処置対象部位の３次元的位置情報を重畳表示して医療行為を支援する医療支援装置に関する。

脳外科，整形外科，耳鼻科が、治療や手術の対象とする臓器や器官、及びこれらにできる腫瘍や膿胞等（外科処置対象部位）の位置や形状が比較的一定している。このため、治療や手術前に撮影した患者のＣＴスキャナ（コンピュータ断層撮影装置）の画像データ（ＤＩＣＯＭデータ）を医療用画像処理ソフトウェアに読み込んで患者の立体的ＣＴ画像を作製し、この中から腫瘍や膿胞等を特定し、これをソフトウェアの画面上に表示して、この画像を参考にしながら治療や手術を行うことが可能となる。

しかし、腫瘍や膿胞等の治療や手術には、これらの３次元的位置を把握する必要があるため、術野とソフトウェアの画面とを見比べながら正確な手術を行うには、術者に充分な経験とスキルが要求される。このため、経験とスキルの不足を補うべく、さまざまな医療支援装置が開発されている。

この医療支援装置の１つに、モーションキャプチャを利用したものがある（例えば、特許文献１参照）。

モーションキャプチャを利用した代表的なものは、ドリル，メス，ピンセット等の医療器具を２台のカメラで捉え、これら医療器具の立体的なイメージ画像を、治療や手術の前にＣＴスキャナから取得した、腫瘍や膿胞等を含む患者の立体的ＣＴ画像にディスプレイ上で重畳表示するものである。

特表２０１１−５１４５０６号公報

しかし、上述のモーションキャプチャを利用したものは、以下のような問題がある。

（１）原理的には、ディスプレイ上の映像で、医療器具のイメージ画像と、腫瘍や膿胞等を含む患者の立体的ＣＴ画像の双方が見られるため、治療や手術の際に、術野を見ることなく、ディスプレイ上の映像を見るだけで十分ではあるが、術野とディスプレイ上の映像とは、見た目では大きな差異があるため、実際の手術等の医療行為に際しては、術野とディスプレイ上の映像等の双方を見る必要が生じる。このため、術者が治療や手術に集中することができない。

（２）医療器具とカメラとの間に、術者の腕や体の一部が入り込むと、医療器具のイメージ画像が表示できなくなる。つまり、医療器具の位置によっては、そのイメージ画像を表示することができない場合がある。

（３）キャプチャした医療器具のイメージ画像を立体的ＣＴ画像に重畳表示する際にタイムラグが生じる。

本発明は、上述した事情に鑑みてなされたものであり、カメラが撮影中のディスプレイ上の映像に、ＡＲ画像処理装置で作製した腫瘍や膿胞等の外科処置対象部位を重畳表示させることができる医療支援装置であって、術者が治療や手術に集中でき、また、医療器具をその位置にかかわらず常に視認することができ、さらに、ディスプレイ上の映像に、ほとんどタイムラグが発生することなく医療器具を表示することが可能な医療支援装置を提供することにある。

請求項１に係る発明は、医療支援装置において、外科処置対象部位を含む患者の術野に設けられたＡＲ認識用マーカと、前記術野を前記ＡＲ認識用マーカとともに撮影するカメラと、前記カメラで撮影中の映像を表示するディスプレイと、前記ディスプレイ上に表示される前記カメラが撮影中の映像に、前記外科処置対象部位についての３次元的位置情報を、撮影中の前記ＡＲ認識用マーカの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置と、を備える、ことを特徴とする。

請求項２に係る発明は、請求項１に係る医療支援装置において、前記３次元的位置情報は、前記ＡＲ認識用マーカとともに撮影された患者のＣＴ画像データを医療用画像処理ソフトウェアに読み込んで得られた患者の立体的ＣＴ画像から特定されて着色された立体的イメージ画像である、ことを特徴とする。

請求項３に係る発明は、請求項２に係る医療支援装置において、前記ＡＲ画像処理装置は、コンピュータハードウェアにインストールされたＡＲソフトウェアを有し、前記ＡＲソフトウェアは、前記立体的イメージ画像を含む前記立体的ＣＴ画像を３Ｄオブジェクトとして取り込んで、前記ＡＲ認識用マーカの位置及び姿勢を基準として前記ディスプレイに表示する、ことを特徴とする。

請求項４に係る発明は、請求項２又は３に係る医療支援装置において、前記ＡＲ認識用マーカとして、予め登録した画像を使用する、ことを特徴とする。

請求項５に係る発明は、請求項４に係る医療支援装置において、前記予め登録した画像が、患者の前記立体的ＣＴ画像の一部分である、ことを特徴とする。

請求項６に係る発明は、請求項２又は３に係る医療支援装置において、前記ＡＲ認識用マーカとして、患者に取り付けられた造影剤入りの専用のマーカを使用する、ことを特徴とする。

請求項７に係る発明は、請求項６に係る医療支援装置において、前記造影剤入りの専用のマーカが患者に対して着脱自在であり、前記立体的ＣＴ画像の前記造影剤入りマーカと、前記カメラが撮影中の前記造影剤入りマーカとの位置を合わせるための造影剤入りの校正用マーカを、患者の少なくとも３箇所に設けた、ことを特徴とする。

請求項８に係る発明は、請求項３ないし７のいずれか１項に係る医療支援装置において、前記ＡＲソフトウェアとして、前記カメラが撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用する、ことを特徴とする。

請求項９に係る発明は、請求項１ないし８のいずれか１項に係る医療支援装置において、前記ディスプレイが、前記カメラと一体のヘッドマウント型のディスプレイである、ことを特徴とする。

請求項１０に係る発明は、請求項９に係る医療支援装置において、前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示する、ことを特徴とする。

請求項１の発明によれば、外科処置対象部位についての３次元的位置情報を、カメラが撮影中の映像に、ディスプレイ上で重畳表示することができるので、術者は、外科処置対象部位の治療や手術を、ディスプレイ上の映像に集中した状態で行うことができる。また、モーションキャプチャとは異なり、手術等に使用するメス、ピンセット等の医療器具を、その位置にかかわらず常にディスプレイ上の映像で視認することができる。さらに、モーションキャプチャとは異なり、実際の医療器具の動きとディスプレイ上の映像に表示される医療器具の動きとの間にタイムラグが発生することがほとんどない。

請求項２の発明によれば、患者の腫瘍や膿胞等の外科処置対象部位の位置や形を示す３次元的位置情報が、着色された立体的イメージ画像で表示されるので、術者は外科処置対象部位を他の部位と容易に判別することができる。

請求項３の発明によれば、ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカ及び立体的イメージ画像を含む立体的ＣＴ画像全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。

請求項４の発明によれば、ＡＲ認識用の専用のマーカを設ける必要がないので、専用のマーカを患者に取り付けることが不可能であったり、取り付けが可能であっても位置精度を確保することができなかったりする場合に有効である。

請求項５の発明によれば、予め登録した画像が患者の前記立体的ＣＴ画像の一部分であるので、外科処置対象部位を高い位置精度で表示することができる。

請求項６の発明によれば、ＡＲ認識用マーカとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。

請求項７の発明によれば、造影剤入りの専用のマーカを、ＣＴ画像の撮影後に取り外して、治療や手術の際に再び取り付けた場合でも、校正用マーカを使用して、専用のマーカの位置合わせをすることができる。

請求項８の発明によれば、ＡＲ認識用マーカがカメラの撮影画像フレームから外れても、患者の腫瘍や膿胞等の外科処置対象部位の位置や形を示す３次元的位置情報を表示し続けることができる。

請求項９の発明によれば、ディスプレイが、カメラと一体に構成されたヘッドマウント型であるので、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。

請求項１０の発明によれば、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。

実施形態１の医療支援装置１の概略構成を説明する図である。 患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。 患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。 （Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。 実施形態２の医療支援装置２の概略構成を説明する図である。 患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。 患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。 （Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。 実施形態３の医療支援装置３の概略構成を説明する図である。 患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。 患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。 （Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。

本発明に係る医療支援装置は、脳外科，整形外科，耳鼻科等に好適に用いられる。これら脳外科，整形外科，耳鼻科等は、その治療や手術の対象となる腫瘍や膿胞等ができる臓器や器官の位置や形状が比較的一定していて、位置ずれや変形が発生しにくいからである。臓器や器官の位置ずれや変形が発生すると、後述する、治療や手術等において、カメラが撮影中の映像内の外科処置対象部位に、ＡＲ画像処理装置による外科処置対象部位の立体的イメージ画像をディスプレイ上で重畳表示した際に、両者が一致しないで、ずれてしまうからである。

以下、本発明を適用した実施形態を、図面に基づいて詳述する。なお、各図面において、同じ符号を付した部材等は、同一又は類似の構成のものであり、これらについての重複説明は適宜省略するものとする。また、各図面においては、説明に不要な部材等は適宜、図示を省略している。
＜実施形態１＞

図１〜図4を参照して本発明を適用した実施形態１に係る医療支援装置１について説明する。

図１は、医療支援装置１の概略構成を説明する図である。

なお、以下では、医療支援装置１を、患者の頭部Ａの脳Ｂ（図４（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。

図１に示すように、医療支援装置１は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。

ここで、本実施形態の医療支援装置１は、ＡＲ認識用マーカＭＫとして患者の耳Ｅを使用している。後述する立体的ＣＴ画像Ｃ１中の一部分である耳Ｅを登録してＡＲ認識用マーカＭＫとして使用している。すなわち、本実施形態のＡＲ画像処理装置４０は、ＡＲ認識用マーカＭＫとして、専用のマーカを使用しないで、患者の耳Ｅを使用する、いわゆるマーカレス型と呼ばれるものである。なお、ＡＲ認識用マーカＭＫとして、認識精度を確保できるのであれば、上述の耳Ｅに代えて、患者の他の部位を使用することも可能である。

なお、図１中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。

医療支援装置１は、ＣＴスキャナで、患者の頭部Ａを断層撮影して取得したデータを使用する。

ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータ（コンピュータハードウェア）１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図２に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。

なお、図１中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫは、図２中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１に対応する。また、図３中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２に対応する。さらに、図４（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３に対応する。

カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。

ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図４（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。

ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。

ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。

次に、上述の構成の医療支援装置１の操作手順（使用方法）について説明する。

（１）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。

（２）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図２参照）を作製する。

（３）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。

このときの着色は、図３に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。

また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等）は、透明化する。これにより、図４（Ｂ）に示す、ディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を例えば、半透明にして映像Ｇ３中に表示するようにしてもよい。

（４）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。

以上により、手術の前準備が完了する。

つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。

（５）図４（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。

（６）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア１１により、図４（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。

（７）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。

以上説明した、医療支援装置１によると、以下のような作用・効果を奏する。

（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。

（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。

（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。

（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位の腫瘍Ｆを他の部位と容易に判別することができる。

（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。

（VI）ＡＲ認識用マーカＭＫとして、患者の耳Ｅを使用していて、専用のマーカを設ける必要がないので、専用のマーカを患者に取り付けることが不可能であったり、取り付けが可能であっても位置精度を確保することができなかったりする場合に有効である。

上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。

この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。

上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。

この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。

さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。

この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。

ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。

上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。

この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。

上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。

この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。
＜実施形態２＞

図５〜図８を参照して本発明を適用した実施形態１に係る医療支援装置２について説明する。

図５は、医療支援装置２の概略構成を説明する図である。

なお、以下では、医療支援装置２を、患者の頭部Ａの脳Ｂ（図８（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。

図５に示すように、医療支援装置２は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。

なお、図５中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。

ＡＲ認識用マーカＭＫは、専用のマーカであり、例えば、２ｃｍ×２ｃｍ×０．５ｃｍ程度の正方形の、造影剤入りの板状に形成されている。ＡＲ認識用マーカＭＫの表面には、カメラ２０による認識の対象となるための特定のパターンを持った図形、すなわち、正方形の４辺を縁取る額縁状の図形が形成されている。このように、ＡＲ認識用マーカＭＫは、造影剤がＣＴスキャナによって認識され、また、額縁状の特定のパターンがカメラ２０によって認識されるようになっている。ＡＲ認識用マーカＭＫは、本実施形態では、患者の頭部Ａの後側における切断線Ｓの外側近傍に取り付けられている。

医療支援装置２は、ＣＴスキャナで、ＡＲ認識用マーカＭＫを含む患者の頭部Ａを断層撮影して取得したデータを使用する。

ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータにインストール１０された医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図６に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。

なお、図５中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫは、図６中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１に対応する。また、図７中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２に対応する。さらに、図８（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３に対応する。

カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。

ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図８（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。

ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。

ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。

次に、上述の構成の医療支援装置２の操作手順（使用方法）について説明する。

（１）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。

（２）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図６参照）を作製する。

（３）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。

このときの着色は、図７に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。

また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等）は、透明化する。これにより、図８（Ｂ）に示す、ディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を例えば、半透明にして映像Ｇ３中に表示するようにしてもよい。

（４）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。

以上により、手術の前準備が完了する。

つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。

（５）図８（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。

（６）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア１１により、図８（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。

（７）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。

以上説明した、医療支援装置によると、以下のような作用・効果を奏する。

（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。

（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。

（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。

（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位としての腫瘍Ｆを他の部位と容易に判別することができる。

（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。

（VI）ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。

（VII） ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較して、計算量が少なくて済むため、ＡＲ画像処理装置４０の構成をハード的にもまたソフト的にも簡略化することができる。

上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。

この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。

上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。

この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。

さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。

この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。

ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。

上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。

この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。

上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。

この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。
＜実施形態３＞

図９〜図１２を参照して本発明を適用した実施形態１に係る医療支援装置３について説明する。

図９は、医療支援装置３の概略構成を説明する図である。

なお、以下では、医療支援装置３を、患者の頭部Ａの脳Ｂ（図１２（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。

図９に示すように、医療支援装置３は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。

なお、図９中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。

ＡＲ認識用マーカＭＫは、専用のマーカであり、例えば、２ｃｍ×２ｃｍ×０．５ｃｍ程度の正方形の、造影剤入りの板状に形成されている。ＡＲ認識用マーカＭＫの表面には、カメラ２０による認識の対象となるための特定のパターンを持った図形、すなわち、正方形の４辺を縁取る額縁状の図形が形成されている。このように、ＡＲ認識用マーカＭＫは、造影剤がＣＴスキャナによって認識され、また、額縁状の特定のパターンがカメラ２０によって認識されるようになっている。ＡＲ認識用マーカＭＫは、本実施形態では、患者の頭部Ａの後側における切断線Ｓの外側でかつ切断線Ｓの近傍、つまり残余部Ｄ２の周縁部に着脱可能に取り付けられている。この取り付け部分は、予め頭髪を剃り落としておく。ＡＲ認識用マーカＭＫは、例えば、ＣＴスキャナによる撮影の前に、両面テープ（不図示）によって頭皮Ｃに直接貼着する。

なお、後述するように、ＡＲ認識用マーカＭＫは、ＣＴスキャナによる頭部Ａの撮影に先だって頭部Ａに取り付けられ、撮影後は一旦取り外され、手術時に、再度、同じ位置に位置合わせして取り付けられる。

次に説明する複数の校正用マーカＫは、ＡＲ認識用マーカＭＫを上述の位置合わせする際に使用されるものである。

校正用マーカＫは、ＣＴスキャナによる読み取りが可能な、例えば、点状（スポット状）のＸ線造影剤によって構成されていて、図示例では、頭皮Ｃの表面の、切断線Ｓよりも外側で、かつ切断線Ｓに近接する位置に、５箇所（少なくとも３箇所）設けられている。

５つの校正用マーカＫは、これらをほぼ切断線Ｓに沿うように、次々と直線で結んだ領域（５角形の領域〉Ｒを仮定すると、術野におけるこの領域Ｒ内に、腫瘍Ｆが位置するように配置されている。

なお、上述では、校正用マーカＫが５つある場合を例示したが、校正用マーカＫは、少なくとも３つあれば足る。ただし、この場合は、３つの校正用マーカＫは、これらを結んでできる３角形の領域内に腫瘍Ｆが位置するように配置されているものとする。

医療支援装置３は、ＣＴスキャナで、ＡＲ認識用マーカＭＫを含む患者の頭部Ａを断層撮影して取得したデータを使用する。

ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図６に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。

なお、図９中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫ、校正用マーカＫは、図１０中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１、校正用マーカＫ１に対応する。また、図１１中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２、校正用マーカＫ２に対応する。さらに、図１２（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３、校正用マーカＫ３に対応する。

カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ、複数の校正用マーカＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。

ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図１２（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。

ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。

ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。

次に、上述の構成の医療支援装置３の操作手順（使用方法）について説明する。

なお、以下では、ＣＴスキャナによる撮影と、手術とが異なる日に行われる場合を例に説明する。これに伴い、ＣＴスキャナによる撮影時に頭部Ａに取り付けたＡＲ認識用マーカＭＫを、撮影後に一旦取り外し、手術時に再度取り付けることになる。このため、手術時には、ＡＲ認識用マーカＭＫの位置合わせが必要となり、上述の複数の校正用マーカＫはこのために使用されることになる。

（１）図９に示すように、患者の頭部Ａの頭皮Ｃに複数の校正用マーカＫを設ける。
校正用マーカＫは、切断線Ｓの近傍でかつ切断線Ｓの外側に、ほぼ切断線Ｓに沿って５箇所に設ける。このとき、５つの校正用マーカＫは、術野においてこれらを順次に結んで形成される領域Ｒ内に、腫瘍Ｆが位置するように配置する。

（２）頭皮ＣにＡＲ認識用マーカＭＫを切断線Ｓの外側でかつ切断線Ｓの近傍に両面テープで貼着する。

（３）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。撮影後、ＡＲ認識用マーカＭＫを取り外す。

（４）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図１０参照）を作製する。

（５）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。

なお、このときの着色は、図１１に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。

また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２、校正用マーカＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等は、透明化する。これにより、図１２（Ｂ）に示す、後のディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を半透明にして映像Ｇ３中に表示するようにしてもよい。

（６）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。

以上は、手術日以前に行われる。手術日の当日は、以下のような手順となる。

（７）患者の頭部ＡにＡＲ認識用マーカＭＫを再び取り付けて、カメラ１２で術野付近を撮影する。ＡＲソフトウェアにより、カメラ２０が撮影中の術野付近の映像Ｇ３に患者の立体的ＣＴ画像Ｇ２を、ディスプレイ３０上の映像Ｇ３中に重畳表示する。

（８）ＡＲ認識用マーカＭＫの位置合わせを行う。

カメラ２０が撮影中の術野付近の映像Ｇ３の校正用マーカＫ３と、立体的ＣＴ画像Ｇ２内の校正用マーカＫ２が３次元的に完全に一致するように、カメラ２０の位置や角度を調整する。この状態でカメラ２０を固定し、頭部Ａに取り付けられたＡＲ認識用マーカＭＫの位置や姿勢を微調整して、立体的ＣＴ画像Ｇ２内のＡＲ認識用マーカＭＫ２に映像Ｇ３中のＡＲ認識用マーカＭＫ３を完全に一致させてその位置に固定する。

以上により、手術の前準備が完了する。

つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。

（９）図１２（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。

（１０）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア

１１により、図１２（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。

（１１）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。

以上説明した、医療支援装置によると、以下のような作用・効果を奏する。

（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。

（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。

（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。

（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位としての腫瘍Ｆを他の部位と容易に判別することができる。

（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用しＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。

（VI）ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。

（VII） ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較して、計算量が少なくて済むため、ＡＲ画像処理装置４０の構成をハード的にもまたソフト的にも簡略化することができる。

（VIII）ＡＲ認識用マーカＭＫが着脱自在であるので、患者の好適な部位（例えば、位置変化や変形が発生しにくい部位）への着脱、及び位置決めが容易である。

（IX）ＡＲ認識用マーカＭＫが着脱自在であるので、ＣＴ画像データを取得するためのＣＴスキャナによる撮影から、実際の手術までに時間間隔が開くような場合に、ＡＲ認識用マーカＭＫを一旦取り外して再度取り付けることが容易であるので、取り付けたままの場合と比較して、患者の負担を低威することができる。

（Ｘ）立体的ＣＴ画像Ｇ２中の校正用マーカＫ２と、カメラ２０が撮影中のディスプレイ３０上の校正用マーカＫ２とを位置合わせすることにより、立体的ＣＴ画像Ｇ２全体と、ディスプレイ３０上の映像Ｇ３全体との位置合わせすることができ、この状態で、立体的ＣＴ画像Ｇ２中のＡＲ認識用マーカＭＫ２に対して、ディスプレイ３０上のＡＲ認識用マーカＭＫ３を位置合わせすることで、ディスプレイ３０上の映像Ｇ３中に、高い精度で、腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示することができる。

（XI）複数の校正用マーカＫが、これらを直線で結んでできる領域Ｒ内に腫瘍Ｆが位置するように配置されているので、立体的ＣＴ画像Ｇ２中の校正用マーカＫ２と、カメラ２０が撮影中の映像Ｇ３中の校正用マーカＫ３とを合わせることにより、例えば、腫瘍Ｆが領域Ｒの外部にある場合と比較して、立体的ＣＴ画像Ｇ２中の腫瘍Ｆ２と、カメラ２０が撮影中の腫瘍Ｆ３とをより高い精度で位置合わせすることが可能となる。

上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。

この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。

上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。

この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。

さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。

この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。

ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。

上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。

この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。

上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。

この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。

上述の本実施形態において、図９に示す造影剤からなる５個のうちの３個以上を使用して、これをＡＲ認識用マーカとして使用することも可能である。この場合には、ＡＲ認識用マーカＭＫを省略することもできる。

上述の３つの実施形態においては、脳外科の腫瘍切除手術を例に述べたが、整形外科の人工関節取り付け手術におけるドリルの穿孔方向を示す矢印状の立体的イメージ画像（３次元的位置情報）をＡＲソフトウェアの３Ｄオブジェクトとして取り込み、ディスプレイ上の術野の映像に重畳表示することも可能である。

１ 実施形態１の医療支援装置
２ 実施形態２の医療支援装置
３ 実施形態３の医療支援装置
１０ 医療用画像処理ソフトウェア１1がインストールされたコンピュータ
１１ 医療用画像処理ソフトウェア
２０ カメラ
３０ ディスプレイ
４０ ＡＲ画像処理装置
４１ ＡＲソフトウェア
Ａ 頭部
Ｂ 脳
Ｃ 頭皮
Ｄ 頭蓋骨
Ｆ 腫瘍（外科処置対象部位）
Ｆ１ 立体的ＣＴ画像Ｇ１中の腫瘍（外科処置対象部位）
Ｆ２ 立体的ＣＴ画像Ｇ２中の腫瘍（外科処置対象部位）
Ｆ３ ディスプレイ３０の映像Ｇ３中の腫瘍（外科処置対象部位）
Ｇ１ 立体的ＣＴ画像
Ｇ２ 腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像
Ｇ３ ディスプレイ上の映像
Ｋ 校正用マーカ
Ｋ１ 立体的ＣＴ画像Ｇ１中の校正用マーカ
Ｋ２ 立体的ＣＴ画像Ｇ２中の校正用マーカ
Ｋ３ ディスプレイ３０の映像Ｇ３中の校正用マーカ
ＭＫ ＡＲ認識用マーカ
ＭＫ１ 立体的ＣＴ画像Ｇ１中のＡＲ認識用マーカ
ＭＫ２ 立体的ＣＴ画像Ｇ２中のＡＲ認識用マーカ
ＭＫ３ ディスプレイ３０の映像Ｇ３中のＡＲ認識用マーカ
Ｒ 領域
Ｓ 切断線

Claims (10)

1. 外科処置対象部位を含む患者の術野に設けられたＡＲ認識用マーカと、
   前記術野を前記ＡＲ認識用マーカとともに撮影するカメラと、
   前記カメラで撮影中の映像を表示するディスプレイと、
   前記ディスプレイ上に表示される前記カメラが撮影中の映像に、前記外科処置対象部位についての３次元的位置情報を、撮影中の前記ＡＲ認識用マーカの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置と、を備える、
   ことを特徴とする医療支援装置。
2. 前記３次元的位置情報は、前記ＡＲ認識用マーカとともに撮影された患者のＣＴ画像データを医療用画像処理ソフトウェアに読み込んで得られた患者の立体的ＣＴ画像から特定されて着色された立体的イメージ画像である、
   ことを特徴とする請求項１に記載の医療支援装置。
3. 前記ＡＲ画像処理装置は、コンピュータハードウェアにインストールされたＡＲソフトウェアを有し、
   前記ＡＲソフトウェアは、前記立体的イメージ画像を含む前記立体的ＣＴ画像を３Ｄオブジェクトとして取り込んで、前記ＡＲ認識用マーカの位置及び姿勢を基準として前記ディスプレイに表示する、
   ことを特徴とする請求項２に記載の医療支援装置。
4. 前記ＡＲ認識用マーカとして、予め登録した画像を使用する、
   ことを特徴とする請求項２又は３に記載の医療支援装置。
5. 前記予め登録した画像が、患者の前記立体的ＣＴ画像の一部分である、
   ことを特徴とする請求項４に記載の医療支援装置。
6. 前記ＡＲ認識用マーカとして、患者に取り付けられた造影剤入りの専用のマーカを使用する、
   ことを特徴とする請求項２又は３に記載の医療支援装置。
7. 前記造影剤入りの専用のマーカが患者に対して着脱自在であり、
   前記立体的ＣＴ画像の前記造影剤入りマーカと、前記カメラが撮影中の前記造影剤入りマーカとの位置を合わせるための造影剤入りの校正用マーカを、患者の少なくとも３箇所に設けた、
   ことを特徴とする請求項６に記載の医療支援装置。
8. 前記ＡＲソフトウェアとして、前記カメラが撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用する、
   ことを特徴とする請求項３ないし７のいずれか１項に記載の医療支援装置。
9. 前記ディスプレイが、前記カメラと一体のヘッドマウント型のディスプレイである、
   ことを特徴とする請求項１ないし８のいずれか１項に記載の医療支援装置。
10. 前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示する、
    ことを特徴とする請求項９に記載の医療支援装置。
    

Images