JP2017176773A - 手術支援システム、手術支援方法、手術支援プログラム - Google Patents

Abstract

【課題】センサ等を持たない既存の手術器具でもその移動停止を確実かつ正確に検出でき、術者が必要な時に自動的にナビゲーション情報の更新・表示を行う手術支援システムの提供。【解決手段】本発明の手術支援システム１は、手術器具１１、３次元表面形状スキャナ２０、演算装置４０等を備える。３次元表面形状スキャナ２０は、光投影装置２１及びカメラ２２を含む。演算装置４０は、３次元表面形状スキャナ２０からのデータと、３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する。演算装置４０は、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて手術器具１１が所定時間以上停止しているか否かを判定する。演算装置４０は、停止判定時には、３次元表面形状データを新規に取得するべく３次元表面形状スキャナ２０の光投影装置２１を作動させてスキャンを行うスキャナ自動駆動機能を有する。【選択図】図１

Description

本発明は、手術中において、３次元表面形状データと３次元内部形状データとの位置合わせ情報に基づいて作成されたナビゲーション情報を例えば硬性内視鏡にて撮像した画像とともに表示する手術支援システム、手術支援方法、手術支援プログラムに関するものである。

従来、手術前にＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などで撮像された３次元断層画像と、体内に挿入される手術器具の先端位置等を示す画像とを合成して表示して、術者を支援する手術支援システムが知られている。２つの画像を合成するには、２つの画像の元となる座標データを同一の座標系のデータとするためのデータ処理が必要である。以後、２つの座標データを同一の座標系のデータにするデータ処理を、データの位置合わせ、と端的に表現する。例えば特許文献１及び２には、本発明者らによる手術支援システムが記載されおり、３次元表面形状スキャナによる測定により取得された３次元表面形状データと、予め３次元断層スキャナによる測定により取得された３次元内部形状データ（３次元断層データ）とを位置合わせする技術が記載されている。また、３次元表面形状スキャナにより、手術器具に取り付けられた位置姿勢検出用の標識部を測定して、手術器具の位置姿勢を算出し、患者の３次元表面形状データと手術器具の先端位置の座標データとを位置合わせする技術も記載されている。これらの技術により、３次元内部形状データと手術器具の先端位置の座標データとを位置合わせすることができる。

３次元断層像と体内に挿入される手術器具の特定位置を示す画像とを合成して表示することが記載された他の従来技術としては、特許文献３及び４が挙げられる。特許文献３には、手術ナビゲーション装置において、使用中の硬性内視鏡の光軸方向を３次元断層画像上に表示する技術が記載されている。特許文献４には、患者の体内に挿入される内視鏡挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いて、内視鏡で観察している場所を決定し、術前ＣＴ／ＭＲＩ像に表示する技術が記載されている。

上記特許文献３及び４では、３次元表面形状スキャナにより患者の３次元表面形状データ及び内視鏡の位置姿勢を取得する代わりに、患者と内視鏡に発光素子などのマーカーを取り付け、これらのマーカーの座標を位置センサにより検出することを行っている。しかしながらこのシステムでは、３次元断層画像の取得を患者にマーカーをつけたまま実施したり、患者に取り付けたマーカーと患者の顔面における特徴点との関係を取得する必要があるため、患者に不便を強いることになったり、システムが複雑になってしまう。また、患者につけたマーカーの位置が変化すると合成の精度も悪くなってしまう。よって特許文献１及び２に示された３次元表面形状スキャナを用いた手術支援システムは簡便さ、精度のよさの点で優れていると言える。

特許文献１及び２に示された３次元表面形状スキャナを用いた手術支援システムでは患者を固定していないため、手術中に患者の位置が刻一刻と変化する。従って、３次元表面形状スキャナによる測定により取得された３次元表面形状データと、予め取得された３次元内部形状データ（３次元断層データ）との位置合わせは、通常リアルタイムで行われる。

具体的には、手術中において３次元表面形状スキャナによる撮像（画像取得）を所定の短い時間間隔で自動的に行うことで、３次元表面形状データが算出される。次に、この３次元表面形状データと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせが行われ、この位置合わせされた情報に基づいて、ナビゲーション情報が作成される。その結果、随時更新されるナビゲーション情報と内視鏡画像とが表示装置に表示されるようになっている。

特開２００７−２０９５３１ 国際公開２００８／０９３５１７ 特開２００１−２９３００６ 特開２００１−２０４７３８ 特開平５−２１２０５６

従来の手術支援システムのように、所定の短い時間間隔ごとに自動撮像を行った場合、３次元表面形状スキャナの撮像動作に伴い、音や光が頻繁に発生することになる。そのため、基本的にスキャナの正面方向にいる術者にとっては、その音や光を煩わしく感じることがあり、手術に集中しにくくなるという欠点があった。また、実際の使用の場面を考えてみても、ナビゲーション情報の表示は、術者にとって絶えず必要というわけではない。例えば、内視鏡を患部近傍に到達させた後、内視鏡を前進・後退、傾動あるいは回転させる等の移動動作により内視鏡画像の中心点が変更された際には、ナビゲーション情報の更新・表示を行う必要があるが、画像中心点の変更がなければ当該情報の更新・表示を行う必要性はそれほど高くない。よって、術者が本当に必要とするタイミングでナビゲーション情報の更新・表示を行うようなシステムが従来望まれていた。

このような問題を解消しうる手術支援システムとして、本発明者らは、何らかの操作手段（例えばフットスイッチ等）を設け、術者自らがこのフットスイッチを足で操作することをトリガとして、３次元表面形状スキャナの撮像動作を行わせる方式を過去に検討している。しかしながらこの方式であると、内視鏡やポインタ等といった手術器具を把持した術者がフットスイットを踏む操作を行ったときに、振動が手に加わってポインタや内視鏡がブレてしまう。従って、ポインタが指し示している位置や、内視鏡画像の中心点の位置が変わるおそれがあった。勿論、内視鏡を用いた手術は精密な作業であり、数ｍｍ程度の誤差でも手術に悪影響を及ぼす可能性があるため、振動による内視鏡のブレは極力回避されるべきである。また、この方式の場合、術者がフットスイッチの位置を確認しなければならず、立ち位置によっては操作困難あるいは操作不能となるという問題もあった。さらに、術者によっては、足による操作が面倒でかえって手術に集中しにくくなるという意見もあった。従って、本当にナビゲーション情報の更新・表示を必要とする場面を何らかの方法により自動的に察知し、３次元表面形状スキャナの撮像動作を自動的に行うことが可能な手術支援システムが望まれている。

ここで特許文献５には、手術用顕微鏡において鏡体の動きを電磁ブレーキのオンオフ状態または加速度センサを用いたセンシングにより検出し、鏡体の移動が停止したときに自動的に焦点合わせを行う技術が従来提案されている。そしてこの技術を参考にして、内視鏡等の手術器具の移動停止検出時に３次元表面形状スキャナの撮像動作を自動的に行わせる手術支援システムとすることも一応検討されている。

しかしながら、上記の自動撮像システムを実現するためには、手術器具に加速度センサを内蔵あるいは外付けする等、手術器具そのものの改良が必要になる。それゆえ、既に使用している一般的な構造の手術器具については、この技術は直ちに適用できないという欠点がある。同様に、電磁ブレーキを備えたアーム等に支持されていない手術器具についても、基本的にこの技術は適用できないという欠点がある。

また、手術器具に加速度センサ等を追加するとなると、手術器具が大型化、重量化、高コスト化するといった懸念があるほか、電気的な構成の追加により滅菌に不向きなものになるといった懸念もある。さらに、加速度センサや電磁ブレーキを用いた上記の自動撮像システムでは、手術器具の比較的大きな動きを検出することはある程度可能であったとしても、細かい動きまで確実かつ正確に検出することは困難である。

本発明は上記の課題に鑑みてなされたものであり、その目的は、センサ等のような手段を持たない既存の手術器具を用いた場合でも、手術器具の移動停止を確実かつ正確に検出でき、術者がナビゲーションを必要とするときに自動的にナビゲーション情報の更新・表示を行うことができる手術支援システム、手術支援方法、手術支援プログラムを提供することにある。

そして上記課題を解決するための手段（手段１）としては、患者の体内に挿入される手術器具と、患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、前記演算装置が作成した前記ナビゲーション情報を表示する表示装置とを有する手術支援システムであって、前記演算装置は、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定し、前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うスキャナ自動駆動機能を有することを特徴とする手術支援システム、がある。

従って、上記手段１に係る発明によると、手術室内に存在する物体を術中に撮像して得た画像情報に基づき３次元表面形状スキャナの光投影装置が自動的に作動して、３次元表面形状データが新規に取得されることから、本当にナビゲーションが必要なときのみ、ナビゲーション情報の更新・表示が行われるようになり、不必要な動作を減らすことができる。よって、スキャナにおける光投影装置の作動に伴う音や光の発生頻度が減り、音や光による煩わしさが軽減される結果、術者が手術に集中できるようになる。また、術者自らがフットスイッチ等を操作して撮像タイミングを決める必要がないので、フットスイッチの操作に伴う不利益も解消される。さらに、加速度センサや電磁ブレーキを特に必要としないので、そのような手段を持たない既存の手術器具を用いた場合でも、手術器具の移動停止を確実かつ正確に検出することができる。

演算装置による手術器具が所定時間以上停止しているか否かの判定は、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて行われる。例えば、手術室内に存在する物体が、手術器具や手術器具を操作する術者である場合、前記画像情報は、手術器具及び手術器具を操作する術者のうちの少なくとも一方を撮像して得た画像情報であってもよい。なお、手術器具としては、手術用鋼製小物（鉗子類、吸引管類、持針器類など）、内視鏡、ポインタ等といった、手術に用いられる各種の器具を挙げることができる。手術器具や術者を撮像対象物として得た画像情報を用いると、手術器具の移動停止をより確実かつ正確に検出することができる。

手術室内に存在する物体は手術室内にある撮像手段を用いて撮像され、好ましくは手術支援システムが元々備える既存の撮像手段を用いて撮像される。このような撮像手段としては、例えば手術支援システムを構成する３次元表面形状スキャナに含まれるカメラを挙げることができ、前記画像情報は当該カメラが撮像して得た画像情報であってもよい。このような構成であると、３次元表面形状スキャナに含まれるカメラは基本的に常時作動していることに加え、術者の手元、患者の術部、手術器具等が撮像範囲に入るように設定されているため、これら物体を撮像するのに極めて適している。また、３次元表面形状スキャナに含まれるカメラは既存の設備であることから、新規の構成を追加しなくてもよく、システム全体の複雑化や高コスト化を伴わずに済む点で好適である。

前記手術器具において体内に挿入されない部分には、前記３次元表面形状スキャナにより測定可能な標識体が付加され、前記演算装置は、前記３次元表面形状スキャナに含まれる前記カメラが術中に前記手術器具の前記標識体の動きを撮像して得た画像情報に基づいて、前記手術器具が所定時間以上停止しているか否かの判定を行うように構成されていてもよい。手術器具の一部として付加された標識体を撮像対象物とした場合、撮像した画像の認識精度が高くなることから、それにより得た画像情報に基づいた画像処理等を行うことにより、手術器具の移動停止をよりいっそう確実かつ正確に検出することができる。

手術室内にて使用される既存の撮像手段、とりわけ手術支援システムが元々備える既存の撮像手段の別の例としては、例えば内視鏡等に代表される、撮像機能を有する手術器具を挙げることができ、前記画像情報は当該手術器具自らが撮像して得た画像情報であってもよい。このような構成であると、当該手術器具が既存の設備であることから、新規の構成を追加しなくてもよく、システム全体の複雑化や高コスト化を伴わずに済む点で好適である。

前記手術器具は硬性内視鏡であり、前記演算装置は、術中に前記硬性内視鏡が撮像して得た前記患者の体内の画像情報に基づいて、前記硬性内視鏡が所定時間以上停止しているか否かの判定を行うように構成されていてもよい。この構成であると、前記患者の体内の組織が撮像対象物となり他の物体が殆ど存在していない状態で画像が取得される。このため、撮像した画像の認識精度が高くなることから、それにより得た画像情報に基づいて画像処理等を行うことにより、手術器具の移動停止をよりいっそう確実かつ正確に検出することができる。

前記演算装置は、撮像により得た過去の画像を記憶するとともに、前記過去の画像と現在の画像とから差分画像を算出し、画面全体に占める前記差分画像の割合があらかじめ定めた基準割合以下であり、かつその基準割合以下の状態があらかじめ定めた基準時間以上継続したときに、前記硬性内視鏡が所定時間以上停止していると判定するように構成されていてもよい。

上記手術支援システムは操作手段の一種であるフットスイッチをさらに備えていてもよく、そのフットスイッチの操作により前記スキャナ自動駆動機能のオンオフ切替えが行われるように構成されていてもよい。このような構成であると、手術中であっても術者の好みに応じて、手術器具停止判定に基づくスキャナ自動駆動機能が有効となる撮像モード及び当該機能が無効になる撮像モードのいずれかに自在に切り替えることができる。なお、後者のモードの切り替え時に、例えば、設定された短い時間間隔で随時患者の表面等の３次元スキャンを行う、従来からある通常の撮像モードに切り替わるようにしてもよい。あるいは、後者のモードの切り替え時に、当該フットスイッチの踏込操作をトリガとして患者の表面等の３次元スキャンを行うフットスイッチ撮像モードに切り替わるようにしてもよい。

そして上記課題を解決するための別の手段（手段２）としては、患者の体内に挿入される手術器具と、患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、前記演算装置が作成した前記ナビゲーション情報を表示する表示装置とを有する手術支援システムにおいて、前記３次元表面形状スキャナを自動で駆動する手術支援方法であって、前記演算装置が、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定するステップと、前記演算装置が、前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うステップと、前記演算装置が、新規に取得した前記３次元表面形状データに基づいて作成した前記ナビゲーション情報を前記表示装置に出力するステップとを含むことを特徴とする手術支援方法、がある。

上記課題を解決するための別の手段（手段３）としては、患者の体内に挿入される手術器具と、患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、前記演算装置が作成した前記ナビゲーション情報を表示する表示装置とを有する手術支援システムにおいて、前記演算装置が、前記３次元表面形状スキャナを自動で駆動するために実行する手術支援プログラムであって、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定するステップと、前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うステップと、新規に取得した前記３次元表面形状データに基づいて作成した前記ナビゲーション情報を前記表示装置に出力するステップとを含むことを特徴とする手術支援プログラム、がある。

以上詳述したように、請求項１〜１０に記載の発明によると、センサ等のような手段を持たない既存の手術器具を用いた場合でも、手術器具の移動停止を確実かつ正確に検出でき、術者がナビゲーションを必要とするときに自動的にナビゲーション情報の更新・表示を行うことができる手術支援システム、手術支援方法、手術支援プログラムを提供することができる。

本発明の実施形態に係る手術支援システムの概略図。 本発明の実施形態に係る手術支援システムのフローチャート。 変形しやすい部位の一例。 位置合わせに好適な部位の一例。 手術ナビゲーション画面の表示例。

以下、本発明を具体化した実施形態の手術支援システムを図１〜図５に基づき詳細に説明する。

図１は、本発明に係る手術支援システム１の実施形態を概略的に示す構成図である。手術支援システム１は、患者６０に対する手術の際に、患者６０の体内における手術器具の先端位置や、内視鏡観察部位などの情報を術者等に提供する装置である。本実施形態に係る手術支援システム１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等である。

図１に示すように、本実施形態の手術支援システム１は、標識体１２を有する硬性内視鏡１１と、３次元表面形状スキャナ２０と、Ｘ線ＣＴやＭＲＩ等の３次元断層撮像装置（３次元内部形状スキャナ）３０と、演算装置４０と、モニタ等の表示装置５０と、フットスイッチ８０とを含んで構成されている。

手術器具の一種である硬性内視鏡１１は、術者９０により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。硬性内視鏡１１は、患者６０の体内に挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。

その機構は、例えば、被撮像部に向くように位置決めして設けられたレンズと、レンズの結像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子とを含んで構成されている。なお、ＣＣＤイメージセンサの代わりにＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor）を用いてもよい。上記の機構の位置決めのされ方によって、硬性内視鏡１１の撮像方向が決まる。通常は、レンズの光軸方向が、硬性内視鏡１１の撮像方向となる。硬性内視鏡１１はケーブルを介して演算装置４０と電気的に接続されており、硬性内視鏡１１が撮像した画像の情報は演算装置４０に出力される。なお、上記の硬性内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている一般的な硬性内視鏡を用いることができる。

標識体１２は、硬性内視鏡１１に対してあらかじめ定められた相対的な位置関係の位置に固定されて設けられる３つ以上の定点を定義可能な物体である。標識体１２は、３次元表面形状スキャナ２０によりスキャンされて、得られたデータから表面の複数点の３次元座標（３次元表面形状データ）を求められ、これらの複数点の３次元座標から球体中心座標が求められる。具体的には、標識体１２は、硬性内視鏡１１に対して支持部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なるようにしているのは、３次元表面形状スキャナ２０により求められた表面の複数点の３次元座標（３次元表面形状データ）から球体の径を求め、それぞれを区別して球体中心座標を求めるためである。標識体１２が硬性内視鏡１１に設けられる位置は、患者６０に挿入される部分からさらに後方の、患者６０の体内に挿入されない位置である。なお、硬性内視鏡１１に設けられる標識体１２は、３次元表面形状スキャナ２０により求められた表面の複数点の３次元座標（３次元表面形状データ）から３つ以上の定点座標を区別して求められるものであればよいので、必ずしも本実施形態のような球状のものでなくてもよい。

３次元表面形状スキャナ２０は、患者６０や標識体１２等に対して光を投影する光投影装置２１と、患者６０や標識体１２等を撮像するカメラ２２を含んで構成された装置である。本実施形態の３次元表面形状スキャナ２０は、患者６０に硬性内視鏡１１が差し込まれる手術の期間中、設定された短い時間間隔で随時患者６０の表面及び標識体１２の３次元スキャンを行うか（通常撮像モード）、あるいは術者９０がナビゲーションを必要とする所定のタイミングを検知して自動的に３次元スキャンを行うことで（自動撮像モード）、患者６０の３次元表面形状を測定して３次元表面形状データを取得する。図１に示すように、患者６０の鼻の穴から硬性内視鏡１１を挿入する場合には、患者６０の顔面と標識体１２とが撮像できるような位置に３次元表面形状スキャナ２０が設けられる。３次元表面形状スキャナ２０は、演算装置４０と電気的に接続されており、スキャンして得られる３次元表面形状データを算出する際の基となるデータを演算装置４０に送信する。

３次元表面形状スキャナ２０から送信される３次元表面形状データを算出する際の基となるデータは演算装置４０にて処理され、スキャンされたものの表面の複数点の３次元座標（３次元表面形状データ）が算出される。３次元表面形状スキャナ２０としては、例えば、特開２００３−２５４７３２号公報に記載された位相シフト法による装置を用いることができる。これは、光投影装置によって測定対象物に格子模様を投影してその格子模様を移動しながら、常時作動するカメラによって反射光を受光することにより、３次元スキャンする方法である。格子模様の投影には例えばキセノンライトから発せられる自然太陽光に似た白色光を用いれば、測定対象物に対する光の影響を殆どないようにすることができる。

なお、位相シフト法による３次元表面形状スキャナであるパルステック工業（株）製のＦｓｃａｎを用いれば、１秒未満の計測時間で、９０±１０ｃｍの距離から測定対象物の３次元表面形状の測定が可能となる。また、測定して取得された３次元表面形状データをデータ処理し、測定対象物の所定部分の長さ（例えば球体の径）を算出した場合、測定精度は０．１〜０．６ｍｍであり、測定対象物の所定部分の長さが少し異なっていれば、測定対象物を区別することができる。また、格子模様の投影に使用される光は可視光であり、レーザ等を使うことがないため安全に人体の３次元表面形状データを取得できる。

３次元断層撮像装置３０は、硬性内視鏡１１が挿入される患者６０の３次元内部形状データ（３次元断層データ）を取得するものである。３次元断層撮像装置３０は、患者の３次元内部形状データ（３次元断層データ）を取得できるものであれば何でもよく、Ｘ線ＣＴ、ＭＲＩ、超音波、ＰＥＴなどの既存の装置が用いられ得る。３次元断層撮像装置３０で取得された３次元内部形状データは、演算装置４０に取り込まれる。なお、３次元断層撮像装置３０は、３次元表面形状スキャナ２０及び演算装置４０と同じ場所に設置されている必要はなく、通常、３次元表面形状スキャナ２０による３次元スキャンと、３次元断層撮像装置３０による３次元内部形状データの取得とは別々に行われる。なお、３次元断層撮像装置３０により取得されるＣＴ画像のような２次元断層画像データから３次元形状を示す情報を構成する方法には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。

演算装置４０は、３次元表面形状スキャナ２０によりスキャンされて取得された３次元表面形状データの基となるデータ及び３次元断層撮像装置３０により取得された患者６０の３次元内部形状データを取り込んで、これらの情報に対して情報処理を行う装置である。演算装置４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を備えたＰＣ（Personal Computer）等により構成される。演算装置４０は、あらかじめ３次元断層撮像装置３０により測定され記憶されている３次元内部形状データと、３次元表面形状スキャナ２０により所定のタイミングで計測される３次元表面形状データとの位置合わせを３次元表面形状データが入力するごとに行う。この場合の位置合わせとは、２つのデータを同一座標系のデータにするための座標変換係数を算出して、この座標変換係数によりデータの座標変換を行うことを指す。この座標変換係数は、入力した３次元表面形状データから、記憶されている抽出された３次元内部形状データに対応する３次元表面形状データをマッチングにより検出することにより算出される。この形状データのマッチングによる座標変換係数の算出の具体的な演算アルゴリズムは、従来技術である国際公開２００８／０９３５１７や特開２００７−２０９５３１等に記載されている。位置合わせされた結果に基づいて、患者６０の内部形状データ、表面形状データ、手術器具の位置姿勢データ、硬性内視鏡１１の光軸データなどから作成される、特に患者６０の内部形状を示す画像に手術器具の先端や硬性内視鏡１１の観察部位を示したナビゲーション画像を表示装置５０に表示することにより、手術ナビゲーションを行う。

本実施形態の演算装置４０は、３次元表面形状スキャナ２０に含まれるカメラ２２が、術中に硬性内視鏡１１の標識体１２の動きを撮像して得た画像情報に基づいて、硬性内視鏡１１が所定時間以上停止しているか否かの判定（手術器具停止判定）を行うための演算アルゴリズムをＲＡＭ領域に格納している。具体的には、演算装置４０は、撮像により得た過去の画像をＲＡＭ領域に記憶するとともに、過去の画像（例えば１つ前の画像フレーム）と現在の画像（現在の画像フレーム）とからそれぞれ標識体１２の画像を抽出し、その標識体１２の画像同士の比較から差分画像を算出する。さらに、演算装置４０は、画面全体に占める差分画像の割合があらかじめ定めた基準割合以下であり、かつその基準割合以下の状態があらかじめ定めた基準時間（例えば２秒〜５秒程度）以上継続したときに、硬性内視鏡１１が所定時間以上停止していると判定する。本実施形態では、基準時間を３秒に設定することで、硬性内視鏡１１が３秒以上停止していると判定（即ち術者９０が新たなナビゲーション情報を要求していると判定）することとしている。

術者９０の足元に設置されるフットスイッチ８０は、演算装置４０に対して電気的に接続されている。フットスイッチ８０を足で踏込操作すると、演算装置４０に所定の信号が出力され、スキャナ自動駆動機能のオンオフ切替えが行われるようになっている。本実施形態において具体的には、踏込操作を行うと交互にオン信号・オフ信号が出力されるとともに、オン信号出力時には、手術器具停止判定に基づくスキャナ自動駆動機能が有効となる自動撮像モードに切り替わる。一方、オフ信号出力時には、上記スキャナ自動駆動機能が無効となる通常撮像モード、即ち設定された短い時間間隔で随時患者６０の表面及び標識体１２の３次元スキャンを行う撮像モードに切り替わる。

次に、手術支援システム１の動作について、図２のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に硬性内視鏡１１等の手術器具を挿入して手術等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。

まず手術前に、３次元断層撮像装置３０を用いて、患者６０に対する術前ＣＴスキャン撮影が行われる（ステップＳ１０参照）。この術前ＣＴスキャン撮影は、硬性内視鏡１１やその他の手術器具が挿入される患者６０の部位を含む領域に対して行われる。これにより、患者６０の表面である顔面と、硬性内視鏡１１やその他の手術器具が挿入される患者６０の３次元内部形状データとが取得される。３次元断層撮像装置３０によりＣＴスキャン撮影が行われ取得された患者６０の３次元内部形状データは、演算装置４０に取り込まれ、演算装置４０内の記憶領域に格納される。そして自動または術者９０による設定により、骨格と皮膚表面との距離が小さい部分の３次元内部形状データが抽出され、演算装置４０内の別の記憶領域に格納される（ステップＳ２０参照）。ここまでが手術前の処理であり、例えば、手術の前日等に行われる。

ここで、骨格と皮膚表面との距離が小さい部位の３次元内部形状データについて説明する。顔面においては、特に図３に示されるように、鼻部分６１や眼球部分６２は骨格と皮膚表面との距離が大きく、患者６０の移動による重力の影響や、硬性内視鏡１１やその他の手術器具の挿入による影響を受けやすい。ゆえに、この部分を除いた顔面の一部または全部を用いて位置合わせを行うことが好ましい。図４に、骨格と皮膚表面との距離が小さい部位の好適な例を示す。眼球周辺の頬骨や額の部分は、骨格（頭蓋骨）と皮膚表面との距離が小さく、患者６０の移動や手術器具の挿入による変形の影響が小さいため、位置合わせに使用する座標変換係数の計算に好適な部位である。なお、術中に、患者６０にシートを被せている場合には、シートで覆われた部分は３次元表面形状データが取得できないので、図４に示す部分のうちシートで覆われない部分を用いる。

続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、硬性内視鏡１１等の手術器具を鼻の穴から挿入できるように手術台７０の上に仰向けに配置する。患者６０を配置した後、硬性内視鏡１１等を挿入する前に、３次元表面形状スキャナ２０によって、配置された患者６０がスキャンされる（ステップＳ３０参照）。スキャンにより得られたデータは、３次元表面形状スキャナ２０から演算装置４０に送信されて、演算装置４０において患者６０の３次元表面形状データが算出される（ステップＳ４０参照）。

続いて、記憶されている３次元内部形状データと、スキャンされた３次元表面形状データとの初期位置合わせ（レジストレーション）が行われる（ステップＳ５０参照）。この初期位置合わせは手術前に行われるものであり、最初の位置合わせであるので、患者６０の顔面全域の３次元内部形状データ（特に、鼻などの形状に特徴のある部分の形状データ）と３次元表面形状データを用いて位置合わせを行う。位置合わせの方法は、３次元内部形状データから得られる顔面形状と３次元表面形状データから得られる顔面形状とをマッチングをして座標変換係数を算出することにより行うものである。この方法は、例えば国際公開２００８／０９３５１７や特開２００７−２０９５３１等に記載されているので、ここでは詳しい説明は省略する。なお、十分に位置合わせの精度を確保できるなら、後述の更新位置合わせと同様に、骨格と皮膚表面との距離が小さい（皮膚の薄い）部位の３次元内部形状データにより初期位置合わせを行ってもよい。なお、この時点において、３次元表面形状スキャナ２０のカメラ２２は常時作動していてその撮像した画像を演算装置４０の記憶領域に格納させている。これに対して、光投影装置２１は作動待機状態を維持している。

続いて、手術が開始されると、術者９０によって手術器具１１が患者６０に挿入されるが、まず最初のステップでは、演算装置４０が、現在の撮像モードが何であるかを確認する（ステップＳ６０参照）。そして、撮像モードが自動撮像モードである場合には次ステップＳ７０に移行し、通常撮像モードである場合にはステップＳ７０を飛ばしてさらに次のステップＳ８０に移行し、後述する一連のステップＳ８０〜Ｓ１２０を順次実行する。

ステップＳ７０では、演算装置４０が上述した手術器具停止判定用の演算アルゴリズムを実行し、術中に硬性内視鏡１１の標識体１２の動きを撮像して得た画像情報に基づいて、硬性内視鏡１１が所定時間以上停止しているか否かの判定を行う。具体的には、過去複数枚分の画像フレームと現在の画像フレーム（本実施形態では、１つ前の画像フレームと現在の画像フレーム）とからそれぞれ標識体１２の画像を抽出し、その標識体１２の画像同士の比較から差分画像を算出する。さらに、画面全体に占める差分画像の割合があらかじめ定めた基準割合以下であり、かつその基準割合以下の状態があらかじめ定めた基準時間である３秒以上継続したか否かをもって、硬性内視鏡１１が所定時間以上停止しているか否かを判定する。そして、硬性内視鏡１１が所定時間以上停止していると判定したときには、術者９０が新たなナビゲーション情報を必要としているものと解し、演算装置４０が次ステップＳ８０に移行する。これに対し、硬性内視鏡１１が所定時間以上停止していないと判定したときには、術者９０が新たなナビゲーション情報をまだ必要としていないものと解し、演算装置４０が再びステップＳ７０に戻り、手術器具停止判定が行われる。従って、この場合には光投影装置２１は作動されず、作動待機状態のままとなる。

ステップＳ８０では、演算装置４０が３次元表面形状スキャナ２０の光投影装置２１を作動させて、患者６０及び標識体１２の３次元スキャンを行わせる。スキャンにより得られたデータは、３次元表面形状スキャナ２０から演算装置４０に送信されて、演算装置４０において３次元表面形状データが算出される（ステップＳ９０参照）。

続いて、ステップＳ９０で求められた３次元表面形状データと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせを行う（ステップＳ１００参照）。ステップＳ５０の初期位置合わせで既に位置合わせは行われているが、手術中に患者６０の位置が変化するため、ステップＳ１００の更新位置合わせによりデータの位置合わせに用いる座標変換係数を再度計算し、最新の座標変換係数によりデータの位置合わせを行う。この更新位置合わせにおいては、ステップＳ９０で求められた３次元表面形状データから、既に抽出されて記憶されている骨格と皮膚表面との距離が小さい部分の３次元内部形状データに対応する３次元表面形状データをマッチングにより検出することで、座標変換係数が計算される。そして、計算された座標変換係数でデータの位置合わせが行われる。患者６０が動いたときや、患者６０に手術器具を挿入したときでも、骨格はほとんど変化せず、骨格と皮膚表面との距離が小さい部分も表面形状はほとんど変化しない。よって、このように計算された座標変換係数を用いれば、データの位置合わせを精度よく行うことができる。また、抽出されて記憶されている３次元内部形状データは３次元内部形状データの一部のデータであるため、マッチングにおけるデータ処理を高速で行うことができ、データの位置合わせを高速で行うことができる。なお、このデータの位置合わせは、３次元表面形状データと３次元内部形状データとに加えて、硬性内視鏡１１の先端座標や光軸位置データについても行われる。

続いて、位置合わせされた情報に基づいて、ナビゲーション情報を作成する（ステップＳ１１０参照）。ここでナビゲーション情報とは、図５に示すように、患者６０の内部形状を示す画像に硬性内視鏡１１の先端等を示したナビゲーション画像や、患者６０の内部形状を示す画像に硬性内視鏡１１の観察部位等を示したナビゲーション画像などである。作成されたナビゲーション情報や内視鏡画像などが、表示装置５０に表示される（ステップＳ１２０参照）。なお、図５には表示装置５０への表示例を示す。

従って、本実施形態の手術支援システム１によれば以下の効果を得ることができる。

（１）本実施形態の手術支援システム１の場合、演算装置４０が、所定の条件下で３次元表面形状スキャナ２０の光投影装置２１を作動させてスキャンを行うスキャナ自動駆動機能を有したものとなっている。従って、この手術支援システム１では、手術室内に存在する物体を術中に撮像して得た画像情報に基づき３次元表面形状スキャナ２０の光投影装置２１が自動的に作動して、３次元表面形状データが新規に取得される。このことから、本当にナビゲーションが必要なときのみ、ナビゲーション情報の更新・表示が行われるようになり、不必要な動作を減らすことができる。よって、スキャナ２０における光投影装置２１の作動に伴う音や光の発生頻度が減り、音や光による煩わしさが軽減される結果、術者９０が手術に集中できるようになる。また、術者９０自らがフットスイッチ８０等を操作して撮像タイミングを決める必要がないので、フットスイッチ８０の操作に伴う手ブレ等といった不利益も解消される。さらに、加速度センサや電磁ブレーキを特に必要としないので、そのような手段を持たない既存の硬性内視鏡１１を用いた場合でも、硬性内視鏡１１の移動停止を確実かつ正確に検出することができる。

（２）本実施形態の手術支援システム１では、手術室内に存在する物体である硬性内視鏡１１の標識体１２は、当該手術支援システム１が元々備える既存の撮像手段である、３次元表面形状スキャナ２０のカメラ２２を用いて撮像される。そして、このカメラ２２は基本的に常時作動していることに加え、術者９０の手元、患者６０の術部、硬性内視鏡１１等の手術器具等が撮像範囲に入るように設定されている。このため、手術器具停止判定を目的として硬性内視鏡１１の標識体１２を撮像するのに、極めて適したものとなっている。また、３次元表面形状スキャナ２０に含まれるカメラ２２はこの手術支援システム１における既存の設備であることから、新規の構成を追加しなくてもよく、システム全体の複雑化や高コスト化を伴わずに済む点で好適である。

（３）本実施形態の手術支援システム１では、硬性内視鏡１１の一部をなすように付加された標識体１２の動きを、３次元表面形状スキャナ２０に含まれるカメラ２２が術中に撮像して得た画像情報に基づいて、手術器具停止判定が行われる。そして、このような標識体１２を撮像対象物とすれば、撮像した画像の認識精度が高くなる。ゆえに、それにより得た画像情報に基づいた画像処理等を行うことにより、硬性内視鏡１１の移動停止をよりいっそう確実かつ正確に検出することができる。

（４）本実施形態の手術支援システム１では、フットスイッチ９０の操作によりスキャナ自動駆動機能のオンオフ切替えが行われる。そのため、手術中であっても術者の好みに応じて、手術器具停止判定に基づくスキャナ自動駆動機能が有効となる撮像モード及び当該機能が無効になる撮像モード（通常撮像モード）のいずれかに自在に切り替えることができる。従って、利便性がいっそう向上する。

なお、本発明の各実施の形態は以下のように変更してもよい。

・上記実施形態のステップＳ７０では、手術器具停止判定を行うにあたり１つ前の画像フレームと現在の画像フレームとを比較（即ち２つの画像フレームを比較）して差分画像を算出したが、例えば２つ前の画像フレームも含めて比較（即ち３つの画像フレームを比較）して差分画像を算出するようにしてもよい。このようにすると、手術器具停止判定の精度を高めることが可能となる。

・上記実施形態のステップＳ７０では、差分画像を用いて手術器具停止判定を行ったが、この方法に限定されない。例えば、３次元表面形状スキャナ２０に含まれるカメラ２２が術中に標識体１２を撮像して得た画像情報に基づき、標識体１２の３次元座標をトラッキングし、標識体１２の３次元座標に変化がない状態があらかじめ定めた基準時間以上継続したか否かをもって、硬性内視鏡１１が所定時間以上停止しているか否かを判定するようにしてもよい。

・上記実施形態のステップＳ７０では、硬性内視鏡１１における標識球１２を撮像して得た画像情報に基づいて手術器具停止判定を行ったが、例えば、標識球１２を有しない硬性内視鏡１１において体外に突出している特定部分（例えば、アイピースカップ等）を撮像して得た画像情報に基づいて手術器具停止判定を行うようにしてもよい。

・上記実施形態のステップＳ７０では、この手術支援システム１を構成する３次元表面形状スキャナ２０に含まれるカメラ２２を用いて撮像された画像情報に基づいて手術器具停止判定を行ったが、当該カメラ２２以外の撮像手段を用いてもよい。例えば、同じく手術支援システム１が元々備える既存の撮像手段である硬性内視鏡１１を用い、当該硬性内視鏡１１自らが術中に撮像して得た患者の体内の画像情報に基づいて、手術器具停止判定を行うように構成されていてもよい。このような構成であっても、新規の構成を追加しなくてもよく、システム全体の複雑化や高コスト化を回避することができる。あるいは、カメラ２２を用いて撮像された画像情報に基づく手術器具停止判定と、硬性内視鏡１１を用いて撮像された画像情報に基づく手術器具停止判定とを併用し、両方とも停止と判定されたことを条件として、３次元表面形状スキャナ２０の光投影装置２１を自動的に作動させて３次元表面形状データを新規に取得するようにしてもよい。この構成によると、手術器具の移動停止をよりいっそう確実かつ正確に検出することができる。

・上記実施形態のステップＳ７０では、この手術支援システム１が元々備える既存の撮像手段を用いて撮像された画像情報に基づいて手術器具停止判定を行ったが、手術支援システム１に含まれない撮像手段を用いて同様のことを行うことも可能である。例えば、手術室の天井等にあらかじめ設置されている監視用カメラ等を用いて撮像された画像情報に基づいて手術器具停止判定を行ってもよい。

・上記実施形態のステップＳ７０では、手術器具停止判定を行うにあたり、手術器具（硬性内視鏡１１の一部である標識体１２）を撮像したが、これに代えて例えば、手術器具を操作する術者９０の手（手術器具を把持する側の手）を撮像し、その画像情報に基づいて手の動きの様子を検知し、手術器具停止判定を行うようにしてもよい。この場合、術者９０の手そのものを撮像してもよいが、手に何らかの標識体を取り付けてこれを撮像するようにしてもよい。また、手術器具及び手術器具を操作する術者９０の手の両方を撮像して得た画像情報に基づいて、手術器具停止判定を行うようにしてもよい。

・上記実施形態では、フットスイッチ９０を設けてそれを撮像モード切換手段として機能させていたが、撮像モード切換の必要がなければフットスイッチ９０は省略されてもよい。また、フットスイッチ９０以外の切換手段を設け、これを撮像モード切換手段として機能させてもよい。

・上記実施形態のステップＳ７０では、差分画像の基準割合や基準時間としてあらかじめ定められた判定閾値を用いて手術器具停止判定を行っていたが、これらの判定閾値を変更可能な構成としてもよい。例えば、上記フットスイッチ９０を判定閾値変更手段としても機能させるように構成し、その操作によって差分画像の基準割合を増減させたり、基準時間を増減させたりするようにしてもよい。この構成であると、手術中に手術器具停止判定の感度を調整すること等が可能となり、利便性が向上する。

・なお、本発明は、鼻孔から硬性内視鏡１１等の手術器具を挿入する手術の手術支援システム１に好適に用いられるが、これに限られず、他の部位の手術支援システムに用いることもできる。例えば、関節部の手術支援システムにも用いることができる。頭部を対象とした手術や鼻孔から硬性内視鏡１１等の手術器具を挿入する手術であれば前記骨格としては頭蓋骨を用いることが好ましいが、他の部位の手術の場合はその部位に合わせた骨格を用いるようにすればよい。また、３次元表面形状スキャナ２０は、患者６０の表面形状を測定できるものであれば何でもよいが、例えば、キセノンライト等の可視光による格子縞を投影した位相シフト法による３次元表面形状スキャナ２０を用いることができる。３次元断層スキャナは、患者の３次元内部形状データを取得できるものであれば何でもよく、例えば、Ｘ線ＣＴ装置、ＭＲＩ、超音波診断装置などを用いることができる。

１…手術支援システム
１１…手術器具としての硬性内視鏡
１２…標識体
２０…３次元表面形状スキャナ
２１…光投影装置
２２…カメラ
４０…演算装置
５０…表示装置
６０…患者
８０…フットスイッチ
９０…術者

Claims (10)

1. 患者の体内に挿入される手術器具と、
   患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、
   前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、
   前記演算装置が作成した前記ナビゲーション情報を表示する表示装置と
   を有する手術支援システムであって、
   前記演算装置は、
   手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定し、前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うスキャナ自動駆動機能を有する
   ことを特徴とする手術支援システム。
2. 前記画像情報は、前記手術器具及び前記手術器具を操作する術者のうちの少なくとも一方を撮像して得た画像情報であることを特徴とする請求項１に記載の手術支援システム。
3. 前記画像情報は、前記３次元表面形状スキャナに含まれる前記カメラが撮像して得た画像情報であることを特徴とする請求項１に記載の手術支援システム。
4. 前記手術器具において体内に挿入されない部分には、前記３次元表面形状スキャナにより測定可能な標識体が付加され、
   前記演算装置は、前記３次元表面形状スキャナに含まれる前記カメラが、術中に前記手術器具の前記標識体の動きを撮像して得た画像情報に基づいて、前記手術器具が所定時間以上停止しているか否かの判定を行う
   ことを特徴とする請求項１に記載の手術支援システム。
5. 前記画像情報は、撮像機能を有する前記手術器具が撮像して得た画像情報であることを特徴とする請求項１に記載の手術支援システム。
6. 前記手術器具は硬性内視鏡であり、
   前記演算装置は、術中に前記硬性内視鏡が撮像して得た前記患者の体内の画像情報に基づいて、前記硬性内視鏡が所定時間以上停止しているか否かの判定を行う
   ことを特徴とする請求項１に記載の手術支援システム。
7. 前記演算装置は、撮像により得た過去の画像を記憶するとともに、前記過去の画像と現在の画像とから差分画像を算出し、画面全体に占める前記差分画像の割合があらかじめ定めた基準割合以下であり、かつその基準割合以下の状態があらかじめ定めた基準時間以上継続したときに、前記硬性内視鏡が所定時間以上停止していると判定することを特徴とする請求項１乃至６のいずれか１項に記載の手術支援システム。
8. フットスイッチをさらに備えるとともに、前記フットスイッチの操作により前記スキャナ自動駆動機能のオンオフ切替えが行われることを特徴とする請求項１乃至７のいずれか１項に記載の手術支援システム。
9. 患者の体内に挿入される手術器具と、
   患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、
   前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、
   前記演算装置が作成した前記ナビゲーション情報を表示する表示装置と
   を有する手術支援システムにおいて、前記３次元表面形状スキャナを自動で駆動する手術支援方法であって、
   前記演算装置が、手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定するステップと、
   前記演算装置が、前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うステップと、
   前記演算装置が、新規に取得した前記３次元表面形状データに基づいて作成した前記ナビゲーション情報を前記表示装置に出力するステップと
   を含むことを特徴とする手術支援方法。
10. 患者の体内に挿入される手術器具と、
    患者に対して光を投影する光投影装置及び患者を撮像するカメラを含んで構成され、患者の３次元表面形状を測定することで３次元表面形状データを取得する３次元表面形状スキャナと、
    前記３次元表面形状スキャナからのデータと、あらかじめ記憶されている３次元内部形状データとの更新位置合わせ情報に基づいて、ナビゲーション情報を作成する演算装置と、
    前記演算装置が作成した前記ナビゲーション情報を表示する表示装置と
    を有する手術支援システムにおいて、前記演算装置が、前記３次元表面形状スキャナを自動で駆動するために実行する手術支援プログラムであって、
    手術室内に存在する物体を術中に撮像して得た画像情報に基づいて前記手術器具が所定時間以上停止しているか否かを判定するステップと、
    前記手術器具が所定時間以上停止していると判定したときには、前記３次元表面形状データを新規に取得するべく前記３次元表面形状スキャナの前記光投影装置を作動させてスキャンを行うステップと、
    新規に取得した前記３次元表面形状データに基づいて作成した前記ナビゲーション情報を前記表示装置に出力するステップと
    を含むことを特徴とする手術支援プログラム。