JP2005131044A - 手術支援システム - Google Patents

Abstract

【課題】 記録した医療画像を有効利用する。
【解決手段】コントローラ３２は、入力装置３４から入力された手術名に基づく手術を構成する手術ステップを内部メモリより抽出し手術ステップに応じた内視鏡画像データをデータベース記憶装置３５から読み出すデータ読出回路５４と、読み出された内視鏡画像データを手術を構成する手術ステップ順に並べ手術シミュレーション画像データを生成するシミュレーション画像生成回路５５と、手術シミュレーション画像データを手術室に出力するシミュレーション画像出力回路５６と、各回路を制御する制御回路５９とを備えて構成される。
【選択図】図５

Description

本発明は、複数の医療機器を用いて行う外科手術を支援する手術支援システムに関する。

通常、手術は手術室の術者が患者に対して手術を行うが、例えば手術室の術者が過去に経験が少ない手術を行うことが必要となる場合には、その手術に詳しい遠隔地にいる術者（遠隔支援術者）と公衆回線で接続して、手術中に遠隔支援術者による切除する部分の指示等を受けられるような遠隔支援のもとに手術室の術者が手術を行うようにすることにより、手術室の患者に対して適切な手術を行うことができるように支援するシステムが考えられる。

このように遠隔的に手術を支援するシステムの先行技術として特開２０００−２７０３１８号公報がある。
一方、上述したように内視鏡観察下での外科手術は、直接処置部位を視認できず、モニタ等に内視鏡画像を表示させて各種処置が実施されるため、熟練を要する高度医療処置分野の手術となり、これら手術中の内視鏡画像が適宜記録し、記録した内視鏡画像を手術後に再生することで、手術の進捗、手技等の検証・確認を行い、手技等の向上を図っている。
特開２０００−２７０３１８号公報

しかしながら、現状では上述したように、手術の度に内視鏡画像を記録し、手術後に再生するが、高度医療処置分野の内視鏡観察下での外科手術の様子を記録した画像を単に再生するだけで、記録画像を有効に利用することが考慮されていないといった問題がある。

本発明は、上記事情に鑑みてなされたものであり、記録した医療画像を有効利用することのできる手術支援システムを提供することを目的としている。

本発明の手術支援システムは、術画像を構成する複数のステップ画像を手術ステップ毎に分類してステップ画像群のデータベースを構築・記憶するステップ画像記憶手段と、前記手術ステップ毎の前記ステップ画像群より入力手段からの入力情報に基づく前記ステップ画像を抽出するステップ画像抽出手段と、前記ステップ画像抽出手段が抽出した前記ステップ画像を前記手術ステップに応じて関連付けて前記手術画像に対応するシミュレーション動画像を生成するシミュレーション動画像生成手段とを備えて構成される。

本発明によれば、記録した医療画像を有効利用することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１５は本発明の実施例１に係わり、図１は内視鏡手術システムの全体の概略の構成図、図２は図１の内視鏡手術システムのより詳細な構成図、図３は図１のデータベース記憶装置３５に構築されるステップ画像データベースを説明する第１の図、図４は図１のデータベース記憶装置３５に構築されるステップ画像データベースを説明する第２の図、図５は図１の支援室のコントローラの構成を示すブロック図、図６は図５の支援室のコントローラの作用を説明するフローチャート、図７は図６の処理で第４モニタに表示される「手術部位一覧」ウインドウを示す図、図８は図６の処理で第４モニタに表示される「手術一覧」ウインドウを示す図、図９は図６の処理で第４モニタに表示される「手術ステップ一覧」ウインドウを示す図、図１０は図６の処理で第４モニタに表示される「サムネイル画像」ウインドウを示す図、図１１は図６の処理で第４モニタに表示される「選択確認」ウインドウを示す図、図１２は図６の処理で第４モニタに表示される「動画再生」ウインドウを示す図、図１３は図１の内視鏡手術システムの変形例の全体の概略の構成図、図１４は図１３の支援室のコントローラの付加構成を示すブロック図、図１５は図１４の支援室のコントローラの作用を説明する図である。

図１或いは図２に示すように、本実施例の内視鏡手術システム１は、内視鏡観察の下で手術を行う内視鏡手術装置部（以下、単に手術装置部と略記）２と、この手術装置部２に対して離れた位置にある支援装置部３とが院内ＬＡＮ４で接続して構成されており、手術装置部２及び支援装置部３は、例えば病院内のそれぞれ手術室５と支援室６に配置されている。

なお、図１及び図２においては説明の簡略化のため院内ＬＡＮ４に接続されている手術室５と支援室６は１つづつとなっているが、院内ＬＡＮ４に複数の手術室５と支援室６が接続可能であることは言うまでもない。

手術室５内に配置された手術装置部２は患者７の体腔内を観察する内視鏡撮像装置１０と、内視鏡撮像装置１０の観察下で患者７に対する治療のための手術を行う複数の手術装置２０と、患者７の生体情報（バイタルサインデータ）を計測する患者モニタリング装置５０とを有する。

より具体的には、図２に示すように患者７の例えば腹部には治療の手術を行う手術装置２０の処置具と、この手術装置２０の処置具による手術の状態等を観察するための光学式の内視鏡９とが刺入される。

手術装置２０は、例えば電気メスによる切開或いは凝固等の処置等を行う電気メス装置２０ａ、腹腔内を拡張する気腹器２０ｂあるいは超音波により結石等を粉砕する超音波処置装置２０ｃである。

また、内視鏡９は例えば硬性の挿入部１２を有する硬性内視鏡で、挿入部１２の後端側に設けられた接眼部１３には撮像素子として例えば電荷結合素子（ＣＣＤと略記）１４を内蔵したテレビカメラ１５が装着されており、内視鏡画像を撮像する手段を形成している。

内視鏡９のライトガイドケーブル１６は光源装置１７に接続され、光源装置１７内部の図示しないランプの照明光をライトガイドケーブル１６内のライトガイド及び内視鏡９内のライトガイドを介して伝送し、挿入部１２の先端側の照明窓に固定されたライトガイド先端面から伝送した照明光を出射し、体腔内臓器等の被写体側を照明する。

照明窓に隣接する観察窓には図示しない対物レンズが取り付けられ、被写体の光学像を結像する。この光学像は挿入部１２内に配置された光学像伝送手段としての例えばリレーレンズ系により後方側に伝送され、接眼部１３の図示しない接眼レンズを介して拡大観察することができる。

この接眼部１３に着脱自在で装着されるテレビカメラ１５の結像レンズ１８を介してＣＣＤ１４に伝送された光学像が結像される。このＣＣＤ１４は信号ケーブル１９を介してカメラコントロールユニット（以下、ＣＣＵと略記）２１と接続され、ＣＣＤ１４で光電変換された信号に対して信号処理を行い標準的な映像信号を生成する内視鏡撮像装置２０を構成している。

このＣＣＵ１４から映像信号が第１モニタ２２及びＶＴＲ２３に出力され、ＣＣＤ１４で撮像した体腔内臓器及びこれを手術する手術装置２０の処置具先端側等の内視鏡画像を表示し、ＶＴＲ２３に内視鏡画像を録画する。

また、ＣＣＵ２１及び手術装置２０はこれらの制御等を行う（第１の）コントローラ２４と接続されている。コントローラ２４と、光源装置１７、ＶＴＲ２３、ＣＣＵ２１及び各手術装置２０とのデータの送受は、一般的なシリアル通信プロトコル、例えばＲＳ−２３２Ｃ，ＩＥＥＥ１３９４等により、コントローラ２４に設けられたコネクタに手術装置２０からのそれぞれのケーブルを接続することで行われる。

このコントローラ２４は制御の指示入力を行う例えばタッチパネル等からなる入力装置２５と、患者情報（姓名、年齢、性別、患者ＩＤ等）、手技情報（手技日時、手技名、担当医名等）の入力等を行う例えばＲＦ−ＩＤチップあるいは磁気カードを読み込むＩＤリーダ２６とも接続されている。コントローラ２４と入力装置２５及びＩＤリーダ２６とのデータの送受は例えばＵＳＢプロトコルにより行われる。

そして、例えば入力装置２５を操作してコントローラ２４を介してＣＣＵ２１による色調の変更等の制御を行うことができるし、手術装置２０の出力制御等も行うことができる。手術装置２０が例えば電気メス２０ａの場合には電気メスによる切開、凝固等を行う出力レベルの設定制御を行うことができる。また、手術装置２０が例えば気腹器２０ｂの場合には設定圧等の値を可変設定制御することができる。手術装置２０が例えば超音波処置装置２０ｃの場合には超音波出力レベルの設定制御を行うことができる。

また、ＩＤリーダ２６によりＲＦ−ＩＤチップあるいは磁気カードに記録された患者データを読みとり、患者データをコントローラ２４に入力し、このコントローラ２４を介してＣＣＵ２１に出力し、内視鏡画像に患者データの重畳表示を行う選択をすると、内視鏡画像に患者データの重畳表示することもできるようにしている。さらにコントローラ２４は患者モニタリング装置５０からの患者７の生体情報（バイタルサインデータ）を読み出すことができ、読み出した患者７の生体情報（バイタルサインデータ）を内視鏡画像に重畳表示することが可能となっている。

コントローラ２４と患者モニタリング装置５０とのデータの送受は、一般的なシリアル通信プロトコル、例えばＲＳ−２３２Ｃ等により、コントローラ２４に設けられたコネクタに患者モニタリング装置５０からのケーブルを接続することで行われる。

また、ＣＣＵ２１及び手術室５内に設けたコントローラ２４は信号伝送装置２７と接続されている。そして、ＣＣＵ２１から出力され、モニタ２２に表示される内視鏡画像の映像信号をコントローラ２４を介して信号伝送装置２７に出力し、信号伝送装置２７により伝送可能な信号に変換して院内ＬＡＮ線４を経て支援室６側の信号伝送装置２８に伝送することができるようにしている。院内ＬＡＮ４の通信プロトコルは、例えばＴＣＰ／ＩＰであって大規模通信容量の専用の回線（光ファイバ回線）により通信を行う。

また、支援室６側の信号伝送装置２８から院内ＬＡＮ４を経て信号伝送装置２７に送られた信号を映像信号に変換し、この信号伝送装置２７に接続された第２モニタ２９に出力し、信号伝送装置２８側からの画像情報等を第２モニタ２９に表示できるようにしている。

また、コントローラ２４からの制御信号或いは患者データ等を信号伝送装置２７により伝送可能な信号に変換して院内ＬＡＮを経て支援室６側の信号伝送装置２８に伝送することもできる。
なお、コントローラ２４には図示しないキーボード等も接続され、キーボードからコントローラ２４を介して信号伝送装置２８側の遠隔支援術者側に文字情報等を送信できるようにしている。さらに、コントローラ２４は、図示はしないが、術者の頭部に装着可能なハンズフリーにより音声入力する音声入力機器からの音声信号を音声認識機能によりデータとして取り込むことが出来るようになっている。

一方、支援室６内の支援装置部３では信号伝送装置２８に第３モニタ３１が接続されており、この第３モニタ３１には手術室５側の例えばＣＣＵ２１から送られた内視鏡画像が表示される。

また、この信号伝送装置２８は（第２の）コントローラ３２と接続され、このコントローラ３２には第４モニタ３３が接続されている。また、このコントローラ３２には、例えばタッチパネル、或いはキーボード等の入力装置３４が接続されている。また、図示しないマウス等のポインティングデバイスも接続されている。

このコントローラ３２は手術室５側のＣＣＵ２１から信号伝送装置２７、２８を介して送られる内視鏡画像を静止画として取り込む（キャプチャする）と共に、コントローラ２４から信号伝送装置２７、２８を介して送られる患者情報等が入力され、これらをスーパインポーズ等して第４モニタ３３で表示すると共に、入力装置３４で例えば手術室５側の術者に対し、手術する際の指示情報等の支援情報を提供するために例えば切除すべき位置のマーキングによる表示、切除の際に気を付けるべき動脈の位置等の表示入力を行い、この表示入力の画像を第４モニタ３３にオーバレイ表示する。

また、第４モニタ３３にオーバレイ表示される画像情報等は信号伝送装置２８、２７を介して手術室５内の第２モニタ２９に送信され、この第２モニタ２９の表示面にその内容が表示されるようにする。そして、手術室５の術者は支援室６の支援術者による支援情報が表示された第２モニタ２９に表示される画像を観察して、手術を行うことことにより、適切な手術を行うことができるようにしている。

また、コントローラ３２は、入力装置３４からの指示に従って、ＣＣＵ２１から送られた内視鏡画像データを処理して手術ステップに基づくステップ画像データベースを画像記憶手段としてのデータベース記憶装置３５に構築するようになっている。

実際の手術は、図３に示すように、手術毎に複数の手術ステップを経て行われる。すなわち、手術対象の手術部位（胃、肝臓等）、手技（癌切除等）等が決まると、必要な手術ステップ（腹腔内送気ステップ、脂肪切除ステップ、止血ステップ、患部切除ステップ、止血ステップ等）が決定される。

コントローラ３２の処理により、入力装置３４を操作することで、１回の手術の内視鏡画像データが、図４に示すように複数のステップに分類してステップ画像データベースとしてデータベース記憶装置３５に記憶される。ステップ画像データベースは、ヘッダに患者情報（姓名、年齢、性別、患者ＩＤ等）、手技情報（手技日時、手技名、担当医名等）を記録することにより管理している。

図４においては、手術が行われる度に上述したように内視鏡画像を複数のステップ画像に分解しステップ動画像（の記憶領域のアドレス）を記憶した状態を示しており、ｍ個の手術工程からなる手術がｎ回行われた際の、ある部位のある手技に対するデータ群の構造を示している。このような構造のデータ群が部位及び手技毎に複数、データベース記憶装置３５に格納され、ステップ画像データベースが構築されている。

コントローラ３２は、図５に示すように、内視鏡画像データに手術ステップ名に応じたステップを識別するための識別データを付加するデータ付加回路５１と、データ付加回路５１により識別データが付加された内視鏡画像データに手術ステップ毎の手術装置２０の設定値データを付加する設定値付加回路５２と、識別データ及び設定値データが付加された内視鏡画像データを各手術ステップ別にデータベース記憶装置３５に記憶させるデータ格納回路５３と、入力装置３４から入力された手術名に基づく手術を構成する手術ステップを内部メモリ（図示せず）より抽出し手術ステップに応じた内視鏡画像データをデータベース記憶装置３５から読み出す画像抽出手段としてのデータ読出回路５４と、読み出された内視鏡画像データを手術を構成する手術ステップ順に並べ手術シミュレーション画像データを生成するシミュレーション動画像生成手段としてのシミュレーション画像生成回路５５と、手術シミュレーション画像データを支援室６の第４モニタ３３及び手術室５の第２モニタ２９に出力するシミュレーション画像出力回路５６と、データ付加回路５１からの識別データに基づき手術シミュレーション画像データより対応する手術ステップの設定値データを抽出する設定値抽出回路５７と、設定値抽出回路５７が抽出した設定値データと手術室５からの設定値データとを比較するデータ比較回路５８と、比較結果に基づいて警告を発する警告回路６０と、制御バス６１で各回路に接続し各回路を制御する制御回路５９を備えて構成される。

（作用）
本実施例のコントローラ３２では以下のようにシミュレーション動画像を生成する。すなわち、図６に示すように、ステップＳ１にて制御回路５９は図７に示すような「手術部位一覧」ウインドウ１０１を第４モニタ３３に表示する。そして、ステップＳ２にて「手術部位一覧」ウインドウ１０１上での入力装置３４による手術部位の選択がなされると、ステップＳ３にて制御回路５９は図８に示すような「手術一覧」ウインドウ１０２を第４モニタ３３に表示する。そして、ステップＳ４にて「手術一覧」ウインドウ１０２上での入力装置３４による手術の選択がなされると、ステップＳ５にて制御回路５９は図９に示すような「手術ステップ一覧」ウインドウ１０３を第４モニタ３３に表示する。

そして、ステップＳ６にて「手術ステップ一覧」ウインドウ１０３上での入力装置３４による手術ステップの選択がなされたかどうか判断し、「ＯＫ」ボタン１０４が押下され手術ステップの選択があるとステップＳ７に進み、手術ステップの選択がなされず、ステップＳ８にて「手術ステップ一覧」ウインドウ１０３の「中止」ボタン１０５が選択されると処理を終了し、「キャンセル」ボタン１０６が選択されるとステップＳ４に戻る。

ステップＳ７では、データ読出回路５４によりデータベース記憶装置３５より選択した手術ステップに対応するステップ画像の先頭フレームの静止画像データを読み出し、制御回路５９は図１０に示すようなステップ画像の静止画像データのサムネイル画像からなる「サムネイル画像」ウインドウ１０７を第４モニタ３３に表示し、ステップＳ９にてステップ画像のサムネイル画像の選択がなされるとステップＳ９に進み、ステップＳ１０にて制御回路５９は図１１に示すような「選択確認」ウインドウ１０８を第４モニタ３３に表示する。

このステップＳ１０では、「選択確認」ウインドウ１０８で選択したステップ画像のサムネイル画像が手術ステップ毎に順番に表示され、「選択確認」ウインドウ１０８上で「次ステップ」ボタン１０９が押下されて次の手術ステップの選択がなされるとステップＳ６に戻り、「選択確認」ウインドウ１０８上で「再生」ボタン１１０が押下されるとステップＳ１１に進む。

ステップＳ１１では、制御回路５９は図１２に示すような「動画再生」ウインドウ１１１を第４モニタ３３に表示し、「選択確認」ウインドウ１０８で表示したステップ画像のサムネイル画像の順に従って、シミュレーション画像生成回路５５により「動画再生」ウインドウ１１１上で手術ステップ画像をシミュレーション動画像として再生する。

そして、ステップＳ１２にて制御回路５９は「動画再生」ウインドウ１１１上で「追加」ボタン１１２あるいは「変更」ボタン１１３の押下があり修正があるかどうか判断し、「追加」ボタン１１２あるいは「変更」ボタン１１３の押下があるとステップＳ６に戻り、「ＯＫ」ボタン１１４が押下され修正がない場合には処理を終了する。

この処理によりステップ画像によるシミュレーション動画像が生成される。このシミュレーション動画像は、支援室６の第４モニタ３３及び手術室５の第２モニタ２９にて表示される。

（効果）
このように本実施例のコントローラ３２は、手術室５から内視鏡画像データを識別コードを付加して手術ステップ毎に格納してデータベース記憶装置３５内にステップ別に管理された画像データのデータベースを構築する。そして、このデータベースに格納された過去のステップ単位の内視鏡画像を、術前に手術名を入力することで、手術が実際行われる手順毎に並べてシミュレーション動画像を生成し、このシミュレーション動画像を用いて手術の流れを監視することが可能となる。

また、シミュレーション動画像により実際の手技前の手術スタッフ等の打ち合わせ資料、あるいは医学生等への教育教材として使用したり、さらには手術時間が概略把握できるために手術室の予約情報等に活用することが可能であって、手術の際の記録画像を有効に利用することができる。

また、術中に入力される機器の設定データと、ステップ名情報に基づいて設定値抽出回路５７が抽出した設定値データとを手術装置２０毎に比較し、比較した結果設定データが所定値以上、最適設定データと異なる場合警告を発し、手術室５内の術者に設定値の最適化を指示することで、手術の進捗状況に応じた適切な支援、助言を可能とする。

なお、図１３に示すように、院内ＬＡＮ４にＣＴ検査室に設けられているＣＴ装置２００が接続された内視鏡手術システム１においては、コントローラ３２に図１４に示すような構成を付加してもよい。図１４の付加構成においては、手術に応じた手術手順が手術手順指定部２０１により指定されると、部位算出部２０２が指定された手順に関連する生体部位を算出し、算出された部位の３次元データを３次元データ取り込み部２０３によりＣＴ装置２００から読み出し、仮想内視鏡画像生成部２０４に出力する。

仮想内視鏡画像生成部２０４では、３次元データに基づき部位の仮想内視鏡画像データを生成すると共に、手術手順指定部２０１により指定された手順に基づき仮想的な内視鏡シミュレーション動画像を生成し、画像合成部を２０５介して第４モニタ３３及び手術室５の第２モニタ２９に出力する。

これによりシミュレーション画像を用いて手術の流れを手術スタッフに周知させることが可能となる。

また、手術室において実際に手技が行われてライブの内視鏡画像が支援室６に伝送されると、コントローラ３２では、ライブ内視鏡画像取り込み部２０６でライブの内視鏡画像を取り込み、画像合成部２０５でライブの内視鏡画像と内視鏡シミュレーション動画像を合成して図１５に示すような画像を第４モニタ３３に出力する。この内視鏡シミュレーション動画像と術中のライブの内視鏡画像とを比較することで、手術の進捗状況に応じた適切な支援、助言が可能となる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る内視鏡手術システムの全体の概略の構成図 図１の内視鏡手術システムのより詳細な構成図 図１のデータベース記憶装置３５に構築されるステップ画像データベースを説明する第１の図 図１のデータベース記憶装置３５に構築されるステップ画像データベースを説明する第２の図 図１の支援室のコントローラの構成を示すブロック図 図５の支援室のコントローラの作用を説明するフローチャート 図６の処理で第４モニタに表示される「手術部位一覧」ウインドウを示す図 図６の処理で第４モニタに表示される「手術一覧」ウインドウを示す図 図６の処理で第４モニタに表示される「手術ステップ一覧」ウインドウを示す図 図６の処理で第４モニタに表示される「サムネイル画像」ウインドウを示す図 図６の処理で第４モニタに表示される「選択確認」ウインドウを示す図 図６の処理で第４モニタに表示される「動画再生」ウインドウを示す図 図１の内視鏡手術システムの変形例の全体の概略の構成図 図１３の支援室のコントローラの付加構成を示すブロック図 図１４の支援室のコントローラの作用を説明する図

符号の説明

１…遠隔支援内視鏡システム
２…手術装置部
３…遠隔支援装置部
４…院内ＬＡＮ
５…手術室
６…支援室
７…患者
８…手術具本体
９…内視鏡
１０…内視鏡撮像装置
１２…挿入部
１４…ＣＣＤ
１５…テレビカメラ
１７…光源装置
２０…手術装置
２１…ＣＣＵ
２２…第１モニタ
２４…（第１の）コントローラ
２５，３４…入力装置
２６…ＩＤリーダ
２７…（第１の）信号伝送装置
２８…（第２の）信号伝送装置
２９…第２モニタ
３１…第３モニタ
３２…（第２の）コントローラ
３３…第４モニタ
３５…データベース記憶装置
５０…患者モニタリング装置
５１…データ付加回路
５２…設定値付加回路
５３…データ格納回路
５４…データ読出回路
５５…シミュレーション画像生成回路
５６…シミュレーション画像出力回路
５７…設定値抽出回路
５８…データ比較回路
５９…制御回路
６０…警告回路
代理人 弁理士 伊藤 進

Claims (2)

1. 手術画像を構成する複数のステップ画像を手術ステップ毎に分類してステップ画像群のデータベースを構築・記憶するステップ画像記憶手段と、
   前記手術ステップ毎の前記ステップ画像群より入力手段からの入力情報に基づく前記ステップ画像を抽出するステップ画像抽出手段と、
   前記ステップ画像抽出手段が抽出した前記ステップ画像を前記手術ステップに応じて関連付けて前記手術画像に対応するシミュレーション動画像を生成するシミュレーション動画像生成手段と
   を備えたことを特徴とする手術支援システム。
2. 前記入力手段からの前記入力情報は、手術部位情報及び手術名情報である
   ことを特徴とする請求項１に記載の手術支援システム。

Images