JP2004105539A - カメラを用いた手術システムにおける画像表示方法および手術支援装置 - Google Patents
カメラを用いた手術システムにおける画像表示方法および手術支援装置 Download PDFInfo
- Publication number
- JP2004105539A JP2004105539A JP2002273652A JP2002273652A JP2004105539A JP 2004105539 A JP2004105539 A JP 2004105539A JP 2002273652 A JP2002273652 A JP 2002273652A JP 2002273652 A JP2002273652 A JP 2002273652A JP 2004105539 A JP2004105539 A JP 2004105539A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- endoscope
- switch
- screen
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】カメラの操作が容易に確認でき、効率的かつ円滑な医療作業を実現すること。
【解決手段】まず、操作指示入力部１０は、内視鏡５０の操作者からの操作指示を受け付ける。次に、制御部２０は、操作指示入力部１０より入力された操作指示に基づいてマニピュレータ４０を制御する。ここで、制御部２０は、操作指示提示部３０に、操作指示を提示させる。なお、操作指示は、例えば、視野の移動、または、拡大・縮小である。これにより、内視鏡５０の操作者を含めた医療スタッフは、カメラの操作指示を操作指示提示部３０から容易に確認でき、効率的な医療作業を実現できる。また、制御部２０は、可動範囲を超えた操作指示入力部１０からの操作指示などの状況に応じた警告を、操作指示提示部３０に提示することで、円滑な医療作業を実現することができる。
【選択図】 図１
【解決手段】まず、操作指示入力部１０は、内視鏡５０の操作者からの操作指示を受け付ける。次に、制御部２０は、操作指示入力部１０より入力された操作指示に基づいてマニピュレータ４０を制御する。ここで、制御部２０は、操作指示提示部３０に、操作指示を提示させる。なお、操作指示は、例えば、視野の移動、または、拡大・縮小である。これにより、内視鏡５０の操作者を含めた医療スタッフは、カメラの操作指示を操作指示提示部３０から容易に確認でき、効率的な医療作業を実現できる。また、制御部２０は、可動範囲を超えた操作指示入力部１０からの操作指示などの状況に応じた警告を、操作指示提示部３０に提示することで、円滑な医療作業を実現することができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラを用いた手術システムにおける画像表示方法および手術支援装置に関する。
【０００２】
【従来の技術】
カメラで撮影した画像を見ながら行う内視鏡手術が知られている（例えば、特許文献１参照。）。従来、この内視鏡手術は、かん子等の術具を操作して手術を行う術具の操作者とカメラの操作者とが異なっていた。従って、術具の操作者が望むようにカメラを操作することが困難であった。
【０００３】
このため、術具の操作者がカメラの操作スイッチを操作することで、術具の操作と併せてカメラの操作も行えるようにしたシステムが開発されている。例えば、術具の操作者がカメラの操作スイッチの右ボタンを押下するとカメラの撮像範囲が右に移動し、左ボタンを押下するとカメラの撮像範囲が左に移動し、上ボタンを押下するとカメラの撮像範囲が上に移動し、下ボタンを押下するとカメラの撮像範囲が下に移動するようなシステムが開発されている。
【０００４】
【特許文献１】
特開平１０−１１８０１５号公報
【０００５】
【発明が解決しようとする課題】
しかし、術具の操作者は自分が操作するカメラが撮影した画像を注視しながら手術を行っている。このため、カメラの操作スイッチを目視して確認するまでもなく、どのような操作指示がカメラの操作スイッチを介してカメラになされているのか、つまり、カメラの操作に関して自分が実際にどのようなスイッチ操作を行っているのかを容易に確認することができれば大変都合がよい。また、このような内視鏡手術は、術具の操作者と何人もの医療スタッフとが協調して手術を行うが、術具の操作者の意思などが迅速に各医療スタッフに伝達されるようにできると大変都合がよい。
【０００６】
そこで本発明は、上記を鑑み、カメラを用いた手術システムにおいて、カメラの操作が容易に確認でき、効率的かつ円滑な医療作業を実現することを目的として考えられたものである。
【０００７】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、術具を操作しつつスイッチを操作してカメラの撮像範囲の移動を行い、該カメラが撮影した画面を見ながら行う手術に用いられる画面表示装置における画像表示方法であって、前記スイッチにより撮像範囲を移動する操作を行うと、移動方向に対応した方向指示を画面上に表示し、前記スイッチにより該カメラが撮影した画像を拡大・縮小する操作を行うと、前記拡大・縮小に対応した拡大又は縮小の指示を画面上に表示することを特徴とする。かかる方法によれば、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その他の解決手段については、以下の実施形態で詳細に説明するものとする。
【０００８】
【発明の実施の形態】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第１実施形態について、図面を参照して詳細に説明する。
【０００９】
まず、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースを含む医療用マニピュレータを用いた手術システムの構成について、図１〜図３を参照して説明する。
【００１０】
図１に示すように、医療用マニピュレータを用いた手術システムは、人間がカメラを操作する代わりに、医療用マニピュレータを用いてカメラを操作する機能を有する。このため、医療用マニピュレータを用いた手術システムは、操作者の操作指示を入力する操作指示入力部１０と、操作指示入力部１０より入力された操作指示に基づいてマニピュレータ４０を制御する制御部２０と、制御部２０より伝達された操作指示を提示する操作指示提示部３０と、操作者の操作指示により操作されるマニピュレータ４０と、マニピュレータ４０により撮像方向（視野）が移動されるカメラである内視鏡５０とを含んで構築されている。内視鏡５０は、患者６０の身体に開けられた挿入孔６１に嵌挿されたトラカールＴＣを介して体内に挿通され、患者６０の体内を撮影する。なお、制御部２０は、請求項の「手術支援装置」に相当する。
【００１１】
操作指示入力部１０は、マニピュレータ４０の操作者からの操作指示を入力する機能を有し、操作者が手術を行う際に用いる術具である鉗子１１と、マニピュレータ４０を用いて内視鏡５０を操作するために入力する操作指示を受けて制御部２０へと操作指示を伝送する術具スイッチ１２とを有する。つまり、操作指示入力部１０は、鉗子１１に術具スイッチ１２が取り付けられる構成である。なお、鉗子１１は、内視鏡５０用の挿入孔６１とは異なる別の挿入孔に嵌挿された別のトラカール（図示外）を介して、患者６０の体内に挿入される。ちなみに、術具スイッチ１２は、請求項のスイッチに相当する。
【００１２】
制御部２０は、操作者からの操作指示を操作指示提示部３０およびマニピュレータ４０に中継する機能を有する。このため制御部２０は、内視鏡５０を体内への挿入孔６１に固定するまでの、内視鏡５０の大まかな位置を決めるために操作される手動操作ペンダントスイッチ２１と、患者６０の発作などの緊急時にマニピュレータ４０の制御を停止する非常停止ペンダントスイッチ２２と、術具スイッチ１２、手動操作ペンダントスイッチ２１、並びに非常停止ペンダントスイッチ２２からの入力を受け、操作指示提示部３０およびマニピュレータ４０に中継するコントローラ２３と、コントローラ２３が正常に動作しているかを監視するコントローラ監視装置２４とを有する。
【００１３】
操作指示提示部３０は、操作指示入力部１０からの操作指示と内視鏡５０からの撮影画像を医療作業者に提示する手段を有し、操作指示入力部１０からの操作指示と内視鏡５０からの撮影画像を１つの画像に合成するスーパーインポーザ３１と、スーパーインポーザ３１が合成した画面を医療作業者に提示するディスプレイ３２とを有する。なお、操作指示入力部１０、制御部２０、並びに、操作指示提示部３０は、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースを構成する。
【００１４】
マニピュレータ４０は、人間に代わって内視鏡５０を操作指示により操作する機能を有する。このため、マニピュレータ４０は、図２に示すように、マニピュレータ４０の高さを調整する昇降装置４１と、モータなどの駆動手段により構成されるリンク駆動部４２と、リンク駆動部４２に接続され、リンク駆動部４２の駆動に連動して形を変えるリンク部４３と、リンク駆動部４２の駆動を監視するエンコーダ４４と、関節で接続されたアームで構成され、手動によって関節の角度を変化されることで形を変えるフレキシブルアーム４５と、内視鏡５０を把持する内視鏡ホルダ４６と、内視鏡５０のズーム部を回転させる内視鏡ホルダのモータ４７とを有する。なお、フレキシブルアーム４５は、一端をリンク部４３と接続され、別の一端を内視鏡ホルダ４６に接続されている。
【００１５】
内視鏡５０は、光学式かつズーム機能を有することで、患者の体内を撮影し、撮影画像をスーパーインポーザ３１に送る機能を有し、その先端が、内視鏡固定具５１により体内への挿入孔６１に固定されている。内視鏡５０の移動について、図３を参照して説明する。図３は、内視鏡５０が、５０Ａの位置から５０Ｂの位置に移動する様子を示す。内視鏡５０の移動は、内視鏡固定具５１を中心とした内視鏡５０の回転運動（２次元方向の首振り運動）となる。それにより、内視鏡５０と体内への挿入孔６１との角度が変化することで、図３に示すように、内視鏡５０の視野が変化する。この構成では、内視鏡５０の先端は、内視鏡固定具５１を中心にして曲面を描くように運動（２次元方向の首振り運動）する。体内の方向（奥行き方向）への運動は、安全を考慮したことにより、ズーム機能により仮想的に行うこととしている。
【００１６】
次に図１〜図３、及び図５を参照しつつ、医療用マニピュレータの操作用インタフェースの動作を、図４に沿って説明する。図４は、医療用マニピュレータを用いた手術システムについて、時系列に、処理及び通信を説明したフローチャートである。
【００１７】
まず、手術システムは、医療スタッフに、手術を行う前準備（Ｓ１０１）を行わせる。具体的には、手術システムは、医療スタッフに、内視鏡ホルダ４６と内視鏡固定具５１に内視鏡５０を把持させ、鉗子１１などの術具に術具スイッチ１２を装着させる。これにより、手術システムは、術具スイッチ１２の操作者に、内視鏡５０の操作と同時に片手に術具としての鉗子１１を、もう一方の片手に他の術具（ハサミなど）を用いた手術を行わせることが可能となる。
【００１８】
次に、医療スタッフは、手術を行う際に、患者６０の体内への挿入孔６１に内視鏡５０の先端を挿入して固定することで、内視鏡５０の位置決めを行う（Ｓ１０２）。具体的には、まず、医療スタッフは、昇降装置４１を手動操作ペンダントスイッチ２１によって操作することで、マニピュレータ４０の高さを調整する。次に、医療スタッフは、フレキシブルアーム４５の関節を手動により調整することで、フレキシブルアーム４５の形を決め、フレキシブルアーム４５の先端である内視鏡ホルダ４６に取り付けられた内視鏡５０の位置を決める。そして、医療スタッフは、内視鏡５０の先端を体内への挿入孔６１に挿入し、内視鏡固定具５１を用いて、体内への挿入孔６１に内視鏡５０を固定させる。以上で、体内への挿入孔６１に内視鏡５０を固定させる手順を説明した。体内への挿入孔６１への内視鏡５０の固定手順は、内視鏡５０の位置を変更する度に、繰り返される。内視鏡５０の位置を変更する契機は、例えば、仰向けから横向きなどの患者６０の姿勢の移動、体内への挿入孔６１について別の挿入孔への変更、並びに、リンク部４３を操作させて得られる視野を超えた視野を確保すること、が挙げられる。
【００１９】
そして、操作者は、術具スイッチ１２を用いて、内視鏡５０の操作を指示する（Ｓ１０３）。操作指示とは、例えば、視野の移動又はズームの変更である。さらに、術具スイッチ１２からの操作指示を受信したコントローラ２３は、受信した操作指示によりマニピュレータ４０を制御するとともに、受信した操作指示を時系列に記憶する（Ｓ１０４）。記憶された操作指示は、随時参照可能である。なお、記憶された操作指示は、例えば、コントローラ２３が有するボタンを連続して１０回ＯＮ・ＯＦＦを繰り返すと、ディスプレイ３２または他のコンピュータの画面に出力される。
【００２０】
また、操作者が把持する術具スイッチ１２は、鉗子１１による手術作業により、向きが変わることがある。そこで、コントローラ２３は、術具スイッチ１２から操作指示を受信すると、予め設定された変換形式を参照して、操作指示をその変換形式に基づいて変換し、変換された操作指示によりマニピュレータ４０を制御してもよい。これにより、操作者は、術具スイッチ１２の向きによる影響を受けずに、術具スイッチ１２から操作を指示できる。なお、コントローラ２３に予め設定された変換形式は、請求項の「所定の変換形式」に相当する。以下、操作指示の内容ごとに（Ｓ１０５）動作を説明する。
【００２１】
まず、内視鏡５０の視野の移動（Ｓ１０６）について、図５を参照して説明する。術具スイッチ１２が有する上下左右のボタンを押すと、押されたボタンに関する指示が術具スイッチ１２からコントローラ２３に伝達される。コントローラ２３は、伝達された指示に対応してマニピュレータ４０のリンク駆動部４２を制御する。リンク駆動部４２は、コントローラ２３からの制御により、リンク部４３と接続されている関節を回転させる。関節の回転によって、リンク部４３は形を変形させ、リンク部４３の先端に接続されているフレキシブルアーム４５を通じて、内視鏡ホルダ４６の位置が変化する。ここで、内視鏡ホルダ４６に把持されている内視鏡５０の先端近傍は内視鏡固定具５１により固定されているので、内視鏡５０は、内視鏡固定具５１を中心とした回転運動（２次元方向の首振り運動）を行う。よって、回転運動（２次元方向の首振り運動）により、内視鏡５０の視野が移動する（Ｓ１０６）。
【００２２】
次に、内視鏡５０のズームの変更（Ｓ１０７）について説明する。操作者が、術具スイッチ１２が有するズーム変更を示す拡大または縮小のボタンを押すと、押されたボタンに関する指示が術具スイッチ１２からコントローラ２３に伝達される。コントローラ２３は、伝達された指示により、内視鏡ホルダのモータ４７を制御する。内視鏡ホルダのモータ４７は、コントローラ２３からの制御により、内視鏡５０と接続されている接点を回転させる。接点の回転によって、内視鏡５０のレンズの焦点は移動し、内視鏡５０のズームは変更される（Ｓ１０７）。
【００２３】
また、内視鏡５０への操作指示が行われない場合は（Ｓ１０５、なし）、内視鏡５０は固定されたままとなる。これにより、内視鏡５０を前後方向（体内方向）に仮想的に移動することができる。つまり、撮像対象部位（手術野）の拡大撮影が可能になる。
【００２４】
内視鏡５０は、視野の移動又はズームの変更により、操作者の所望の撮影画像をスーパーインポーザ３１に出力する（Ｓ１０８）。また、コントローラ２３は、術具スイッチ１２からの操作指示を画像化して、スーパーインポーザ３１に出力する。スーパーインポーザ３１は、入力された内視鏡５０の撮影画像と、術具スイッチ１２からの操作指示とを合成し（Ｓ１０９）、ディスプレイ３２に出力する。ディスプレイ３２は、スーパーインポーザ３１から出力された画像を画面に表示する（Ｓ１１０）。なお、内視鏡の操作指示（Ｓ１０３）から画面の表示（Ｓ１１０）までの動作は、操作者が手術システムを停止させるまで繰り返される（Ｓ１１１、Ｎｏ）。以上、医療用マニピュレータの操作用インタフェースの動作を説明した。
【００２５】
以上、本発明の第１実施形態について説明した。かかる方法によれば、カメラの操作者だけでなく、医療現場にいるスタッフが操作指示を把握できる。それにより、カメラの操作指示に対応した医療作業が容易に実行でき、医療現場にいるスタッフは医療作業を効率よく分担できる。また、操作指示の記録により、カメラの操作後に制御情報を参照することができる。その結果、制御情報の追跡をすることで、医療作業後の制御情報の入力が確認できる。さらに、操作者は、カメラの操作手段の向きに依存しない、容易な操作を実現できる。
【００２６】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第２実施形態について説明する。第２実施形態は、上記第１実施形態において、起こりうる緊急の事態とその対処法を行う動作を付加するもので、医療用マニピュレータを用いた手術システムの構成要素および正常時の動作は第１実施形態と同様とする。従って、第１実施形態と同様の構成要素および動作については、同じ符号を付して説明を省略する。
【００２７】
以下、図１〜図４を参照して説明する。まず、手術を行う前準備（Ｓ１０１）として、第１実施形態で述べた準備に加えて、手術システムは、コントローラ２３に、内視鏡５０を操作するのに用いられるマニピュレータ４０が操作可能かを、例えば、コントローラ２３が点検用の制御信号を送信することにより点検させる。制御信号を受信する点検対象は、術具スイッチ１２、リンク駆動部４２、内視鏡ホルダのモータ４７、並びに、エンコーダ４４である。なお、エンコーダ４４は、リンク駆動部４２の不具合を発見する手段として使用され、リンク駆動部４２と一体構造になっている（図２および図３参照）。これにより、手術システムは、例えば、リンク駆動部４２がコントローラ２３からの制御指示を受け付けないなどの動作不良を、操作者に手術前に知らせることができる。なお、上記の点検は、コントローラ２３の電源投入時又は操作者がコントローラ２３に点検を指示する時を契機として行われる。ここで、手術システムが動作不良を操作者に知らせる一例を示す。手術システムは、電源を入れて動作可能になるまでの間に自己診断を実施しており、その時点で不具合が発見されると動作を中断する。また、手術システムは、動作中にも手術システムを構成する装置の状況を常時監視するステータスモニターが作動しているため、この時に不具合が発見されると、手術システムは停止する。これら、不具合発見時にはディスプレイ３２にアラーム情報として、文字が表示される。
【００２８】
次に、手術を行う際に、コントローラ２３が何らかの不都合により、暴走動作に陥る場合も考えられる（Ｓ１０６またはＳ１０７の動作不良）。その場合、患者への影響を最小限に抑えるため、コントローラ２３は、外部からの指示により、緊急に停止する機能を有する。そして、コントローラ監視装置２４は、コントローラ２３の暴走動作を監視し、暴走動作を検知したことを契機に、コントローラ２３を停止させる。なお、コントローラ監視装置２４は、コントローラ２３の監視を定期的に行うために、ある一定時間毎に相互で通信を行う。この通信が途切れた時点で、コントローラ監視装置２４は、装置の故障、ハングアップ等の不正動作が発生したことが分かる。
【００２９】
さらに、手術中に、患者６０の発作などにより、内視鏡５０への操作を緊急に停止させる必要がある場合も考えられる（Ｓ１０３の操作指示の停止）。その場合、コントローラ２３は、非常停止ペンダントスイッチ２２が押されたのを契機に、マニピュレータ４０の動作である、昇降装置４１、リンク駆動部４２、並びに、内視鏡ホルダのモータ４７の動作を、術具スイッチ１２及び手動操作ペンダントスイッチ２１からの動作指示に係らず、電源供給を遮断して緊急に停止する。そして、患者６０の発作などの緊急事態が収まったら、コントローラ２３の電源を再起動することで、緊急停止を解除できる。なお、緊急時に、リンク駆動部４２は固定される。
【００３０】
また、術具スイッチ１２の操作者は、術具スイッチ１２の操作と並行して鉗子１１を用いて手術を行うので、マニピュレータ４０の可動範囲を超えた術具スイッチ１２の操作を行ってしまうことも考えられる（Ｓ１０３の操作指示のミス）。その場合、コントローラ２３は、マニピュレータ４０の可動範囲を監視し、可動範囲を超えた場合に、ブザーなどの警告を発するとともに、手動操作ペンダントスイッチ２１又は術具スイッチ１２からの操作指示に係らず、マニピュレータ４０への制御を停止する。なお、コントローラ２３は、エンコーダ４４を用いて、リンク駆動部４２のモータの回転を監視する。コントローラ２３は、リンク部４３の可動範囲を超える動作が指示された場合又は運転中に出力軸が拘束された場合を、エンコーダ４４などにより検知すると、ブザーなどの警告を発し、緊急停止する。
【００３１】
以上、本発明の第２実施形態について説明した。かかる方法によれば、操作者は、コントローラ２３による可動範囲を超えた操作を警告する機能により、カメラの操作中にカメラの可動範囲を知ることができる。また、操作者は、手術システムの点検機能により、医療作業前に確実にカメラを制御できる。さらに、医療スタッフは、コントローラ２３の緊急に停止する機能により、手術の状況に応じ、柔軟に手術システムを使用できる。
【００３２】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第３実施形態について説明する。第３実施形態は、上記第１実施形態において、ディスプレイ３２に表示される画像内容をより具体的に説明するものである。従って、医療用マニピュレータを用いた手術システムの構成要素および正常時の動作は第１実施形態と同様とし、第１実施形態と同様の構成要素および動作については、同じ符号を付して説明を省略する。
【００３３】
図６にディスプレイ３２に出力される（Ｓ１１０）表示画面を示す。表示画面１００は、内視鏡５０により撮影された内視鏡画像１１０が、画面中央に表示されている。表示画面１００では、術具スイッチ１２からの操作指示が行われていないので、内視鏡画像１１０のみの表示となる。
【００３４】
次に、術具スイッチ１２から視野の移動を指示する場合の表示画面を図７に示す。表示画面１００Ａは、視野を左に移動する指示を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、視野を左に移動する指示を示す指示印１２０Ａが、内視鏡画像１１０の左に配置されている。これにより、操作者が視野を左に移動していることを、操作者を含めた医療スタッフが確認できる。また、視野を右に移動する指示については、表示画面１００Ｂにおいて、視野を右に移動する指示を示す指示印１２０Ｂを内視鏡画像１１０の右に表示させることで、操作者が視野を右に移動していることを、操作者を含めた医療スタッフが確認できる。さらに、表示画面１００Ｃは、横方向の視野移動と縦方向の視野移動とが同時に指示された場合に表示される。例えば、右と上とが同時に指示されると、右上に移動することを示す指示印１２０Ｃが、内視鏡画像１１０の右上に配置される。同様にして、指示印１２０Ｄは右下への視野移動を、指示印１２０Ｅは左上への視野移動を、並びに、指示印１２０Ｆは左下への視野移動をそれぞれ示す。
【００３５】
そして、術具スイッチ１２からズームの変更を指示する場合の表示画面を図８に示す。表示画面１００Ｄは、拡大のズーム操作を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、内視鏡画像１１０の左右両脇に、拡大する指示を示す指示印１２０Ｇが配置されている。指示印１２０Ｇは、内視鏡画像１１０の中心の方向を指すことにより、操作者が拡大のズーム操作を行っていることを、操作者を含めた医療スタッフが確認できる。また、表示画面１００Ｅは、縮小のズーム操作を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、内視鏡画像１１０の左右両脇に、縮小する指示を示す指示印１２０Ｈが配置されている。指示印１２０Ｈは、内視鏡画像１１０から外側の方向を指すことにより、操作者が縮小のズーム操作を行っていることを、操作者を含めた医療スタッフが確認できる。
【００３６】
また、マニピュレータ４０の警告を通知する表示画面を図９に示す。ここで警告とは、例えば、可動範囲を超えた術具スイッチ１２の操作が行われた際に、その旨を警告することである。表示画面１００は、内視鏡画像１１０に加え、警告の内容１３０を表示する。これにより、医療スタッフは、表示画面１００から警告の内容１３０を知ることができ、警告の内容１３０に応じた適切な処置をすばやく行うことが可能となる。
【００３７】
以上、本発明の第３実施形態について説明した。かかる方法によれば、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その結果、撮影画面と操作指示を容易にかつすばやく比較することが可能となる。また、操作者は、カメラの操作中にカメラの可動範囲を知ることができる。
【００３８】
なお、図１０に本実施形態のカメラを用いた手術システムにおける機能ブロック図を示す。本機能ブロック図は、カメラを用いた手術システムの構成要素と、その構成要素によって実現される各機能との包含関係を示している。
【００３９】
まず、術具スイッチ１２が実現する機能は、リンク部４３の動作を入力するリンク部動作機能、および、内視鏡５０の動作を入力する内視鏡動作機能である。
【００４０】
次に、手動操作ペンダントスイッチ２１が実現する機能は、昇降装置４１の動作を入力する昇降装置動作機能、リンク部４３を手動で可動させることを許可するリンク部手動可動機能、ならびに、リンク部４３を原点に移動するリンク部原点移動機能である。さらに、非常停止ペンダントスイッチ２２が実現する機能は、非常時に本実施形態のカメラを用いた手術システムを停止させる非常停止入力機能である。
【００４１】
そして、制御部２０および操作指示提示部３０が実現する機能は、カメラの制御情報を伝達する昇降装置、リンク駆動装置の昇降、リンク動作制御機能、カメラの制御情報のログを記録するログデータ記録機能、操作指示を提示する情報提示機能、コントローラ２３の不良状態を監視するＨ／Ｗ状態監視機能、緊急使用時の動作不良を未然に防ぐための定期的な動作点検に使用するＤｉａｇ機能、ならびに、本実施形態のカメラを用いた手術システムの電源を投入する際に手術システムの動作を確認する始業前点検機能である。
【００４２】
さらに、マニピュレータ４０および内視鏡固定具５１が実現する機能は、昇降装置４１の位置を決める昇降位置決め機能、リンク部４３を動作させるためにリンク駆動部４２が動作するリンク部動作機能、フレキシブルアーム４５が内視鏡５０を把持する内視鏡保持機能、ならびに、フレキシブルアーム４５が内視鏡５０の位置を決める内視鏡位置決め機能である。
【００４３】
以上説明した本発明は、発明の趣旨を逸脱しない範囲で広く変形実施することができる。
【００４４】
例えば、内視鏡５０に操作を指示するための入力手段として、鉗子１１に取り付けられた術具スイッチ１２を用いたが、鉗子１１以外の術具に術具スイッチ１２を取り付けてもよく、また、予め術具スイッチ１２を備え付けてある任意の術具を用いてもよい。さらに、術具ではなく、操作者の体の一部にスイッチを取り付け、操作者の体の動きにより、操作指示を与える形式としてもよい。
【００４５】
また、操作者の操作指示による内視鏡５０の視野移動及びズームの速度について、操作が指示された時間に一定の速度でも、可変の速度でもよい。可変の速度とは、例えば、内視鏡５０の急な移動により患者の体内に接触することを防ぐために、操作指示が行われてから一定時間は速度を遅くし、一定時間が過ぎた後は、速度を早める、などである。
【００４６】
さらに、操作者の操作指示により操作者の所望の映像を写す手段として、マニピュレータ４０によって視野移動及びズームの変更を行う内視鏡５０を用いたが、操作者が操作するスイッチから、内視鏡５０に視野移動及びズームの変更を行う機能を、内視鏡５０にもたせてもよいし、内視鏡５０以外の撮影手段を用いてもよい。
【００４７】
また、ディスプレイ３２において表示される内視鏡画像１１０と内視鏡５０への指示印及び警告内容について、同一の画面に表示する形式を用いたが、別々の画面に表示してもよい。また、特定の内視鏡５０への指示印及び警告内容について、画面で表示するかわりに、発光装置による光で表示し、指示内容または警告内容ごとに光の色をかえてもよい。また、画面で表示するかわりに、指示内容または警告内容ごとに、特定の音またはメロディを発するようにしてもよい。
【００４８】
さらに、ディスプレイ３２において表示される内視鏡画像１１０と内視鏡５０への指示印及び警告内容について、移動方向並びに拡大または縮小の動作を、四角形を用いて表現したが、文字表示など他の手段を用いて表現してもよい。また、警告内容について、文字表示により表現したが、記号など他の表現手段を用いて表現してもよい。ここで、文字表示とは、例えば、移動方向の上下左右に対応して、漢字表記（上・下・左・右）または英語の頭文字表記（Ｕ・Ｄ・Ｌ・Ｒ）である。
【００４９】
また、内視鏡５０に操作を指示するための入力パラメータとして、視野の移動及びズームの変更を例示したが、内視鏡５０の視野に十分な明るさを確保するための光源を内視鏡５０が与える場合の光の量など、他のパラメータを含めてもよい。
【００５０】
さらに、マニピュレータ４０によって内視鏡５０のズームを変更することで、内視鏡画像１１０を拡大・縮小する形式を用いたが、操作者の操作指示により内視鏡画像１１０を画像処理などの他の手段を用いて拡大・縮小してもよい。
【００５１】
また、コントローラ２３が正常に動作しているかを監視するコントローラ監視装置２４は、コントローラ２３とは別の装置として構成したが、コントローラ監視装置２４の機能をソフトウェアとして、コントローラ２３の内部に組み込んでもよい。
【００５２】
【発明の効果】
本発明により、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その結果、撮影画面と操作指示を容易にかつすばやく比較することが可能となる。よって、効率的かつ安全な手術を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る医療用マニピュレータの操作用インタフェースを含む医療用マニピュレータを用いた手術システムの概略構成図である。
【図２】本発明の実施形態に係る医療用マニピュレータの構成図である。
【図３】本発明の実施形態に係る医療用マニピュレータの移動を示す構成図である。
【図４】本発明の実施形態に係る医療用マニピュレータの操作用インタフェースの動作を示すフローチャートである。
【図５】本発明の実施形態に係る医療用マニピュレータのリンク部の移動を示す構成図である。
【図６】本発明の第３実施形態であるディスプレイの表示画面である。
【図７】本発明の第３実施形態であるディスプレイの表示画面において、視野の移動指示を表示する画面図である。
【図８】本発明の第３実施形態であるディスプレイの表示画面において、ズームの変更指示を表示する画面図である。
【図９】本発明の第３実施形態であるディスプレイの表示画面において、警告を表示する画面図である。
【図１０】本発明の実施形態に係る医療用マニピュレータを用いた手術システムの機能ブロック図である。
【符号の説明】
１０…操作指示入力部
１２…術具スイッチ
２０…制御部
２３…コントローラ
３０…操作指示提示部
３１…スーパーインポーザ
３２…ディスプレイ
４０…マニピュレータ
５０…内視鏡
６０…患者
【発明の属する技術分野】
本発明は、カメラを用いた手術システムにおける画像表示方法および手術支援装置に関する。
【０００２】
【従来の技術】
カメラで撮影した画像を見ながら行う内視鏡手術が知られている（例えば、特許文献１参照。）。従来、この内視鏡手術は、かん子等の術具を操作して手術を行う術具の操作者とカメラの操作者とが異なっていた。従って、術具の操作者が望むようにカメラを操作することが困難であった。
【０００３】
このため、術具の操作者がカメラの操作スイッチを操作することで、術具の操作と併せてカメラの操作も行えるようにしたシステムが開発されている。例えば、術具の操作者がカメラの操作スイッチの右ボタンを押下するとカメラの撮像範囲が右に移動し、左ボタンを押下するとカメラの撮像範囲が左に移動し、上ボタンを押下するとカメラの撮像範囲が上に移動し、下ボタンを押下するとカメラの撮像範囲が下に移動するようなシステムが開発されている。
【０００４】
【特許文献１】
特開平１０−１１８０１５号公報
【０００５】
【発明が解決しようとする課題】
しかし、術具の操作者は自分が操作するカメラが撮影した画像を注視しながら手術を行っている。このため、カメラの操作スイッチを目視して確認するまでもなく、どのような操作指示がカメラの操作スイッチを介してカメラになされているのか、つまり、カメラの操作に関して自分が実際にどのようなスイッチ操作を行っているのかを容易に確認することができれば大変都合がよい。また、このような内視鏡手術は、術具の操作者と何人もの医療スタッフとが協調して手術を行うが、術具の操作者の意思などが迅速に各医療スタッフに伝達されるようにできると大変都合がよい。
【０００６】
そこで本発明は、上記を鑑み、カメラを用いた手術システムにおいて、カメラの操作が容易に確認でき、効率的かつ円滑な医療作業を実現することを目的として考えられたものである。
【０００７】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、術具を操作しつつスイッチを操作してカメラの撮像範囲の移動を行い、該カメラが撮影した画面を見ながら行う手術に用いられる画面表示装置における画像表示方法であって、前記スイッチにより撮像範囲を移動する操作を行うと、移動方向に対応した方向指示を画面上に表示し、前記スイッチにより該カメラが撮影した画像を拡大・縮小する操作を行うと、前記拡大・縮小に対応した拡大又は縮小の指示を画面上に表示することを特徴とする。かかる方法によれば、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その他の解決手段については、以下の実施形態で詳細に説明するものとする。
【０００８】
【発明の実施の形態】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第１実施形態について、図面を参照して詳細に説明する。
【０００９】
まず、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースを含む医療用マニピュレータを用いた手術システムの構成について、図１〜図３を参照して説明する。
【００１０】
図１に示すように、医療用マニピュレータを用いた手術システムは、人間がカメラを操作する代わりに、医療用マニピュレータを用いてカメラを操作する機能を有する。このため、医療用マニピュレータを用いた手術システムは、操作者の操作指示を入力する操作指示入力部１０と、操作指示入力部１０より入力された操作指示に基づいてマニピュレータ４０を制御する制御部２０と、制御部２０より伝達された操作指示を提示する操作指示提示部３０と、操作者の操作指示により操作されるマニピュレータ４０と、マニピュレータ４０により撮像方向（視野）が移動されるカメラである内視鏡５０とを含んで構築されている。内視鏡５０は、患者６０の身体に開けられた挿入孔６１に嵌挿されたトラカールＴＣを介して体内に挿通され、患者６０の体内を撮影する。なお、制御部２０は、請求項の「手術支援装置」に相当する。
【００１１】
操作指示入力部１０は、マニピュレータ４０の操作者からの操作指示を入力する機能を有し、操作者が手術を行う際に用いる術具である鉗子１１と、マニピュレータ４０を用いて内視鏡５０を操作するために入力する操作指示を受けて制御部２０へと操作指示を伝送する術具スイッチ１２とを有する。つまり、操作指示入力部１０は、鉗子１１に術具スイッチ１２が取り付けられる構成である。なお、鉗子１１は、内視鏡５０用の挿入孔６１とは異なる別の挿入孔に嵌挿された別のトラカール（図示外）を介して、患者６０の体内に挿入される。ちなみに、術具スイッチ１２は、請求項のスイッチに相当する。
【００１２】
制御部２０は、操作者からの操作指示を操作指示提示部３０およびマニピュレータ４０に中継する機能を有する。このため制御部２０は、内視鏡５０を体内への挿入孔６１に固定するまでの、内視鏡５０の大まかな位置を決めるために操作される手動操作ペンダントスイッチ２１と、患者６０の発作などの緊急時にマニピュレータ４０の制御を停止する非常停止ペンダントスイッチ２２と、術具スイッチ１２、手動操作ペンダントスイッチ２１、並びに非常停止ペンダントスイッチ２２からの入力を受け、操作指示提示部３０およびマニピュレータ４０に中継するコントローラ２３と、コントローラ２３が正常に動作しているかを監視するコントローラ監視装置２４とを有する。
【００１３】
操作指示提示部３０は、操作指示入力部１０からの操作指示と内視鏡５０からの撮影画像を医療作業者に提示する手段を有し、操作指示入力部１０からの操作指示と内視鏡５０からの撮影画像を１つの画像に合成するスーパーインポーザ３１と、スーパーインポーザ３１が合成した画面を医療作業者に提示するディスプレイ３２とを有する。なお、操作指示入力部１０、制御部２０、並びに、操作指示提示部３０は、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースを構成する。
【００１４】
マニピュレータ４０は、人間に代わって内視鏡５０を操作指示により操作する機能を有する。このため、マニピュレータ４０は、図２に示すように、マニピュレータ４０の高さを調整する昇降装置４１と、モータなどの駆動手段により構成されるリンク駆動部４２と、リンク駆動部４２に接続され、リンク駆動部４２の駆動に連動して形を変えるリンク部４３と、リンク駆動部４２の駆動を監視するエンコーダ４４と、関節で接続されたアームで構成され、手動によって関節の角度を変化されることで形を変えるフレキシブルアーム４５と、内視鏡５０を把持する内視鏡ホルダ４６と、内視鏡５０のズーム部を回転させる内視鏡ホルダのモータ４７とを有する。なお、フレキシブルアーム４５は、一端をリンク部４３と接続され、別の一端を内視鏡ホルダ４６に接続されている。
【００１５】
内視鏡５０は、光学式かつズーム機能を有することで、患者の体内を撮影し、撮影画像をスーパーインポーザ３１に送る機能を有し、その先端が、内視鏡固定具５１により体内への挿入孔６１に固定されている。内視鏡５０の移動について、図３を参照して説明する。図３は、内視鏡５０が、５０Ａの位置から５０Ｂの位置に移動する様子を示す。内視鏡５０の移動は、内視鏡固定具５１を中心とした内視鏡５０の回転運動（２次元方向の首振り運動）となる。それにより、内視鏡５０と体内への挿入孔６１との角度が変化することで、図３に示すように、内視鏡５０の視野が変化する。この構成では、内視鏡５０の先端は、内視鏡固定具５１を中心にして曲面を描くように運動（２次元方向の首振り運動）する。体内の方向（奥行き方向）への運動は、安全を考慮したことにより、ズーム機能により仮想的に行うこととしている。
【００１６】
次に図１〜図３、及び図５を参照しつつ、医療用マニピュレータの操作用インタフェースの動作を、図４に沿って説明する。図４は、医療用マニピュレータを用いた手術システムについて、時系列に、処理及び通信を説明したフローチャートである。
【００１７】
まず、手術システムは、医療スタッフに、手術を行う前準備（Ｓ１０１）を行わせる。具体的には、手術システムは、医療スタッフに、内視鏡ホルダ４６と内視鏡固定具５１に内視鏡５０を把持させ、鉗子１１などの術具に術具スイッチ１２を装着させる。これにより、手術システムは、術具スイッチ１２の操作者に、内視鏡５０の操作と同時に片手に術具としての鉗子１１を、もう一方の片手に他の術具（ハサミなど）を用いた手術を行わせることが可能となる。
【００１８】
次に、医療スタッフは、手術を行う際に、患者６０の体内への挿入孔６１に内視鏡５０の先端を挿入して固定することで、内視鏡５０の位置決めを行う（Ｓ１０２）。具体的には、まず、医療スタッフは、昇降装置４１を手動操作ペンダントスイッチ２１によって操作することで、マニピュレータ４０の高さを調整する。次に、医療スタッフは、フレキシブルアーム４５の関節を手動により調整することで、フレキシブルアーム４５の形を決め、フレキシブルアーム４５の先端である内視鏡ホルダ４６に取り付けられた内視鏡５０の位置を決める。そして、医療スタッフは、内視鏡５０の先端を体内への挿入孔６１に挿入し、内視鏡固定具５１を用いて、体内への挿入孔６１に内視鏡５０を固定させる。以上で、体内への挿入孔６１に内視鏡５０を固定させる手順を説明した。体内への挿入孔６１への内視鏡５０の固定手順は、内視鏡５０の位置を変更する度に、繰り返される。内視鏡５０の位置を変更する契機は、例えば、仰向けから横向きなどの患者６０の姿勢の移動、体内への挿入孔６１について別の挿入孔への変更、並びに、リンク部４３を操作させて得られる視野を超えた視野を確保すること、が挙げられる。
【００１９】
そして、操作者は、術具スイッチ１２を用いて、内視鏡５０の操作を指示する（Ｓ１０３）。操作指示とは、例えば、視野の移動又はズームの変更である。さらに、術具スイッチ１２からの操作指示を受信したコントローラ２３は、受信した操作指示によりマニピュレータ４０を制御するとともに、受信した操作指示を時系列に記憶する（Ｓ１０４）。記憶された操作指示は、随時参照可能である。なお、記憶された操作指示は、例えば、コントローラ２３が有するボタンを連続して１０回ＯＮ・ＯＦＦを繰り返すと、ディスプレイ３２または他のコンピュータの画面に出力される。
【００２０】
また、操作者が把持する術具スイッチ１２は、鉗子１１による手術作業により、向きが変わることがある。そこで、コントローラ２３は、術具スイッチ１２から操作指示を受信すると、予め設定された変換形式を参照して、操作指示をその変換形式に基づいて変換し、変換された操作指示によりマニピュレータ４０を制御してもよい。これにより、操作者は、術具スイッチ１２の向きによる影響を受けずに、術具スイッチ１２から操作を指示できる。なお、コントローラ２３に予め設定された変換形式は、請求項の「所定の変換形式」に相当する。以下、操作指示の内容ごとに（Ｓ１０５）動作を説明する。
【００２１】
まず、内視鏡５０の視野の移動（Ｓ１０６）について、図５を参照して説明する。術具スイッチ１２が有する上下左右のボタンを押すと、押されたボタンに関する指示が術具スイッチ１２からコントローラ２３に伝達される。コントローラ２３は、伝達された指示に対応してマニピュレータ４０のリンク駆動部４２を制御する。リンク駆動部４２は、コントローラ２３からの制御により、リンク部４３と接続されている関節を回転させる。関節の回転によって、リンク部４３は形を変形させ、リンク部４３の先端に接続されているフレキシブルアーム４５を通じて、内視鏡ホルダ４６の位置が変化する。ここで、内視鏡ホルダ４６に把持されている内視鏡５０の先端近傍は内視鏡固定具５１により固定されているので、内視鏡５０は、内視鏡固定具５１を中心とした回転運動（２次元方向の首振り運動）を行う。よって、回転運動（２次元方向の首振り運動）により、内視鏡５０の視野が移動する（Ｓ１０６）。
【００２２】
次に、内視鏡５０のズームの変更（Ｓ１０７）について説明する。操作者が、術具スイッチ１２が有するズーム変更を示す拡大または縮小のボタンを押すと、押されたボタンに関する指示が術具スイッチ１２からコントローラ２３に伝達される。コントローラ２３は、伝達された指示により、内視鏡ホルダのモータ４７を制御する。内視鏡ホルダのモータ４７は、コントローラ２３からの制御により、内視鏡５０と接続されている接点を回転させる。接点の回転によって、内視鏡５０のレンズの焦点は移動し、内視鏡５０のズームは変更される（Ｓ１０７）。
【００２３】
また、内視鏡５０への操作指示が行われない場合は（Ｓ１０５、なし）、内視鏡５０は固定されたままとなる。これにより、内視鏡５０を前後方向（体内方向）に仮想的に移動することができる。つまり、撮像対象部位（手術野）の拡大撮影が可能になる。
【００２４】
内視鏡５０は、視野の移動又はズームの変更により、操作者の所望の撮影画像をスーパーインポーザ３１に出力する（Ｓ１０８）。また、コントローラ２３は、術具スイッチ１２からの操作指示を画像化して、スーパーインポーザ３１に出力する。スーパーインポーザ３１は、入力された内視鏡５０の撮影画像と、術具スイッチ１２からの操作指示とを合成し（Ｓ１０９）、ディスプレイ３２に出力する。ディスプレイ３２は、スーパーインポーザ３１から出力された画像を画面に表示する（Ｓ１１０）。なお、内視鏡の操作指示（Ｓ１０３）から画面の表示（Ｓ１１０）までの動作は、操作者が手術システムを停止させるまで繰り返される（Ｓ１１１、Ｎｏ）。以上、医療用マニピュレータの操作用インタフェースの動作を説明した。
【００２５】
以上、本発明の第１実施形態について説明した。かかる方法によれば、カメラの操作者だけでなく、医療現場にいるスタッフが操作指示を把握できる。それにより、カメラの操作指示に対応した医療作業が容易に実行でき、医療現場にいるスタッフは医療作業を効率よく分担できる。また、操作指示の記録により、カメラの操作後に制御情報を参照することができる。その結果、制御情報の追跡をすることで、医療作業後の制御情報の入力が確認できる。さらに、操作者は、カメラの操作手段の向きに依存しない、容易な操作を実現できる。
【００２６】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第２実施形態について説明する。第２実施形態は、上記第１実施形態において、起こりうる緊急の事態とその対処法を行う動作を付加するもので、医療用マニピュレータを用いた手術システムの構成要素および正常時の動作は第１実施形態と同様とする。従って、第１実施形態と同様の構成要素および動作については、同じ符号を付して説明を省略する。
【００２７】
以下、図１〜図４を参照して説明する。まず、手術を行う前準備（Ｓ１０１）として、第１実施形態で述べた準備に加えて、手術システムは、コントローラ２３に、内視鏡５０を操作するのに用いられるマニピュレータ４０が操作可能かを、例えば、コントローラ２３が点検用の制御信号を送信することにより点検させる。制御信号を受信する点検対象は、術具スイッチ１２、リンク駆動部４２、内視鏡ホルダのモータ４７、並びに、エンコーダ４４である。なお、エンコーダ４４は、リンク駆動部４２の不具合を発見する手段として使用され、リンク駆動部４２と一体構造になっている（図２および図３参照）。これにより、手術システムは、例えば、リンク駆動部４２がコントローラ２３からの制御指示を受け付けないなどの動作不良を、操作者に手術前に知らせることができる。なお、上記の点検は、コントローラ２３の電源投入時又は操作者がコントローラ２３に点検を指示する時を契機として行われる。ここで、手術システムが動作不良を操作者に知らせる一例を示す。手術システムは、電源を入れて動作可能になるまでの間に自己診断を実施しており、その時点で不具合が発見されると動作を中断する。また、手術システムは、動作中にも手術システムを構成する装置の状況を常時監視するステータスモニターが作動しているため、この時に不具合が発見されると、手術システムは停止する。これら、不具合発見時にはディスプレイ３２にアラーム情報として、文字が表示される。
【００２８】
次に、手術を行う際に、コントローラ２３が何らかの不都合により、暴走動作に陥る場合も考えられる（Ｓ１０６またはＳ１０７の動作不良）。その場合、患者への影響を最小限に抑えるため、コントローラ２３は、外部からの指示により、緊急に停止する機能を有する。そして、コントローラ監視装置２４は、コントローラ２３の暴走動作を監視し、暴走動作を検知したことを契機に、コントローラ２３を停止させる。なお、コントローラ監視装置２４は、コントローラ２３の監視を定期的に行うために、ある一定時間毎に相互で通信を行う。この通信が途切れた時点で、コントローラ監視装置２４は、装置の故障、ハングアップ等の不正動作が発生したことが分かる。
【００２９】
さらに、手術中に、患者６０の発作などにより、内視鏡５０への操作を緊急に停止させる必要がある場合も考えられる（Ｓ１０３の操作指示の停止）。その場合、コントローラ２３は、非常停止ペンダントスイッチ２２が押されたのを契機に、マニピュレータ４０の動作である、昇降装置４１、リンク駆動部４２、並びに、内視鏡ホルダのモータ４７の動作を、術具スイッチ１２及び手動操作ペンダントスイッチ２１からの動作指示に係らず、電源供給を遮断して緊急に停止する。そして、患者６０の発作などの緊急事態が収まったら、コントローラ２３の電源を再起動することで、緊急停止を解除できる。なお、緊急時に、リンク駆動部４２は固定される。
【００３０】
また、術具スイッチ１２の操作者は、術具スイッチ１２の操作と並行して鉗子１１を用いて手術を行うので、マニピュレータ４０の可動範囲を超えた術具スイッチ１２の操作を行ってしまうことも考えられる（Ｓ１０３の操作指示のミス）。その場合、コントローラ２３は、マニピュレータ４０の可動範囲を監視し、可動範囲を超えた場合に、ブザーなどの警告を発するとともに、手動操作ペンダントスイッチ２１又は術具スイッチ１２からの操作指示に係らず、マニピュレータ４０への制御を停止する。なお、コントローラ２３は、エンコーダ４４を用いて、リンク駆動部４２のモータの回転を監視する。コントローラ２３は、リンク部４３の可動範囲を超える動作が指示された場合又は運転中に出力軸が拘束された場合を、エンコーダ４４などにより検知すると、ブザーなどの警告を発し、緊急停止する。
【００３１】
以上、本発明の第２実施形態について説明した。かかる方法によれば、操作者は、コントローラ２３による可動範囲を超えた操作を警告する機能により、カメラの操作中にカメラの可動範囲を知ることができる。また、操作者は、手術システムの点検機能により、医療作業前に確実にカメラを制御できる。さらに、医療スタッフは、コントローラ２３の緊急に停止する機能により、手術の状況に応じ、柔軟に手術システムを使用できる。
【００３２】
以下に、本実施形態のカメラを用いた手術システムにおける画像表示方法および手術支援装置を具現化した、医療用マニピュレータの操作用インタフェースにおける第３実施形態について説明する。第３実施形態は、上記第１実施形態において、ディスプレイ３２に表示される画像内容をより具体的に説明するものである。従って、医療用マニピュレータを用いた手術システムの構成要素および正常時の動作は第１実施形態と同様とし、第１実施形態と同様の構成要素および動作については、同じ符号を付して説明を省略する。
【００３３】
図６にディスプレイ３２に出力される（Ｓ１１０）表示画面を示す。表示画面１００は、内視鏡５０により撮影された内視鏡画像１１０が、画面中央に表示されている。表示画面１００では、術具スイッチ１２からの操作指示が行われていないので、内視鏡画像１１０のみの表示となる。
【００３４】
次に、術具スイッチ１２から視野の移動を指示する場合の表示画面を図７に示す。表示画面１００Ａは、視野を左に移動する指示を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、視野を左に移動する指示を示す指示印１２０Ａが、内視鏡画像１１０の左に配置されている。これにより、操作者が視野を左に移動していることを、操作者を含めた医療スタッフが確認できる。また、視野を右に移動する指示については、表示画面１００Ｂにおいて、視野を右に移動する指示を示す指示印１２０Ｂを内視鏡画像１１０の右に表示させることで、操作者が視野を右に移動していることを、操作者を含めた医療スタッフが確認できる。さらに、表示画面１００Ｃは、横方向の視野移動と縦方向の視野移動とが同時に指示された場合に表示される。例えば、右と上とが同時に指示されると、右上に移動することを示す指示印１２０Ｃが、内視鏡画像１１０の右上に配置される。同様にして、指示印１２０Ｄは右下への視野移動を、指示印１２０Ｅは左上への視野移動を、並びに、指示印１２０Ｆは左下への視野移動をそれぞれ示す。
【００３５】
そして、術具スイッチ１２からズームの変更を指示する場合の表示画面を図８に示す。表示画面１００Ｄは、拡大のズーム操作を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、内視鏡画像１１０の左右両脇に、拡大する指示を示す指示印１２０Ｇが配置されている。指示印１２０Ｇは、内視鏡画像１１０の中心の方向を指すことにより、操作者が拡大のズーム操作を行っていることを、操作者を含めた医療スタッフが確認できる。また、表示画面１００Ｅは、縮小のズーム操作を行っている間に表示される。中央に配置されている内視鏡画像１１０に加えて、内視鏡画像１１０の左右両脇に、縮小する指示を示す指示印１２０Ｈが配置されている。指示印１２０Ｈは、内視鏡画像１１０から外側の方向を指すことにより、操作者が縮小のズーム操作を行っていることを、操作者を含めた医療スタッフが確認できる。
【００３６】
また、マニピュレータ４０の警告を通知する表示画面を図９に示す。ここで警告とは、例えば、可動範囲を超えた術具スイッチ１２の操作が行われた際に、その旨を警告することである。表示画面１００は、内視鏡画像１１０に加え、警告の内容１３０を表示する。これにより、医療スタッフは、表示画面１００から警告の内容１３０を知ることができ、警告の内容１３０に応じた適切な処置をすばやく行うことが可能となる。
【００３７】
以上、本発明の第３実施形態について説明した。かかる方法によれば、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その結果、撮影画面と操作指示を容易にかつすばやく比較することが可能となる。また、操作者は、カメラの操作中にカメラの可動範囲を知ることができる。
【００３８】
なお、図１０に本実施形態のカメラを用いた手術システムにおける機能ブロック図を示す。本機能ブロック図は、カメラを用いた手術システムの構成要素と、その構成要素によって実現される各機能との包含関係を示している。
【００３９】
まず、術具スイッチ１２が実現する機能は、リンク部４３の動作を入力するリンク部動作機能、および、内視鏡５０の動作を入力する内視鏡動作機能である。
【００４０】
次に、手動操作ペンダントスイッチ２１が実現する機能は、昇降装置４１の動作を入力する昇降装置動作機能、リンク部４３を手動で可動させることを許可するリンク部手動可動機能、ならびに、リンク部４３を原点に移動するリンク部原点移動機能である。さらに、非常停止ペンダントスイッチ２２が実現する機能は、非常時に本実施形態のカメラを用いた手術システムを停止させる非常停止入力機能である。
【００４１】
そして、制御部２０および操作指示提示部３０が実現する機能は、カメラの制御情報を伝達する昇降装置、リンク駆動装置の昇降、リンク動作制御機能、カメラの制御情報のログを記録するログデータ記録機能、操作指示を提示する情報提示機能、コントローラ２３の不良状態を監視するＨ／Ｗ状態監視機能、緊急使用時の動作不良を未然に防ぐための定期的な動作点検に使用するＤｉａｇ機能、ならびに、本実施形態のカメラを用いた手術システムの電源を投入する際に手術システムの動作を確認する始業前点検機能である。
【００４２】
さらに、マニピュレータ４０および内視鏡固定具５１が実現する機能は、昇降装置４１の位置を決める昇降位置決め機能、リンク部４３を動作させるためにリンク駆動部４２が動作するリンク部動作機能、フレキシブルアーム４５が内視鏡５０を把持する内視鏡保持機能、ならびに、フレキシブルアーム４５が内視鏡５０の位置を決める内視鏡位置決め機能である。
【００４３】
以上説明した本発明は、発明の趣旨を逸脱しない範囲で広く変形実施することができる。
【００４４】
例えば、内視鏡５０に操作を指示するための入力手段として、鉗子１１に取り付けられた術具スイッチ１２を用いたが、鉗子１１以外の術具に術具スイッチ１２を取り付けてもよく、また、予め術具スイッチ１２を備え付けてある任意の術具を用いてもよい。さらに、術具ではなく、操作者の体の一部にスイッチを取り付け、操作者の体の動きにより、操作指示を与える形式としてもよい。
【００４５】
また、操作者の操作指示による内視鏡５０の視野移動及びズームの速度について、操作が指示された時間に一定の速度でも、可変の速度でもよい。可変の速度とは、例えば、内視鏡５０の急な移動により患者の体内に接触することを防ぐために、操作指示が行われてから一定時間は速度を遅くし、一定時間が過ぎた後は、速度を早める、などである。
【００４６】
さらに、操作者の操作指示により操作者の所望の映像を写す手段として、マニピュレータ４０によって視野移動及びズームの変更を行う内視鏡５０を用いたが、操作者が操作するスイッチから、内視鏡５０に視野移動及びズームの変更を行う機能を、内視鏡５０にもたせてもよいし、内視鏡５０以外の撮影手段を用いてもよい。
【００４７】
また、ディスプレイ３２において表示される内視鏡画像１１０と内視鏡５０への指示印及び警告内容について、同一の画面に表示する形式を用いたが、別々の画面に表示してもよい。また、特定の内視鏡５０への指示印及び警告内容について、画面で表示するかわりに、発光装置による光で表示し、指示内容または警告内容ごとに光の色をかえてもよい。また、画面で表示するかわりに、指示内容または警告内容ごとに、特定の音またはメロディを発するようにしてもよい。
【００４８】
さらに、ディスプレイ３２において表示される内視鏡画像１１０と内視鏡５０への指示印及び警告内容について、移動方向並びに拡大または縮小の動作を、四角形を用いて表現したが、文字表示など他の手段を用いて表現してもよい。また、警告内容について、文字表示により表現したが、記号など他の表現手段を用いて表現してもよい。ここで、文字表示とは、例えば、移動方向の上下左右に対応して、漢字表記（上・下・左・右）または英語の頭文字表記（Ｕ・Ｄ・Ｌ・Ｒ）である。
【００４９】
また、内視鏡５０に操作を指示するための入力パラメータとして、視野の移動及びズームの変更を例示したが、内視鏡５０の視野に十分な明るさを確保するための光源を内視鏡５０が与える場合の光の量など、他のパラメータを含めてもよい。
【００５０】
さらに、マニピュレータ４０によって内視鏡５０のズームを変更することで、内視鏡画像１１０を拡大・縮小する形式を用いたが、操作者の操作指示により内視鏡画像１１０を画像処理などの他の手段を用いて拡大・縮小してもよい。
【００５１】
また、コントローラ２３が正常に動作しているかを監視するコントローラ監視装置２４は、コントローラ２３とは別の装置として構成したが、コントローラ監視装置２４の機能をソフトウェアとして、コントローラ２３の内部に組み込んでもよい。
【００５２】
【発明の効果】
本発明により、操作者を含めた医療スタッフは、カメラからの撮影画面より、操作指示を直接参照できる。その結果、撮影画面と操作指示を容易にかつすばやく比較することが可能となる。よって、効率的かつ安全な手術を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る医療用マニピュレータの操作用インタフェースを含む医療用マニピュレータを用いた手術システムの概略構成図である。
【図２】本発明の実施形態に係る医療用マニピュレータの構成図である。
【図３】本発明の実施形態に係る医療用マニピュレータの移動を示す構成図である。
【図４】本発明の実施形態に係る医療用マニピュレータの操作用インタフェースの動作を示すフローチャートである。
【図５】本発明の実施形態に係る医療用マニピュレータのリンク部の移動を示す構成図である。
【図６】本発明の第３実施形態であるディスプレイの表示画面である。
【図７】本発明の第３実施形態であるディスプレイの表示画面において、視野の移動指示を表示する画面図である。
【図８】本発明の第３実施形態であるディスプレイの表示画面において、ズームの変更指示を表示する画面図である。
【図９】本発明の第３実施形態であるディスプレイの表示画面において、警告を表示する画面図である。
【図１０】本発明の実施形態に係る医療用マニピュレータを用いた手術システムの機能ブロック図である。
【符号の説明】
１０…操作指示入力部
１２…術具スイッチ
２０…制御部
２３…コントローラ
３０…操作指示提示部
３１…スーパーインポーザ
３２…ディスプレイ
４０…マニピュレータ
５０…内視鏡
６０…患者
Claims (8)
- 術具を操作しつつスイッチを操作してカメラの撮像範囲の移動を行い、該カメラが撮影した画面を見ながら行う手術に用いられる画面表示装置における画像表示方法であって、前記スイッチにより撮像範囲を移動する操作を行うと、移動方向に対応した方向指示を画面上に表示し、前記スイッチにより該カメラが撮影した画像を拡大・縮小する操作を行うと、前記拡大・縮小に対応した拡大又は縮小の指示を画面上に表示することを特徴とするカメラを用いた手術システムにおける画像表示方法。
- 前記画面表示方法は、前記スイッチによるカメラへの操作指示と、前記カメラからの撮影画面とを合成して提示することを特徴とする請求項１に記載のカメラを用いた手術システムにおける画像表示方法。
- 前記画面表示方法は、前記カメラの動作に関するエラー表示を含めて撮影画面に提示することを特徴とする請求項１または請求項２に記載のカメラを用いた手術システムにおける画像表示方法。
- 術具を操作しつつスイッチを操作してカメラの撮像範囲の移動を行い、該カメラが撮影した画面を見ながら行う手術に用いられる手術支援装置において、前記手術支援装置は、前記カメラへの操作指示を時系列に記録し、記録された前記操作指示を参照可能とする手段を備えることを特徴とするカメラを用いた手術システムにおける手術支援装置。
- 前記手術支援装置は、前記カメラの操作指示を所定の変換形式に従って変換し、変換された前記操作指示を用いてカメラを操作する手段を備えることを特徴とする請求項４に記載のカメラを用いた手術システムにおける手術支援装置。
- 前記手術支援装置は、前記カメラの動作を監視し、動作の可動範囲を超えた場合に前記画面に可動範囲を超えたことを提示させる手段を備えることを特徴とする請求項４または請求項５に記載のカメラを用いた手術システムにおける手術支援装置。
- 前記手術支援装置は、カメラが制御可能かを点検する手段を備えることを特徴とする請求項４ないし請求項６のいずれか１項に記載のカメラを用いた手術システムにおける手術支援装置。
- 前記手術支援装置は、前記スイッチからの操作指示に係わりなく、前記カメラへの制御を停止する非常停止機能を含む手段を備えることを特徴とする請求項４ないし請求項７のいずれか１項に記載のカメラを用いた手術システムにおける手術支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273652A JP2004105539A (ja) | 2002-09-19 | 2002-09-19 | カメラを用いた手術システムにおける画像表示方法および手術支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273652A JP2004105539A (ja) | 2002-09-19 | 2002-09-19 | カメラを用いた手術システムにおける画像表示方法および手術支援装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004105539A true JP2004105539A (ja) | 2004-04-08 |
Family
ID=32270357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002273652A Withdrawn JP2004105539A (ja) | 2002-09-19 | 2002-09-19 | カメラを用いた手術システムにおける画像表示方法および手術支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004105539A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004105533A (ja) * | 2002-09-19 | 2004-04-08 | Olympus Corp | 内視鏡外科システム |
| JP2006325940A (ja) * | 2005-05-26 | 2006-12-07 | Olympus Medical Systems Corp | 手術装置 |
| WO2011118074A1 (ja) * | 2010-03-23 | 2011-09-29 | オリンパス株式会社 | 医療用マニピュレータシステム |
| JP2011206180A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 操作入力装置およびマニピュレータシステム |
| CN101753817B (zh) * | 2008-12-17 | 2012-09-26 | 索尼株式会社 | 成像设备、图像处理设备和缩放控制方法 |
| JP7026988B1 (ja) * | 2020-10-27 | 2022-03-01 | リバーフィールド株式会社 | 手術支援装置 |
| CN115697178A (zh) * | 2020-10-27 | 2023-02-03 | 瑞德医疗机器股份有限公司 | 手术支援装置 |
-
2002
- 2002-09-19 JP JP2002273652A patent/JP2004105539A/ja not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004105533A (ja) * | 2002-09-19 | 2004-04-08 | Olympus Corp | 内視鏡外科システム |
| JP2006325940A (ja) * | 2005-05-26 | 2006-12-07 | Olympus Medical Systems Corp | 手術装置 |
| CN101753817B (zh) * | 2008-12-17 | 2012-09-26 | 索尼株式会社 | 成像设备、图像处理设备和缩放控制方法 |
| CN102802553A (zh) * | 2010-03-23 | 2012-11-28 | 奥林巴斯株式会社 | 医疗用机械手系统 |
| JP2011194163A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 医療用マニピュレータシステム |
| WO2011118074A1 (ja) * | 2010-03-23 | 2011-09-29 | オリンパス株式会社 | 医療用マニピュレータシステム |
| EP2550926A1 (en) * | 2010-03-23 | 2013-01-30 | Olympus Corporation | Medical manipulator system |
| EP2550926A4 (en) * | 2010-03-23 | 2014-04-16 | Olympus Corp | MEDICAL HANDLING SYSTEM |
| CN102802553B (zh) * | 2010-03-23 | 2015-08-05 | 奥林巴斯株式会社 | 医疗用机械手系统 |
| JP2011206180A (ja) * | 2010-03-29 | 2011-10-20 | Olympus Corp | 操作入力装置およびマニピュレータシステム |
| US8681095B2 (en) | 2010-03-29 | 2014-03-25 | Olympus Corporation | Operation input unit and manipulator system |
| JP7026988B1 (ja) * | 2020-10-27 | 2022-03-01 | リバーフィールド株式会社 | 手術支援装置 |
| WO2022091209A1 (ja) * | 2020-10-27 | 2022-05-05 | リバーフィールド株式会社 | 手術支援装置 |
| CN115697178A (zh) * | 2020-10-27 | 2023-02-03 | 瑞德医疗机器股份有限公司 | 手术支援装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3834768B1 (en) | Augmented reality headset with varied opacity for navigated robotic surgery | |
| AU2022252697B2 (en) | Methods and systems for providing assistance to a user of a surgical robot system | |
| KR102363661B1 (ko) | 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법 | |
| JP3938700B2 (ja) | 電動湾曲内視鏡装置 | |
| JP5160025B2 (ja) | 手術システム | |
| WO2017187795A1 (ja) | 制御装置、制御方法及び手術システム | |
| JP2009148859A (ja) | マニピュレータシステム及びマニピュレータの制御方法 | |
| JP5313271B2 (ja) | 内視鏡ビデオシステム | |
| JP2009056164A (ja) | 医療用マニピュレータシステム | |
| JP2005111080A (ja) | 手術支援システム | |
| US11653826B2 (en) | Medical observation system, control method, and program in which illumination light is controlled in accordance with a usage state of an image sensor | |
| JP2021129984A (ja) | 予定の器具アタッチメントの仮想モデルの表示により物理的器具アタッチメントの正しい選択を確実にする | |
| WO2018100828A1 (ja) | 顕微鏡装置及び制御方法 | |
| JP2019042412A5 (ja) | ||
| JP2004105539A (ja) | カメラを用いた手術システムにおける画像表示方法および手術支援装置 | |
| US20200015655A1 (en) | Medical observation apparatus and observation visual field correction method | |
| US8770756B2 (en) | Ophthalmic apparatus | |
| JP2003325436A (ja) | 内視鏡手術装置 | |
| JP2001275931A (ja) | 医療システム | |
| US20200170731A1 (en) | Systems and methods for point of interaction displays in a teleoperational assembly | |
| JP4398339B2 (ja) | 頭部装着用照明器具 | |
| JP5800609B2 (ja) | 医療用マスタスレーブマニピュレータ | |
| JP4436495B2 (ja) | 手術用観察システム | |
| JP7405136B2 (ja) | ケーブル、報知方法 | |
| JP2000185022A (ja) | Ｍｒｉ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060210 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061219 |