JP2022120451A - 手術システムおよび表示方法 - Google Patents

Abstract

【課題】操作者が、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することが可能な手術システムを提供する。【解決手段】この外科手術システム１００（手術システム）では、画像処理装置８は、医療器具４０１および医療器具４０２の少なくともいずれかが内視鏡６の視野外に位置している場合に、患者Ｐの体を示すグラフィックＰＧとともに、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２および医療器具４０２の先端位置Ｐ２２をグラフィカルユーザインターフェイスＧに表示するように構成されている。【選択図】図２０

Description

この発明は、手術システムおよび表示方法に関し、特に、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示装置に表示する手術システムおよび表示方法に関する。

従来、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示するロボット手術システムが知られている（たとえば、特許文献１参照）。

上記特許文献１のロボット手術システムでは、内視鏡は、モニタの表示領域に表示するための手術部位の画像を撮影する。また、このロボット手術システムでは、内視鏡によって撮影された画像（視野）に対するツールの現在の位置が決定される。内視鏡によって撮影された画像（視野）内にツールが映っている場合には、手術部位とともにツールがモニタに表示される。また、決定されたツールの現在の位置がモニタに表示される画像（視野）の外にある場合、ツールの現在の位置が、モニタの画面の表示領域の外側にある境界領域に記号として表示される。

特開２０１３－１８８５７４号公報

ここで、上記特許文献１に記載のロボット手術システムでは、モニタに表示される画像（視野）の外にあるツールの現在の位置が、モニタの画面の表示領域の外側にある境界領域に記号として表示されるので、操作者は、ツールがモニタに表示される画像（視野）の外に位置していること自体を認識することは可能である。その一方、モニタに表示される画像（視野）の外にあるツール（手術器具）の、患者の体に対する挿入位置と先端位置との関係を認識することはできなかった。また、操作者は、複数のツールのそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することもできなかった。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、操作者が、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することが可能な手術システムおよび表示方法を提供するものである。また、この発明の他の目的は、操作者が、複数の手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することが可能な手術システムおよび表示方法を提供するものである。

この発明の第１の局面による手術システムは、手術部位を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、および、第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、グラフィカルユーザインターフェイスを内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成された制御装置と、を備え、制御装置は、第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。

この発明の第１の局面による手術システムでは、上記のように、制御装置は、第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。これにより、操作者は、グラフィカルユーザインターフェイスを視認することにより、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することができる。また、操作者は、第１および第２手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することができる。

この発明の第２の局面による手術システムは、手術部位を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、および、第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、鉗子位置を表示装置に表示するための指令の入力を行う表示用入力装置と、グラフィカルユーザインターフェイスを内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成された制御装置と、を備え、制御装置は、表示用入力装置によって入力が行われた場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。

この発明の第２の局面による手術システムでは、上記のように、制御装置は、表示用入力装置によって入力が行われた場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。これにより、操作者は、第１および第２手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することができる。

この発明の第３の局面による手術システムは、第１手術器具を支持するための第１マニピュレータと、第２手術器具を支持するための第２マニピュレータと、手術部位を撮像する内視鏡を支持するための第３マニピュレータと、内視鏡によって撮像された画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、第２手術器具を操作するための第２操作ハンドル、および内視鏡の移動を第１操作ハンドルおよび第２操作ハンドルの操作によって実行させるための内視鏡ペダルを含む操作ペダルを備えた遠隔操作装置と、グラフィカルユーザインターフェイスを内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成された制御装置と、を備え、制御装置は、第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。

この発明の第３の局面による手術システムでは、上記のように、制御装置は、第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するように構成されている。これにより、操作者が、グラフィカルユーザインターフェイスを視認することにより、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することが可能な手術システムを提供することができる。また、操作者が、第１および第２手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することが可能な手術システムを提供することができる。

この発明の第４の局面による表示方法は、手術部位を撮像するための内視鏡によって撮像された画像を取得するステップと、グラフィカルユーザインターフェイスを生成し、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップと、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置していることを検出するステップと、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するステップと、を備える。

この発明の第４の局面による表示方法では、上記のように、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するステップを備える。これにより、操作者が、グラフィカルユーザインターフェイスを視認することにより、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することが可能な表示方法を提供することができる。また、操作者が、第１および第２手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することが可能な表示方法を提供することができる。

この発明の第５の局面によるプログラムは、鉗子位置に関する情報の表示をコンピュータに実行させるプログラムであって、コンピュータに、手術部位を撮像するための内視鏡によって撮像された画像を取得するステップと、グラフィカルユーザインターフェイスを生成し、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップと、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置していることを検出するステップと、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するステップと、を実行させる。

この発明の第５の局面によるプログラムは、上記のように、複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、第１手術器具の第１挿入位置、第１手術器具の第１先端位置、第２手術器具の第２挿入位置および第２手術器具の第２先端位置をグラフィカルユーザインターフェイスに表示するステップを備える。これにより、操作者が、グラフィカルユーザインターフェイスを視認することにより、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することが可能なプログラムを提供することができる。また、操作者が、第１および第２手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することが可能なプログラムを提供することができる。

本発明によれば、操作者が、内視鏡の視野外に位置している手術器具の、患者の体に対する挿入位置と先端位置との関係を認識することができる。また、操作者が、複数の手術器具のそれぞれについて、患者の体に対する挿入位置と先端位置との位置関係を認識することができる。

第１実施形態による外科手術システムの構成を示す図である。 第１実施形態による医療用マニピュレータの構成を示す図である。 第１実施形態による操作ハンドルの構成を示す図である。 第１実施形態によるフットペダルの構成を示す図である。 第１実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 第１実施形態による医療用マニピュレータの操作部の構成を示す斜視図である。 内視鏡を示す図である。 ピボット位置教示器具を示す図である。 アームの並進移動を説明するための図である。 アームの回転移動を説明するための図である。 第１実施形態による医療用マニピュレータの制御部の構成を示すブロック図である。 内視鏡によって取り込まれた画像、および、グラフィカルユーザインターフェイスを示す図である。 グラフィカルユーザインターフェイスのエリアを示す図である。 クラッチエリアの表示を説明するための図である。 医療器具状態情報エリアの表示を説明するための図である。 左ポップアップエリアの表示を説明するための図である。 右ポップアップエリアの表示を説明するための図である。 ４つのアームと、アームに取り付けられている医療器具（内視鏡）を示す図である。 医療器具の挿入位置と先端位置（医療器具の記号）を示す図である。 医療器具の挿入位置と先端位置（色付きの丸）を示す図である。 医療器具の挿入位置と先端位置（医療器具の記号および色付きの丸）を示す図である。 医療器具の挿入位置と先端位置（色付きの丸と矢印）を示す図である。 遠隔操作装置のタッチパネルの表示を説明するための図である。 第１実施形態による表示方法を説明するためのフロー図である。 第２実施形態による表示方法を説明するためのフロー図である。 第３実施形態による外科手術システムの構成を示す図である。 第３実施形態による表示方法を説明するためのフロー図である。 変形例による医療器具の挿入位置と先端位置を示す図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
図１～図２４を参照して、第１実施形態による外科手術システム１００の構成について説明する。外科手術システム１００は、患者Ｐ側装置である医療用マニピュレータ１と、医療用マニピュレータ１を操作するための操作者側装置である遠隔操作装置２とを備えている。医療用マニピュレータ１は医療用台車３を備えており、移動可能に構成されている。遠隔操作装置２は、医療用マニピュレータ１から離間した位置に配置されており、医療用マニピュレータ１は、遠隔操作装置２により遠隔操作されるように構成されている。操作者（医師など）は、医療用マニピュレータ１に所望の動作を行わせるための指令を遠隔操作装置２に入力する。遠隔操作装置２は、入力された指令を医療用マニピュレータ１に送信する。医療用マニピュレータ１は、受信した指令に基づいて動作する。また、医療用マニピュレータ１は、滅菌された滅菌野である手術室内に配置されている。なお、外科手術システム１００は、特許請求の範囲の「手術システム」の一例である。

遠隔操作装置２は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置２は、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、モニタ２４と、支持アーム２５と、支持バー２６とを含む。操作ハンドル２１は、操作者（医師など）が指令を入力するための操作用のハンドルを構成する。なお、モニタ２４は、特許請求の範囲の「表示装置」の一例である。

操作ハンドル２１は、医療器具４を操作するように構成されている。また、操作ハンドル２１は、医療器具４に対する操作量を受け付ける。操作ハンドル２１は、操作者（医師など）から見て、左側に配置され、操作者の左手により操作される操作ハンドル２１Ｌと、右側に配置され、操作者の右手により操作される操作ハンドル２１Ｒと、を含んでいる。なお、操作ハンドル２１Ｌおよび操作ハンドル２１Ｒは、それぞれ、特許請求の範囲の「第１操作ハンドル」および「第２操作ハンドル」の一例である。

また、図３に示すように、操作ハンドル２１は、リンク部２１ａ、リンク部２１ｂ、リンク部２１ｃ、および、操作者（医師など）が操作するリンク部２１ｄを含む。リンク部２１ａは、Ａ４軸周りに回動する。リンク部２１ａがＡ４軸周りに回動されることにより、後述するアーム部６１がＪＴ４軸周りに回動する。リンク部２１ｂは、リンク部２１ａに対して、Ａ５軸周りに回動する。リンク部２１ｂがＡ５軸周りに回動されることにより、後述するアーム部６１がＪＴ５軸周りに回動する。リンク部２１ｃは、リンク部２１ｂに対して、Ａ６軸周りに回動する。リンク部２１ｃがＡ６軸周りに回動されることにより、アーム部６１がＪＴ６軸周りに回動する。リンク部２１ｄは、リンク部２１ｃに対して、Ａ７軸周りに回動する。リンク部２１ｄがＡ７軸周りに回動されることにより、アーム部６１がＪＴ７軸周りに回動する。なお、医療器具４は、特許請求の範囲の「手術器具」の一例である。

また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対してアーム６０（医療器具４）の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、医療器具４は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。なお、アーム６０は、特許請求の範囲の「マニピュレータ」の一例である。

図４に示すように、フットペダル２２は、医療器具４に関する機能を実行するように複数設けられている。また、複数のフットペダル２２は、基台部２８に配置されている。フットペダル２２は、切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとを含んでいる。切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとは、操作者の足により操作される。また、切開ペダル２２ｄは、右側のアーム６０用の切開ペダル２２ｄＲと、左側のアーム６０用の切開ペダル２２ｄＬとを含む。また、凝固ペダル２２ｅは、右側のアーム６０用の凝固ペダル２２ｅＲと、左側のアーム６０用の凝固ペダル２２ｅＬとを含む。なお、フットペダル２２は、特許請求の範囲の「操作ペダル」の一例である。また、カメラペダル２２ｃは、特許請求の範囲の「内視鏡用入力装置」および「内視鏡ペダル」の一例である。

切替ペダル２２ａは、操作ハンドル２１で動作させるアーム６０を切り替えるように構成されている。クラッチペダル２２ｂは、アーム６０と操作ハンドル２１との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル２２ｂが操作者によって踏み込まれている間、操作ハンドル２１による操作が、アーム６０に伝達されなくなる。

また、第１実施形態では、カメラペダル２２ｃは、内視鏡６を移動させるための指令を入力するために設けられている。具体的には、カメラペダル２２ｃが操作者によって踏み込まれることにより、内視鏡６を移動させるための指令が入力される。また、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合（つまり、カメラペダル２２ｃが操作者によって踏み込まれている間）、内視鏡６は、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌの両方を操作することによって移動するように構成されている。

また、切開ペダル２２ｄ（凝固ペダル２２ｅ）が操作者によって踏み込まれている間、図示しない電気手術装置が起動する。

図１に示すように、モニタ２４は、内視鏡６によって取り込まれた画像（図１３参照）を表示するためのスコープ型表示装置である。支持アーム２５は、モニタ２４の高さを操作者（医師など）の顔の高さに合わせるようにモニタ２４を支持する。タッチパネル２３は、支持バー２６に配置されている。モニタ２４近傍に設けられた図示しないセンサにより操作者の頭部を検知することにより医療用マニピュレータ１は遠隔操作装置２による操作が可能になる。操作者は、モニタ２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。これにより、遠隔操作装置２に指令が入力される。遠隔操作装置２に入力された指令は、医療用マニピュレータ１に送信される。

医療用台車３には、医療用マニピュレータ１の動作を制御する制御部３１と、医療用マニピュレータ１の動作を制御するためのプログラムなどが記憶される記憶部３２とが設けられている。そして、遠隔操作装置２に入力された指令に基づいて、医療用台車３の制御部３１は、医療用マニピュレータ１の動作を制御する。

また、医療用台車３には、入力装置３３が設けられている。入力装置３３は、主に施術前に手術の準備を行うために、ポジショナ４０、アームベース５０、および、複数のアーム６０の移動や姿勢の変更の操作を受け付けるように構成されている。

図１および図２に示す医療用マニピュレータ１は、手術室内に配置されている。医療用マニピュレータ１は、医療用台車３と、ポジショナ４０と、アームベース５０と、複数のアーム６０とを備えている。アームベース５０は、ポジショナ４０の先端に取り付けられている。アームベース５０は、比較的長い棒形状（長尺形状）を有する。また、複数のアーム６０は、各々のアーム６０の基端部が、アームベース５０に取り付けられている。複数のアーム６０は、折り畳まれた姿勢（収納姿勢）をとることが可能に構成されている。アームベース５０と、複数のアーム６０とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム６０は、医療器具４を支持する。

ポジショナ４０は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ４０は、医療用台車３上に配置されている。ポジショナ４０は、アームベース５０を移動させる。具体的には、ポジショナ４０は、アームベース５０の位置を３次元に移動させるように構成されている。

また、ポジショナ４０は、ベース部４１と、ベース部４１に連結された複数のリンク部４２とを含む。複数のリンク部４２同士は、関節部４３により連結されている。

図１に示すように、複数のアーム６０の各々の先端には、医療器具４が取り付けられている。医療器具４は、たとえば、取り換え可能なインストゥルメント、手術部位を撮像する（手術部位の画像を取り込むための）内視鏡６（図８参照）などを含む。

図５に示すように、インストゥルメントには、アーム６０のホルダ７１に設けられたサーボモータＭ２によって駆動される被駆動ユニット４ａが設けられている。また、インストゥルメントの先端には、鉗子４ｂが設けられている。

また、図６に示すように、インストゥルメントは、エンドエフェクタ部材１０４ａおよび１０４ｂの基端側を先端側でＪＴ１１軸周りに回転可能に支持する第１支持体４ｅと、第１支持体４ｅの基端側を先端側でＪＴ１０軸周りに回転可能に支持する第２支持体４ｆと、第２支持体４ｆの基端側に接続されるシャフト４ｃとを含む。被駆動ユニット４ａと、シャフト４ｃと、第２支持体４ｆと、第１支持体４ｅと、鉗子４ｂとは、Ｚ方向に沿って配置されている。ＪＴ１１軸は、シャフト４ｃが延びる方向（Ｚ方向）に対して直交する。また、ＪＴ１０軸は、シャフト４ｃが延びる方向においてＪＴ１１軸と離間しかつシャフト４ｃが延びる方向およびＪＴ１１軸に対して直交する。

第１支持体４ｅには、ＪＴ１１軸の軸線周りに回転するように鉗子４ｂが取り付けられている。また、第２支持体４ｆは、第１支持体４ｅをＪＴ１０軸について回転可能に支持している。つまり、第２支持体４ｆにはＪＴ１０軸の軸線周りに回転するように第１支持体４ｅが取り付けられている。また、第１支持体４ｅの先端側（Ｚ１方向側）の部分は、Ｕ字形状を有している。第１支持体４ｅのＵ字形状の先端側の部分のＪＴ１１軸の軸線における中央部にツールセンタポイント（ＴＣＰ１、クレビス）が設定されている。

また、医療器具４（鉗子４ｂ）は、シャフト４ｃの回転軸（シャフト４ｃが延びる方向に沿った軸）としてのＪＴ９軸と、鉗子４ｂの開閉軸としてのＪＴ１２軸とを備えている。なお、アーム６０のホルダ７１に設けられたサーボモータＭ２は、複数（たとえば、４個）設けられており、複数のサーボモータＭ２によって、被駆動ユニット４ａの回転体が駆動される。これにより、Ｊ９軸～Ｊ１２軸周りに、医療器具４が駆動される。

また、図８に示すように、内視鏡６のＴＣＰ２は、内視鏡６の先端に設定されている。

次に、アーム６０の構成について詳細に説明する。

図５に示すように、アーム６０は、アーム部６１（ベース部６２、リンク部６３、関節部６４）と、アーム部６１の先端に設けられる並進移動機構部７０とを含む。アーム６０は、アーム６０の基端（根元）側（アームベース５０）に対して先端側を３次元に移動させるように構成されている。また、アーム部６１は、７軸多関節ロボットアームから構成されている。なお、複数のアーム６０は、互いに同様の構成を有する。

図５に示すように、アーム６０は、回転軸としてのＪＴ１～ＪＴ７軸と、直動軸としてのＪ８軸とを備えている。ＪＴ１～ＪＴ７軸は、アーム部６１の関節部６４の回転軸に対応する。また、ＪＴ７軸は、並進移動機構部７０の基端側リンク部７２に対応する。ＪＴ８軸は、並進移動機構部７０の先端側リンク部７３を基端側リンク部７２に対してＺ方向に沿って相対的に移動させる軸に対応する。すなわち、図１２に示すサーボモータＭ１は、アーム６０のＪＴ１～ＪＴ７軸に対応するように設けられている。また、サーボモータＭ３は、ＪＴ８軸に対応するように設けられている。

並進移動機構部７０は、アーム部６１の先端側に設けられるとともに医療器具４が取り付けられている。また、並進移動機構部７０は、医療器具４を患者Ｐに挿入する方向に並進移動させる。また、並進移動機構部７０は、医療器具４をアーム部６１に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部７０には、医療器具４を保持するホルダ７１が設けられている。ホルダ７１には、サーボモータＭ２（図１２参照）が収容されている。

また、図７に示すように、医療用マニピュレータ１は、アーム６０に取り付けられ、アーム６０を操作する操作部８０を備えている。操作部８０は、イネーブルスイッチ８１と、ジョイスティック８２とスイッチ部８３とを含む。イネーブルスイッチ８１は、ジョイスティック８２およびスイッチ部８３によるアーム６０の移動を許可または不許可とする。また、イネーブルスイッチ８１は、操作者（看護師、助手など）が操作部８０を把持して押下されることによりアーム６０による医療器具４の移動を許可する状態となる。

また、スイッチ部８３は、医療器具４の長手方向に沿った医療器具４を患者Ｐに挿入する方向側に医療器具４を移動させるスイッチ部８３ａと、医療器具４を患者Ｐに挿入する方向と反対側に医療器具４を移動させるスイッチ部８３ｂとを含む。スイッチ部８３ａとスイッチ部８３ｂとは、共に、押しボタンスイッチから構成されている。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４の移動の支点（図１１参照）となるピボット位置ＰＰを教示するピボットボタン８５を含む。ピボットボタン８５は、操作部８０の面８０ｂに、イネーブルスイッチ８１に隣り合うように設けられている。そして、内視鏡６（図８参照）またはピボット位置教示器具７（図９）の先端が、患者Ｐの体表面Ｓに挿入されたトロカールＴの挿入位置に対応する位置まで移動された状態で、ピボットボタン８５が押下されることによりピボット位置ＰＰが教示され、記憶部３２に記憶される。なお、ピボット位置ＰＰの教示において、ピボット位置ＰＰは、１つの点（座標）として設定され、ピボット位置ＰＰの教示は、医療器具４の方向を設定するものではない。

また、図１に示すように、複数のアーム６０のうちの一つのアーム６０（たとえば、アーム６０ｃ）には内視鏡６が取り付けられ、残りのアーム６０（たとえば、アーム６０ａ、６０ｂおよび６０ｄ）には、内視鏡６以外の医療器具４が取り付けられる。具体的には、手術において、４つのアーム６０のうちの１つのアーム６０に内視鏡６が取り付けられ、３つのアーム６０に内視鏡６以外の医療器具４（鉗子４ｂなど）が取り付けられる。そして、内視鏡６が取り付けられているアーム６０に対して、内視鏡６が取り付けられた状態でピボット位置ＰＰが教示される。また、内視鏡６以外の医療器具４が取り付けられるアーム６０に対して、ピボット位置教示器具７が取り付けられた状態でピボット位置ＰＰが教示される。なお、内視鏡６は、互いに隣り合うように配置されている４つのアーム６０のうちの、中央に配置される２つのアーム６０（アーム６０ｂおよび６０ｃ）のうちのいずれかに取り付けられる。すなわち、ピボット位置ＰＰは、複数のアーム６０毎に個別に設定される。なお、内視鏡６が支持されるアーム６０（たとえば、アーム６０ｃ）は、特許請求の範囲の「第３マニピュレータ」の一例である。

また、図７に示すように、操作部８０の面８０ｂには、アーム６０の位置を最適化するためのアジャストメントボタン８６が設けられている。内視鏡６が取り付けられたアーム６０に対するピボット位置ＰＰの教示後、アジャストメントボタン８６が押下されることにより、他のアーム６０（アームベース５０）の位置が最適化される。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４を並進移動（図１０参照）させるモードと、回転移動（図１１参照）させるモードとを切り替えるモード切替ボタン８４を含む。また、モード切替ボタン８４の近傍には、モードインジケータ８４ａが設けられている。モードインジケータ８４ａは、切り替えられたモードを表示する。具体的には、モードインジケータ８４ａが点灯（回転移動モード）または消灯（並進移動モード）されることにより、現在のモード（並進移動モードまたは回転移動モード）が表示される。

また、モードインジケータ８４ａは、ピボット位置ＰＰが教示されたことを表示するピボット位置インジケータを兼ねている。

図１０に示すように、アーム６０を並進移動させるモードでは、医療器具４の先端４ｄが、Ｘ－Ｙ平面上において移動するように、アーム６０が移動される。また、図１１に示すように、アーム６０を回転移動させるモードでは、ピボット位置ＰＰが教示されていない時は、鉗子４ｂを中心に回転移動し、ピボット位置ＰＰが教示されている時は、ピボット位置ＰＰを支点として医療器具４が回転移動するように、アーム６０が移動される。なお、医療器具４のシャフト４ｃがトロカールＴに挿入された状態で、医療器具４が回転移動される。

また、図１２に示すように、アーム６０には、アーム部６１の複数の関節部６４に対応するように、複数のサーボモータＭ１と、エンコーダＥ１と、減速機（図示せず）とが設けられている。エンコーダＥ１は、サーボモータＭ１の回転角を検出するように構成されている。減速機は、サーボモータＭ１の回転を減速させてトルクを増大させるように構成されている。

また、図１２に示すように、並進移動機構部７０には、医療器具４の被駆動ユニット４ａに設けられた回転体を回転させるためのサーボモータＭ２と、医療器具４を並進移動させるためのサーボモータＭ３と、エンコーダＥ２およびエンコーダＥ３と、減速機（図示せず）とが設けられている。エンコーダＥ２およびエンコーダＥ３は、それぞれ、サーボモータＭ２およびサーボモータＭ３の回転角を検出するように構成されている。減速機は、サーボモータＭ２およびサーボモータＭ３の回転を減速させてトルクを増大させるように構成されている。

また、ポジショナ４０には、ポジショナ４０の複数の関節部４３に対応するように、複数のサーボモータＭ４と、エンコーダＥ４と、減速機（図示せず）とが設けられている。エンコーダＥ４は、サーボモータＭ４の回転角を検出するように構成されている。減速機は、サーボモータＭ４の回転を減速させてトルクを増大させるように構成されている。

また、医療用台車３には、医療用台車３の複数の図示しない前輪の各々を駆動するサーボモータＭ５と、エンコーダＥ５と、図示しない減速機とブレーキが設けられている。減速機は、サーボモータＭ５の回転を減速させてトルクを増大させるように構成されている。また、医療用台車３のスロットル部３４ａには、ポテンショメータＰ１（図１参照）が設けられており、スロットル部３４ａの捻りに応じてポテンショメータＰ１で検出した回転角に基づき、前輪のサーボモータＭ５は駆動される。また、医療用台車３の図示しない後輪は、双輪形式であり、操作ハンドル３４の左右の回動に基づき、後輪は操舵される。また、医療用台車３の操作ハンドル３４には、ポテンショメータＰ２（図２参照）が設けられており、医療用台車３の後輪には、サーボモータＭ６とエンコーダＥ６と図示しない減速機が設けられている。減速機は、サーボモータＭ６の回転を減速させてトルクを増大させるように構成されている。操作ハンドル３４の左右の回動に応じてポテンショメータＰ２で検出した回転角に基づき、サーボモータＭ６は駆動される。すなわち、操作ハンドル３４の左右の回動による後輪の操舵は、サーボモータＭ６によりパワーアシストされるように構成されている。

また、医療用台車３は、前輪が駆動されることにより、前後方向に移動する。また、医療用台車３の操作ハンドル３４が回動されることにより、後輪が操舵されて、医療用台車３が左右方向に回動する。

医療用台車３の制御部３１は、指令に基づいて複数のアーム６０の移動を制御するアーム制御部３１ａと、指令に基づいてポジショナ４０の移動および医療用台車３の前輪（図示せず）の駆動を制御するポジショナ制御部３１ｂとを含む。アーム制御部３１ａには、アーム６０を駆動するためのサーボモータＭ１を制御するためのサーボ制御部Ｃ１が電気的に接続されている。また、サーボ制御部Ｃ１には、サーボモータＭ１の回転角を検出するためのエンコーダＥ１が電気的に接続されている。

また、アーム制御部３１ａには、医療器具４を駆動するためのサーボモータＭ２を制御するためのサーボ制御部Ｃ２が電気的に接続されている。また、サーボ制御部Ｃ２には、サーボモータＭ２の回転角を検出するためのエンコーダＥ２が電気的に接続されている。また、アーム制御部３１ａには、並進移動機構部７０を並進移動するためのサーボモータＭ３を制御するためのサーボ制御部Ｃ３が電気的に接続されている。また、サーボ制御部Ｃ３には、サーボモータＭ３の回転角を検出するためのエンコーダＥ３が電気的に接続されている。

そして、遠隔操作装置２に入力された動作指令が、アーム制御部３１ａに入力される。アーム制御部３１ａは、入力された動作指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１（Ｃ２、Ｃ３）に出力する。サーボ制御部Ｃ１（Ｃ２、Ｃ３）は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１（Ｍ２、Ｍ３）に出力する。これにより、遠隔操作装置２に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、制御部３１（アーム制御部３１ａ）は、操作部８０のジョイスティック８２からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、ジョイスティック８２から入力された入力信号（動作指令）と、エンコーダＥ１により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１に出力する。サーボ制御部Ｃ１は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１に出力する。これにより、ジョイスティック８２に入力された動作指令に沿うように、アーム６０が移動される。

制御部３１（アーム制御部３１ａ）は、操作部８０のスイッチ部８３からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、スイッチ部８３から入力された入力信号（動作指令）と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１またはＣ３に出力する。サーボ制御部Ｃ１またはＣ３は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１またはＭ３に出力する。これにより、スイッチ部８３に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、ポジショナ制御部３１ｂには、ポジショナ４０を移動するサーボモータＭ４を制御するためのサーボ制御部Ｃ４が電気的に接続されている。また、サーボ制御部Ｃ４には、サーボモータＭ４の回転角を検出するためのエンコーダＥ４が電気的に接続されている。また、ポジショナ制御部３１ｂには、医療用台車３の前輪（図示せず）を駆動するサーボモータＭ５を制御するためのサーボ制御部Ｃ５が電気的に接続されている。また、サーボ制御部Ｃ５には、サーボモータＭ５の回転角を検出するためのエンコーダＥ５が電気的に接続されている。

また、入力装置３３から準備位置の設定などに関する動作指令が、ポジショナ制御部３１ｂに入力される。ポジショナ制御部３１ｂは、入力装置３３から入力された動作指令と、エンコーダＥ４により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ４に出力する。サーボ制御部Ｃ４は、ポジショナ制御部３１ｂから入力された位置指令と、エンコーダＥ４により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ４に出力する。これにより、入力装置３３に入力された動作指令に沿うように、ポジショナ４０が移動される。同様に、入力装置３３からの動作指令に基づいて、ポジショナ制御部３１ｂは、医療用台車３を移動させる。

ここで、第１実施形態では、外科手術システム１００は、画像処理装置８を備えている。画像処理装置８は、グラフィカルユーザインターフェイスＧ（図１４参照）を生成し、グラフィカルユーザインターフェイスＧを内視鏡６によって取り込まれた画像（図１３参照）上に重ねて遠隔操作装置２のモニタ２４に表示するように構成されている。画像処理装置８は、内視鏡６から画像を取り込むように構成されている。なお、画像処理装置８は、特許請求の範囲の「制御装置」および「コンピュータ」の一例である。また、グラフィカルユーザインターフェイスＧは、クリックなどの入力操作が行われない記号なども含む広い概念である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、クラッチエリアＧ１を含む。図１５に示すように、クラッチエリアＧ１には、クラッチペダル２２ｂの状態が示される。図１５(ａ)は、クラッチペダル２２ｂが踏まれていない状態（ＯＦＦ状態）を示している。図１５(ｂ)は、操作者がクラッチペダル２２ｂに足を置いている状態（ホバー状態）を示している。図１５(ｃ)は、クラッチペダル２２ｂが踏まれている状態（ＯＮ状態）を示している。

図１４に示すように、第１実施形態では、グラフィカルユーザインターフェイスＧは、内視鏡６に関する情報を示すカメラエリアＧ２を含む。画像処理装置８は、カメラエリアＧ２を、モニタ２４の画面ｇｒの端部ｅ（上方の端部ｅｕ、左方の端部ｅｌ、右方の端部ｅｒ、下方の端部ｅｄ）のうちの、下方の端部ｅｄ（図１３参照）近傍の領域に配置してグラフィカルユーザインターフェイスＧを表示するように構成されている。なお、カメラエリアＧ２は、特許請求の範囲の「第４エリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ハンドエリアＧ３を含む。ハンドエリアＧ３は、各医療器具４の情報や、各アーム６０の情報や、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報が表示される。ハンドエリアＧ３は、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ａ（ハンドエリアＧ３の番号「４」）に関する情報を示すハンドエリアＧ３ａと、交換用の医療器具４およびアーム６０ｂ（ハンドエリアＧ３の番号「３」）に関する情報を示すハンドエリアＧ３ｂと、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ｄ（ハンドエリアＧ３の番号「１」）に関する情報を示すハンドエリアＧ３ｃとを含む。画像処理装置８は、ハンドエリアＧ３を、モニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に配置してグラフィカルユーザインターフェイスＧを表示するように構成されている。また、クラッチエリアＧ１も、画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。なお、ハンドエリアＧ３ａ、Ｇ３ｂおよびＧ３ｃは、各々、特許請求の範囲の「第１エリア」、「第２エリア」および「第３エリア」の一例である。

また、アーム６０に関する情報は、アーム番号（「１」、「２」などのアーム番号）や交換用の医療器具４が取り付けられたアーム６０の交換先として設定されている場合に表示される矢印のアイコンを含み、医療器具４に関する情報は医療器具４の名称を含み、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報は、クラッチペダル２２ｂの操作の状態、切開ペダル２２ｄの操作の状態、凝固ペダル２２ｅの操作の状態を含む。

また、図１３に示すように、操作対象となるアーム６０のハンドエリア（ハンドエリアＧ３ａ、および、ハンドエリアＧ３ｃ）は、濃い灰色で表示され、この中に白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１および４）が表示される。また、操作対象でないアーム６０のハンドエリア（ハンドエリアＧ３ｂ）は、薄い灰色で表示され、かつ、さらに薄い灰色のアーム６０の番号（３）が表示される。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ポップアップエリアである医療器具状態情報エリアＧ４を含む。医療器具状態情報エリアＧ４には、各アーム６０に取り付けられた医療器具４の現在の使用回数／最大使用回数（図１６参照）が、ポップアップで表示される。なお、現在の使用回数が最大使用回数に等しくなると、現在の使用回数が赤字で表示される。また、各アーム６０に取り付けられた医療器具４にエラーが生じた際にはエラー情報がポップアップで表示される。また、アーム６０に医療器具４が取り付けられていない場合、医療器具状態情報エリアＧ４には何も表示されない。医療器具状態情報エリアＧ４は、モニタ２４上において、クラッチエリアＧ１、カメラエリアＧ２、および、ハンドエリアＧ３の上方側の隣接した領域に表示される。

図１４に示すように、グラフィカルユーザインターフェイスＧは、モニタ２４の画面の上下方向における中央、かつ、左右方向における中央に配置される水準器エリアＧ５を含む。水準器エリアＧ５は、内視鏡６の角度情報が表示される。また、水準器エリアＧ５は、カメラペダル２２ｃが踏み込まれている間のみ表示される。すなわち、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。なお、水準器エリアＧ５は、特許請求の範囲の「センターエリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、左ポップアップエリアＧ６を含む。左ポップアップエリアＧ６は、フットペダル２２に足が置かれているホバー状態のときに、図１７（ａ）～（ｃ）に示すアイコンが表示される。図１７（ａ）は、凝固ペダル２２ｅＬと切開ペダル２２ｄＬに足が置かれているときに表示されるアイコンである。図１７（ｂ）は、クラッチペダル２２ｂに足が置かれているときに表示されるアイコンである。図１７（ｃ）は、カメラペダル２２ｃに足が置かれているときに表示されるアイコンである。左ポップアップエリアＧ６は、モニタ２４上において、左側側部に表示される。

図１４に示すように、グラフィカルユーザインターフェイスＧは、右ポップアップエリアＧ７を含む。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲに足が置かれているときにアイコン（図１８）が表示される。右ポップアップエリアＧ７は、モニタ２４上において、右側側部に表示される。

また、図１４に示すように、グラフィカルユーザインターフェイスＧは、アーム６０の動作可能範囲と、アーム６０の動作可能範囲のうち操作ハンドル２１により操作可能な操作可能範囲と、を表示するエリアＧ８を含む。また、グラフィカルユーザインターフェイスＧは、操作ハンドル２１を操作可能範囲内に戻すため、および／または（第１実施形態では、「および」）アーム６０を動作可能範囲内に戻すために必要な操作ハンドル２１の操作方向を表示するエリアＧ９を含む。

また、図１９に示すように、操作ハンドル２１により操作可能なアーム６０は、２つである。たとえば、操作ハンドル２１Ｌによって、医療器具４（以下、医療器具４０１とする）を支持するための左アーム６０Ｌ（例えば、アーム６０ａ）が操作される。また、操作ハンドル２１Ｒによって、医療器具４（以下、医療器具４０２とする）を支持するための右アーム６０Ｒ（例えば、アーム６０ｄ）が操作される。そして、エリアＧ８（エリアＧ８Ｌ、エリアＧ８Ｒ）およびエリアＧ９（エリアＧ９Ｌ、エリアＧ９Ｒ）は、各々、左アーム６０Ｌおよび右アーム６０Ｒごとに別個に設けられている。なお、左アーム６０Ｌ（アーム６０ａ）は、特許請求の範囲の「第１マニピュレータ」の一例である。また、右アーム６０Ｒ（アーム６０ｄ）は、特許請求の範囲の「第２マニピュレータ」の一例である。また、医療器具４０１および医療器具４０２は、特許請求の範囲の「第１手術器具」および「第２手術器具」の一例である。

また、アーム６０ｂは、交換用の医療器具４（以下、医療器具４０３とする）を支持する。なお、医療器具４０３は、特許請求の範囲の「交換用手術器具」の一例である。

また、図１３および図１４に示す例では、アーム６０ａ、６０ｂ、６０ｃおよび６０ｄのうち、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）には、医療器具４（内視鏡６以外の鉗子４ｂなどの医療器具４）が取り付けられている。また、アーム６０ｃ（カメラエリアＧ２の番号「２」）には、内視鏡６が取り付けられている。アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３の番号「１」）が、操作ハンドル２１により操作可能な状態（アクティブ）であり、ハンドエリアＧ３ａおよびＧ３ｃは、濃い灰色で表示される。また、アーム６０ｂは、操作ハンドル２１により操作可能でない状態（非アクティブ）であり、ハンドエリアＧ３ｂは、薄い灰色で表示される。

また、図１４に示すように、グラフィカルユーザインターフェイスＧは、エラー通知エリアＧ１５（Ｇ１５ａ、Ｇ１５ｂ）を含む。エラー通知エリアＧ１５ａは、警告やエラーが発生したときに、警告やエラー情報を表示するためにポップアップで表示される。エラー通知エリアＧ１５ｂは、エラー通知エリアＧ１５ａに表示されている警告やエラーに関する注記の詳細を表示するためにポップアップで表示される。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ステータスエリアＧ１０を含む。ステータスエリアＧ１０には、医療用マニピュレータ１の内蔵バッテリの残量、モニタ２４の明るさ／コントラスト、ラップタイム、手術経過時間などの情報が表示される。

ここで、第１実施形態では、図２０に示すように、画像処理装置８は、医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかが内視鏡６の視野外に位置している場合に、患者Ｐの体を示すグラフィックＰＧとともに、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示するように構成されている。なお、挿入位置Ｐ１１、挿入位置Ｐ１２および挿入位置Ｐ１３は、それぞれ、特許請求の範囲の「第１挿入位置」、「第２挿入位置」および「第３挿入位置」の一例である。また、先端位置Ｐ２１、先端位置Ｐ２２および先端位置Ｐ２３は、それぞれ、特許請求の範囲の「第１先端位置」、「第２先端位置」および「第３先端位置」の一例である。

図２０では、たとえば、医療器具４０３が内視鏡６の視野外に位置しているとする。なお、医療器具４０１または医療器具４０２が内視鏡６の視野外に位置している場合でも、図２０と同様に、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３が表示される。すなわち、医療器具４０１、医療器具４０２および医療器具４０３のうちの少なくとも１つが内視鏡６の視野外に位置している場合、全ての医療器具４（４０１、４０２および４０３）の先端位置と挿入位置とが表示される。

また、医療器具４の挿入位置とは、アーム６０の各々に対して教示されたピボット位置ＰＰ（アーム６０に取り付けられた医療器具４の移動の支点）である。また、医療器具４の先端位置は、医療器具４に内蔵されたメモリから読みだされた医療器具情報（医療器具４の長さなどの情報）と、医療器具４が取り付けられたアーム６０の各関節部６４（サーボモータＭ１、Ｍ２およびＭ３）毎に設置されたエンコーダＥ１、Ｅ２およびＥ３の情報とから求められる。

なお、画像処理装置８は、医療器具４の位置を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８は、内視鏡６の撮像方向を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８は、内視鏡６のズーム状態に基づいて内視鏡６の画角（視野範囲）を取得する。画像処理装置８は、内視鏡６の画角（視野範囲）を、内視鏡６のメカ機構（レンズ等）として設定されている値を用いて取得する。そして、画像処理装置８は、内視鏡６の視野および、内視鏡６の姿勢、位置とアーム６０の位置情報より、内視鏡６の視野に対する医療器具４の先端の座標を取得する。これにより、画像処理装置８は、医療器具４が内視鏡６の視野外に位置しているか否かを判定する。なお、内視鏡６の視野範囲よりもモニタ２４の表示画面の大きさが小さい場合や内視鏡６で撮像した画像の一部を拡大してモニタ２４の表示画面に表示する場合は、モニタ２４の表示画面の大きさに基づいて医療器具４が内視鏡６の視野外（モニタ２４の表示画面の外）に位置しているか否かを判定すればよい。

また、第１実施形態では、グラフィカルユーザインターフェイスＧは、患者Ｐの体を示すグラフィックＰＧとともに、内視鏡６の位置を表示する。内視鏡６の位置を表示するグラフィカルユーザインターフェイスＧは、内視鏡６を模擬した記号ＭＫ２である。内視鏡６の記号ＭＫ２は、医療器具４０１、４０２および４０３の少なくともいずれかが内視鏡６の視野外に位置している場合に、モニタ２４に表示される。

また、画像処理装置８は、矩形形状の表示エリアＧ１６に、患者Ｐの体（輪郭、胃など）を示すグラフィックＰＧを表示するグラフィカルユーザインターフェイスＧをモニタ２４に表示する。矩形形状の表示エリアＧ１６は、内視鏡６の画像が透けないように表示されてもよいし、内視鏡６の画像が透けるように表示されてもよい。医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３は、矩形形状の表示エリアＧ１６に表示される。また、内視鏡６の記号ＭＫ２は、矩形形状の表示エリアＧ１６に表示される。また、矩形形状の表示エリアＧ１６は、たとえば黒色で表示される（なお、図２０～図２３では、表示エリアＧ１６をハッチングで表している）。

そして、第１実施形態では、グラフィカルユーザインターフェイスＧにおいて、医療器具４の挿入位置（挿入位置Ｐ１１、挿入位置Ｐ１２、および、挿入位置Ｐ１３）は、白丸（〇）で表示される。なお、グラフィカルユーザインターフェイスＧにおいて、医療器具４の挿入位置は、患者Ｐの体を示すグラフィックＰＧに対して実際に医療器具４が挿入される位置に対応するように表示される。なお、白丸（〇）は、特許請求の範囲の「第１の標識」の一例である。

また、第１実施形態では、グラフィカルユーザインターフェイスＧにおいて、医療器具４の先端位置は、医療器具４の挿入位置を表す白丸（〇）とは異なる、医療器具４の記号ＭＫ１で表示される。医療器具４の記号ＭＫ１は、たとえば、医療器具４の被駆動ユニット４ａ、鉗子４ｂおよびシャフト４ｃを模擬した記号ＭＫ１である。そして、記号ＭＫ１の先端側（鉗子４ｂ側）によって、医療器具４の先端位置（先端位置Ｐ２１、先端位置Ｐ２２および先端位置Ｐ２３）が表される。なお、グラフィカルユーザインターフェイスＧにおいて、医療器具４の記号ＭＫ１の先端は、患者Ｐの体を示すグラフィックＰＧに対して実際に医療器具４の先端が配置される位置に対応するように表示される。また、医療器具４の記号ＭＫ１は、特許請求の範囲の「第２の標識」の一例である。

また、図２１に示すように、グラフィカルユーザインターフェイスＧにおいて、医療器具４の記号ＭＫ１の代わりに、医療器具４の先端位置（先端位置Ｐ２１、先端位置Ｐ２２および先端位置Ｐ２３）を、白色ではない色付きの丸により表示するグラフィカルユーザインターフェイスＧをモニタ２４に表示してもよい。なお、色付きの丸は、特許請求の範囲の「第２の標識」の一例である。

また、図２２に示すように、グラフィカルユーザインターフェイスＧにおいて、医療器具４の記号ＭＫ１を表示するとともに、医療器具４の先端位置（先端位置Ｐ２１、先端位置Ｐ２２および先端位置Ｐ２３）を、白色ではない色付きの丸により表示してもよい。

また、第１実施形態では、図２３に示すように、グラフィカルユーザインターフェイスＧにおいて、医療器具４０１の挿入位置Ｐ１１と医療器具４０１の先端位置Ｐ２１とを結ぶ矢印ＡＲ１、および、医療器具４０２の挿入位置Ｐ１２と医療器具４０２の先端位置Ｐ２２とを結ぶ矢印ＡＲ２を表示してもよい。同様に、グラフィカルユーザインターフェイスＧにおいて、医療器具４０３の挿入位置Ｐ１３と医療器具４０３の先端位置Ｐ２３とを結ぶ矢印ＡＲ３を表示してもよい。なお、矢印ＡＲ１および矢印ＡＲ２は、それぞれ、特許請求の範囲の「第１矢印」および「第２矢印」の一例である。

また、第１実施形態では、内視鏡６の視野外に位置している医療器具４０１および医療器具４０２（具体的には、医療器具４０１、医療器具４０２および医療器具４０３）の少なくともいずれかの先端位置の色を、内視鏡６の視野内に位置している医療器具４０１および医療器具４０２（具体的には、医療器具４０１、医療器具４０２および医療器具４０３）の少なくともいずれかの先端位置の色とは異なる色で表示するグラフィカルユーザインターフェイスＧをモニタ２４に表示するように構成されている。たとえば、内視鏡６の視野外に位置している先端位置の色を緑とし、内視鏡６の視野内に位置している先端位置の色を緑以外の色（赤など）とする。図２０では、例として、医療器具４０３が内視鏡６の視野外に位置しているとして、医療器具４０３の記号ＭＫ１の色（ハッチング）を、医療器具４０１および４０２の記号ＭＫ１の色（白）と異ならせている。また、図２１～図２３では、例として、医療器具４０３が内視鏡６の視野外に位置しているとして、医療器具４０３の先端位置Ｐ２３の丸の色（ハッチング）を、医療器具４０１の先端位置Ｐ２１の色（ハッチング）および医療器具４０２の先端位置Ｐ２２の丸の色（ハッチング）と異ならせている。

また、第１実施形態では、画像処理装置８は、内視鏡６を移動させるための指令がカメラペダル２２ｃにより入力された場合、視野外に位置している医療器具４０１および医療器具４０２（具体的には、医療器具４０１、医療器具４０２および医療器具４０３）の少なくともいずれかの有無を判定する。そして、画像処理装置８は、視野外に位置している医療器具４０１および医療器具４０２（具体的には、医療器具４０１、医療器具４０２および医療器具４０３）の少なくともいずれかがある場合に、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示するように構成されている。なお、内視鏡６を移動させるための指令がカメラペダル２２ｃにより入力された場合とは、カメラペダル２２ｃが操作者によって踏み込まれている間を意味する。

また、第１実施形態では、図１３に示すように、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。そして、画像処理装置８は、グラフィカルユーザインターフェイスＧにおいて、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３を、水準器ＬＶの外側に表示するように構成されている。

たとえば、矩形形状の表示エリアＧ１６は、水準器ＬＶの右側でかつ、右ポップアップエリアＧ７とハンドエリアＧ３ｃとの間に表示される。あるいは、矩形形状の表示エリアＧ１６は、水準器ＬＶと左ポップアップエリアＧ６との間に表示されてもよい。あるいは、矩形形状の表示エリアＧ１６は、左ポップアップエリアＧ６の下方かつ、画面ｇｒの左側の端部ｅｌの近傍に表示されてもよい。

また、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３は、表示される状態と、表示されない状態とを切り替え可能に構成されている。具体的には、図２４に示すように、遠隔操作装置２のタッチパネル２３が操作されることにより、「鉗子位置表示」のボタンが表示される。そして、「鉗子位置表示」の「オン」が選択されると、操作者によりカメラペダル２２ｃが踏み込まれた場合に、内視鏡６の視野外に位置している医療器具４（医療器具４０１、４０２および４０３の少なくともいずれか）が存在すると、医療器具４の挿入位置および先端位置が表示される。また、「鉗子位置表示」の「オフ」が選択されると、医療器具４の挿入位置および先端位置は表示されない。

（表示方法）
次に、図２５を参照して、外科手術システム１００におけるモニタ２４へのグラフィカルユーザインターフェイスＧの表示方法について説明する。なお、グラフィカルユーザインターフェイスＧの生成は、画像処理装置８によって行われる。また、以下のステップを実行するプログラムＰＲ（図１２参照）は、画像処理装置８の中に記憶されている。

まず、ステップＳ１において、画像処理装置８は、手術部位の画像を取り込むための内視鏡６によって取り込まれた画像を取得する。また、画像処理装置８は、クラッチエリアＧ１、カメラエリアＧ２、ハンドエリアＧ３およびステータスエリアＧ１０を含むグラフィカルユーザインターフェイスＧを、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示する。

次に、ステップＳ２において、画像処理装置８は、内視鏡６の移動を可能にする指令を受けたか否か（操作者によってカメラペダル２２ｃが踏み込まれたか否か）を判定する。ステップＳ２においてｙｅｓの場合、ステップＳ３に進む。ステップＳ２においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ３において、画像処理装置８は、アーム６０ａに支持される医療器具４０１、アーム６０ｂに支持される医療器具４０３、および、アーム６０ｄに支持される医療器具４０２の少なくとも何れかが内視鏡６の視野外に位置しているか否かを判定する。ステップＳ３においてｙｅｓの場合（つまり、内視鏡６の移動を可能にする指令を受けた場合で、且つ、アーム６０に支持される医療器具４が内視鏡６の視野外に位置している場合）、ステップＳ４に進む。ステップＳ３においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ４において、画像処理装置８は、患者Ｐの体を示すグラフィックＰＧとともに、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示する。

上記のステップＳ１～Ｓ４の動作は、外科手術システム１００の動作中、常に行われる。

［第１実施形態の効果］
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、画像処理装置８は、医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかが内視鏡６の視野外に位置している場合に、患者Ｐの体を示すグラフィックＰＧとともに、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示するように構成されている。これにより、操作者は、グラフィカルユーザインターフェイスＧを視認することにより、内視鏡６の視野外に位置している医療器具４の、患者Ｐの体に対する挿入位置と先端位置との関係を認識することができる。また、操作者は、医療器具４０１～４０３のそれぞれについて、患者Ｐの体に対する挿入位置と先端位置との位置関係を認識することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧは、患者Ｐの体を示すグラフィックＰＧとともに、内視鏡６の位置を表示する。これにより、操作者は、グラフィカルユーザインターフェイスＧを視認することにより、患者Ｐの体に対する内視鏡６の位置を認識することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧは、医療器具４０３が内視鏡６の視野外に位置している場合に、患者Ｐの体を示すグラフィックＰＧとともに、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、医療器具４０２の先端位置Ｐ２２、医療器具４０３の挿入位置Ｐ１３、および、医療器具４０３の先端位置Ｐ２３を表示する。これにより、操作者は、グラフィカルユーザインターフェイスＧを視認することにより、医療器具４０３が内視鏡６の視野外に位置している場合でも、内視鏡６の視野外に位置している医療器具４０３の、患者Ｐの体に対する挿入位置と先端位置との関係を認識することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧは、内視鏡６の視野外に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかの先端位置の色を、内視鏡６の視野内に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかの先端位置の色とは異なる色で表示する。これにより、操作者は、医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかが内視鏡６の視野外に位置しているか否かを、先端位置の色に基づいて容易に認識することができる。

また、第１実施形態では、上記のように、画像処理装置８は、内視鏡６を移動させるための指令がカメラペダル２２ｃにより入力された場合、視野外に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかの有無を判定し、視野外に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかがある場合に、挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３、および、先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示するように構成されている。これにより、操作者が内視鏡６を移動させようとする際に、視野外に位置している医療器具４の挿入位置および先端位置が表示されるので、視野外に位置している医療器具４を内視鏡６の視野内に映し出されるように容易に内視鏡６を移動させることができる。

また、第１実施形態では、上記のように、内視鏡６を移動させるための指令がカメラペダル２２ｃにより入力された場合、内視鏡６は、操作ハンドル２１Ｌおよび操作ハンドル２１Ｒの両方を操作することによって移動するように構成されている。これにより、操作者がカメラペダル２２ｃを操作することにより、容易に、内視鏡６の移動を可能にすることができる。

また、第１実施形態では、上記のように、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、モニタ２４の画面の上下方向における中央、かつ、左右方向における中央に配置される水準器エリアＧ５に内視鏡６の水準器ＬＶを表示するとともに、グラフィカルユーザインターフェイスＧにおいて、挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３および先端位置Ｐ２３を、水準器ＬＶの外側に表示するように構成されている。これにより、操作者が内視鏡６を操作するために内視鏡６の水準器ＬＶを視認している最中に、挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３および先端位置Ｐ２３が水準器ＬＶとともに表示されるので、操作者は挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３および先端位置Ｐ２３を容易に認識することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧにおいて、医療器具４０１の挿入位置Ｐ１１、医療器具４０２の挿入位置Ｐ１２、および、医療器具４０３の挿入位置Ｐ１３は、白丸（〇）で表示され、医療器具４０１の先端位置Ｐ２１、医療器具４０２の先端位置Ｐ２２、および、医療器具４０３の先端位置Ｐ２３は、医療器具４の挿入位置を表す白丸（〇）とは異なる、医療器具４の記号ＭＫ１で表示される。これにより、操作者は、白丸（〇）および医療器具４の記号ＭＫ１を視認することにより、容易に、医療器具４の挿入位置と、医療器具４の先端位置とを認識することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧにおいて、医療器具４０１の挿入位置Ｐ１１と医療器具４０１の先端位置Ｐ２１とを結ぶ矢印ＡＲ１、医療器具４０２の挿入位置Ｐ１２と医療器具４０２の先端位置Ｐ２２とを結ぶ矢印ＡＲ２、医療器具４０３の挿入位置Ｐ１３と医療器具４０３の先端位置Ｐ２３とを結ぶ矢印ＡＲ３がさらに表示される。これにより、操作者は、矢印ＡＲ１、矢印ＡＲ２および矢印ＡＲ３を視認することにより、医療器具４の挿入位置に対して、医療器具４の先端位置がどの方向を向いているのかを容易に認識することができる。

また、第１実施形態では、上記のように、画像処理装置８は、医療器具４０１に関する情報を示すハンドエリアＧ３ａと、医療器具４０３に関する情報を表示するハンドエリアＧ３ｂと、医療器具４０２に関する情報を示すハンドエリアＧ３ｃと、内視鏡６に関する情報を示すカメラエリアＧ２と、をモニタ２４の画面ｇｒの下方の端部ｅｄ近傍領域に配置してグラフィカルユーザインターフェイスＧに表示するように構成されている。これにより、グラフィカルユーザインターフェイスＧが、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃおよびカメラエリアＧ２よりもモニタ２４の画面中央側に寄せて表示されるので、グラフィカルユーザインターフェイスＧの視認性を向上させることができる。

［第２実施形態］
図２６を参照して、第２実施形態の外科手術システム２００の構成について説明する。なお、外科手術システム２００は、特許請求の範囲の「手術システム」の一例である。

第２実施形態では、画像処理装置８ａは、視野外に位置している医療器具４０１、医療器具４０２、および、医療器具４０３の少なくともいずれかの有無を判定し、視野外に位置している医療器具４０１、医療器具４０２、および、医療器具４０３の少なくともいずれかがある場合に（自動的に）、挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３および先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示する制御を行うように構成されている。なお、画像処理装置８ａは、特許請求の範囲の「制御装置」の一例である。

（表示方法）
第２実施形態によるグラフィカルユーザインターフェイスＧの表示方法について説明する。

まず、ステップＳ１は、上記第１実施形態と同様である。

次に、ステップＳ１１において、画像処理装置８ａは、アーム６０ａに支持される医療器具４０１、アーム６０ｂに支持される医療器具４０３、および、アーム６０ｄに支持される医療器具４０２の少なくとも何れかが内視鏡６の視野外に位置しているか否かを判定する。ステップＳ１１においてｙｅｓの場合、ステップＳ４に進む。ステップＳ１１においてｎｏの場合、ステップＳ１に戻る。すなわち、内視鏡６の移動を可能にする指令を受けか否かにかかわらず、医療器具４０１、医療器具４０３、および、医療器具４０２の少なくとも何れかが内視鏡６の視野外に位置している場合、自動的にステップＳ４に進む。ステップＳ４は、上記第１実施形態と同様である。

［第２実施形態の効果］
第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記のように、画像処理装置８ａは、視野外に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかの有無を判定し、視野外に位置している医療器具４０１、医療器具４０２および医療器具４０３の少なくともいずれかがある場合に、挿入位置Ｐ１１、先端位置Ｐ２１、挿入位置Ｐ１２、先端位置Ｐ２２、挿入位置Ｐ１３および先端位置Ｐ２３をグラフィカルユーザインターフェイスＧに表示する制御を行うように構成されている。これにより、視野外に位置している医療器具４が有る場合に、操作者が操作することなく挿入位置および先端位置が自動的に表示されるので、挿入位置および先端位置を表示するための操作者の手間を省くことができる。

［第３実施形態］
図２７および図２８を参照して、第３実施形態の外科手術システム３００の構成について説明する。なお、外科手術システム３００は、特許請求の範囲の「手術システム」の一例である。

第３実施形態では、図２７に示すように、外科手術システム３００は、鉗子位置（先端位置および挿入位置）をモニタ２４に表示するための指令の入力を行うスイッチＳＷを備えている。スイッチＳＷは、操作ハンドル２１、フットペダル２２が設けられる基台部２８、および、タッチパネル２３のうちの少なくともいずれか１つに設けられている。そして、画像処理装置８ｂは、鉗子位置（先端位置および挿入位置）をモニタ２４に表示するための指令がスイッチＳＷにより入力された場合、鉗子位置（先端位置および挿入位置）をモニタ２４に表示するように構成されている。なお、スイッチＳＷは、特許請求の範囲の「表示用入力装置」の一例である。また、画像処理装置８ｂは、特許請求の範囲の「制御装置」の一例である。

（表示方法）
次に、図２８を参照して、外科手術システム３００におけるモニタ２４へのグラフィカルユーザインターフェイスＧの表示方法について説明する。

まず、ステップＳ１は、上記第１実施形態と同様である。

次に、ステップＳ２１において、画像処理装置８ｂは、鉗子位置（先端位置および挿入位置）を表示するための指令がスイッチＳＷにより入力されたか否かを判定する。ステップＳ２１においてｙｅｓの場合、ステップＳ４に進む。ステップＳ２１においてｎｏの場合、ステップＳ１に戻る。なお、ステップＳ４は、上記第１実施形態と同様である。

［第３実施形態の効果］
第３実施形態では、以下のような効果を得ることができる。

第３実施形態では、上記のように、画像処理装置８ｂは、鉗子位置（先端位置および挿入位置）を表示するための指令がスイッチＳＷにより入力された場合、鉗子位置をモニタ２４に表示するように構成されている。これにより、操作者は、必要に応じて複数の医療器具４のそれぞれについて、患者Ｐの体に対する挿入位置と先端位置との位置関係を認識することができる。また、操作者が、必要に応じて鉗子位置を表示させることができるので、操作者にとって不必要な際に鉗子位置が表示されるのを抑制することができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記第１～第３実施形態では、画像処理装置８（８ａ、８ｂ）が内視鏡６からの画像を取り込むとともにグラフィカルユーザインターフェイスＧを生成する例を示したが、本発明はこれに限られない。たとえば、医療用マニピュレータ１の制御部３１が、グラフィカルユーザインターフェイスＧを生成してもよいし、遠隔操作装置２の制御部（図示せず）が、グラフィカルユーザインターフェイスＧを生成してもよい。また、内視鏡６からの画像を取り込む画像処理装置と、グラフィカルユーザインターフェイスＧを生成し、内視鏡６の画像上に重ねる画像処理装置とが別個に設けられていてもよい。

また、上記第１～第３実施形態では、医療用マニピュレータ１に、交換用の医療器具４０３が設けられる例を示したが、本発明はこれに限られない。たとえば、医療用マニピュレータ１に、交換用の医療器具４０３が設けられていなくてもよい。この場合、医療器具４０１および医療器具４０２の少なくともいずれかが内視鏡６の視野外に位置している場合に、医療器具４０１の挿入位置Ｐ１１、医療器具４０１の先端位置Ｐ２１、医療器具４０２の挿入位置Ｐ１２、および、医療器具４０２の先端位置Ｐ２２を表示するグラフィカルユーザインターフェイスＧが、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示される。

また、上記第１～第３実施形態では、内視鏡６の位置がグラフィカルユーザインターフェイスＧに表示される例を示したが、本発明はこれに限られない。たとえば、図２９に示す変形例のように、内視鏡６の位置がグラフィカルユーザインターフェイスＧに表示されなくてもよい。

また、上記第１～第３実施形態では、内視鏡６の視野外に位置している医療器具４の先端位置の色を、内視鏡６の視野内に位置している医療器具４の先端位置の色と異ならせることにより、医療器具４が内視鏡６の視野外に位置しているか否かを区別する例を示したが、本発明はこれに限られない。たとえば、内視鏡６の視野外に位置している医療器具４の先端位置を示す記号を、内視鏡６の視野内に位置している医療器具４の先端位置を示す記号と異ならせることにより、医療器具４が内視鏡６の視野外に位置しているか否かを区別するようにしてもよい。

また、上記第１～第３実施形態では、グラフィカルユーザインターフェイスＧにおいて、医療器具４の挿入位置および先端位置が水準器ＬＶの外側に表示される例を示したが、本発明はこれに限られない。たとえば、グラフィカルユーザインターフェイスＧにおいて、医療器具４の挿入位置および先端位置を水準器ＬＶの内側に表示してもよい。

また、上記第１～第３実施形態では、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される例を示したが、本発明はこれに限られない。たとえば、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの上方の端部ｅｕ近傍の領域に表示されてもよい。

また、上記第１～第３実施形態では、アーム６０が４つ設けられている例を示したが、本発明はこれに限られない。本発明では、アーム６０の数は、少なくとも１つ以上設けられていれば他の任意の数であってもよい。

また、上記第１～第３実施形態では、アーム部６１およびポジショナ４０が７軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、アーム部６１およびポジショナ４０が７軸多関節ロボット以外の軸構成（例えば、６軸や８軸）の多関節ロボットなどから構成されていてもよい。

また、上記第１～第３実施形態では、医療用マニピュレータ１が、医療用台車３と、ポジショナ４０と、アームベース５０とを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車３と、ポジショナ４０と、アームベース５０は必ずしも必要なく、医療用マニピュレータ１が、アーム６０だけで構成されてもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

２ 遠隔操作装置
４ 医療器具（手術器具）
６ 内視鏡
８、８ａ、８ｂ 画像処理装置（制御装置）
２１Ｌ 操作ハンドル（第１操作ハンドル）
２１Ｒ 操作ハンドル（第２操作ハンドル）
２２ フットペダル（操作ペダル）
２２ｃ カメラペダル（内視鏡用入力装置、内視鏡ペダル）
２４ モニタ（表示装置）
６０ アーム（マニピュレータ）
６０Ｌ 左アーム（第１マニピュレータ）
６０Ｒ 右アーム（第２マニピュレータ）
６０ｃ アーム（第３マニピュレータ）
１００、２００、３００ 外科手術システム（手術システム）
４０１ 医療器具（第１手術器具）
４０２ 医療器具（第２手術器具）
４０３ 医療器具（交換用手術器具）
ＡＲ１ 矢印（第１矢印）
ＡＲ２ 矢印（第２矢印）
ｇｒ 画像
Ｇ グラフィカルユーザインターフェイス
Ｇ２ カメラエリア（第４エリア）
Ｇ３ａ ハンドエリア（第１エリア）
Ｇ３ｂ ハンドエリア（第２エリア）
Ｇ３ｃ ハンドエリア（第３エリア）
Ｇ５ 水準器エリア（センターエリア）
ＬＶ 水準器
Ｐ 患者
Ｐ１１ 挿入位置（第１挿入位置）
Ｐ１２ 挿入位置（第２挿入位置）
Ｐ１３ 挿入位置（第３挿入位置）
Ｐ２１ 先端位置（第１先端位置）
Ｐ２２ 先端位置（第２先端位置）
Ｐ２３ 先端位置（第３先端位置）
ＰＲ プログラム
ＳＷ スイッチ（表示用入力装置）

Claims (15)

1. 手術部位を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、
   前記内視鏡によって撮像された画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、および、前記第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、
   グラフィカルユーザインターフェイスを前記内視鏡によって撮像された画像上に重ねて前記表示装置に表示するように構成された制御装置と、を備え、
   前記制御装置は、前記第１手術器具および前記第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、前記第１手術器具の第１挿入位置、前記第１手術器具の第１先端位置、前記第２手術器具の第２挿入位置および前記第２手術器具の第２先端位置を前記グラフィカルユーザインターフェイスに表示するように構成されている、手術システム。
2. 前記グラフィカルユーザインターフェイスは、前記グラフィックとともに、前記内視鏡の位置を表示する、請求項１に記載の手術システム。
3. 前記複数のマニピュレータは、交換用手術器具を支持する前記マニピュレータを含み、
   前記グラフィカルユーザインターフェイスは、前記交換用手術器具が前記内視鏡の視野外に位置している場合に、前記グラフィックとともに、前記第１挿入位置、前記第１先端位置、前記第２挿入位置、前記第２先端位置、前記交換用手術器具の第３挿入位置、および、前記交換用手術器具の第３先端位置を表示する、請求項１または２に記載の手術システム。
4. 前記グラフィカルユーザインターフェイスは、前記内視鏡の視野外に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかの先端位置の色を、前記内視鏡の視野内に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかの先端位置の色とは異なる色で表示する、請求項１～３のいずれか１項に記載の手術システム。
5. 前記遠隔操作装置は、前記内視鏡を移動させるための指令を入力する内視鏡用入力装置を備え、
   前記制御装置は、前記内視鏡を移動させるための指令が前記内視鏡用入力装置により入力された場合、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかの有無を判定し、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかがある場合に、前記第１挿入位置、前第１先端位置、前記第２挿入位置および前記第２先端位置を前記グラフィカルユーザインターフェイスに表示するように構成されている、請求項１～４のいずれか１項に記載の手術システム。
6. 前記内視鏡を移動させるための指令が前記内視鏡用入力装置により入力された場合、前記内視鏡は、前記第１操作ハンドルおよび前記第２操作ハンドルの両方を操作することによって移動するように構成されている、請求項５に記載の手術システム。
7. 前記制御装置は、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかの有無を判定し、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくともいずれかがある場合に、前記第１挿入位置、前第１先端位置、前記第２挿入位置および前記第２先端位置を前記グラフィカルユーザインターフェイスに表示する制御を行うように構成されている、請求項１～４のいずれか１項に記載の手術システム。
8. 前記制御装置は、
   前記内視鏡の移動を可能にする指令を受けた場合に、前記グラフィカルユーザインターフェイスにおいて、前記表示装置の画面の上下方向における中央、かつ、左右方向における中央に配置されるセンターエリアに前記内視鏡の水準器を表示するとともに、前記第１挿入位置、前記第１先端位置、前記第２挿入位置および前記第２先端位置を前記水準器の外側に表示するように構成されている、請求項１～７のいずれか１項に記載の手術システム。
9. 前記グラフィカルユーザインターフェイスにおいて、前記第１挿入位置および前記第２挿入位置は、第１の標識で表示され、前記第１先端位置および前記第２先端位置は、前記第１の標識とは異なる第２の標識で表示される、請求項１～８のいずれか１項に記載の手術システム。
10. 前記グラフィカルユーザインターフェイスにおいて、前記第１挿入位置と前記第１先端位置とを結ぶ第１矢印、および、前記第２挿入位置と前記第２先端位置とを結ぶ第２矢印がさらに表示される、請求項１～９のいずれか１項に記載の手術システム。
11. 前記複数のマニピュレータは、交換用手術器具を支持するためのマニピュレータを含み、
    前記制御装置は、前記第１手術器具に関する情報を示す第１エリアと、前記交換用手術器具に関する情報を表示する第２エリアと、前記第２手術器具に関する情報を示す第３エリアと、前記内視鏡に関する情報を示す第４エリアと、を前記表示装置の画面の下方または上方の端部近傍領域に配置して前記グラフィカルユーザインターフェイスを表示するように構成されている、請求項１～１０のいずれか１項に記載の手術システム。
12. 手術部位を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、
    前記内視鏡によって撮像された画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、および、前記第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、
    鉗子位置を前記表示装置に表示するための指令の入力を行う表示用入力装置と、
    グラフィカルユーザインターフェイスを前記内視鏡によって撮像された画像上に重ねて前記表示装置に表示するように構成された制御装置と、を備え、
    前記制御装置は、前記表示用入力装置によって入力が行われた場合に、患者の体を示すグラフィックとともに、前記第１手術器具の第１挿入位置、前記第１手術器具の第１先端位置、前記第２手術器具の第２挿入位置および前記第２手術器具の第２先端位置を前記グラフィカルユーザインターフェイスに表示するように構成されている、手術システム。
13. 第１手術器具を支持するための第１マニピュレータと、
    第２手術器具を支持するための第２マニピュレータと、
    手術部位を撮像する内視鏡を支持するための第３マニピュレータと、
    前記内視鏡によって撮像された画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、前記第２手術器具を操作するための第２操作ハンドル、および前記内視鏡の移動を前記第１操作ハンドルおよび前記第２操作ハンドルの操作によって実行させるための内視鏡ペダルを含む操作ペダルを備えた遠隔操作装置と、
    グラフィカルユーザインターフェイスを前記内視鏡によって撮像された画像上に重ねて前記表示装置に表示するように構成された制御装置と、を備え、
    前記制御装置は、前記第１手術器具および前記第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、前記第１手術器具の第１挿入位置、前記第１手術器具の第１先端位置、前記第２手術器具の第２挿入位置および前記第２手術器具の第２先端位置を前記グラフィカルユーザインターフェイスに表示するように構成されている、手術システム。
14. 手術部位を撮像するための内視鏡によって撮像された画像を取得するステップと、
    グラフィカルユーザインターフェイスを生成し、前記グラフィカルユーザインターフェイスを前記内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップと、
    複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置していることを検出するステップと、
    前記複数のマニピュレータに各々支持される前記第１手術器具および前記第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、前記第１手術器具の第１挿入位置、前記第１手術器具の第１先端位置、前記第２手術器具の第２挿入位置および前記第２手術器具の第２先端位置を前記グラフィカルユーザインターフェイスに表示するステップと、を備える、表示方法。
15. 鉗子位置に関する情報の表示をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    手術部位を撮像するための内視鏡によって撮像された画像を取得するステップと、
    グラフィカルユーザインターフェイスを生成し、前記グラフィカルユーザインターフェイスを前記内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップと、
    複数のマニピュレータに各々支持される第１手術器具および第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置していることを検出するステップと、
    前記複数のマニピュレータに各々支持される前記第１手術器具および前記第２手術器具の少なくともいずれかが前記内視鏡の視野外に位置している場合に、患者の体を示すグラフィックとともに、前記第１手術器具の第１挿入位置、前記第１手術器具の第１先端位置、前記第２手術器具の第２挿入位置および前記第２手術器具の第２先端位置を前記グラフィカルユーザインターフェイスに表示するステップと、を実行させるプログラム。
    

Images