JP2023172576A - 手術システム、表示方法およびプログラム - Google Patents

Abstract

【課題】操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な手術システムを提供する。【解決手段】この外科手術システム１００（手術システム）では、画像処理装置８ｂは、医療器具４が内視鏡６の視野外に位置している場合に、視野外に位置している医療器具４を示す標識ＭＫ１をグラフィカルユーザインタフェースＧの表示部の画面の縁近傍を含まない内側に設定された標識表示領域に表示するように構成されているとともに、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の医療器具４が位置する領域に対応する方向を示す標識Ｍｋ１を表示するように構成されている。【選択図】図１３

Description

この発明は、手術システム、表示方法およびプログラムに関し、特に、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示装置に表示する手術システム、表示方法およびプログラムに関する。

従来、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示するロボット手術システムが知られている（たとえば、特許文献１参照）。

上記特許文献１のロボット手術システムでは、内視鏡は、モニタの表示領域に表示するための手術部位の画像を撮影する。また、このロボット手術システムでは、内視鏡によって撮影された画像（視野）に対するツールの現在の位置が決定される。そして、決定されたツールの現在の位置がモニタに表示される画像（視野）の外にある場合、ツールの現在の位置が、モニタの画面の表示領域の外側にある境界領域に記号として表示される。

特開２０１３－１８８５７４号公報

しかしながら、上記特許文献１に記載のようなロボット手術システムでは、手術中、操作者は、モニタの表示領域の中央近傍を集中して見ている。このため、上記特許文献１のように、視野外にあるツール（手術器具）の現在の位置を、モニタの画面の表示領域の外側にある境界領域に記号（標識）として表示しても、操作者が気づかない場合があるという問題点がある。また、操作者が気づいた場合には、視線を大きく動かす必要があるという問題点もある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な手術システムおよび表示方法を提供するものである。

この発明の第１の局面による手術システムは、手術部位を撮像する内視鏡、および、複数の手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された内視鏡画像を表示するための表示装置、および、複数の手術器具のうちの２つを各々操作するための２つの操作ハンドルを含む遠隔操作装置と、内視鏡によって撮像された内視鏡画像にグラフィカルユーザインタフェースを重ねて表示装置の表示部に表示するように構成された制御装置と、を備え、複数の手術器具のうち少なくとも１つの手術器具が内視鏡の視野外に位置している場合に、制御装置は、視野外に位置している手術器具を示す標識をグラフィカルユーザインタフェースの表示部の画面の縁近傍を含まない内側に設定された標識表示領域に表示するように構成されており、制御装置は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示す標識を表示するように構成されている。

この発明の第１の局面による手術システムでは、上記のように、制御装置は、視野外に位置している手術器具を示す標識をグラフィカルユーザインタフェースの表示部の画面の縁近傍を含まない内側に設定された標識表示領域に表示するように構成されている。これにより、視野外に位置している手術器具を示す標識が、表示部の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することができる。また、制御装置は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示す標識を表示するように構成されている。これにより、縦の長さと横の長さとが等しくない矩形形状の表示部において、たとえば、画面の横の長さが縦の長さより長い横長の画面である場合、表示部の矩形形状の形状に応じて、長い辺（たとえば、上の辺および下の辺）の外側の視野外の領域を、短い辺（たとえば、右の辺および左の辺）の外側の視野外の領域よりも大きくすることができる。これにより、視野外の領域を等角度間隔（４５度間隔）に８分割する場合と比べて、表示部の長い辺（たとえば、上の辺および下の辺）の角に近い位置の外側の領域に視野外の手術器具が位置する場合に、斜め上方向の領域または斜め下方向の領域に位置しているとされるのを抑制することができるので、操作者が視野外の領域にある手術器具の位置の方向を正確に認識しやすくすることができる。

この発明の第２の局面による表示方法は、手術システムに設けられた制御装置によって実行される表示方法であって、内視鏡によって撮像された内視鏡画像を取得するステップと、複数の手術器具が内視鏡の視野外に位置しているか否かを判定するステップと、複数の手術器具のうち少なくとも１つの手術器具が内視鏡の視野外に位置している場合に、視野外に位置している手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを内視鏡画像に重ねて表示装置の表示部に表示するステップと、を備え、標識は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示すように表示される。

この発明の第２の局面による表示方法では、上記のように、複数の手術器具のうち少なくとも１つの手術器具が内視鏡の視野外に位置している場合に、視野外に位置している手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを内視鏡画像に重ねて表示装置の表示部に表示する。これにより、視野外に位置している手術器具を示す標識が、表示部の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な表示方法を提供することができる。また、標識は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示すように表示される。これにより、縦の長さと横の長さとが等しくない矩形形状の表示部において、たとえば、横長の画面である場合、表示部の矩形形状の形状に応じて、長い辺（たとえば、上の辺および下の辺）の外側の視野外の領域を、短い辺（たとえば、右の辺および左の辺）の外側の視野外の領域よりも大きくすることができる。これにより、視野外の領域を等角度間隔（４５度間隔）に８分割する場合と比べて、表示部の長い辺（たとえば、上の辺および下の辺）の角に近い位置の外側の領域に視野外の手術器具が位置する場合に、斜め上方向の領域または斜め下方向の領域に位置しているとされるのを抑制することができるので、操作者が視野外の領域にある手術器具の位置の方向を正確に認識しやすくすることが可能な表示方法を提供することができる。

この発明の第３の局面によるプログラムは、手術器具に関する情報の表示をコンピュータに実行させるプログラムであって、内視鏡によって撮像された内視鏡画像を取得するステップと、複数の手術器具が内視鏡の視野外に位置しているか否かを判定するステップと、複数の手術器具のうち少なくとも１つの手術器具が内視鏡の視野外に位置している場合に、視野外に位置している手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを画像に重ねて表示装置の表示部に表示するステップと、をコンピュータに実行させ、標識は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示すように表示される。

この発明の第３の局面によるプログラムでは、上記のように、複数の手術器具のうち少なくとも１つの手術器具が内視鏡の視野外に位置している場合に、視野外に位置している手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを画像に重ねて表示装置の表示部に表示する。これにより、視野外に位置している手術器具を示す標識が、表示部の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能なプログラムを提供することができる。また、標識は、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の手術器具が位置する領域に対応する方向を示すように表示される。これにより、縦の長さと横の長さとが等しくない矩形形状の表示部において、たとえば、横長の画面である場合、表示部の矩形形状の形状に応じて、長い辺（たとえば、上の辺および下の辺）の外側の視野外の領域を、短い辺（たとえば、右の辺および左の辺）の外側の視野外の領域よりも大きくすることができる。これにより、視野外の領域を等角度間隔（４５度間隔）に８分割する場合と比べて、表示部の長い辺（たとえば、上の辺および下の辺）の角に近い位置の外側の領域に視野外の手術器具が位置する場合に、斜め上方向の領域または斜め下方向の領域に位置しているとされるのを抑制することができるので、操作者が視野外の領域にある手術器具の位置の方向を正確に認識しやすくすることが可能なプログラムを提供することができる。

本発明によれば、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することができる。

第１実施形態による外科手術システムの構成を示す図である。 第１実施形態による医療用マニピュレータの構成を示す図である。 第１実施形態による操作ハンドルの構成を示す図である。 第１実施形態によるフットペダルの構成を示す図である。 第１実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 第１実施形態による医療用マニピュレータの操作部の構成を示す斜視図である。 内視鏡を示す図である。 ピボット位置教示器具を示す図である。 アームの並進移動を説明するための図である。 アームの回転移動を説明するための図である。 第１実施形態による医療用マニピュレータの制御部の構成を示すブロック図である。 内視鏡によって取り込まれた画像、および、グラフィカルユーザインターフェイスを示す図である。 グラフィカルユーザインターフェイスのエリアを示す図である。 クラッチエリアの表示を説明するための図である。 医療器具状態情報エリアの表示を説明するための図である。 左ポップアップエリアの表示を説明するための図である。 右ポップアップエリアの表示を説明するための図である。 遠隔操作装置のタッチパネルの表示を説明するための図である。 第１実施形態による標識を説明するための図である。 第１実施形態による標識（操作対象）を説明するための図である。 第１実施形態による標識（操作非対象）を説明するための図である。 第１実施形態による中央側に寄せて配置される標識を説明するための図である。 第１実施形態による表示方法を説明するためのフロー図である。 第２実施形態による標識を説明するための図（１）である。 第２実施形態による標識を説明するための図（２）である。 第２実施形態による標識を説明するための図（３）である。 第１変形例による標識を説明するための図である。 第２変形例による標識を説明するための図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
図１～図２４を参照して、第１実施形態による外科手術システム１００の構成について説明する。外科手術システム１００は、患者Ｐ側装置である医療用マニピュレータ１と、医療用マニピュレータ１を操作するための操作者側装置である遠隔操作装置２とを備えている。医療用マニピュレータ１は医療用台車３を備えており、移動可能に構成されている。遠隔操作装置２は、医療用マニピュレータ１から離間した位置に配置されており、医療用マニピュレータ１は、遠隔操作装置２により遠隔操作されるように構成されている。操作者（医師など）は、医療用マニピュレータ１に所望の動作を行わせるための指令を遠隔操作装置２に入力する。遠隔操作装置２は、入力された指令を医療用マニピュレータ１に送信する。医療用マニピュレータ１は、受信した指令に基づいて動作する。また、医療用マニピュレータ１は、滅菌された滅菌野である手術室内に配置されている。なお、外科手術システム１００は、特許請求の範囲の「手術システム」の一例である。

遠隔操作装置２は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置２は、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、モニタ２４と、支持アーム２５と、支持バー２６とを含む。操作ハンドル２１は、操作者（医師など）が指令を入力するための操作用のハンドルを構成する。なお、モニタ２４は、特許請求の範囲の「表示装置」の一例である。

操作ハンドル２１は、医療器具４を操作するように構成されている。また、操作ハンドル２１は、医療器具４に対する操作量を受け付ける。操作ハンドル２１は、操作者（医師など）から見て、左側に配置され、操作者の左手により操作される操作ハンドル２１Ｌと、右側に配置され、操作者の右手により操作される操作ハンドル２１Ｒと、を含んでいる。

また、図３に示すように、操作ハンドル２１は、リンク部２１ａ、リンク部２１ｂ、リンク部２１ｃ、操作者（医師など）が操作するリンク部２１ｄとを含む。リンク部２１ａは、Ａ４軸周りに回動する。リンク部２１ａがＡ４軸周りに回動されることにより、後述するアーム部６１がＪＴ４軸周りに回動する。リンク部２１ｂは、リンク部２１ａに対して、Ａ５軸周りに回動する。リンク部２１ｂがＡ５軸周りに回動されることにより、後述するアーム部６１がＪＴ５軸周りに回動する。リンク部２１ｃは、リンク部２１ｂに対して、Ａ６軸周りに回動する。リンク部２１ｃがＡ６軸周りに回動されることにより、アーム部６１がＪＴ６軸周りに回動する。リンク部２１ｄは、リンク部２１ｃに対して、Ａ７軸周りに回動する。リンク部２１ｄがＡ７軸周りに回動されることにより、アーム部６１がＪＴ７軸周りに回動する。なお、医療器具４は、特許請求の範囲の「手術器具」の一例である。

また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対してアーム６０（医療器具４）の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、医療器具４は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。なお、アーム６０は、特許請求の範囲の「マニピュレータ」の一例である。

図４に示すように、フットペダル２２は、医療器具４に関する機能を実行するように複数設けられている。また、複数のフットペダル２２は、基台部２８に配置されている。フットペダル２２は、切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとを含んでいる。切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとは、操作者の足により操作される。また、切開ペダル２２ｄは、右側のアーム６０用の切開ペダル２２ｄＲと、左側のアーム６０用の切開ペダル２２ｄＬとを含む。また、凝固ペダル２２ｅは、右側のアーム６０用の凝固ペダル２２ｅＲと、左側のアーム６０用の凝固ペダル２２ｅＬとを含む。なお、カメラペダル２２ｃは、特許請求の範囲の「入力装置」の一例である。

切替ペダル２２ａは、操作ハンドル２１で動作させるアーム６０を切り替えるように構成されている。第１実施形態では、クラッチペダル２２ｂは、アーム６０と操作ハンドル２１との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル２２ｂが操作者によって踏み込まれている間、操作ハンドル２１による操作が、アーム６０に伝達されなくなる。

カメラペダル２２ｃは、２つの操作ハンドル２１に内視鏡６の移動を実行させるために操作される。具体的には、カメラペダル２２ｃは、内視鏡６を移動させるための指令を入力するために設けられている。具体的には、カメラペダル２２ｃが操作者によって踏み込まれることにより、内視鏡６を移動させるための指令が入力される。また、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合（つまり、カメラペダル２２ｃが操作者によって踏み込まれている間）、内視鏡６は、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌの両方を操作することによって移動するように構成されている。

切開ペダル２２ｄ（凝固ペダル２２ｅ）が操作者によって踏み込まれている間、図示しない電気手術装置が起動する。

図１に示すように、モニタ２４は、内視鏡６によって撮像された内視鏡画像（図１３参照）を表示するためのスコープ型表示装置である。支持アーム２５は、モニタ２４の高さを操作者（医師など）の顔の高さに合わせるようにモニタ２４を支持する。タッチパネル２３は、支持バー２６に配置されている。モニタ２４近傍に設けられた図示しないセンサにより操作者の頭部を検知することにより医療用マニピュレータ１は遠隔操作装置２による操作が可能になる。操作者は、モニタ２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。これにより、遠隔操作装置２に指令が入力される。遠隔操作装置２に入力された指令は、医療用マニピュレータ１に送信される。

医療用台車３には、医療用マニピュレータ１の動作を制御する制御部３１と、医療用マニピュレータ１の動作を制御するためのプログラムなどが記憶される記憶部３２とが設けられている。そして、遠隔操作装置２に入力された指令に基づいて、医療用台車３の制御部３１は、医療用マニピュレータ１の動作を制御する。

また、医療用台車３には、入力装置３３が設けられている。入力装置３３は、主に施術前に手術の準備を行うために、ポジショナ４０、アームベース５０、および、複数のアーム６０の移動や姿勢の変更の操作を受け付けるように構成されている。

図１および図２に示す医療用マニピュレータ１は、手術室内に配置されている。医療用マニピュレータ１は、医療用台車３と、ポジショナ４０と、アームベース５０と、複数のアーム６０とを備えている。アームベース５０は、ポジショナ４０の先端に取り付けられている。アームベース５０は、比較的長い棒形状（長尺形状）を有する。また、複数のアーム６０は、各々のアーム６０の根元部が、アームベース５０に取り付けられている。複数のアーム６０は、折り畳まれた姿勢（収納姿勢）をとることが可能に構成されている。アームベース５０と、複数のアーム６０とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム６０は、医療器具４を支持する。

ポジショナ４０は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ４０は、医療用台車３上に配置されている。ポジショナ４０は、アームベース５０を移動させる。具体的には、ポジショナ４０は、アームベース５０の位置を３次元に移動させるように構成されている。

また、ポジショナ４０は、ベース部４１と、ベース部４１に連結された複数のリンク部４２とを含む。複数のリンク部４２同士は、関節部４３により連結されている。

図１に示すように、複数のアーム６０の各々の先端には、医療器具４が取り付けられている。医療器具４は、たとえば、取り換え可能なインストゥルメント、手術部位の画像を撮像するための内視鏡６（図８参照）などを含む。

また、外科手術システム１００には、図１に示すように、モニタカート８が設けられている。モニタカート８は、表示部８ａが設けられている。表示部８ａは、遠隔操作装置２のモニタ２４とは別個に設けられている。また、モニタカート８には、画像処理装置８ｂが設けられている。モニタカート８の表示部８ａには、遠隔操作装置２のモニタ２４に表示される画像と同じ画像表示される。つまり、モニタ２４に表示されて術者が見ている画像を、医療用マニピュレータ１および患者Ｐの周辺にいる作業者（看護師、助手など）がモニタカート８の表示部８ａにより見ることが可能である。なお、表示部８ａは、特許請求の範囲の「表示装置」の一例である。また、画像処理装置８ｂは、特許請求の範囲の「制御装置」の一例である。

図５に示すように、インストゥルメントには、アーム６０のホルダ７１に設けられたサーボモータＭ２によって駆動される被駆動ユニット４ａが設けられている。また、インストゥルメントの先端には、鉗子４ｂが設けられている。

また、図６に示すように、インストゥルメントは、エンドエフェクタ部材１０４ａおよび１０４ｂの基端側を先端側でＪＴ１１軸周りに回転可能に支持する第１支持体４ｅと、第１支持体４ｅの基端側を先端側でＪＴ１０軸周りに回転可能に支持する第２支持体４ｆと、第２支持体４ｆの基端側に接続されるシャフト４ｃとを含む。被駆動ユニット４ａと、シャフト４ｃと、第２支持体４ｆと、第１支持体４ｅと、鉗子４ｂとは、Ｚ方向に沿って配置されている。ＪＴ１１軸は、シャフト４ｃが延びる方向（Ｚ方向）に対して直交する。また、ＪＴ１０軸は、シャフト４ｃが延びる方向においてＪＴ１１軸と離間しかつシャフト４ｃが延びる方向およびＪＴ１１軸に対して直交する。

第１支持体４ｅには、ＪＴ１１軸の軸線周りに回転するように鉗子４ｂが取り付けられている。また、第２支持体４ｆは、第１支持体４ｅをＪＴ１０軸について回転可能に支持している。つまり、第２支持体４ｆにはＪＴ１０軸の軸線周りに回転するように第１支持体４ｅが取り付けられている。また、第１支持体４ｅの先端側（Ｚ１方向側）の部分は、Ｕ字形状を有している。第１支持体４ｅのＵ字形状の先端側の部分のＪＴ１１軸の軸線における中央部にツールセンタポイント（ＴＣＰ１、クレビス）が設定されている。

また、医療器具４（鉗子４ｂ）は、シャフト４ｃの回転軸（シャフト４ｃが延びる方向に沿った軸）としてのＪＴ９軸と、鉗子４ｂの開閉軸としてのＪＴ１２軸とを備えている。なお、アーム６０のホルダ７１に設けられたサーボモータＭ２は、複数（たとえば、４個）設けられており、複数のサーボモータＭ２によって、被駆動ユニット４ａの回転体が駆動される。これにより、Ｊ９軸～Ｊ１２軸周りに、医療器具４が駆動される。

また、図８に示すように、内視鏡６のＴＣＰ２は、内視鏡６の先端に設定されている。

次に、アーム６０の構成について詳細に説明する。

図５に示すように、アーム６０は、アーム部６１（ベース部６２、リンク部６３、関節部６４）と、アーム部６１の先端に設けられる並進移動機構部７０とを含む。アーム６０は、アーム６０の根元側（アームベース５０）に対して先端側を３次元に移動させるように構成されている。また、アーム部６１は、７軸多関節ロボットアームから構成されている。なお、複数のアーム６０は、互いに同様の構成を有する。

図５に示すように、アーム６０は、回転軸としてのＪＴ１～ＪＴ７軸と、直動軸としてのＪ８軸とを備えている。ＪＴ１～ＪＴ７軸は、アーム部６１の関節部６４の回転軸に対応する。また、ＪＴ７軸は、並進移動機構部７０の基端側リンク部７２に対応する。ＪＴ８軸は、並進移動機構部７０の先端側リンク部７３を基端側リンク部７２に対してＺ方向に沿って相対的に移動させる軸に対応する。すなわち、図１２に示すサーボモータＭ１は、アーム６０のＪＴ１～ＪＴ７軸に対応するように設けられている。また、サーボモータＭ３は、ＪＴ８軸に対応するように設けられている。

並進移動機構部７０は、アーム部６１の先端側に設けられるとともに医療器具４が取り付けられている。また、並進移動機構部７０は、医療器具４を患者Ｐに挿入する方向に並進移動させる。また、並進移動機構部７０は、医療器具４をアーム部６１に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部７０には、医療器具４を保持するホルダ７１が設けられている。ホルダ７１には、サーボモータＭ２（図１２参照）が収容されている。

また、図７に示すように、医療用マニピュレータ１は、アーム６０に取り付けられ、アーム６０を操作する操作部８０を備えている。操作部８０は、イネーブルスイッチ８１と、ジョイスティック８２とスイッチ部８３とを含む。イネーブルスイッチ８１は、ジョイスティック８２およびスイッチ部８３によるアーム６０の移動を許可または不許可とする。また、イネーブルスイッチ８１は、操作者（看護師、助手など）が操作部８０を把持して押下されることによりアーム６０による医療器具４の移動を許可する状態となる。また、ジョイスティック８２とスイッチ部８３は、アーム６０を操作するために用いられる。なお、イネーブルスイッチ８１は、特許請求の範囲の「入力装置」の一例である。

また、スイッチ部８３は、医療器具４の長手方向に沿った医療器具４を患者Ｐに挿入する方向側に医療器具４を移動させるスイッチ部８３ａと、医療器具４を患者Ｐに挿入する方向と反対側に医療器具４を移動させるスイッチ部８３ｂとを含む。スイッチ部８３ａとスイッチ部８３ｂとは、共に、押しボタンスイッチから構成されている。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４の移動の支点（図１１参照）となるピボット位置ＰＰを教示するピボットボタン８５を含む。ピボットボタン８５は、操作部８０の面８０ｂに、イネーブルスイッチ８１に隣り合うように設けられている。そして、内視鏡６（図８参照）またはピボット位置教示器具７（図９）の先端が、患者Ｐの体表面Ｓに挿入されたトロカールＴの挿入位置に対応する位置まで移動された状態で、ピボットボタン８５が押下されることによりピボット位置ＰＰが教示され、記憶部３２に記憶される。なお、ピボット位置ＰＰの教示において、ピボット位置ＰＰは、１つの点（座標）として設定され、ピボット位置ＰＰの教示は、医療器具４の方向を設定するものではない。

また、図１に示すように、複数のアーム６０のうちの一つのアーム６０（たとえば、アーム６０ｃ）には内視鏡６が取り付けられ、残りのアーム６０（たとえば、アーム６０ａ、６０ｂおよび６０ｄ）には、内視鏡６以外の医療器具４が取り付けられる。具体的には、手術において、４つのアーム６０のうちの１つのアーム６０に内視鏡６が取り付けられ、３つのアーム６０に内視鏡６以外の医療器具４（鉗子４ｂなど）が取り付けられる。そして、内視鏡６が取り付けられているアーム６０に対して、内視鏡６が取り付けられた状態でピボット位置ＰＰが教示される。また、内視鏡６以外の医療器具４が取り付けられるアーム６０に対して、ピボット位置教示器具７が取り付けられた状態でピボット位置ＰＰが教示される。なお、内視鏡６は、互いに隣り合うように配置されている４つのアーム６０のうちの、中央に配置される２つのアーム６０（アーム６０ｂおよび６０ｃ）のうちのいずれかに取り付けられる。すなわち、ピボット位置ＰＰは、複数のアーム６０毎に個別に設定される。

また、図７に示すように、操作部８０の面８０ｂには、アーム６０の位置を最適化するためのアジャストメントボタン８６が設けられている。内視鏡６が取り付けられたアーム６０に対するピボット位置ＰＰの教示後、アジャストメントボタン８６が押下されることにより、他のアーム６０（アームベース５０）の位置が最適化される。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４を並進移動（図１０参照）させるモードと、回転移動（図１１参照）させるモードとを切り替えるモード切替ボタン８４を含む。また、モード切替ボタン８４の近傍には、モードインジケータ８４ａが設けられている。モードインジケータ８４ａは、切り替えられたモードを表示する。具体的には、モードインジケータ８４ａが点灯（回転移動モード）または消灯（並進移動モード）されることにより、現在のモード（並進移動モードまたは回転移動モード）が表示される。

また、モードインジケータ８４ａは、ピボット位置ＰＰが教示されたことを表示するピボット位置インジケータを兼ねている。

図１０に示すように、アーム６０を並進移動させるモードでは、医療器具４の先端４ｄが、Ｘ－Ｙ平面上において移動するように、アーム６０が移動される。また、図１１に示すように、アーム６０を回転移動させるモードでは、ピボット位置ＰＰが教示されていない時は、鉗子４ｂを中心に回転移動し、ピボット位置ＰＰが教示されている時は、ピボット位置ＰＰを支点として医療器具４が回転移動するように、アーム６０が移動される。なお、医療器具４のシャフト４ｃがトロカールＴに挿入された状態で、医療器具４が回転移動される。

また、図１２に示すように、アーム６０には、アーム部６１の複数の関節部６４に対応するように、複数のサーボモータＭ１と、エンコーダＥ１と、減速機（図示せず）とが設けられている。エンコーダＥ１は、サーボモータＭ１の回転角を検出するように構成されている。減速機は、サーボモータＭ１の回転を減速させてトルクを増大させるように構成されている。

また、図１２に示すように、並進移動機構部７０には、医療器具４の被駆動ユニット４ａに設けられた回転体を回転させるためのサーボモータＭ２と、医療器具４を並進移動させるためのサーボモータＭ３と、エンコーダＥ２およびエンコーダＥ３と、減速機（図示せず）とが設けられている。エンコーダＥ２およびエンコーダＥ３は、それぞれ、サーボモータＭ２およびサーボモータＭ３の回転角を検出するように構成されている。減速機は、サーボモータＭ２およびサーボモータＭ３の回転を減速させてトルクを増大させるように構成されている。

また、ポジショナ４０には、ポジショナ４０の複数の関節部４３に対応するように、複数のサーボモータＭ４と、エンコーダＥ４と、減速機（図示せず）とが設けられている。エンコーダＥ４は、サーボモータＭ４の回転角を検出するように構成されている。減速機は、サーボモータＭ４の回転を減速させてトルクを増大させるように構成されている。

また、医療用台車３には、医療用台車３の複数の図示しない前輪の各々を駆動するサーボモータＭ５と、エンコーダＥ５と、図示しない減速機とブレーキが設けられている。減速機は、サーボモータＭ５の回転を減速させてトルクを増大させるように構成されている。また、医療用台車３のスロットル部３４ａには、ポテンショメータＰ１（図１参照）が設けられており、スロットル部３４ａの捻りに応じてポテンショメータＰ１で検出した回転角に基づき、前輪のサーボモータＭ５は駆動される。また、医療用台車３の図示しない後輪は、双輪形式であり、操作ハンドル３４の左右の回動に基づき、後輪は操舵される。また、医療用台車３の操作ハンドル３４には、ポテンショメータＰ２（図２参照）が設けられており、医療用台車３の後輪には、サーボモータＭ６とエンコーダＥ６と図示しない減速機が設けられている。減速機は、サーボモータＭ６の回転を減速させてトルクを増大させるように構成されている。操作ハンドル３４の左右の回動に応じてポテンショメータＰ２で検出した回転角に基づき、サーボモータＭ６は駆動される。すなわち、操作ハンドル３４の左右の回動による後輪の操舵は、サーボモータＭ６によりパワーアシストされるように構成されている。

また、医療用台車３は、前輪が駆動されることにより、前後方向に移動する。また、医療用台車３の操作ハンドル３４が回動されることにより、後輪が操舵されて、医療用台車３が左右方向に回動する。

医療用台車３の制御部３１は、指令に基づいて複数のアーム６０の移動を制御するアーム制御部３１ａと、指令に基づいてポジショナ４０の移動および医療用台車３の前輪（図示せず）の駆動を制御するポジショナ制御部３１ｂとを含む。アーム制御部３１ａには、アーム６０を駆動するためのサーボモータＭ１を制御するためのサーボ制御部Ｃ１が電気的に接続されている。また、サーボ制御部Ｃ１には、サーボモータＭ１の回転角を検出するためのエンコーダＥ１が電気的に接続されている。

また、アーム制御部３１ａには、医療器具４を駆動するためのサーボモータＭ２を制御するためのサーボ制御部Ｃ２が電気的に接続されている。また、サーボ制御部Ｃ２には、サーボモータＭ２の回転角を検出するためのエンコーダＥ２が電気的に接続されている。また、アーム制御部３１ａには、並進移動機構部７０を並進移動するためのサーボモータＭ３を制御するためのサーボ制御部Ｃ３が電気的に接続されている。また、サーボ制御部Ｃ３には、サーボモータＭ３の回転角を検出するためのエンコーダＥ３が電気的に接続されている。

そして、遠隔操作装置２に入力された動作指令が、アーム制御部３１ａに入力される。アーム制御部３１ａは、入力された動作指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１（Ｃ２、Ｃ３）に出力する。サーボ制御部Ｃ１（Ｃ２、Ｃ３）は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１（Ｍ２、Ｍ３）に出力する。これにより、遠隔操作装置２に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、制御部３１（アーム制御部３１ａ）は、操作部８０のジョイスティック８２からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、ジョイスティック８２から入力された入力信号（動作指令）と、エンコーダＥ１により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１に出力する。サーボ制御部Ｃ１は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１に出力する。これにより、ジョイスティック８２に入力された動作指令に沿うように、アーム６０が移動される。

制御部３１（アーム制御部３１ａ）は、操作部８０のスイッチ部８３からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、スイッチ部８３から入力された入力信号（動作指令）と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１またはＣ３に出力する。サーボ制御部Ｃ１またはＣ３は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１またはＭ３に出力する。これにより、スイッチ部８３に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、ポジショナ制御部３１ｂには、ポジショナ４０を移動するサーボモータＭ４を制御するためのサーボ制御部Ｃ４が電気的に接続されている。また、サーボ制御部Ｃ４には、サーボモータＭ４の回転角を検出するためのエンコーダＥ４が電気的に接続されている。また、ポジショナ制御部３１ｂには、医療用台車３の前輪（図示せず）を駆動するサーボモータＭ５を制御するためのサーボ制御部Ｃ５が電気的に接続されている。また、サーボ制御部Ｃ５には、サーボモータＭ５の回転角を検出するためのエンコーダＥ５が電気的に接続されている。

また、入力装置３３から準備位置の設定などに関する動作指令が、ポジショナ制御部３１ｂに入力される。ポジショナ制御部３１ｂは、入力装置３３から入力された動作指令と、エンコーダＥ４により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ４に出力する。サーボ制御部Ｃ４は、ポジショナ制御部３１ｂから入力された位置指令と、エンコーダＥ４により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ４に出力する。これにより、入力装置３３に入力された動作指令に沿うように、ポジショナ４０が移動される。同様に、入力装置３３からの動作指令に基づいて、ポジショナ制御部３１ｂは、医療用台車３を移動させる。

外科手術システム１００は、画像処理装置８ｂを備えている。画像処理装置８ｂは、所定のプログラムに基づいて処理を実行する。画像処理装置８ｂは、コンピュータにより構成されている。画像処理装置８ｂは、プログラムを実行するＣＰＵなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧ（図１４参照）を生成し、グラフィカルユーザインタフェースＧを内視鏡６によって撮影された内視鏡画像（図１３参照）に重ねて遠隔操作装置２のモニタ２４に表示するように構成されている。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧを内視鏡６によって撮影された内視鏡画像に重ねて表示部８ａに表示するように構成されている。また、画像処理装置８ｂは、内視鏡６から画像を取り込んで画像処理を行うように構成されている。

図１４に示すように、グラフィカルユーザインタフェースＧは、クラッチエリアＧ１を含む。図１５に示すように、クラッチエリアＧ１には、クラッチペダル２２ｂの状態が示される。図１５(ａ)は、クラッチペダル２２ｂが踏まれていない状態（ＯＦＦ状態）を示している。図１５(ｂ)は、操作者がクラッチペダル２２ｂに足を置いている状態（ホバー状態）を示している。図１５(ｃ)は、クラッチペダル２２ｂが踏まれている状態（ＯＮ状態）を示している。

図１４に示すように、第１実施形態では、グラフィカルユーザインタフェースＧは、内視鏡６に関する情報を示すカメラエリアＧ２を含む。カメラエリアＧ２は、モニタ２４の画面ｇｒの下方の端部ｅｄ（図１３参照）近傍の領域に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、ハンドエリアＧ３を含む。ハンドエリアＧ３は、各医療器具４の情報や、各アーム６０の情報や、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報が表示される。ハンドエリアＧ３は、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ａ（ハンドエリアＧ３の番号「４」）に関する情報を示すハンドエリアＧ３ａと、交換用の医療器具４およびアーム６０ｂ（ハンドエリアＧ３の番号「３」）に関する情報を示すハンドエリアＧ３ｂと、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ｄ（ハンドエリアＧ３の番号「１」）に関する情報を示すハンドエリアＧ３ｃとを含む。ハンドエリアＧ３は、モニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。また、クラッチエリアＧ１も、画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。具体的には、図１４に示すように、クラッチエリアＧ１、カメラエリアＧ２およびハンドエリアＧ３は、画面ｇｒの下方の端部ｅｄと、端部ｅｄから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に表示される。

また、アーム６０に関する情報は、アーム番号（「１」、「２」などのアーム番号）や交換用の医療器具４が取り付けられたアーム６０の交換先として設定されている場合に表示される矢印のアイコンを含み、医療器具４に関する情報は医療器具４の名称を含み、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報は、クラッチペダル２２ｂの操作の状態、切開ペダル２２ｄの操作の状態、凝固ペダル２２ｅの操作の状態を含む。

また、図１３に示すように、操作対象となるアーム６０のハンドエリア（ハンドエリアＧ３ａ、および、ハンドエリアＧ３ｃ）は、濃い灰色で表示され、この中に白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１および４）が表示される。また、操作対象でないアーム６０のハンドエリア（ハンドエリアＧ３ｂ）は、薄い灰色で表示され、かつ、さらに薄い灰色のアーム６０の番号（３）が表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、ポップアップエリアである医療器具状態情報エリアＧ４を含む。医療器具状態情報エリアＧ４には、各アーム６０に取り付けられた医療器具４の現在の使用回数／最大使用回数（図１６参照）が、ポップアップで表示される。なお、現在の使用回数が最大使用回数に等しくなると、現在の使用回数が赤字で表示される。また、各アーム６０に取り付けられた医療器具４にエラーが生じた際にはエラー情報がポップアップで表示される。また、アーム６０に医療器具４が取り付けられていない場合、医療器具状態情報エリアＧ４には何も表示されない。医療器具状態情報エリアＧ４は、モニタ２４上において、クラッチエリアＧ１、カメラエリアＧ２、および、ハンドエリアＧ３の上方側の隣接した領域に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、水準器エリアＧ５を含む。水準器エリアＧ５は、内視鏡６の角度情報が表示される。また、水準器エリアＧ５は、カメラペダル２２ｃが踏み込まれている間のみ表示される。すなわち、画像処理装置８ｂは、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。なお、水準器エリアＧ５は、特許請求の範囲の「センターエリア」の一例である。

図１４に示すように、グラフィカルユーザインタフェースＧは、左ポップアップエリアＧ６を含む。左ポップアップエリアＧ６は、フットペダル２２に足が置かれているホバー状態のときに、図１７（ａ）～（ｃ）に示すアイコンが表示される。図１７（ａ）は、凝固ペダル２２ｅＬと切開ペダル２２ｄＬに足が置かれているときに表示されるアイコンである。図１７（ｂ）は、クラッチペダル２２ｂに足が置かれているときに表示されるアイコンである。図１７（ｃ）は、カメラペダル２２ｃに足が置かれているときに表示されるアイコンである。左ポップアップエリアＧ６は、モニタ２４上において、左側側部に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、右ポップアップエリアＧ７を含む。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲに足が置かれているときにアイコン（図１８）が表示される。右ポップアップエリアＧ７は、モニタ２４上において、右側側部に表示される。

また、図１４に示すように、グラフィカルユーザインタフェースＧは、アーム６０の動作可能範囲と、アーム６０の動作可能範囲のうち操作ハンドル２１により操作可能な操作可能範囲と、を表示する第１エリアＧ８を含む。また、グラフィカルユーザインタフェースＧは、操作ハンドル２１を操作可能範囲内に戻すため、および／または（第１実施形態では、「および」）アーム６０を動作可能範囲内に戻すために必要な操作ハンドル２１の操作方向を表示する第２エリアＧ９を含む。

また、操作ハンドル２１により操作可能なアーム６０は、２つである。たとえば、操作ハンドル２１Ｌによって、医療器具４を支持するための左アーム６０Ｌ（例えば、アーム６０ａ、図１参照）が操作される。また、操作ハンドル２１Ｒによって、医療器具４を支持するための右アーム６０Ｒ（例えば、アーム６０ｄ、図１参照）が操作される。そして、第１エリアＧ８（第１エリアＧ８Ｌ、第１エリアＧ８Ｒ）および第２エリアＧ９（第２エリアＧ９Ｌ、第２エリアＧ９Ｒ）は、各々、左アーム６０Ｌおよび右アーム６０Ｒごとに別個に設けられている。

また、図１４に示すように、グラフィカルユーザインタフェースＧは、エラー通知エリアＧ１５（Ｇ１５ａ、Ｇ１５ｂ）を含む。エラー通知エリアＧ１５ａは、警告やエラーが発生したときに、警告やエラー情報を表示するためにポップアップで表示される。エラー通知エリアＧ１５ｂは、エラー通知エリアＧ１５ａに表示されている警告やエラーに関する注記の詳細を表示するためにポップアップで表示される。

図１３に示される内視鏡６の視野外に位置している医療器具４を示す標識ＭＫ１や図２５に示される標識ＭＫ２は、表示される状態と、表示されない状態とを切り替え可能に構成されている。具体的には、図１９に示すように、遠隔操作装置２のタッチパネル２３が操作されることにより、「視野外鉗子表示」のボタンが表示される。そして、「視野外鉗子表示」の「オン」が選択されて設定されると、操作者によりカメラペダル２２ｃに入力操作が行われた場合に、内視鏡６の視野外に位置している医療器具４が存在すると標識ＭＫ１や標識ＭＫ２が表示される。また、「視野外鉗子表示」の「オフ」が選択されると、標識ＭＫ１や標識ＭＫ２が表示されない。これにより操作者の操作の熟練度や操作者のニーズによって「視野外鉗子表示」の表示設定を容易に切り替えることができる。

図１４に示すように、グラフィカルユーザインタフェースＧは、ステータスエリアＧ１０を含む。ステータスエリアＧ１０には、医療用マニピュレータ１の内蔵バッテリの残量、モニタ２４の明るさ／コントラスト、ラップタイム、手術経過時間などの情報が表示される。具体的には、図１４に示すように、ステータスエリアＧ１０は、画面ｇｒの上方の端部ｅｕと、端部ｅｕから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に表示される。

ここで、第１実施形態では、図１３および図１４に示すように、画像処理装置８ｂは、複数の医療器具４のうち少なくとも１つの医療器具４が内視鏡６の視野外に位置している場合に、カメラペダル２２ｃまたはイネーブルスイッチ８１による入力に応答して、視野外に位置している医療器具４を示す標識ＭＫ１を、表示部の画面の縁近傍を含まないグラフィカルユーザインタフェースＧの内側領域に表示する。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧの水準器エリアＧ５の外縁近傍エリアＧ１１内に標識ＭＫ１を表示するように構成されている。つまり、標識ＭＫ１（グラフィカルユーザインタフェースＧ）は、モニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示される。なお、外縁近傍エリアＧ１１とは、後述する水準器ＬＶの外側且つ水準器ＬＶの近傍に位置するエリアである。

また、画像処理装置８ｂは、内視鏡６の移動を実行させるためにカメラペダル２２ｃに対して行うカメラ移動操作の入力に応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示するように構成されている。また、画像処理装置８ｂは、カメラ移動操作とは異なるカメラペダル２２ｃに対する操作として、カメラペダル２２ｃが所定時間以内に２回連続操作（ダブルクリック操作）される入力に応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示するように構成されても良い。

なお、画像処理装置８ｂは、カメラ移動操作とは異なるカメラペダル２２ｃに対する操作を受け付けた場合は、操作ハンドル２１Ｌおよび２１Ｒによる操作により、医療器具４の操作を可能とする。つまり、カメラ移動操作とは異なるカメラペダル２２ｃに対する操作が行われた場合は、操作ハンドル２１Ｌおよび２１Ｒにより、内視鏡６の移動操作はできない。

また、画像処理装置８ｂは、アーム６０に取り付けられたイネーブルスイッチ８１が操作されることに応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示するように構成されている。つまり、アーム６０を移動させるために助手や看護師などの操作者がイネーブルスイッチ８１を押下した場合に、標識ＭＫ１がグラフィカルユーザインタフェースＧに表示される。

標識ＭＫ１は、表示される状態と、表示されない状態とを切り替え可能に構成されている。具体的には、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１によって入力が行われた場合にのみ、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示するように構成されている。

なお、画像処理装置８ｂは、内視鏡６の撮像範囲情報、および、複数のアーム６０に各々支持される複数の医療器具４の各々の先端の位置情報に基づいて、複数の医療器具４が内視鏡６の視野外に位置しているか否かを判定するように構成されている。つまり、画像処理装置８ｂは、医療器具４の位置を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８ｂは、内視鏡６の撮像方向を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８ｂは、内視鏡６のズーム状態に基づいて内視鏡６の画角（視野範囲）を取得する。画像処理装置８ｂは、内視鏡６の画角（視野範囲）を、内視鏡６のメカ機構（レンズ等）として設定されている値を用いて取得する。そして、画像処理装置８ｂは、内視鏡６の視野および、内視鏡６の姿勢、位置とアーム６０の位置情報より、内視鏡６の視野に対する医療器具４の先端の座標を取得する。これにより、画像処理装置８ｂは、医療器具４が内視鏡６の視野外に位置しているか否かを判定する。

また、図１３および図１４に示す例では、アーム６０ａ、６０ｂ、６０ｃおよび６０ｄのうち、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）には、医療器具４（内視鏡６以外の鉗子４ｂなどの医療器具４）が取り付けられている。また、アーム６０ｃ（カメラエリアＧ２の番号「２」）には、内視鏡６が取り付けられている。アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３の番号「１」）が、操作ハンドル２１により操作可能な状態（アクティブ）であり、ハンドエリアＧ３ａおよびＧ３ｃは、濃い灰色で表示される。また、アーム６０ｂは、操作ハンドル２１により操作可能でない状態（非アクティブ）であり、ハンドエリアＧ３ｂは、薄い灰色で表示される。

図１３に示す例では、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）に支持される医療器具４は、内視鏡６の視野内に位置している。一方、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）に支持される医療器具４は、内視鏡６の視野外に位置している。

そして、第１実施形態では、図１３に示すように、画像処理装置８ｂは、水準器エリアＧ５の外縁近傍エリアＧ１１内の視野外の医療器具４が位置する方向に標識ＭＫ１を表示するように構成されている。つまり、グラフィカルユーザインタフェースＧは、外縁近傍エリアＧ１１で、且つ、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２（図２０参照）に、視野外の医療器具４を表示する標識ＭＫ１を配置して表示される。図１３では、標識ＭＫ１（「３」の文字）が、表示されている。

また、図２０に示すように、視野外の医療器具４を表示する標識ＭＫ１が表示されるエリアＧ１２は、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に複数に分割したエリアＧ１２のうちの１つのエリアＧ１２である。第１実施形態では、外縁近傍エリアＧ１１が、中央ＣＮ２から放射状に８個に分割されている。図１３では、標識ＭＫ１（「３」の文字）が、例として、左上方向の領域Ｇ１２ｄ（図２０参照）に表示されている。なお、図２０では、視野外に医療器具４が位置しているパターンの全てを表示している。

また、第１実施形態では、図２０に示すように、画像処理装置８ｂは、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の医療器具４が位置する領域に対応する方向を示す標識ＭＫ１を表示するように構成されている。

また、第１実施形態では、図２０に示すように、表示部は、横の長さが縦の長さよりも大きい。そして、表示部の形状に応じて視野外の領域を８分割した領域は、上方向の領域Ｇ１２ｃおよび下方向の領域Ｇ１２ｇの角度が、右方向の領域Ｇ１２ａ、左方向の領域Ｇ１２ｅ、右上方向の領域Ｇ１２ｂ、左上方向の領域Ｇ１２ｄ、右下方向の領域Ｇ１２ｈおよび左下方向の領域Ｇ１２ｆの角度よりも大きくなるように分割されている。

また、第１実施形態では、図２０に示すように、外縁近傍エリアＧ１１の外縁のアスペクト比（縦横比）は、表示部と同じアスペクト比である。たとえば、外縁近傍エリアＧ１１の外縁のアスペクト比および表示部のアスペクト比は、横の長さ：縦の長さ＝１６：９である。

また、第１実施形態では、画像処理装置８ｂは、視野外の領域を８分割した線により表示部の上辺、下辺、右辺および左辺を分割した各領域における線分の長さが、右方向、左方向、右上方向、左上方向、右下方向および左下方向の領域の線分の長さよりも、上方向および下方向の領域の線分の長さが大きくなるように、視野外の領域を８分割するように構成されている。

画像処理装置８ｂは、表示部の上辺の左から１／ｎの点と下辺の右から１／ｎの点とを結ぶ直線と、上辺の右から１／ｎの点と下辺の左から１／ｎの点とを結ぶ直線と、表示部の左辺の上から１／ｎの点と右辺の下から１／ｎの点とを結ぶ直線と、左辺の下から１／ｎの点と右辺の上から１／ｎの点とを結ぶ直線とにより、視野外の領域を８分割するように構成されている。ｎは、３より大きく８より小さい。たとえば、画像処理装置８ｂは、表示部の上辺の左から１／４の点と下辺の右から１／４の点とを結ぶ直線と、上辺の右から１／４の点と下辺の左から１／４の点とを結ぶ直線と、表示部の左辺の上から１／４の点と右辺の下から１／４の点とを結ぶ直線と、左辺の下から１／４の点と右辺の上から１／４の点とを結ぶ直線とにより、視野外の領域を８分割するように構成されている。図２０に示す例では、上辺および下辺の長さの１／４の長さがＬ１であり、右辺および左辺の長さの１／４の長さがＬ２である。

たとえば、横の長さ：縦の長さ＝１６：９の画面の場合、上方向の領域Ｇ１２ｃおよび下方向の領域Ｇ１２ｇの角度θ１が、約４１．６度であり、右方向の領域Ｇ１２ａおよび左方向の領域Ｇ１２ｅの角度θ２が３１．４度であり、右上方向の領域Ｇ１２ｂ、左上方向の領域Ｇ１２ｄ、右下方向の領域Ｇ１２ｈおよび左下方向の領域Ｇ１２ｆの角度が、約３２．７度である。

また、画像処理装置８ｂは、外縁近傍エリアＧ１１の８分割された各領域内の予め決められた位置に標識ＭＫ１を表示するように構成されている。

また、図１４に示すように、画像処理装置８ｂは、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。つまり、画像処理装置８ｂは、カメラペダル２２ｃに対してカメラ移動操作が行われている間、グラフィカルユーザインタフェースＧの水準器エリアＧ５に内視鏡６の水準器を表示する。そして、画像処理装置８ｂは、標識ＭＫ１を水準器エリアＧ５外の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインタフェースＧをモニタ２４に表示する。水準器ＬＶは、患者Ｐに対する内視鏡６の視野の傾きを表している。

また、図１４に示すように、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域（横方向に長い長方形形状）である。このように画面ｇｒの中央部を含む所定の大きさの水準器エリアＧ５の外縁近傍エリアＧ１１に標識ＭＫ１を表示することにより操作者の視認性を向上させることができる。上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に配置されている。好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／８の長さ下方の位置との間に配置され、より好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／６の長さ下方の位置との間に配置される。

また、上辺部Ｇ５ａは、医療用マニピュレータ１の内蔵バッテリの残量などが表示されるステータスエリアＧ１０の下方に配置されている。

また、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置との間に配置される。好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／８の長さ右側の位置との間に配置され、より好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／６の長さ右側の位置との間に配置される。

また、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置との間に配置される。好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／８の長さ左側の位置との間に配置され、より好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／６の長さ左側の位置との間に配置される。

また、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に配置されている。好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／８の長さ上方の位置との間に配置され、より好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／６の長さ上方の位置との間に配置される。

水準器エリアＧ５の下辺部Ｇ５ｄは、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃ、および、カメラエリアＧ２よりも上方に配置されている。さらに、水準器エリアＧ５の下辺部Ｇ５ｄは、医療器具状態情報エリアＧ４よりも上方に配置されている。

なお、モニタ２４の画面ｇｒの中央部ＣＮ１と、水準器エリアＧ５の中央ＣＮ２とは、略同じ位置である。

また、視野外に位置している医療器具４を示す標識ＭＫ１は、水準器エリアＧ５と、医療器具状態情報エリアＧ４、左ポップアップエリアＧ６、右ポップアップエリアＧ７およびステータスエリアＧ１０のうちの少なくとも１つ（第１実施形態では全て）と、の間に配置されている。なお、医療器具状態情報エリアＧ４は、医療器具４の状態を示す。左ポップアップエリアＧ６は、フットペダル２２が操作されたとき（フットペダル２２に足が置かれているホバー状態のときに）に表示される。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲとが操作されたとき（操作者の足が置かれているとき）に表示される。ステータスエリアＧ１０は、外科手術システム１００の状態を示す。

また、第１実施形態では、図１３に示すように、標識ＭＫ１は、視野外に位置している医療器具４を支持するアーム６０を特定する番号を含む。図１３に示す例では、アーム６０ｂ（ハンドエリアＧ３の番号「３」）に支持される医療器具４が内視鏡６の視野外に位置していることを示す「３」の番号がＭＫ１として表示されている。

また、図２１および図２２に示すように、標識ＭＫ１は、視野外に位置している医療器具４が、操作対象である場合と操作対象でない場合とで異なる態様で表示される。具体的には、図２１に示すように、医療器具４が操作対象である場合、黒の四角の中に、白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１～４のいずれか）が表示される。また、図２２に示すように、医療器具４が操作対象でない場合、黒の四角の中に、灰色のアーム６０の番号（１～４のいずれか）が表示される。

また、図２０に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４のうちの複数が内視鏡６の視野外に位置している場合、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順に対応するように、内視鏡６の視野外に位置している医療器具４に対応する複数の標識ＭＫ１が表示される。アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順とは、アームベース５０に取り付けられている状態における、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順を意味する。

また、図２０に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４の全て（３つ）が内視鏡６の視野外に位置している場合、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの順に、アーム６０ａを表す標識ＭＫ１（「４」）、アーム６０ｂを表す標識ＭＫ１（「３」）、および、アーム６０ｄを表す標識ＭＫ１（「１」）が表示される。すなわち、ハンドエリアＧ３の並び順に、標識ＭＫ１（「４」、「３」、および、「１」）が表示される。

また、図２３に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４のうちの１つまたは２つが内視鏡６の視野外に位置している場合、内視鏡６の視野外に位置している医療器具４に対応する標識ＭＫ１は、モニタ２４の画面ｇｒの中央側に寄せて配置される。つまり、アーム６０ａに取り付けられた医療器具４のみが視野の左側の外に位置している場合、アーム６０ａに取り付けられた医療器具４を示す標識ＭＫ１（「４」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「４」）の位置よりも、画面ｇｒの中央側に寄せて配置される。

同様に、アーム６０ａに取り付けられた医療器具４のみが視野の下側の外に位置している場合、アーム６０ａに取り付けられた医療器具４を示す標識ＭＫ１（「４」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「４」）の位置よりも、画面ｇｒの中央側に寄せて配置される。アーム６０ａに取り付けられた医療器具４のみが視野の上側（斜め左上側、斜め左下側）の外に位置している場合も同様である。

同様に、アーム６０ｄに取り付けられた医療器具４のみが視野の右側の外に位置している場合、アーム６０ｄに取り付けられた医療器具４を示す標識ＭＫ１（「１」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「１」）の位置よりも、画面ｇｒの中央側に寄せて配置される。アーム６０ｄに取り付けられた医療器具４のみが視野の斜め右上側および斜め右下側の外に位置している場合も同様である。

（表示方法）
次に、図２４を参照して、外科手術システム１００におけるモニタ２４へのグラフィカルユーザインタフェースＧの表示方法について説明する。なお、グラフィカルユーザインタフェースＧの生成は、画像処理装置８ｂによって行われる。

まず、ステップＳ１において、画像処理装置８ｂは、手術部位の画像を撮像するための内視鏡６によって撮像された内視鏡画像を取得する。

次に、ステップＳ２において、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１による入力が行われたか否かを判定する。ステップＳ２においてｙｅｓの場合、ステップＳ３に進む。ステップＳ２においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ３において、画像処理装置８ｂは、アーム６０ａに支持される医療器具４、アーム６０ｂに支持される医療器具４、および、アーム６０ｄに支持される医療器具４の少なくとも何れかが内視鏡６の視野外に位置しているか否かを判定する。ステップＳ３においてｙｅｓの場合（つまり、内視鏡６の移動を可能にする指令を受けた場合で、且つ、アーム６０に支持される医療器具４が内視鏡６の視野外に位置している場合）、ステップＳ４に進む。ステップＳ４においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ４において、画像処理装置８ｂは、視野外に位置している医療器具４を示す標識ＭＫ１をモニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインタフェースＧを、内視鏡６によって撮像された内視鏡画像上に重ねてモニタ２４に表示する。

上記のステップＳ１～Ｓ４の動作は、外科手術システム１００の動作中、常に行われる。

［第１実施形態の効果］
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、画像処理装置８ｂは、視野外に位置している医療器具４を示す標識ＭＫ１をグラフィカルユーザインタフェースＧの表示部の画面の縁近傍を含まない内側に設定された外縁近傍エリアＧ１１に表示するように構成されている。これにより、視野外に位置している医療器具４を示す標識ＭＫ１が、表示部の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する医療器具４を示す標識ＭＫ１を容易に視認することができる。また、画像処理装置８ｂは、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の医療器具４が位置する領域に対応する方向を示す標識ＭＫ１を表示するように構成されている。これにより、縦の長さと横の長さとが等しくない矩形形状の表示部において、表示部の矩形形状の形状に応じて、長い辺（上の辺および下の辺）の外側の視野外の領域を、短い辺（右の辺および左の辺）の外側の視野外の領域よりも大きくすることができる。これにより、視野外の領域を等角度間隔（４５度間隔）に８分割する場合と比べて、表示部の長い辺（上の辺および下の辺）の角に近い位置の外側の領域に視野外の手術器具が位置する場合に、斜め上方向の領域または斜め下方向の領域に位置しているとされるのを抑制することができるので、操作者が視野外の領域にある医療器具４の位置の方向を正確に認識しやすくすることができる。

また、第１実施形態では、上記のように、表示部は、横の長さが縦の長さよりも大きく、表示部の形状に応じて視野外の領域を８分割した領域は、上方向および下方向の領域の角度が、右方向、左方向、右上方向、左上方向、右下方向および左下方向の領域の角度よりも大きくなるように分割されている。これにより、上辺および下辺が右辺および左辺よりも長い横長の表示部において、上方向および下方向の領域を大きくすることができるので、上辺の上側の視野外の領域の大部分を上方向の領域とし、下辺の下側の視野外の領域の大部分を下方の領域にすることができる。これにより、表示部の形状に対する上方または下方と作業者が認識する方向と、上方または下方の視野外の領域にある医療器具４の方向とがずれるのを抑制することができる。

また、第１実施形態では、上記のように、外縁近傍エリアＧ１１の外縁のアスペクト比は、表示部と同じアスペクト比である。これにより、外縁近傍エリアＧ１１における縦横の長さに対する方向と表示部における縦横の長さに対する方向とを等しくすることができるので、視野外の領域にある医療器具４の作業者が認識する方向が、標識ＭＫ１の方向とずれるのを抑制することができる。

また、第１実施形態では、上記のように、表示部は、横の長さが縦の長さよりも大きく、画像処理装置８ｂは、視野外の領域を８分割した線により表示部の上辺、下辺、右辺および左辺を分割した各領域における線分の長さが、右方向、左方向、右上方向、左上方向、右下方向および左下方向の領域の線分の長さよりも、上方向および下方向の領域の線分の長さが大きくなるように、視野外の領域を８分割するように構成されている。これにより、上辺および下辺が右辺および左辺よりも長い横長の表示部において、上方向および下方向の領域を大きくすることができるので、上辺の上側の視野外の領域の大部分を上方向の領域とし、下辺の下側の視野外の領域の大部分を下方の領域にすることができる。これにより、表示部の形状に対する上方または下方と作業者が認識する方向と、上方または下方の視野外の領域にある医療器具４の方向とがずれるのを抑制することができる。

また、第１実施形態では、上記のように、画像処理装置８ｂは、表示部の上辺の左から１／４の点と下辺の右から１／４の点とを結ぶ直線と、上辺の右から１／４の点と下辺の左から１／４の点とを結ぶ直線と、表示部の左辺の上から１／４の点と右辺の下から１／４の点とを結ぶ直線と、左辺の下から１／４の点と右辺の上から１／４の点とを結ぶ直線とにより、視野外の領域を８分割するように構成されている。これにより、視野外の領域を表示部の形状に合わせて容易に８分割することができる。

また、第１実施形態では、上記のように、画像処理装置８ｂは、外縁近傍エリアＧ１１の８分割された各領域内の予め決められた位置に標識ＭＫ１を表示するように構成されている。これにより、８分割の領域に合わせて８つの位置のいずれかに標識ＭＫ１を表示することができるので、視野外の領域にある医療器具４の方向に合わせて標識ＭＫ１の位置を連続的に変えて表示する場合に比べて、画像処理装置８ｂの処理負担を軽減させることができる。

また、第１実施形態では、上記のように、外縁近傍エリアＧ１１は、グラフィカルユーザインタフェースＧの水準器エリアＧ５の外縁近傍領域であり、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域であり、上辺部Ｇ５ａは、画面ｇｒの中央部から画面ｇｒの縦方向の長さの１／１０の長さ上方の位置と、画面ｇｒの上方の端部から画面ｇｒの縦方向の長さの１／１０の長さ下方の位置との間に配置され、左辺部Ｇ５ｂは、画面ｇｒの中央部から画面ｇｒの横方向の長さの１／１０の長さ左側の位置と、画面ｇｒの左側の端部から画面ｇｒの横方向の長さの１／１０の長さ右側の位置との間に配置され、右辺部Ｇ５ｃは、画面ｇｒの中央部から画面ｇｒの横方向の長さの１／１０の長さ右側の位置と、画面ｇｒの右側の端部から画面ｇｒの横方向の長さの１／１０の長さ左側の位置との間に配置され、下辺部Ｇ５ｄは、画面ｇｒの中央部から画面ｇｒの縦方向の長さの１／１０の長さ下方の位置と、画面ｇｒの下方の端部から画面ｇｒの縦方向の長さの１／１０の長さ上方の位置との間に配置される。これにより、水準器エリアＧ５の外縁近傍エリアＧ１１に表示される標識ＭＫ１が画面ｇｒの端部ｅよりも中央側に寄せて表示されるので、標識ＭＫ１が画面ｇｒの端部ｅに配置される場合と異なり、標識ＭＫ１の視認性を向上させることができる。

また、第１実施形態では、上記のように、遠隔操作装置２は、２つの操作ハンドル２１に内視鏡６の移動を実行させるためのカメラペダル２２ｃを含み、画像処理装置８ｂは、カメラペダル２２ｃが操作されている間、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示するように構成されている。これにより、内視鏡６を移動させる際に内視鏡６の水準器ＬＶが表示されるので、操作者が水準器ＬＶを視認しながら内視鏡６の移動を容易に行うことができる。

また、第１実施形態では、上記のように、標識ＭＫ１は、視野外に位置している医療器具４を支持するアーム６０を特定する番号を含む。これにより、操作者は、視野外に位置している医療器具４を、容易に特定して認識することができる。

また、第１実施形態では、上記のように、標識ＭＫ１は、表示される状態と、表示されない状態とを切り替え可能に構成されている。これにより、操作者が視野外の領域にある医療器具４の方向を確認したい場合に標識を表示させることができる。また、操作者が視野外の領域にある医療器具４の方向の確認が不要な場合には標識を表示させないようにすることができるので、内視鏡画像を視認する操作者に標識が邪魔になるのを抑制することができる。

また、第１実施形態では、上記のように、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１による入力に応答して、標識ＭＫ１を外縁近傍エリアＧ１１に表示するように構成されている。これにより、カメラペダル２２ｃまたはイネーブルスイッチ８１に入力を行わない場合には、標識を表示しないようにすることができるので、操作者が見やすい位置に不要な標識ＭＫ１が表示されるのを抑制することができる。

［第２実施形態］
図２５～図２７を参照して、第２実施形態による外科手術システム２００の構成について説明する。

第２実施形態では、図２５および図２６に示すように、標識ＭＫ２は、視野外に位置している医療器具４が存在している方向を示す矢印ＭＫ２ａを含む。具体的には、矢印ＭＫ２ａの外側の近傍に視野外に位置している医療器具４を特定するための番号（たとえば、「４」）が表示される。なお、番号は、図２７に示す標識ＭＫ３のように、矢印ＭＫ２ａの内側に表示されてもよい。また、矢印ＭＫ２ａの内部は、画像が透けて視認可能なように、透明または半透明で表示される。また、操作対象となる医療器具４に対して、標識ＭＫ２の番号は、白色の円の中に黒色のアーム６０の番号（「４」参照）が示される。また、操作対象とならない医療器具４に対して、標識ＭＫ２の番号は、黒色の円の中に灰色のアーム６０の番号（「３」参照）が示される。なお、矢印ＭＫ２ａは、平面的に示されている。

［第２実施形態の効果］
第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記のように、標識ＭＫ２は、視野外に位置している医療器具４が存在している方向を示す矢印ＭＫ２ａを含む。これにより、操作者は、視野外に位置している医療器具４の存在している方向を、直観的に認識することができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記第１および第２実施形態では、画像処理装置８ｂが内視鏡６からの画像を取り込むとともにグラフィカルユーザインタフェースＧを生成する例を示したが、本発明はこれに限られない。たとえば、医療用マニピュレータ１の制御部３１が、グラフィカルユーザインタフェースＧを生成してもよいし、遠隔操作装置２の制御部（図示せず）が、グラフィカルユーザインタフェースＧを生成してもよい。また、内視鏡６からの画像を取り込んで画像処理を行う画像処理装置と、グラフィカルユーザインタフェースＧを生成し、内視鏡６の画像上に重ねる画像処理装置とが別個に設けられていてもよい。

また、上記第１および第２実施形態では、画像処理装置８ｂがカメラペダル２２ｃまたはイネーブルスイッチ８１による入力が行われたか否かを判定する例を示したが、本発明はこれに限られない。たとえば、制御部３１が、カメラペダル２２ｃまたはイネーブルスイッチ８１による入力が行われたか否かを判定し、判定結果を画像処理装置８ｂに送信するようにしてもよい。

また、上記第１および第２実施形態では、画像処理装置８ｂがアーム６０ａに支持される医療器具４、アーム６０ｂに支持される医療器具４、および、アーム６０ｄに支持される医療器具４の少なくとも何れかが内視鏡６の視野外に位置しているか否かを判定する例を示したが、本発明はこれに限られない。たとえば、制御部３１が、医療器具が内視鏡の視野外に位置しているか否かの判定を行い、判定結果を画像処理装置８ｂに送信するようにしてもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２に表示される例を示したが、本発明はこれに限られない。たとえば、標識ＭＫ１が、水準器エリアＧ５の外縁近傍エリアＧ１１の固定された位置に表示されてもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が表示されるエリアＧ１２が、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に８個に分割したエリアＧ１２のうちの１つのエリアＧ１２である例を示したが、本発明はこれに限られない。たとえば、分割されるエリアＧ１２の数は、８個以外の数でもよい。

また、上記第１および第２実施形態では、カメラペダル２２ｃが操作される入力に応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示する例を示したが、本発明はこれに限られない。たとえば、カメラペダル２２ｃが所定時間以内に２回以上連続操作される入力に応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。

また、上記第１および第２実施形態では、複数のアーム６０にイネーブルスイッチ８１、ジョイスティック８２およびスイッチ部８３が設けられている構成の例を示したが、本発明はこれに限られない。たとえば、複数のアーム６０のうち少なくとも１つにイネーブルスイッチ８１、ジョイスティック８２およびスイッチ部８３が設けられていてもよい。

また、上記第１および第２実施形態では、アーム６０のイネーブルスイッチ８１が操作されることに応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示する例を示したが、本発明はこれに限られない。たとえば、アーム６０の他のスイッチ（ジョイスティック８２およびスイッチ部８３）が操作されることに応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。

また、上記第１および第２実施形態では、カメラペダル２２ｃまたはイネーブルスイッチ８１によって入力が行われた場合にのみ、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示する例を示したが、本発明はこれに限られない。たとえば、他の入力装置によって入力が行われた場合にも、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が、水準器エリアＧ５の外側に表示される例を示したが、本発明はこれに限られない。たとえば、標識ＭＫ１が、水準器エリアＧ５の内側に表示されてもよい。

また、上記第１および第２実施形態では、水準器エリアＧ５が矩形領域である例を示したが、本発明はこれに限られない。たとえば、水準器エリアＧ５が、矩形以外の形状の領域（長円形状など）であってもよい。

また、上記第１および第２実施形態では、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される例を示したが、本発明はこれに限られない。たとえば、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの上方の端部ｅｕ近傍の領域に表示されてもよい。具体的には、カメラエリアＧ２およびハンドエリアＧ３は、画面ｇｒの上方の端部ｅｕと、上方の端部ｅｕから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に表示すればよい。

また、上記第１および第２実施形態では、複数の医療器具４が、内視鏡６の視野外に位置している場合、複数の医療器具４が各々支持されるアーム６０の配置位置の順に複数の標識ＭＫ１が表示される例を示したが、本発明はこれに限られない。たとえば、複数の医療器具４が各々支持されるアーム６０の配置位置の順と、複数の標識ＭＫ１が表示される順とが異なっていてもよい。

また、上記第１および第２実施形態では、１つまたは２つの医療器具４が、内視鏡６の視野外に位置している場合、標識ＭＫ１が画面ｇｒの中央側に寄せて配置される例を示したが、本発明はこれに限られない。たとえば、複数の医療器具４の各々に対応する標識ＭＫ１が配置される位置が固定されていてもよい。

また、上記第１および第２実施形態では、医療器具４が操作対象である場合と操作対象でない場合とで、標識ＭＫ１の表示の態様が異なる例を示したが、本発明はこれに限られない。たとえば、医療器具４が操作対象である場合と操作対象でない場合とで、標識ＭＫ１の表示の態様が同じであってもよい。

また、上記第１および第２実施形態では、アーム６０が４つ設けられている例を示したが、本発明はこれに限られない。本発明では、アーム６０の数は、少なくとも１つ以上設けられていれば他の任意の数であってもよい。

また、上記第１および第２実施形態では、アーム部６１およびポジショナ４０が７軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、アーム部６１およびポジショナ４０が７軸多関節ロボット以外の軸構成（例えば、６軸や８軸）の多関節ロボットなどから構成されていてもよい。

また、上記第１および第２実施形態では、医療用マニピュレータ１が、医療用台車３と、ポジショナ４０と、アームベース５０とを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車３と、ポジショナ４０と、アームベース５０は必ずしも必要なく、医療用マニピュレータ１が、アーム６０だけで構成されてもよい。

また、上記第１実施形態では、黒の四角の中にアーム６０の番号（１～４のいずれか）が表示される例を示したが、本発明はこれに限らない。たとえば、図２８の標識ＭＫ４に示すように、黒の四角の外縁ｅ１が他の色（赤など）で囲われていてもよい。また、図２９（ａ）の標識ＭＫ５に示すように、黒の四角が表示されずに、白抜きの長円の中にアーム６０の番号のみが表示されるか（操作対象の場合）、または、図２９（ｂ）の標識ＭＫ５に示すように、灰色のアーム６０の番号のみが表示されてもよい（操作対象でない場合）。

また、上記第２実施形態では、矢印ＭＫ２ａが平面的に示されている例を示したが、本発明はこれに限らない。たとえば、矢印ＭＫ２ａを立体的（３次元的）に示してもよい。これにより、内視鏡６の視野外に位置する医療器具４が、操作者に対して近い側に位置している場合と、操作者に対して遠い側に位置している場合とを区別する（操作者が認識する）ことができる。

また、上記第１および第２実施形態では、本発明のセンターエリアとして水準器ＬＶが表示される水準器エリアＧ５が適用される例を示したが、本発明はこれに限らない。本発明では、本発明のセンターエリアとして水準器ＬＶが表示される水準器エリアＧ５以外のエリアを適用してもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

２ 遠隔操作装置
４ 医療器具（手術器具）
６ 内視鏡
８ａ 表示部（表示装置）
８ｂ 画像処理装置（制御装置）
２１、２１Ｌ、２１Ｒ 操作ハンドル
２２ｃ カメラペダル（入力装置）
２４ モニタ（表示装置）
６０ アーム（マニピュレータ）
８１ イネーブルスイッチ（入力装置）
１００ 外科手術システム（手術システム）
Ｇ グラフィカルユーザインタフェース
Ｇ５ 水準器エリア（センターエリア）
Ｇ５ａ 上辺部
Ｇ５ｂ 左辺部
Ｇ５ｃ 右辺部
Ｇ５ｄ 下辺部
Ｇ１１ 外縁近傍エリア（標識表示領域、外縁近傍領域）
ＬＶ 水準器
ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４ ＭＫ５ 標識

Claims (16)

1. 手術部位を撮像する内視鏡、および、複数の手術器具を各々支持するための複数のマニピュレータと、
   前記内視鏡によって撮像された内視鏡画像を表示するための表示装置、および、前記複数の手術器具のうちの２つを各々操作するための２つの操作ハンドルを含む遠隔操作装置と、
   前記内視鏡によって撮像された前記内視鏡画像にグラフィカルユーザインタフェースを重ねて前記表示装置の表示部に表示するように構成された制御装置と、を備え、
   前記複数の手術器具のうち少なくとも１つの前記手術器具が前記内視鏡の視野外に位置している場合に、前記制御装置は、前記視野外に位置している前記手術器具を示す標識を前記グラフィカルユーザインタフェースの前記表示部の画面の縁近傍を含まない内側に設定された標識表示領域に表示するように構成されており、
   前記制御装置は、縦の長さと横の長さとが等しくない矩形形状の前記表示部の形状に応じて前記視野外の領域を８分割したうちの前記視野外の前記手術器具が位置する領域に対応する方向を示す前記標識を表示するように構成されている、手術システム。
2. 前記表示部は、横の長さが縦の長さよりも大きく、
   前記表示部の形状に応じて前記視野外の領域を８分割した領域は、上方向および下方向の領域の角度が、右方向、左方向、右上方向、左上方向、右下方向および左下方向の領域の角度よりも大きくなるように分割されている、請求項１に記載の手術システム。
3. 前記標識表示領域の外縁のアスペクト比は、前記表示部と同じアスペクト比である、請求項１に記載の手術システム。
4. 前記表示部は、横の長さが縦の長さよりも大きく、
   前記制御装置は、前記視野外の領域を８分割した線により前記表示部の上辺、下辺、右辺および左辺を分割した各領域における線分の長さが、右方向、左方向、右上方向、左上方向、右下方向および左下方向の領域の線分の長さよりも、上方向および下方向の領域の線分の長さが大きくなるように、前記視野外の領域を８分割するように構成されている、請求項１に記載の手術システム。
5. 前記制御装置は、前記表示部の前記上辺の左から１／４の点と前記下辺の右から１／４の点とを結ぶ直線と、前記上辺の右から１／４の点と前記下辺の左から１／４の点とを結ぶ直線と、前記表示部の前記左辺の上から１／４の点と前記右辺の下から１／４の点とを結ぶ直線と、前記左辺の下から１／４の点と前記右辺の上から１／４の点とを結ぶ直線とにより、前記視野外の領域を８分割するように構成されている、請求項４に記載の手術システム。
6. 前記制御装置は、前記標識表示領域の８分割された各領域内の予め決められた位置に前記標識を表示するように構成されている、請求項１に記載の手術システム。
7. 前記標識表示領域は、前記グラフィカルユーザインタフェースのセンターエリアの外縁近傍領域であり、
   前記センターエリアは、上辺部、左辺部、右辺部および下辺部を含む矩形領域であり、
   前記上辺部は、前記画面の中央部から前記画面の縦方向の長さの１／１０の長さ上方の位置と、前記画面の上方の端部から前記画面の縦方向の長さの１／１０の長さ下方の位置との間に配置され、
   前記左辺部は、前記画面の中央部から前記画面の横方向の長さの１／１０の長さ左側の位置と、前記画面の左側の端部から前記画面の横方向の長さの１／１０の長さ右側の位置との間に配置され、
   前記右辺部は、前記画面の中央部から前記画面の横方向の長さの１／１０の長さ右側の位置と、前記画面の右側の端部から前記画面の横方向の長さの１／１０の長さ左側の位置との間に配置され、
   前記下辺部は、前記画面の中央部から前記画面の縦方向の長さの１／１０の長さ下方の位置と、前記画面の下方の端部から前記画面の縦方向の長さの１／１０の長さ上方の位置との間に配置される、請求項１に記載の手術システム。
8. 前記遠隔操作装置は、前記２つの操作ハンドルに前記内視鏡の移動を実行させるためのカメラペダルを含み、
   前記制御装置は、前記カメラペダルが操作されている間、前記センターエリアに前記内視鏡の水準器を表示するように構成されている、請求項７に記載の手術システム。
9. 前記標識は、前記視野外に位置している前記手術器具を支持する前記マニピュレータを特定する番号を含む、請求項１に記載の手術システム。
10. 前記標識は、前記視野外に位置している前記手術器具が存在している方向を示す矢印をさらに含む、請求項１に記載の手術システム。
11. 前記標識は、表示される状態と、表示されない状態とを切り替え可能に構成されている、請求項１に記載の手術システム。
12. 操作者が所定の入力を行う入力装置をさらに備え、
    前記制御装置は、前記入力装置による所定の入力に応答して、前記標識を前記標識表示領域に表示するように構成されている、請求項１に記載の手術システム。
13. 前記制御装置は、前記内視鏡の撮像範囲情報、および、前記複数のマニピュレータに各々支持される前記複数の手術器具の各々の先端の位置情報に基づいて、前記複数の手術器具が前記内視鏡の視野外に位置しているか否かを判定するように構成されている、請求項１に記載の手術システム。
14. 手術システムに設けられた制御装置によって実行される表示方法であって、
    内視鏡によって撮像された内視鏡画像を取得するステップと、
    前記複数の手術器具が前記内視鏡の視野外に位置しているか否かを判定するステップと、
    前記複数の手術器具のうち少なくとも１つの前記手術器具が前記内視鏡の視野外に位置している場合に、前記視野外に位置している前記手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを前記内視鏡画像に重ねて表示装置の前記表示部に表示するステップと、を備え、
    前記標識は、縦の長さと横の長さとが等しくない矩形形状の前記表示部の形状に応じて前記視野外の領域を８分割したうちの前記視野外の前記手術器具が位置する領域に対応する方向を示すように表示される、表示方法。
15. 前記視野外の領域は、前記表示部の上辺の左から１／４の点と下辺の右から１／４の点とを結ぶ直線と、前記上辺の右から１／４の点と前記下辺の左から１／４の点とを結ぶ直線と、前記表示部の左辺の上から１／４の点と右辺の下から１／４の点とを結ぶ直線と、前記左辺の下から１／４の点と前記右辺の上から１／４の点とを結ぶ直線とにより、８分割される、請求項１３に記載の表示方法。
16. 手術器具に関する情報の表示をコンピュータに実行させるプログラムであって、
    内視鏡によって撮像された内視鏡画像を取得するステップと、
    複数の前記手術器具が前記内視鏡の視野外に位置しているか否かを判定するステップと、
    前記複数の手術器具のうち少なくとも１つの前記手術器具が前記内視鏡の視野外に位置している場合に、前記視野外に位置している前記手術器具を示す標識を表示部の縁を含まない内側領域に設定された標識表示領域に表示するグラフィカルユーザインタフェースを前記画像に重ねて表示装置の前記表示部に表示するステップと、を前記コンピュータに実行させ、
    前記標識は、縦の長さと横の長さとが等しくない矩形形状の前記表示部の形状に応じて前記視野外の領域を８分割したうちの前記視野外の前記手術器具が位置する領域に対応する方向を示すように表示される、プログラム。

Images