JP2023180371A - 手術システム - Google Patents

Abstract

【課題】手術器具の位置ずれがある場合にも、操作者が手術器具の位置を容易に確認することが可能な手術システムを提供する。【解決手段】この外科手術システム１００（手術システム）は、内視鏡６を支持するためのアーム６０ｃと、医療器具４を支持するためのアーム６０ａ、６０ｂおよび６０ｄと、１つまたは複数のプロセッサを含む画像処理装置８ｂと、を備える。画像処理装置８ｂは、医療器具４の先端位置を取得し、内視鏡６の画角に対応する第１撮像範囲Ａ１に対して、医療器具４の先端位置に関連する位置ずれと医療器具４のシャフトの直径とを反映した第２撮像範囲Ａ２を取得し、医療器具４の先端位置が第２撮像範囲Ａ２内か否かを判断する。【選択図】図２７

Description

この発明は、手術システムに関し、特に、内視鏡および手術器具を各々支持する複数のマニピュレータを備える手術システムに関する。

従来、内視鏡および手術器具を各々支持する複数のマニピュレータを備える手術システムが知られている（たとえば、特許文献１参照）。

上記特許文献１のロボット手術システムでは、内視鏡およびツール（手術器具）を各々支持する複数のマニピュレータと、制御装置とを備える手術システムが開示されている。この特許文献１の手術システムでは、制御装置は、ツール（手術器具）の先端の現在位置を、内視鏡の視野の外側にあるか否かを判断し、視野の外側にあるツールの情報を、モニタの画面の表示領域の外側にある境界領域に記号（標識）として表示するように構成されている。

特開２０１３－１８８５７４号公報

しかしながら、上記特許文献１に記載の手術システムでは、制御装置が把握しているツールの先端位置は、内視鏡のマニピュレータとツール（手術器具）のマニピュレータとの間隔の製造誤差、内視鏡の視野範囲の位置ずれ、および、ツールの先端位置の位置ずれ等に起因して、実際の位置から大きくずれている場合がある。このような場合には、記号（標識）で示された方向に内視鏡を向けてツールを探してもツールがない場合がある。また、内視鏡とツールとの位置関係によっても操作者がツールを探すのが難しい場合がある。また、操作者が違和感を感じないようにツールの先端位置が視野外にあるか否かを伝える必要がある。このため、操作者がツール（手術器具）の位置を容易に確認することが困難である場合がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、手術器具の位置ずれがある場合にも、操作者が手術器具の位置を容易に確認することが可能な手術システムを提供するものである。

この発明の第１の局面による手術システムは、内視鏡を支持するための第１マニピュレータと、手術器具を支持するための第２マニピュレータと、１つまたは複数のプロセッサを含む制御装置と、を備え、制御装置は、手術器具の先端位置を取得し、内視鏡の画角に対応する第１撮像範囲に対して、手術器具の先端位置に関連する位置ずれと手術器具のシャフトの直径とを反映した第２撮像範囲を取得し、手術器具の先端位置が第２撮像範囲内か否かを判断する。

この発明の第１の局面による手術システムでは、上記のように、制御装置は、手術器具の先端位置を取得し、内視鏡の画角に対応する第１撮像範囲に対して、手術器具の先端位置に関連する位置ずれと手術器具のシャフトの直径とを反映した第２撮像範囲を取得し、手術器具の先端位置が第２撮像範囲内か否かを判断する。これにより、手術器具の先端位置が内視鏡の視野外にあるか否かを、手術器具の先端位置に関連する位置ずれが反映された第２撮像範囲に基づいて判断することができる。その結果、内視鏡の視野に対して手術器具の先端位置がずれることに起因して、内視鏡の視野に対する手術器具の先端位置が不確かである場合に、不確かな手術器具の先端位置の方向が示されるのを抑制することができる。また、手術器具の先端位置が内視鏡の視野外にあるか否かを、手術器具のシャフトの直径が反映された第２撮像範囲に基づいて判断することができるので、手術器具の先端の特定の点だけではなく、ある程度の大きさを持った手術器具の先端位置が内視鏡の視野内にあるか否かを判断することができる。これらの結果、手術器具の位置ずれがある場合にも、操作者が手術器具の位置を容易に確認することができる。

この発明の第２の局面による手術システムは、内視鏡を支持するための第１マニピュレータと、手術器具を支持するための第２マニピュレータと、１つまたは複数のプロセッサを含む制御装置と、を備え、制御装置は、内視鏡が第１ピボット位置を支点に移動するように第１マニピュレータを制御し、手術器具が第２ピボット位置を支点に移動するように第２マニピュレータを制御するように構成されており、制御装置は、内視鏡および手術器具の各々の先端位置を取得し、手術器具の先端位置と第１ピボット位置との距離が、内視鏡の先端位置と第１ピボット位置との距離よりも小さい場合に、内視鏡を手前に引くことを促す表示を行う。

この発明の第２の局面による手術システムでは、上記のように、制御装置は、内視鏡および手術器具の各々の先端位置を取得し、手術器具の先端位置と第１ピボット位置との距離が、内視鏡の先端位置と第１ピボット位置との距離よりも小さい場合に、内視鏡を手前に引くことを促す表示を行う。これにより、手術器具の先端位置と第１ピボット位置との距離が、内視鏡の先端位置と第１ピボット位置との距離よりも小さく、内視鏡の向きを変えたとしても、内視鏡の視野内に手術器具の先端位置が入らない場合に、内視鏡を手前に引くことを促す表示が行われるので、操作者が内視鏡を手前に引くことにより、視野外の手術器具の先端位置を容易に見つけることができる。その結果、手術器具の位置ずれがある場合にも、操作者が手術器具の位置を容易に確認することができる。

本発明によれば、手術器具の位置ずれがある場合にも、操作者が手術器具の位置を容易に確認することができる。

実施形態による外科手術システムの構成を示す図である。 実施形態による医療用マニピュレータの構成を示す図である。 実施形態による操作ハンドルの構成を示す図である。 実施形態によるフットペダルの構成を示す図である。 実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 実施形態による医療用マニピュレータの操作部の構成を示す斜視図である。 内視鏡を示す図である。 ピボット位置教示器具を示す図である。 アームの並進移動を説明するための図である。 アームの回転移動を説明するための図である。 実施形態による医療用マニピュレータの制御部の構成を示すブロック図である。 内視鏡によって撮像された画像、および、グラフィカルユーザインタフェースを示す図である。 グラフィカルユーザインタフェースのエリアを示す図である。 クラッチエリアの表示を説明するための図である。 医療器具状態情報エリアの表示を説明するための図である。 左ポップアップエリアの表示を説明するための図である。 右ポップアップエリアの表示を説明するための図である。 遠隔操作装置のタッチパネルの表示を説明するための図である。 実施形態による標識を説明するための図である。 アーム間の干渉補正の反映を説明するための図である。 鉗子および内視鏡の位置ずれを説明するための図である。 鉗子および内視鏡の挿入量とずれ角の一例を示した表である。 鉗子および内視鏡のずれ方向の関係の例を示した第１図である。 鉗子および内視鏡のずれ方向の関係の例を示した第２図である。 内視鏡の撮像範囲とずれの関係の例を示した図である。 内視鏡の第１撮像範囲および第２撮像範囲を示した図である。 鉗子の先端位置と内視鏡のピボット位置が近い場合の例を示した図である。 鉗子の先端位置と内視鏡のピボット位置が遠い場合の例を示した図である。 実施形態による視野外判定処理を説明するためのフロー図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

図１～図３０を参照して、実施形態による外科手術システム１００の構成について説明する。外科手術システム１００は、患者Ｐ側装置である医療用マニピュレータ１と、医療用マニピュレータ１を操作するための操作者側装置である遠隔操作装置２とを備えている。医療用マニピュレータ１は医療用台車３を備えており、移動可能に構成されている。遠隔操作装置２は、医療用マニピュレータ１から離間した位置に配置されており、医療用マニピュレータ１は、遠隔操作装置２により遠隔操作されるように構成されている。操作者（医師など）は、医療用マニピュレータ１に所望の動作を行わせるための指令を遠隔操作装置２に入力する。遠隔操作装置２は、入力された指令を医療用マニピュレータ１に送信する。医療用マニピュレータ１は、受信した指令に基づいて動作する。また、医療用マニピュレータ１は、滅菌された滅菌野である手術室内に配置されている。なお、外科手術システム１００は、特許請求の範囲の「手術システム」の一例である。

遠隔操作装置２は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置２は、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、モニタ２４と、支持アーム２５と、支持バー２６とを含む。操作ハンドル２１は、操作者（医師など）が指令を入力するための操作用のハンドルを構成する。

操作ハンドル２１は、医療器具４を操作するように構成されている。また、操作ハンドル２１は、医療器具４に対する操作量を受け付ける。操作ハンドル２１は、操作者（医師など）から見て、左側に配置され、操作者の左手により操作される操作ハンドル２１Ｌと、右側に配置され、操作者の右手により操作される操作ハンドル２１Ｒと、を含んでいる。

また、図３に示すように、操作ハンドル２１は、リンク部２１ａ、リンク部２１ｂ、リンク部２１ｃ、操作者（医師など）が操作するリンク部２１ｄとを含む。リンク部２１ａは、Ａ４軸周りに回動する。リンク部２１ａがＡ４軸周りに回動されることにより、後述するアーム部６１がＪＴ４軸周りに回動する。リンク部２１ｂは、リンク部２１ａに対して、Ａ５軸周りに回動する。リンク部２１ｂがＡ５軸周りに回動されることにより、後述するアーム部６１がＪＴ５軸周りに回動する。リンク部２１ｃは、リンク部２１ｂに対して、Ａ６軸周りに回動する。リンク部２１ｃがＡ６軸周りに回動されることにより、アーム部６１がＪＴ６軸周りに回動する。リンク部２１ｄは、リンク部２１ｃに対して、Ａ７軸周りに回動する。リンク部２１ｄがＡ７軸周りに回動されることにより、アーム部６１がＪＴ７軸周りに回動する。なお、医療器具４は、特許請求の範囲の「手術器具」の一例である。

また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対してアーム６０（医療器具４）の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、医療器具４は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。

図４に示すように、フットペダル２２は、医療器具４に関する機能を実行するように複数設けられている。また、複数のフットペダル２２は、基台部２８に配置されている。フットペダル２２は、切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとを含んでいる。切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとは、操作者の足により操作される。また、切開ペダル２２ｄは、右側のアーム６０用の切開ペダル２２ｄＲと、左側のアーム６０用の切開ペダル２２ｄＬとを含む。また、凝固ペダル２２ｅは、右側のアーム６０用の凝固ペダル２２ｅＲと、左側のアーム６０用の凝固ペダル２２ｅＬとを含む。なお、カメラペダル２２ｃは、特許請求の範囲の「入力装置」および「第３スイッチ」の一例である。

切替ペダル２２ａは、操作ハンドル２１で動作させるアーム６０を切り替えるように構成されている。本実施形態では、クラッチペダル２２ｂは、アーム６０と操作ハンドル２１との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル２２ｂが操作者によって踏み込まれている間、操作ハンドル２１による操作が、アーム６０に伝達されなくなる。

カメラペダル２２ｃは、２つの操作ハンドル２１に内視鏡６の移動を実行させるために操作される。具体的には、カメラペダル２２ｃは、内視鏡６を移動させるための指令を入力するために設けられている。具体的には、カメラペダル２２ｃが操作者によって踏み込まれることにより、内視鏡６を移動させるための指令が入力される。また、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合（つまり、カメラペダル２２ｃが操作者によって踏み込まれている間）、内視鏡６は、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌの両方を操作することによって移動するように構成されている。

切開ペダル２２ｄ（凝固ペダル２２ｅ）が操作者によって踏み込まれている間、図示しない電気手術装置から医療器具４（電気メス）に組織を切開あるいは凝固させるための高周波電流が流れる。

図１に示すように、モニタ２４は、内視鏡６によって撮像された内視鏡画像（図１３参照）を表示するためのスコープ型表示装置である。支持アーム２５は、モニタ２４の高さを操作者（医師など）の顔の高さに合わせるようにモニタ２４を支持する。タッチパネル２３は、支持バー２６に配置されている。モニタ２４近傍に設けられた図示しないセンサにより操作者の頭部を検知することにより医療用マニピュレータ１は遠隔操作装置２による操作が可能になる。操作者は、モニタ２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。これにより、遠隔操作装置２に指令が入力される。遠隔操作装置２に入力された指令は、医療用マニピュレータ１に送信される。

医療用台車３には、医療用マニピュレータ１の動作を制御する制御部３１と、医療用マニピュレータ１の動作を制御するためのプログラムなどが記憶される記憶部３２とが設けられている。そして、遠隔操作装置２に入力された指令に基づいて、医療用台車３の制御部３１は、医療用マニピュレータ１の動作を制御する。

また、医療用台車３には、入力装置３３が設けられている。入力装置３３は、主に施術前に手術の準備を行うために、ポジショナ４０、アームベース５０、および、複数のアーム６０の移動や姿勢の変更の操作を受け付けるように構成されている。

図１および図２に示す医療用マニピュレータ１は、手術室内に配置されている。医療用マニピュレータ１は、医療用台車３と、ポジショナ４０と、アームベース５０と、複数のアーム６０とを備えている。アームベース５０は、ポジショナ４０の先端に取り付けられている。アームベース５０は、比較的長い棒形状（長尺形状）を有する。また、複数のアーム６０は、各々のアーム６０の根元部が、アームベース５０に取り付けられている。複数のアーム６０は、折り畳まれた姿勢（収納姿勢）をとることが可能に構成されている。アームベース５０と、複数のアーム６０とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム６０は、医療器具４を支持する。

ポジショナ４０は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ４０は、医療用台車３上に配置されている。ポジショナ４０は、アームベース５０を移動させる。具体的には、ポジショナ４０は、アームベース５０の位置を３次元に移動させるように構成されている。

また、ポジショナ４０は、ベース部４１と、ベース部４１に連結された複数のリンク部４２とを含む。複数のリンク部４２同士は、関節部４３により連結されている。

図１に示すように、複数のアーム６０の各々の先端には、医療器具４が取り付けられている。医療器具４は、たとえば、取り換え可能なインストゥルメント、手術部位の画像を撮像するための内視鏡６（図８参照）などを含む。

また、外科手術システム１００には、図１に示すように、モニタカート８が設けられている。モニタカート８は、表示部８ａが設けられている。表示部８ａは、遠隔操作装置２のモニタ２４とは別個に設けられている。また、モニタカート８には、画像処理装置８ｂが設けられている。モニタカート８の表示部８ａには、遠隔操作装置２のモニタ２４に表示される画像と同じ画像表示される。つまり、モニタ２４に表示されて術者が見ている画像を、医療用マニピュレータ１および患者Ｐの周辺にいる作業者（看護師、助手など）がモニタカート８の表示部８ａにより見ることが可能である。なお、画像処理装置８ｂは、特許請求の範囲の「制御装置」の一例である。

図５に示すように、インストゥルメントには、アーム６０のホルダ７１に設けられたサーボモータＭ２によって駆動される被駆動ユニット４ａが設けられている。また、インストゥルメントの先端には、鉗子４ｂが設けられている。

また、図６に示すように、インストゥルメントは、エンドエフェクタ部材１０４ａおよび１０４ｂの基端側を先端側でＪＴ１１軸周りに回転可能に支持する第１支持体４ｅと、第１支持体４ｅの基端側を先端側でＪＴ１０軸周りに回転可能に支持する第２支持体４ｆと、第２支持体４ｆの基端側に接続されるシャフト４ｃとを含む。被駆動ユニット４ａと、シャフト４ｃと、第２支持体４ｆと、第１支持体４ｅと、鉗子４ｂとは、Ｚ方向に沿って配置されている。ＪＴ１１軸は、シャフト４ｃが延びる方向（Ｚ方向）に対して直交する。また、ＪＴ１０軸は、シャフト４ｃが延びる方向においてＪＴ１１軸と離間しかつシャフト４ｃが延びる方向およびＪＴ１１軸に対して直交する。

第１支持体４ｅには、ＪＴ１１軸の軸線周りに回転するように鉗子４ｂが取り付けられている。また、第２支持体４ｆは、第１支持体４ｅをＪＴ１０軸について回転可能に支持している。つまり、第２支持体４ｆにはＪＴ１０軸の軸線周りに回転するように第１支持体４ｅが取り付けられている。また、第１支持体４ｅの先端側（Ｚ１方向側）の部分は、Ｕ字形状を有している。第１支持体４ｅのＵ字形状の先端側の部分のＪＴ１１軸の軸線における中央部にツールセンタポイント（ＴＣＰ１、クレビス）が設定されている。

また、医療器具４（鉗子４ｂ）は、シャフト４ｃの回転軸（シャフト４ｃが延びる方向に沿った軸）としてのＪＴ９軸と、鉗子４ｂの開閉軸としてのＪＴ１２軸とを備えている。なお、アーム６０のホルダ７１に設けられたサーボモータＭ２は、複数（たとえば、４個）設けられており、複数のサーボモータＭ２によって、被駆動ユニット４ａの回転体が駆動される。これにより、Ｊ９軸～Ｊ１２軸周りに、医療器具４が駆動される。

また、図８に示すように、内視鏡６のＴＣＰ２は、内視鏡６の先端に設定されている。

次に、アーム６０の構成について詳細に説明する。

図５に示すように、アーム６０は、アーム部６１（ベース部６２、リンク部６３、関節部６４）と、アーム部６１の先端に設けられる並進移動機構部７０とを含む。アーム６０は、アーム６０の根元側（アームベース５０）に対して先端側を３次元に移動させるように構成されている。また、アーム部６１は、７軸多関節ロボットアームから構成されている。なお、複数のアーム６０は、互いに同様の構成を有する。

図５に示すように、アーム６０は、回転軸としてのＪＴ１～ＪＴ７軸と、直動軸としてのＪ８軸とを備えている。ＪＴ１～ＪＴ７軸は、アーム部６１の関節部６４の回転軸に対応する。また、ＪＴ７軸は、並進移動機構部７０の基端側リンク部７２に対応する。ＪＴ８軸は、並進移動機構部７０の先端側リンク部７３を基端側リンク部７２に対してＺ方向に沿って相対的に移動させる軸に対応する。すなわち、図１２に示すサーボモータＭ１は、アーム６０のＪＴ１～ＪＴ７軸に対応するように設けられている。また、サーボモータＭ３は、ＪＴ８軸に対応するように設けられている。

並進移動機構部７０は、アーム部６１の先端側に設けられるとともに医療器具４が取り付けられている。また、並進移動機構部７０は、医療器具４を患者Ｐに挿入する方向に並進移動させる。また、並進移動機構部７０は、医療器具４をアーム部６１に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部７０には、医療器具４を保持するホルダ７１が設けられている。ホルダ７１には、サーボモータＭ２（図１２参照）が収容されている。

また、図７に示すように、医療用マニピュレータ１は、アーム６０に取り付けられ、アーム６０を操作するアーム操作部８０を備えている。アーム操作部８０は、イネーブルスイッチ８１と、ジョイスティック８２とスイッチ部８３とを含む。イネーブルスイッチ８１は、ジョイスティック８２およびスイッチ部８３によるアーム６０の移動を許可または不許可とする。また、イネーブルスイッチ８１は、操作者（看護師、助手など）がアーム操作部８０を把持して押下されることによりアーム６０による医療器具４の移動を許可する状態となる。また、ジョイスティック８２とスイッチ部８３は、アーム６０を操作するために用いられる。なお、イネーブルスイッチ８１は、特許請求の範囲の「入力装置」および「第２スイッチ」の一例である。

また、スイッチ部８３は、医療器具４の長手方向に沿った医療器具４を患者Ｐに挿入する方向側に医療器具４を移動させるスイッチ部８３ａと、医療器具４を患者Ｐに挿入する方向と反対側に医療器具４を移動させるスイッチ部８３ｂとを含む。スイッチ部８３ａとスイッチ部８３ｂとは、共に、押しボタンスイッチから構成されている。

また、図７に示すように、アーム操作部８０は、アーム６０に取り付けられた医療器具４の移動の支点（図１１参照）となるピボット位置ＰＰを教示するピボットボタン８５を含む。ピボットボタン８５は、アーム操作部８０の面８０ｂに、イネーブルスイッチ８１に隣り合うように設けられている。そして、内視鏡６（図８参照）またはピボット位置教示器具７（図９）の先端が、患者Ｐの体表面Ｓに挿入されたトロカールＴの挿入位置に対応する位置まで移動された状態で、ピボットボタン８５が押下されることによりピボット位置ＰＰが教示され、記憶部３２に記憶される。なお、ピボット位置ＰＰの教示において、ピボット位置ＰＰは、１つの点（座標）として設定され、ピボット位置ＰＰの教示は、医療器具４の方向を設定するものではない。

また、図１に示すように、複数のアーム６０のうちの一つのアーム６０（たとえば、アーム６０ｃ）には内視鏡６が取り付けられ、残りのアーム６０（たとえば、アーム６０ａ、６０ｂおよび６０ｄ）には、内視鏡６以外の医療器具４が取り付けられる。具体的には、手術において、４つのアーム６０のうちの１つのアーム６０に内視鏡６が取り付けられ、３つのアーム６０に内視鏡６以外の医療器具４（鉗子４ｂなど）が取り付けられる。そして、内視鏡６が取り付けられているアーム６０に対して、内視鏡６が取り付けられた状態でピボット位置ＰＰが教示される。また、内視鏡６以外の医療器具４が取り付けられるアーム６０に対して、ピボット位置教示器具７が取り付けられた状態でピボット位置ＰＰが教示される。なお、内視鏡６は、互いに隣り合うように配置されている４つのアーム６０のうちの、中央に配置される２つのアーム６０（アーム６０ｂおよび６０ｃ）のうちのいずれかに取り付けられる。すなわち、ピボット位置ＰＰは、複数のアーム６０毎に個別に設定される。なお、アーム６０ｃは、特許請求の範囲の「第１マニピュレータ」の一例である。また、アーム６０ａ、６０ｂおよび６０ｄは、特許請求の範囲の「第２マニピュレータ」の一例である。

また、図７に示すように、アーム操作部８０の面８０ｂには、アーム６０の位置を最適化するためのアジャストメントボタン８６が設けられている。内視鏡６が取り付けられたアーム６０に対するピボット位置ＰＰの教示後、アジャストメントボタン８６が押下されることにより、他のアーム６０（アームベース５０）の位置が最適化される。

また、図７に示すように、アーム操作部８０は、アーム６０に取り付けられた医療器具４を並進移動（図１０参照）させるモードと、回転移動（図１１参照）させるモードとを切り替えるモード切替ボタン８４を含む。また、モード切替ボタン８４の近傍には、モードインジケータ８４ａが設けられている。モードインジケータ８４ａは、切り替えられたモードを表示する。具体的には、モードインジケータ８４ａが点灯（回転移動モード）または消灯（並進移動モード）されることにより、現在のモード（並進移動モードまたは回転移動モード）が表示される。

また、モードインジケータ８４ａは、ピボット位置ＰＰが教示されたことを表示するピボット位置インジケータを兼ねている。

図１０に示すように、アーム６０を並進移動させるモードでは、医療器具４の先端４ｄが、Ｘ－Ｙ平面上において移動するように、アーム６０が移動される。また、図１１に示すように、アーム６０を回転移動させるモードでは、ピボット位置ＰＰが教示されていない時は、鉗子４ｂを中心に回転移動し、ピボット位置ＰＰが教示されている時は、ピボット位置ＰＰを支点として医療器具４が回転移動するように、アーム６０が移動される。なお、医療器具４のシャフト４ｃがトロカールＴに挿入された状態で、医療器具４が回転移動される。

また、図１２に示すように、アーム６０には、アーム部６１の複数の関節部６４に対応するように、複数のサーボモータＭ１と、エンコーダＥ１と、減速機（図示せず）とが設けられている。エンコーダＥ１は、サーボモータＭ１の回転角を検出するように構成されている。減速機は、サーボモータＭ１の回転を減速させてトルクを増大させるように構成されている。

また、図１２に示すように、並進移動機構部７０には、医療器具４の被駆動ユニット４ａに設けられた回転体を回転させるためのサーボモータＭ２と、医療器具４を並進移動させるためのサーボモータＭ３と、エンコーダＥ２およびエンコーダＥ３と、減速機（図示せず）とが設けられている。エンコーダＥ２およびエンコーダＥ３は、それぞれ、サーボモータＭ２およびサーボモータＭ３の回転角を検出するように構成されている。減速機は、サーボモータＭ２およびサーボモータＭ３の回転を減速させてトルクを増大させるように構成されている。

また、ポジショナ４０には、ポジショナ４０の複数の関節部４３に対応するように、複数のサーボモータＭ４と、エンコーダＥ４と、減速機（図示せず）とが設けられている。エンコーダＥ４は、サーボモータＭ４の回転角を検出するように構成されている。減速機は、サーボモータＭ４の回転を減速させてトルクを増大させるように構成されている。

また、医療用台車３には、医療用台車３の複数の図示しない前輪の各々を駆動するサーボモータＭ５と、エンコーダＥ５と、図示しない減速機とブレーキが設けられている。減速機は、サーボモータＭ５の回転を減速させてトルクを増大させるように構成されている。また、医療用台車３のスロットル部３４ａには、ポテンショメータＰ１（図１参照）が設けられており、スロットル部３４ａの捻りに応じてポテンショメータＰ１で検出した回転角に基づき、前輪のサーボモータＭ５は駆動される。また、医療用台車３の図示しない後輪は、双輪形式であり、操作ハンドル３４の左右の回動に基づき、後輪は操舵される。また、医療用台車３の操作ハンドル３４には、ポテンショメータＰ２（図２参照）が設けられており、医療用台車３の後輪には、サーボモータＭ６とエンコーダＥ６と図示しない減速機が設けられている。減速機は、サーボモータＭ６の回転を減速させてトルクを増大させるように構成されている。操作ハンドル３４の左右の回動に応じてポテンショメータＰ２で検出した回転角に基づき、サーボモータＭ６は駆動される。すなわち、操作ハンドル３４の左右の回動による後輪の操舵は、サーボモータＭ６によりパワーアシストされるように構成されている。

また、医療用台車３は、前輪が駆動されることにより、前後方向に移動する。また、医療用台車３の操作ハンドル３４が回動されることにより、後輪が操舵されて、医療用台車３が左右方向に回動する。

医療用台車３の制御部３１は、指令に基づいて複数のアーム６０の移動を制御するアーム制御部３１ａと、指令に基づいてポジショナ４０の移動および医療用台車３の前輪（図示せず）の駆動を制御するポジショナ制御部３１ｂとを含む。アーム制御部３１ａには、アーム６０を駆動するためのサーボモータＭ１を制御するためのサーボ制御部Ｃ１が電気的に接続されている。また、サーボ制御部Ｃ１には、サーボモータＭ１の回転角を検出するためのエンコーダＥ１が電気的に接続されている。なお、制御部３１は、特許請求の範囲の「制御装置」の一例である。

また、アーム制御部３１ａには、医療器具４を駆動するためのサーボモータＭ２を制御するためのサーボ制御部Ｃ２が電気的に接続されている。また、サーボ制御部Ｃ２には、サーボモータＭ２の回転角を検出するためのエンコーダＥ２が電気的に接続されている。また、アーム制御部３１ａには、並進移動機構部７０を並進移動するためのサーボモータＭ３を制御するためのサーボ制御部Ｃ３が電気的に接続されている。また、サーボ制御部Ｃ３には、サーボモータＭ３の回転角を検出するためのエンコーダＥ３が電気的に接続されている。

そして、遠隔操作装置２に入力された動作指令が、アーム制御部３１ａに入力される。アーム制御部３１ａは、入力された動作指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１（Ｃ２、Ｃ３）に出力する。サーボ制御部Ｃ１（Ｃ２、Ｃ３）は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１（Ｍ２、Ｍ３）に出力する。これにより、遠隔操作装置２に入力された動作指令に沿うように、アーム６０が移動される。また、制御部３１は、内視鏡６がピボット位置ＰＰを支点に移動するようにアーム６０ｃを制御する。また、制御部３１は、医療器具４がピボット位置ＰＰを支点に移動するようにアーム６０ａ（６０ｂ、６０ｄ）を制御する。

また、図１２に示すように、制御部３１（アーム制御部３１ａ）は、アーム操作部８０のジョイスティック８２からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、ジョイスティック８２から入力された入力信号（動作指令）と、エンコーダＥ１により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１に出力する。サーボ制御部Ｃ１は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１に出力する。これにより、ジョイスティック８２に入力された動作指令に沿うように、アーム６０が移動される。

制御部３１（アーム制御部３１ａ）は、アーム操作部８０のスイッチ部８３からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、スイッチ部８３から入力された入力信号（動作指令）と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１またはＣ３に出力する。サーボ制御部Ｃ１またはＣ３は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１またはＭ３に出力する。これにより、スイッチ部８３に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、ポジショナ制御部３１ｂには、ポジショナ４０を移動するサーボモータＭ４を制御するためのサーボ制御部Ｃ４が電気的に接続されている。また、サーボ制御部Ｃ４には、サーボモータＭ４の回転角を検出するためのエンコーダＥ４が電気的に接続されている。また、ポジショナ制御部３１ｂには、医療用台車３の前輪（図示せず）を駆動するサーボモータＭ５を制御するためのサーボ制御部Ｃ５が電気的に接続されている。また、サーボ制御部Ｃ５には、サーボモータＭ５の回転角を検出するためのエンコーダＥ５が電気的に接続されている。

また、入力装置３３から準備位置の設定などに関する動作指令が、ポジショナ制御部３１ｂに入力される。ポジショナ制御部３１ｂは、入力装置３３から入力された動作指令と、エンコーダＥ４により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ４に出力する。サーボ制御部Ｃ４は、ポジショナ制御部３１ｂから入力された位置指令と、エンコーダＥ４により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ４に出力する。これにより、入力装置３３に入力された動作指令に沿うように、ポジショナ４０が移動される。同様に、入力装置３３からの動作指令に基づいて、ポジショナ制御部３１ｂは、医療用台車３を移動させる。

外科手術システム１００は、画像処理装置８ｂを備えている。また、画像処理装置８ｂは、所定のプログラムに基づいて処理を実行する。画像処理装置８ｂは、コンピュータにより構成されている。画像処理装置８ｂは、プログラムを実行するＣＰＵなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧ（図１４参照）を生成し、グラフィカルユーザインタフェースＧを内視鏡６によって撮影された内視鏡画像（図１３参照）に重ねて遠隔操作装置２のモニタ２４に表示するように構成されている。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧを内視鏡６によって撮影された内視鏡画像に重ねて表示部８ａに表示するように構成されている。また、画像処理装置８ｂは、内視鏡６から画像を取り込むように構成されている。また、画像処理装置８ｂは、制御部３１と通信可能に構成されている。

図１４に示すように、グラフィカルユーザインタフェースＧは、クラッチエリアＧ１を含む。図１５に示すように、クラッチエリアＧ１には、クラッチペダル２２ｂの状態が示される。図１５(ａ)は、クラッチペダル２２ｂが踏まれていない状態（ＯＦＦ状態）を示している。図１５(ｂ)は、操作者がクラッチペダル２２ｂに足を置いている状態（ホバー状態）を示している。図１５(ｃ)は、クラッチペダル２２ｂが踏まれている状態（ＯＮ状態）を示している。

図１４に示すように、本実施形態では、グラフィカルユーザインタフェースＧは、内視鏡６に関する情報を示すカメラエリアＧ２を含む。カメラエリアＧ２は、モニタ２４の画面ｇｒの下方の端部ｅｄ（図１３参照）近傍の領域に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、ハンドエリアＧ３を含む。ハンドエリアＧ３は、各医療器具４の情報や、各アーム６０の情報や、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報が表示される。ハンドエリアＧ３は、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ａ（ハンドエリアＧ３の番号「４」）に関する情報を示すハンドエリアＧ３ａと、交換用の医療器具４およびアーム６０ｂ（ハンドエリアＧ３の番号「３」）に関する情報を示すハンドエリアＧ３ｂと、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ｄ（ハンドエリアＧ３の番号「１」）に関する情報を示すハンドエリアＧ３ｃとを含む。ハンドエリアＧ３は、モニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。また、クラッチエリアＧ１も、画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。具体的には、図１４に示すように、クラッチエリアＧ１、カメラエリアＧ２およびハンドエリアＧ３は、画面ｇｒの下方の端部ｅｄと、端部ｅｄから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に表示される。

また、アーム６０に関する情報は、アーム番号（「１」、「２」などのアーム番号）や交換用の医療器具４が取り付けられたアーム６０の交換先として設定されている場合に表示される矢印のアイコンを含み、医療器具４に関する情報は医療器具４の名称を含み、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報は、クラッチペダル２２ｂの操作の状態、切開ペダル２２ｄの操作の状態、凝固ペダル２２ｅの操作の状態を含む。

また、図１３に示すように、操作対象となるアーム６０のハンドエリア（ハンドエリアＧ３ａ、および、ハンドエリアＧ３ｃ）は、濃い灰色で表示され、この中に白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１および４）が表示される。また、操作対象でないアーム６０のハンドエリア（ハンドエリアＧ３ｂ）は、薄い灰色で表示され、かつ、さらに薄い灰色のアーム６０の番号（３）が表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、ポップアップエリアである医療器具状態情報エリアＧ４を含む。医療器具状態情報エリアＧ４には、各アーム６０に取り付けられた医療器具４の現在の使用回数／最大使用回数（図１６参照）が、ポップアップで表示される。なお、現在の使用回数が最大使用回数に等しくなると、現在の使用回数が赤字で表示される。また、各アーム６０に取り付けられた医療器具４にエラーが生じた際にはエラー情報がポップアップで表示される。また、アーム６０に医療器具４が取り付けられていない場合、医療器具状態情報エリアＧ４には何も表示されない。医療器具状態情報エリアＧ４は、モニタ２４上において、クラッチエリアＧ１、カメラエリアＧ２、および、ハンドエリアＧ３の上方側の隣接した領域に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、水準器エリアＧ５を含む。水準器エリアＧ５は、内視鏡６の角度情報が表示される。また、水準器エリアＧ５は、カメラペダル２２ｃが踏み込まれている間のみ表示される。すなわち、画像処理装置８ｂは、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。

図１４に示すように、グラフィカルユーザインタフェースＧは、左ポップアップエリアＧ６を含む。左ポップアップエリアＧ６は、フットペダル２２に足が置かれているホバー状態のときに、図１７（ａ）～（ｃ）に示すアイコンが表示される。図１７（ａ）は、凝固ペダル２２ｅＬと切開ペダル２２ｄＬに足が置かれているときに表示されるアイコンである。図１７（ｂ）は、クラッチペダル２２ｂに足が置かれているときに表示されるアイコンである。図１７（ｃ）は、カメラペダル２２ｃに足が置かれているときに表示されるアイコンである。左ポップアップエリアＧ６は、モニタ２４上において、左側側部に表示される。

図１４に示すように、グラフィカルユーザインタフェースＧは、右ポップアップエリアＧ７を含む。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲに足が置かれているときにアイコン（図１８）が表示される。右ポップアップエリアＧ７は、モニタ２４上において、右側側部に表示される。

また、図１４に示すように、グラフィカルユーザインタフェースＧは、アーム６０の動作可能範囲と、アーム６０の動作可能範囲のうち操作ハンドル２１により操作可能な操作可能範囲と、を表示する第１エリアＧ８を含む。また、グラフィカルユーザインタフェースＧは、操作ハンドル２１を操作可能範囲内に戻すため、および／または（本実施形態では、「および」）アーム６０を動作可能範囲内に戻すために必要な操作ハンドル２１の操作方向を表示する第２エリアＧ９を含む。

また、操作ハンドル２１により操作可能なアーム６０は、２つである。たとえば、操作ハンドル２１Ｌによって、医療器具４を支持するための左アーム６０Ｌ（例えば、アーム６０ａ、図１参照）が操作される。また、操作ハンドル２１Ｒによって、医療器具４を支持するための右アーム６０Ｒ（例えば、アーム６０ｄ、図１参照）が操作される。そして、第１エリアＧ８（第１エリアＧ８Ｌ、第１エリアＧ８Ｒ）および第２エリアＧ９（第２エリアＧ９Ｌ、第２エリアＧ９Ｒ）は、各々、左アーム６０Ｌおよび右アーム６０Ｒごとに別個に設けられている。

また、図１４に示すように、グラフィカルユーザインタフェースＧは、エラー通知エリアＧ１５（Ｇ１５ａ、Ｇ１５ｂ）を含む。エラー通知エリアＧ１５ａは、警告やエラーが発生したときに、警告やエラー情報を表示するためにポップアップで表示される。エラー通知エリアＧ１５ｂは、エラー通知エリアＧ１５ａに表示されている警告やエラーに関する注記の詳細を表示するためにポップアップで表示される。

図１３に示す、医療器具４が内視鏡６の視野内または視野外の周辺にいることを示すアラウンド表示ＡＲは、表示される状態と、表示されない状態とを切り替え可能に構成されている。具体的には、図１９に示すように、遠隔操作装置２のタッチパネル２３が操作されることにより、「アラウンド表示」のボタンが表示される。そして、「アラウンド表示」の「オン」が選択されると、操作者によりカメラペダル２２ｃに所定の入力操作が行われた場合に、内視鏡６の視野内または視野外の周辺に位置している医療器具４が存在するとアラウンド表示ＡＲが表示される。また、「アラウンド表示」の「オフ」が選択されると、操作者によりカメラペダル２２ｃに所定の入力操作が行われた場合でも、アラウンド表示ＡＲが表示されない。これにより操作者の操作の熟練度や操作者のニーズによって「アラウンド表示」の表示設定を容易に切り替えることができる。なお、医療器具４が内視鏡６の視野外にいることを示す標識ＭＫ１についても、操作者の設定により表示されないように変更できるようにしてもよい。

図１４に示すように、グラフィカルユーザインタフェースＧは、ステータスエリアＧ１０を含む。ステータスエリアＧ１０には、医療用マニピュレータ１の内蔵バッテリの残量、モニタ２４の明るさ／コントラスト、ラップタイム、手術経過時間などの情報が表示される。具体的には、図１４に示すように、ステータスエリアＧ１０は、画面ｇｒの上方の端部ｅｕと、端部ｅｕから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に表示される。

ここで、制御部３１は、内視鏡６の撮像範囲情報、および、複数のアーム６０に各々支持される複数の医療器具４の各々の先端の位置情報に基づいて、複数の医療器具４が内視鏡６の視野外に位置しているか否かを判定するように構成されている。つまり、制御部３１は、医療器具４の位置を、アーム６０の姿勢、位置に基づいて取得する。また、制御部３１は、内視鏡６の撮像方向を、アーム６０の姿勢、位置に基づいて取得する。また、制御部３１は、内視鏡６のズーム状態に基づいて内視鏡６の画角（視野範囲）を取得する。制御部３１は、内視鏡６の画角（視野範囲）を、内視鏡６のメカ機構（レンズ等）として設定されている値を用いて取得する。そして、制御部３１は、内視鏡６の視野および、内視鏡６の姿勢、位置とアーム６０の位置情報より、内視鏡６の視野に対する医療器具４の先端の座標を取得する。これにより、制御部３１は、医療器具４が内視鏡６の視野外に位置しているか否かを判定する。また、画像処理装置８ｂは、医療器具４が内視鏡６の視野外に位置しているか否かの判定結果の情報を、制御部３１から取得して、取得した情報に基づいて、グラフィカルユーザインタフェースＧを生成する。

図１３および図１４に示すように、画像処理装置８ｂは、複数の医療器具４のうち少なくとも１つの医療器具４が内視鏡６の視野外に位置している場合に、カメラペダル２２ｃまたはイネーブルスイッチ８１による所定の入力に応答して、視野外に位置している医療器具４を示す標識ＭＫ１を、表示部の画面の縁近傍を含まないグラフィカルユーザインタフェースＧの内側領域に表示する。つまり、画像処理装置８ｂは、複数の医療器具４のうち少なくとも１つの医療器具４が内視鏡６の視野外に位置していることの情報を、制御部３１から取得し、視野外に位置している医療器具４を示す標識ＭＫ１を含むグラフィカルユーザインタフェースＧを生成して、表示する。また、画像処理装置８ｂは、グラフィカルユーザインタフェースＧの水準器エリアＧ５の外縁近傍エリアＧ１１内に標識ＭＫ１を表示するように構成されている。つまり、標識ＭＫ１（グラフィカルユーザインタフェースＧ）は、モニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１（標識表示エリア）に表示される。なお、外縁近傍エリアＧ１１とは、後述する水準器ＬＶの外側且つ水準器ＬＶに隣接する位置に配置されたエリアである。なお、標識ＭＫ１は、特許請求の範囲の「第１表示」の一例である。

また、画像処理装置８ｂは、アーム６０に取り付けられたイネーブルスイッチ８１が操作されることに応答して、標識ＭＫ１をグラフィカルユーザインタフェースＧに表示するように構成されている。つまり、アーム６０を移動させるために助手や看護師などの操作者がイネーブルスイッチ８１を押下した場合に、標識ＭＫ１がグラフィカルユーザインタフェースＧに表示される。

また、標識ＭＫ１は、視野外に位置している医療器具４が存在している方向を示す矢印を含む。具体的には、矢印の内側に視野外に位置している医療器具４を特定するための番号（たとえば、「３」）が表示される。なお、番号は、矢印の外側に位置していてもよい。また、矢印の内部は、画像が透けて視認可能なように、透明または半透明で表示される。また、操作対象となる医療器具４に対して、標識ＭＫ１の番号は、白色の円の中に黒色のアーム６０の番号が示される。また、操作対象とならない医療器具４に対して、標識ＭＫ１の番号は、黒色の円の中に灰色のアーム６０の番号が示される。

ここで、本実施形態では、制御部３１は、図２７に示すように、医療器具４の先端位置を取得し、内視鏡６の画角に対応する第１撮像範囲Ａ１に対して、医療器具４の先端位置に関連する位置ずれと医療器具４のシャフトの直径とを反映した第２撮像範囲Ａ２を取得する。そして、制御部３１は、医療器具４の先端位置が第２撮像範囲Ａ２内か否かを判断する。つまり、制御部３１は、内視鏡の画角に対応する第１撮像範囲Ａ１よりも広い範囲の第２撮像範囲Ａ２内に医療器具４の先端があるか否かを判断する。ここで、医療器具４の先端位置は、医療器具４を移動させる際の制御中心であるツールセンターポイント位置（ＴＣＰ）（図６参照）である。

図１３に示すように、医療器具４の先端位置が第２撮像範囲Ａ２外であると制御部３１が判断した場合、画像処理装置８ｂは、医療器具４が内視鏡６の視野外にあることを示す標識ＭＫ１の表示を行う。

また、本実施形態では、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。なお、アラウンド表示ＡＲは、特許請求の範囲の「第２表示」の一例である。

また、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示を行う。つまり、操作者は、カメラペダル２２ｃまたはイネーブルスイッチ８１により所定の入力を行った場合に、アラウンド表示ＡＲが表示された場合において、対応する医療器具４が内視鏡６の画像内になければ、内視鏡６を手前に引けばいずれかの方向に対応する医療器具４が存在していると認識する。これにより、アラウンド表示ＡＲにより、内視鏡６を手前に引くことが促される。

また、アラウンド表示ＡＲは、第２撮像範囲Ａ２内にあると判断された医療器具４を支持するアーム６０を特定する番号を含む。図１３に示す例では、アーム６０ａ（ハンドエリアＧ３の番号「４」）に支持される医療器具４が第２撮像範囲Ａ２内に位置していることを示す「４」の番号、および、アーム６０ｄ（ハンドエリアＧ３の番号「１」）に支持される医療器具４が第２撮像範囲Ａ２内に位置していることを示す「１」の番号を含むアラウンド表示ＡＲが表示されている。

また、図２０に示すように、画像処理装置８ｂは、グラフィカルユーザインタフェースＧの水準器エリアＧ５の外縁近傍エリアＧ１１に隣接した領域にアラウンド表示ＡＲを表示するように構成されている。たとえば、画像処理装置８ｂは、外縁近傍エリアＧ１１の上方に、アラウンド表示ＡＲを表示する。また、画像処理装置８ｂは、アラウンド表示ＡＲを左右方向において外縁近傍エリアＧ１１の外側の隣接した領域に表示する。たとえば、画像処理装置８ｂは、アラウンド表示ＡＲを左右方向における外縁近傍エリアＧ１１の左側に表示する。

また、医療器具４の先端位置が第２撮像範囲Ａ２外であると制御部３１が判断した場合、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１に対する所定の入力に応答して、医療器具４が内視鏡６の視野外にあることを示す標識ＭＫ１の表示を行う。また、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１に対する所定の入力に応答して、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。

また、図２８に示すように、制御部３１は、内視鏡６および医療器具４の各々の先端位置を取得する。また、制御部３１は、医療器具４の先端位置とピボット位置ＰＰ１との距離Ｄ２が、内視鏡６の先端位置とピボット位置ＰＰ１との距離Ｄ１よりも大きいか否かを判断する。そして、医療器具４の先端位置とピボット位置ＰＰ１との距離Ｄ２が、内視鏡６の先端位置とピボット位置ＰＰ１との距離Ｄ１よりも小さいと制御部３１が判断した場合に、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示を行う。

また、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示として、内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。

また、図２９に示すように、医療器具４の先端位置が内視鏡６の先端位置よりも手前にある場合において、医療器具４の先端位置とピボット位置ＰＰ１との距離が、内視鏡６の先端位置とピボット位置ＰＰ１との距離よりも大きいと制御部３１が判断した場合に、画像処理装置８ｂは、内視鏡６の撮像範囲に対する医療器具４の先端位置の方向を示す表示（標識ＭＫ１の表示）を行う。

また、制御部３１は、アーム６０ｃと、アーム６０ａ、６０ｂまたは６０ｄと、の間隔の誤差に起因する位置ずれを補正して、内視鏡６および医療器具４の各々の先端位置を取得する。たとえば、図２１に示すように、制御部３１は、干渉補正値およびアームベースマトリクスに基づいて、補正後のアームベースマトリクスを取得する。また、制御部３１は、アームベースマトリクスおよびＴＣＰマトリクスに基づいて、アームベースから見たＴＣＰマトリクスを取得する。また、制御部３１は、アームベースマトリクスおよびフランジ面マトリクスに基づいて、アームベースから見たフランジ面マトリクスを取得する。そして、制御部３１は、補正後のアームベースマトリクスおよびアームベースから見たＴＣＰマトリクスに基づいて、補正後のＴＣＰマトリクスを取得する。また、制御部３１は、補正後のアームベースマトリクスおよびアームベースから見たフランジ面マトリクスに基づいて、補正後のフランジ面マトリクスを取得する。

医療器具４の先端位置に関連する位置ずれは、内視鏡６の視野範囲の位置ずれに起因する第１の位置ずれと、医療器具４の先端の位置ずれである第２の位置ずれと、を含む。そして、制御部３１は、第１の位置ずれを、内視鏡６のピボット位置ＰＰ１における位置ずれと、内視鏡６の先端のピボット位置ＰＰ１からの距離とに基づいて算出する。また、制御部３１は、第２の位置ずれを、医療器具４のピボット位置ＰＰ２における位置ずれと、医療器具４の先端のピボット位置ＰＰ２からの距離とに基づいて算出する。

具体的には、制御部３１は、図２２に示すように、医療器具４（内視鏡６）のシャフトの長さＬ１と、医療器具４（内視鏡６）の先端のピボット位置ＰＰからの距離（ピボット深さ）Ｌ２と、ずれ半径Ｌ３と、に基づいて、ずれ量を算出する。ここで、教示されるピボット位置ＰＰは、トロカールＴの内周面となるため、医療器具４（内視鏡６）の半径分だけ、実際のピボット位置ＰＰとはずれが生じる。したがって、ずれ半径Ｌ３は、医療器具４（内視鏡６）の半径に相当する長さである。そして、Ｌ１、Ｌ２およびＬ３に基づいて、ずれ角θが算出される。ずれ角θは、θ＝ａｔａｎ（Ｌ３／（Ｌ１―Ｌ２））により算出される。Ｌ１およびＬ３は、医療器具４（内視鏡６）毎に一定の値であるため、医療器具４（内視鏡６）の先端のピボット位置ＰＰからの距離（ピボット深さ）Ｌ２が変化することにより、ずれ角θが変化する。

たとえば、ずれ角θは、図２３に示すように、ピボット深さＬ２の変化により変化する。図２３に示す例では、医療器具４（鉗子）のシャフトの長さＬ１が５０７ｍｍであり、ずれ半径Ｌ３が４ｍｍである。また、内視鏡６のシャフトの長さＬ１が４９８ｍｍであり、ずれ半径Ｌ３が６ｍｍである。

内視鏡６の視野位置におけるずれ量Ｌ４は、Ｌ４＝（Ｌ１＋内視鏡６から医療器具４までの奥行）×ｓｉｎθにより算出される。また、図２２に示すように、医療器具４の先端位置（ＴＣＰ位置）のずれ量Ｌ４は、Ｌ４＝Ｌ１×ｓｉｎθにより求められる。

また、医療器具４の先端のずれが内視鏡６の視野に与える影響は視野方向に対する医療器具４の挿入方向により変化するため、補正が行われる。図２４に示すように、内視鏡６の視野に対して医療器具４を斜めに挿入した場合と、図２５に示すように、内視鏡６の視野に対して医療器具４を横方向に挿入した場合とでは、ずれる方向が異なる。たとえば、内視鏡６の視野に対して真横から直角に医療器具４が挿入された場合には、医療器具４の位置は、視野横方向（医療器具４の挿入方向）にずれることはない。医療器具４の挿入方向は、医療器具４のＴＣＰ位置と、フランジ面をシャフトオフセット量分ずらした位置の２点に基づいて算出される。

また、医療器具４の挿入方向のずれ量と、医療器具４の挿入方向から９０度方向のずれ量と、医療器具４の挿入方向から４５度方向のずれ量と、医療器具４の挿入方向から－４５度のずれ量と、に基づいて、視野に与えるずれ量を求め、縦横の最大値を各々のずれ量として補正して用いる。

図２６に示すように、内視鏡６の画角に対応する第１撮像範囲Ａ１に対して、内視鏡６の視野範囲の位置ずれに起因する第１の位置ずれと、医療器具４の先端の位置ずれである第２の位置ずれと、を含む、医療器具４の先端位置に関連する位置ずれを考慮した第３撮像範囲Ａ３が算出される。ずれ量が大きいと、視野外の方向を判定できない場合（ずれる方向次第で視野外方向が変わる場合）がある。

また、第１撮像範囲Ａ１に対する第３撮像範囲Ａ３の算出は、複数の医療器具４の各々に対して別個に行われる。つまり、複数の医療器具４の挿入距離、挿入角度、から各々の医療器具４のずれ量が算出される。

また、図２７に示すように、第１撮像範囲Ａ１に対して、内視鏡６の視野範囲の位置ずれおよび医療器具４の先端位置の位置ずれを考慮した第３撮像範囲Ａ３に対して、医療器具４のシャフトの直径を反映した第２撮像範囲Ａ２が取得される。第２撮像範囲Ａ２は、第３撮像範囲Ａ３に対して、医療器具４のシャフトの直径分だけ縦および横に各々大きくした範囲である。そして、第２撮像範囲Ａ２内に、医療器具４の先端位置（ＴＣＰ位置）の点が入っていれば、範囲内となる。

また、図１３および図１４に示す例では、アーム６０ａ、６０ｂ、６０ｃおよび６０ｄのうち、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）には、医療器具４（内視鏡６以外の鉗子４ｂなどの医療器具４）が取り付けられている。また、アーム６０ｃ（カメラエリアＧ２の番号「２」）には、内視鏡６が取り付けられている。アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３の番号「１」）が、操作ハンドル２１により操作可能な状態（アクティブ）であり、ハンドエリアＧ３ａおよびＧ３ｃは、濃い灰色で表示される。また、アーム６０ｂは、操作ハンドル２１により操作可能でない状態（非アクティブ）であり、ハンドエリアＧ３ｂは、薄い灰色で表示される。

図１３に示す例では、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）に支持される医療器具４は、内視鏡６の視野内に位置している。一方、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）に支持される医療器具４は、内視鏡６の視野外に位置している。

そして、図１３に示すように、画像処理装置８ｂは、水準器エリアＧ５に隣接する外縁近傍エリアＧ１１内の視野外の医療器具４が位置する方向に標識ＭＫ１を表示するように構成されている。つまり、グラフィカルユーザインタフェースＧは、外縁近傍エリアＧ１１で、且つ、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２（図２０参照）に、視野外の医療器具４を表示する標識ＭＫ１を配置して表示される。図１３では、標識ＭＫ１（矢印および「３」の文字）が、表示されている。

また、図２０に示すように、視野外の医療器具４を表示する標識ＭＫ１が表示されるエリアＧ１２は、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に複数に分割したエリアＧ１２のうちの１つのエリアＧ１２である。外縁近傍エリアＧ１１が、中央ＣＮ２から放射状に８個に分割されている。図１３では、標識ＭＫ１（矢印および「３」の文字）が、例として、上方向の領域Ｇ１２ｃ（図２０参照）に表示されている。なお、図２０では、視野外に医療器具４が位置しているパターンの全てを表示している。

また、図２０に示すように、画像処理装置８ｂは、縦の長さと横の長さとが等しくない矩形形状の表示部の形状に応じて視野外の領域を８分割したうちの視野外の医療器具４が位置する領域に対応する方向を示す標識ＭＫ１を表示するように構成されている。

また、図２０に示すように、表示部は、横の長さが縦の長さよりも大きい。そして、表示部の形状に応じて視野外の領域を８分割した領域は、上方向の領域Ｇ１２ｃおよび下方向の領域Ｇ１２ｇの角度が、右方向の領域Ｇ１２ａ、左方向の領域Ｇ１２ｅ、右上方向の領域Ｇ１２ｂ、左上方向の領域Ｇ１２ｄ、右下方向の領域Ｇ１２ｈおよび左下方向の領域Ｇ１２ｆの角度よりも大きくなるように分割されている。

また、画像処理装置８ｂは、外縁近傍エリアＧ１１の８分割された各領域内の予め決められた位置に標識ＭＫ１を表示するように構成されている。

また、図１４に示すように、画像処理装置８ｂは、制御部３１を介して内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。つまり、画像処理装置８ｂは、カメラペダル２２ｃに対してカメラ移動操作が行われている間、グラフィカルユーザインタフェースＧの水準器エリアＧ５に内視鏡６の水準器を表示する。そして、画像処理装置８ｂは、標識ＭＫ１を水準器エリアＧ５外の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインタフェースＧをモニタ２４に表示する。水準器ＬＶは、患者Ｐに対する内視鏡６の視野の傾きを表している。

また、図１４に示すように、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域（横方向に長い長方形形状）である。このように画面ｇｒの中央部を含む所定の大きさの水準器エリアＧ５の外縁近傍エリアＧ１１に標識ＭＫ１を表示することにより操作者の視認性を向上させることができる。上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に配置されている。好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／８の長さ下方の位置との間に配置され、より好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／６の長さ下方の位置との間に配置される。

また、上辺部Ｇ５ａは、医療用マニピュレータ１の内蔵バッテリの残量などが表示されるステータスエリアＧ１０の下方に配置されている。

また、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置との間に配置される。好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／８の長さ右側の位置との間に配置され、より好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／６の長さ右側の位置との間に配置される。

また、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置との間に配置される。好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／８の長さ左側の位置との間に配置され、より好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／６の長さ左側の位置との間に配置される。

また、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に配置されている。好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／８の長さ上方の位置との間に配置され、より好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／６の長さ上方の位置との間に配置される。

水準器エリアＧ５の下辺部Ｇ５ｄは、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃ、および、カメラエリアＧ２よりも上方に配置されている。さらに、水準器エリアＧ５の下辺部Ｇ５ｄは、医療器具状態情報エリアＧ４よりも上方に配置されている。

なお、モニタ２４の画面ｇｒの中央部ＣＮ１と、水準器エリアＧ５の中央ＣＮ２とは、略同じ位置である。

また、視野外に位置している医療器具４を示す標識ＭＫ１は、水準器エリアＧ５と、医療器具状態情報エリアＧ４、左ポップアップエリアＧ６、右ポップアップエリアＧ７およびステータスエリアＧ１０のうちの少なくとも１つ（本実施形態では全て）と、の間に配置されている。なお、医療器具状態情報エリアＧ４は、医療器具４の状態を示す。左ポップアップエリアＧ６は、フットペダル２２が操作されたとき（フットペダル２２に足が置かれているホバー状態のときに）に表示される。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲとが操作されたとき（操作者の足が置かれているとき）に表示される。ステータスエリアＧ１０は、外科手術システム１００の状態を示す。

また、図１３に示すように、標識ＭＫ１は、視野外に位置している医療器具４を支持するアーム６０を特定する番号を含む。図１３に示す例では、アーム６０ｂ（ハンドエリアＧ３の番号「３」）に支持される医療器具４が内視鏡６の視野外に位置していることを示す「３」の番号を含む標識ＭＫ１が表示されている。

（視野外判定処理）
次に、図３０を参照して、外科手術システム１００における視野外判定処理について説明する。なお、視野外判定処理は、制御部３１によって行われる。

カメラペダル２２ｃまたはイネーブルスイッチ８１による所定の入力が行われると、ステップＳ１において、制御部３１は、医療器具４（鉗子）の先端位置を取得する。ステップＳ２において、制御部３１は、第２撮像範囲Ａ２を取得する。

ステップＳ３において、制御部３１は、医療器具４（鉗子）が内視鏡６よりも手前であるか否かを判断する。医療器具４が手前にあれば、ステップＳ７に進み、内視鏡６が手前にあれば、ステップＳ４に進む。ステップＳ４において、制御部３１は、医療器具４（鉗子）が第２撮像範囲Ａ２の範囲内か以下を判断する。医療器具４（鉗子）が第２撮像範囲Ａ２の範囲内であれば、ステップＳ７に進み、医療器具４（鉗子）が第２撮像範囲Ａ２の範囲外であれば、ステップＳ５に進む。

ステップＳ５において、制御部３１は、視野外の方向を取得する。ステップＳ６において、画像処理装置８ｂは、視野外の方向を標識ＭＫ１により表示する。その後、ステップＳ１に戻る。ステップＳ７において、画像処理装置８ｂは、アラウンド表示ＡＲを表示する。その後、ステップＳ１に戻る。

［本実施形態の効果］
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、制御部３１は、医療器具４の先端位置を取得し、内視鏡６の画角に対応する第１撮像範囲Ａ１に対して、医療器具４の先端位置に関連する位置ずれと医療器具４のシャフトの直径とを反映した第２撮像範囲Ａ２を取得し、医療器具４の先端位置が第２撮像範囲Ａ２内か否かを判断する。これにより、医療器具４の先端位置が内視鏡６の視野外にあるか否かを、医療器具４の先端位置に関連する位置ずれが反映された第２撮像範囲Ａ２に基づいて判断することができる。その結果、内視鏡６の視野に対して医療器具４の先端位置がずれることに起因して、内視鏡６の視野に対する医療器具４の先端位置が不確かである場合に、不確かな医療器具４の先端位置の方向が示されるのを抑制することができる。また、医療器具４の先端位置が内視鏡６の視野外にあるか否かを、医療器具４のシャフトの直径が反映された第２撮像範囲Ａ２に基づいて判断することができるので、医療器具４の先端の特定の点だけではなく、ある程度の大きさを持った医療器具４の先端位置が内視鏡６の視野内にあるか否かを判断することができる。これらの結果、医療器具４の位置ずれがある場合にも、操作者が医療器具４の位置を容易に確認することができる。

また、本実施形態では、上記のように、医療器具４の先端位置が第２撮像範囲Ａ２外であると制御部３１が判断した場合、画像処理装置８ｂは、医療器具４が内視鏡６の視野外にあることを示す標識ＭＫ１の表示を行う。これにより、医療器具４の先端位置が確実に内視鏡６の視野外にある場合に、標識ＭＫ１の表示が行われるので、操作者が標識ＭＫ１の表示により示された方向に内視鏡６を向けることにより、容易に医療器具４の先端位置を見つけることができる。

また、本実施形態では、上記のように、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。これにより、医療器具４の先端位置が内視鏡６の視野の周辺にある場合に、アラウンド表示ＡＲが行われるので、アラウンド表示ＡＲにより、操作者は容易に医療器具４の先端位置が視野の周辺に位置することを認識することができる。また、内視鏡６の視野に医療器具４の先端が映り込んでいない場合には、操作者が内視鏡６を手前に引くことにより、容易に医療器具４の先端位置を見つけることができる。

また、本実施形態では、上記のように、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示を行う。これにより、内視鏡６の視野に医療器具４の先端が映り込んでいない場合に、操作者が内視鏡６を手前に引くことを促すことができる。

また、本実施形態では、上記のように、アラウンド表示ＡＲは、第２撮像範囲Ａ２内にあると判断された医療器具４を支持するアーム６０を特定する番号を含む。これにより、操作者は、内視鏡６の視野の周辺にある医療器具４を、容易に特定して認識することができる。

また、本実施形態では、上記のように、医療器具４の先端位置が第２撮像範囲Ａ２外であると制御部３１が判断した場合、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１に対する所定の入力に応答して、医療器具４が内視鏡６の視野外にあることを示す標識ＭＫ１の表示を行う。また、医療器具４の先端位置が第２撮像範囲Ａ２内にあると制御部３１が判断した場合、画像処理装置８ｂは、カメラペダル２２ｃまたはイネーブルスイッチ８１に対する所定の入力に応答して、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。これにより、操作者がカメラペダル２２ｃまたはイネーブルスイッチ８１に対する所定の入力を行うことにより、標識ＭＫ１の表示またはアラウンド表示ＡＲの表示が行われるので、操作者の操作により容易に医療器具４の先端位置を確認することができる。

また、本実施形態では、上記のように、医療器具４の先端位置に関連する位置ずれは、内視鏡６の視野範囲の位置ずれに起因する第１の位置ずれと、医療器具４の先端の位置ずれである第２の位置ずれと、を含む。これにより、内視鏡６の視野範囲の位置ずれ、および、医療器具４の先端の位置ずれの両方をまとめて医療器具４の先端位置に関連する位置ずれとして処理することができる。

また、本実施形態では、上記のように、制御部３１は、第１の位置ずれを、内視鏡６のピボット位置ＰＰ１における位置ずれと、内視鏡６の先端のピボット位置ＰＰ１からの距離とに基づいて算出する。これにより、内視鏡６の挿入距離に基づいて、第１の位置ずれを容易に算出することができる。また、制御部３１は、第２の位置ずれを、医療器具４のピボット位置ＰＰ２における位置ずれと、医療器具４の先端のピボット位置ＰＰ２からの距離とに基づいて算出する。これにより、医療器具４の挿入距離に基づいて、第２の位置ずれを容易に算出することができる。

また、本実施形態では、上記のように、医療器具４の先端位置は、医療器具４が操作される際の制御中心であるツールセンターポイント位置（ＴＣＰ）である。これにより、操作者の操作により医療器具４が動作する際の制御中心であるツールセンターポイント位置を、操作者が容易に把握することができる。

また、本実施形態では、上記のように、医療器具４の先端位置とピボット位置ＰＰ１との距離が、内視鏡６の先端位置とピボット位置ＰＰ１との距離よりも小さいと制御部３１が判断した場合に、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示を行う。これにより、医療器具４の先端位置とピボット位置ＰＰ１との距離が、内視鏡６の先端位置とピボット位置ＰＰ１との距離よりも小さく、内視鏡６の向きを変えたとしても、内視鏡６の視野内に医療器具４の先端位置が入らない場合に、内視鏡６を手前に引くことを促す表示が行われるので、操作者が内視鏡６を手前に引くことにより、視野外の医療器具４の先端位置を容易に見つけることができる。その結果、医療器具４の位置ずれがある場合にも、操作者が医療器具４の位置を容易に確認することができる。

また、本実施形態では、上記のように、画像処理装置８ｂは、内視鏡６を手前に引くことを促す表示として、内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲの表示を行う。これにより、内視鏡６の視野に医療器具４の先端が映り込んでいない場合に、内視鏡６を手前に引けば視野内となる視野外の周辺にあることを操作者が容易に認識することができる。

また、本実施形態では、上記のように、医療器具４の先端位置が内視鏡６の先端位置よりも手前にある場合において、医療器具４の先端位置とピボット位置ＰＰ１との距離が、内視鏡６の先端位置とピボット位置ＰＰ１との距離よりも大きいと制御部３１が判断した場合に、画像処理装置８ｂは、内視鏡６の撮像範囲に対する医療器具４の先端位置の方向を示す表示を行う。これにより、内視鏡６の向きを変えれば、内視鏡６の撮像範囲に医療器具４の先端位置が入る場合に、操作者が医療器具４の先端位置の位置を容易に認識することができる。

また、本実施形態では、上記のように、制御部３１は、アーム６０ｃと、アーム６０ａ、６０ｂまたは６０ｄと、の間隔の誤差に起因する位置ずれを補正して、内視鏡６および医療器具４の各々の先端位置を取得する。これにより、アーム６０ａ、６０ｂ、６０ｃおよび６０ｄを組み立てる際の組立誤差による位置ずれを補正して内視鏡６および医療器具４の各々の先端位置を精度よく取得することができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、画像処理装置８ｂが内視鏡６からの画像を取り込むとともにグラフィカルユーザインタフェースＧを生成する例を示したが、本発明はこれに限られない。たとえば、医療用マニピュレータ１の制御部３１が、グラフィカルユーザインタフェースＧを生成してもよいし、遠隔操作装置２の制御部（図示せず）が、グラフィカルユーザインタフェースＧを生成してもよい。また、内視鏡６からの画像を取り込んで画像処理を行う画像処理装置と、グラフィカルユーザインタフェースＧを生成し、内視鏡６の画像上に重ねる画像処理装置とが別個に設けられていてもよい。

また、上記実施形態では、医療用マニピュレータ１の制御部３１が、医療器具４の先端位置を取得し、内視鏡６の画角に対応する第１撮像範囲Ａ１に対して、医療器具４の先端位置に関連する位置ずれと医療器具４のシャフトの直径とを反映した第２撮像範囲Ａ２を取得し、医療器具４の先端位置が第２撮像範囲Ａ２内か否かを判断する例を示したが、本発明はこれに限られない。本発明では、たとえば、画像処理装置８ｂ、または、遠隔操作装置２の制御部（図示せず）により、医療器具４の先端位置を取得し、第１撮像範囲Ａ１に対して、医療器具４の先端位置に関連する位置ずれと医療器具４のシャフトの直径とを反映した第２撮像範囲Ａ２を取得し、医療器具４の先端位置が第２撮像範囲Ａ２内か否かを判断してもよい。また、複数の制御部（制御部３１、画像処理装置８ｂ、および、遠隔操作装置２など）により、上記処理を行ってもよい。

また、上記実施形態では、画像処理装置８ｂがカメラペダル２２ｃまたはイネーブルスイッチ８１による入力が行われたか否かを判定する例を示したが、本発明はこれに限られない。たとえば、制御部３１が、カメラペダル２２ｃまたはイネーブルスイッチ８１による入力が行われたか否かを判定し、判定結果を画像処理装置８ｂに送信するようにしてもよい。

また、上記実施形態では、医療器具４の先端位置が第２撮像範囲Ａ２内にあると判断した場合、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示すアラウンド表示ＡＲを行う例を示したが、本発明はこれに限られない。本発明では、医療器具４が内視鏡６の視野内または内視鏡６を手前に引けば医療器具４の先端位置が視野内となる視野外の周辺にあることを示す表示を「ＰＵＬＬ」や「ＺＯＯＭ ＯＵＴ」など、内視鏡６を引くことを直接的に指示する表示により行ってもよい。また、内視鏡６を引くことを図形により示す表示により行ってもよい。

また、上記実施形態では、医療器具４の先端位置が第２撮像範囲Ａ２外であると判断した場合、医療器具４が内視鏡６の視野外にあることを示す矢印を含む標識ＭＫ１の表示を行う例を示したが、本発明はこれに限られない。本発明では、医療器具４が内視鏡６の視野外にあることを示す標識を、矢印を含まない標識にしてもよい。

また、上記実施形態では、複数のアーム６０にイネーブルスイッチ８１、ジョイスティック８２およびスイッチ部８３が設けられている構成の例を示したが、本発明はこれに限られない。たとえば、複数のアーム６０のうち少なくとも１つにイネーブルスイッチ８１、ジョイスティック８２およびスイッチ部８３が設けられていてもよい。

また、上記実施形態では、アーム６０のイネーブルスイッチ８１が操作されることに応答して、アラウンド表示ＡＲおよび標識ＭＫ１をグラフィカルユーザインタフェースＧに表示する例を示したが、本発明はこれに限られない。たとえば、アーム６０の他のスイッチ（ジョイスティック８２およびスイッチ部８３）が操作されることに応答して、アラウンド表示ＡＲおよび標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。

また、上記実施形態では、カメラペダル２２ｃまたはイネーブルスイッチ８１によって所定の入力が行われた場合に、アラウンド表示ＡＲおよび標識ＭＫ１をグラフィカルユーザインタフェースＧに表示する例を示したが、本発明はこれに限られない。たとえば、他の入力装置によって所定の入力が行われた場合にも、アラウンド表示ＡＲおよび標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。たとえば、操作ハンドル２１に設けられたスイッチ（第１スイッチ）によって所定の入力が行われた場合に、アラウンド表示ＡＲおよび標識ＭＫ１をグラフィカルユーザインタフェースＧに表示してもよい。

また、上記実施形態では、１つまたは２つの医療器具４が、内視鏡６の視野外に位置している場合、標識ＭＫ１が画面ｇｒの中央側に寄せて配置される例を示したが、本発明はこれに限られない。たとえば、複数の医療器具４の各々に対応する標識ＭＫ１が配置される位置が固定されていてもよい。

また、上記実施形態では、第２撮像範囲Ａ２内にあるか否かを判定する医療器具４の先端位置がツールセンタポイントである例を示したが、本発明はこれに限られない。本発明では、医療器具４の先端位置は、エンドエフェクタ部材１０４ａおよび１０４ｂの先端位置であってもよい。

また、上記実施形態では、アーム部６１およびポジショナ４０が７軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、アーム部６１およびポジショナ４０が７軸多関節ロボット以外の軸構成（例えば、６軸や８軸）の多関節ロボットなどから構成されていてもよい。

また、上記実施形態では、医療用マニピュレータ１が、医療用台車３と、ポジショナ４０と、アームベース５０とを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車３と、ポジショナ４０と、アームベース５０は必ずしも必要なく、医療用マニピュレータ１が、アーム６０だけで構成されてもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（項目１）
内視鏡を支持するための第１マニピュレータと、
手術器具を支持するための第２マニピュレータと、
１つまたは複数のプロセッサを含む制御装置と、を備え、
前記制御装置は、前記手術器具の先端位置を取得し、前記内視鏡の画角に対応する第１撮像範囲に対して、前記手術器具の先端位置に関連する位置ずれと前記手術器具のシャフトの直径とを反映した第２撮像範囲を取得し、前記手術器具の先端位置が前記第２撮像範囲内か否かを判断する、手術システム。

（項目２）
前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲外であると判断した場合、前記手術器具が前記内視鏡の視野外にあることを示す第１表示を行う、項目１に記載の手術システム。

（項目３）
前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記手術器具が前記内視鏡の視野内または前記内視鏡を手前に引けば手術器具の先端位置が視野内となる視野外の周辺にあることを示す第２表示を行う、項目１または項目２に記載の手術システム。

（項目４）
前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記第２表示として、前記内視鏡を手前に引くことを促す表示を行う、項目３に記載の手術システム。

（項目５）
前記第２表示は、前記第２撮像範囲内にあると判断された前記手術器具を支持する前記第２マニピュレータを特定する番号を含む、項目４に記載の手術システム。

（項目６）
前記制御装置は、入力装置に対する所定の入力に応答して、前記手術器具の先端位置が前記第２撮像範囲外であると判断した場合、前記手術器具が前記内視鏡の視野外にあることを示す第１表示を行い、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記手術器具が前記内視鏡の視野内または前記内視鏡を手前に引けば視野内となる視野外の周辺にあることを示す第２表示を行う、項目１から項目５までのいずれか１項に記載の手術システム。

（項目７）
前記入力装置は、前記手術器具を操作するための操作ハンドルに設けられた第１スイッチ、前記第２マニピュレータに設けられた第２スイッチ、および、前記内視鏡の移動操作を前記操作ハンドルにより行うための第３スイッチのうち少なくとも１つを含む、項目６に記載の手術システム。

（項目８）
前記手術器具の先端位置に関連する位置ずれは、前記内視鏡の視野範囲の位置ずれに起因する第１の位置ずれと、前記手術器具の先端の位置ずれである第２の位置ずれと、を含む、項目１から項目７までのいずれか１項に記載の手術システム。

（項目９）
前記制御装置は、前記第１の位置ずれを、前記内視鏡のピボット位置における位置ずれと、前記内視鏡の先端の前記ピボット位置からの距離とに基づいて算出し、前記第２の位置ずれを、前記手術器具のピボット位置における位置ずれと、前記手術器具の先端の前記ピボット位置からの距離とに基づいて算出する、項目８に記載の手術システム。

（項目１０）
前記手術器具の先端位置は、ツールセンターポイント位置である、項目１から項目９までのいずれか１項に記載の手術システム。

（項目１１）
内視鏡を支持するための第１マニピュレータと、
手術器具を支持するための第２マニピュレータと、
１つまたは複数のプロセッサを含む制御装置と、を備え、
前記制御装置は、前記内視鏡が第１ピボット位置を支点に移動するように前記第１マニピュレータを制御し、前記手術器具が第２ピボット位置を支点に移動するように前記第２マニピュレータを制御するように構成されており、
前記制御装置は、前記内視鏡および前記手術器具の各々の先端位置を取得し、前記手術器具の先端位置と前記第１ピボット位置との距離が、前記内視鏡の先端位置と前記第１ピボット位置との距離よりも小さい場合に、前記内視鏡を手前に引くことを促す表示を行う、手術システム。

（項目１２）
前記制御装置は、前記内視鏡を手前に引くことを促す表示として、前記内視鏡を手前に引けば手術器具の先端位置が視野内となる視野外の周辺にあることを示す表示を行う、項目１１に記載の手術システム。

（項目１３）
前記制御装置は、前記手術器具の先端位置が前記内視鏡の先端位置よりも手前にある場合において、前記手術器具の先端位置と前記第１ピボット位置との距離が、前記内視鏡の先端位置と前記第１ピボット位置との距離よりも大きい場合に、前記内視鏡の撮像範囲に対する前記手術器具の先端位置の方向を示す表示を行う、項目１１または項目１２に記載の手術システム。

（項目１４）
前記制御装置は、前記第１マニピュレータと前記第２マニピュレータとの間隔の誤差に起因する位置ずれを補正して、前記内視鏡および前記手術器具の各々の先端位置を取得する、項目１１から項目１３までのいずれか１項に記載の手術システム。

４ 医療器具（手術器具）
６ 内視鏡
８ｂ 画像処理装置（制御装置）
２１、２１Ｌ、２１Ｒ 操作ハンドル
２２ｃ カメラペダル（入力装置、第３スイッチ）
３１ 制御部（制御装置）
６０ｃ アーム（第１マニピュレータ）
６０ａ、６０ｂ、６０ｄ アーム（第２マニピュレータ）
８１ イネーブルスイッチ（入力装置、第２スイッチ）
１００ 外科手術システム（手術システム）
Ａ１ 第１撮像範囲
Ａ２ 第２撮像範囲
ＡＲ アラウンド表示（第２表示）
ＭＫ１ 標識（第１表示）
ＰＰ１ ピボット位置（第１ピボット位置）
ＰＰ２ ピボット位置（第２ピボット位置）

Claims (14)

1. 内視鏡を支持するための第１マニピュレータと、
   手術器具を支持するための第２マニピュレータと、
   １つまたは複数のプロセッサを含む制御装置と、を備え、
   前記制御装置は、前記手術器具の先端位置を取得し、前記内視鏡の画角に対応する第１撮像範囲に対して、前記手術器具の先端位置に関連する位置ずれと前記手術器具のシャフトの直径とを反映した第２撮像範囲を取得し、前記手術器具の先端位置が前記第２撮像範囲内か否かを判断する、手術システム。
2. 前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲外であると判断した場合、前記手術器具が前記内視鏡の視野外にあることを示す第１表示を行う、請求項１に記載の手術システム。
3. 前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記手術器具が前記内視鏡の視野内または前記内視鏡を手前に引けば手術器具の先端位置が視野内となる視野外の周辺にあることを示す第２表示を行う、請求項１に記載の手術システム。
4. 前記制御装置は、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記第２表示として、前記内視鏡を手前に引くことを促す表示を行う、請求項３に記載の手術システム。
5. 前記第２表示は、前記第２撮像範囲内にあると判断された前記手術器具を支持する前記第２マニピュレータを特定する番号を含む、請求項４に記載の手術システム。
6. 前記制御装置は、入力装置に対する所定の入力に応答して、前記手術器具の先端位置が前記第２撮像範囲外であると判断した場合、前記手術器具が前記内視鏡の視野外にあることを示す第１表示を行い、前記手術器具の先端位置が前記第２撮像範囲内にあると判断した場合、前記手術器具が前記内視鏡の視野内または前記内視鏡を手前に引けば視野内となる視野外の周辺にあることを示す第２表示を行う、請求項１に記載の手術システム。
7. 前記入力装置は、前記手術器具を操作するための操作ハンドルに設けられた第１スイッチ、前記第２マニピュレータに設けられた第２スイッチ、および、前記内視鏡の移動操作を前記操作ハンドルにより行うための第３スイッチのうち少なくとも１つを含む、請求項６に記載の手術システム。
8. 前記手術器具の先端位置に関連する位置ずれは、前記内視鏡の視野範囲の位置ずれに起因する第１の位置ずれと、前記手術器具の先端の位置ずれである第２の位置ずれと、を含む、請求項１に記載の手術システム。
9. 前記制御装置は、前記第１の位置ずれを、前記内視鏡のピボット位置における位置ずれと、前記内視鏡の先端の前記ピボット位置からの距離とに基づいて算出し、前記第２の位置ずれを、前記手術器具のピボット位置における位置ずれと、前記手術器具の先端の前記ピボット位置からの距離とに基づいて算出する、請求項８に記載の手術システム。
10. 前記手術器具の先端位置は、ツールセンターポイント位置である、請求項１に記載の手術システム。
11. 内視鏡を支持するための第１マニピュレータと、
    手術器具を支持するための第２マニピュレータと、
    １つまたは複数のプロセッサを含む制御装置と、を備え、
    前記制御装置は、前記内視鏡が第１ピボット位置を支点に移動するように前記第１マニピュレータを制御し、前記手術器具が第２ピボット位置を支点に移動するように前記第２マニピュレータを制御するように構成されており、
    前記制御装置は、前記内視鏡および前記手術器具の各々の先端位置を取得し、前記手術器具の先端位置と前記第１ピボット位置との距離が、前記内視鏡の先端位置と前記第１ピボット位置との距離よりも小さい場合に、前記内視鏡を手前に引くことを促す表示を行う、手術システム。
12. 前記制御装置は、前記内視鏡を手前に引くことを促す表示として、前記内視鏡を手前に引けば手術器具の先端位置が視野内となる視野外の周辺にあることを示す表示を行う、請求項１１に記載の手術システム。
13. 前記制御装置は、前記手術器具の先端位置が前記内視鏡の先端位置よりも手前にある場合において、前記手術器具の先端位置と前記第１ピボット位置との距離が、前記内視鏡の先端位置と前記第１ピボット位置との距離よりも大きい場合に、前記内視鏡の撮像範囲に対する前記手術器具の先端位置の方向を示す表示を行う、請求項１１に記載の手術システム。
14. 前記制御装置は、前記第１マニピュレータと前記第２マニピュレータとの間隔の誤差に起因する位置ずれを補正して、前記内視鏡および前記手術器具の各々の先端位置を取得する、請求項１１に記載の手術システム。

Images