JP2023008313A - 手術システム、表示方法およびプログラム - Google Patents

Abstract

【課題】内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することが可能な手術システムを提供する。【解決手段】この手術システム１００は、複数のアーム６０と、表示装置２４、および、操作ハンドル２１Ｒ、２１Ｌを含む遠隔操作装置２と、撮像範囲情報、および、複数の手術器具４Ｒ、４Ｌ、４Ｃの各々の先端の位置情報に基づいて、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも内視鏡６の視野外に位置している手術器具に対応する視野外手術器具２４３ａを含む仮想現実表示２４３を作成する制御装置３１と、を備える。制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａを含む仮想現実表示２４３を、内視鏡画像２４１の外側に配置して表示装置２４に表示するように構成されている。【選択図】図９

Description

この発明は、手術システム、表示方法およびプログラムに関する。

従来、内視鏡および複数の手術器具を各々支持する複数のマニピュレータを備える手術システムが知られている（たとえば、特許文献１参照）。

上記特許文献１の手術システムは、内視鏡および複数の手術器具を各々支持する複数のマニピュレータと、内視鏡によって撮像された内視鏡画像を表示するための表示装置と、複数の手術器具を各々操作するための複数の操作ハンドルを含む遠隔操作装置と、を備える手術システムが開示されている。この特許文献１の手術システムは、内視鏡の視野に対する複数の手術器具の現在の位置を取得し、操作者（術者）の手の近傍に配置された表示装置に表示される内視鏡画像の周囲の境界領域の手術器具に対応する位置に手術器具を示す記号を表示するように構成されている。つまり、内視鏡の視野外に位置する手術器具は、内視鏡画像の周囲の境界領域に表示された手術器具を示す記号により確認することが可能である。

特表２００９－５４２３６２号公報

ここで、手術システムの遠隔操作装置の表示装置としては没入型表示装置が一般的であるが、没入型表示装置の場合、内視鏡の視野外に位置する手術器具について内視鏡画像の周囲の境界領域に記号を表示しても操作者（術者）が気づきにくい場合があるという不都合がある。このため、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することが可能な手術システムを提供するものである。

この発明の第１の局面による手術システムは、手術部位を撮像する内視鏡、および、複数の手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された内視鏡画像を表示するための表示装置、および、複数の手術器具を各々操作するための複数の操作ハンドルを含む遠隔操作装置と、内視鏡の撮像範囲情報、および、複数の手術器具の各々の先端の位置情報に基づいて、複数の手術器具のうち少なくとも内視鏡の視野外に位置している手術器具に対応する視野外手術器具を含む仮想現実表示を作成するように構成された制御装置と、を備え、制御装置は、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡画像の外側に配置して表示装置に表示するように構成されている。

この発明の第１の局面による手術システムでは、上記のように、制御装置は、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡画像の外側に配置して表示装置に表示するように構成されている。これにより、内視鏡の視野外の手術器具を仮想現実表示により表示することにより、内視鏡の視野外の手術器具を内視鏡画像と同じように視認することができる。その結果、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することができる。

この発明の第２の局面による手術システムは、手術部位を撮像する内視鏡、第１手術器具、第２手術器具および第３手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された内視鏡画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、および、第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、内視鏡の撮像範囲情報と、第１手術器具、第２手術器具および第３手術器具の各々の先端の位置情報とに基づいて、第１手術器具、第２手術器具および第３手術器具のうち少なくとも内視鏡の視野外に位置している手術器具に対応する視野外手術器具を含む仮想現実表示を作成するように構成された制御装置と、を備え、制御装置は、第３手術器具が内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡画像の外側に配置して表示装置に表示するように構成されている。

この発明の第２の局面による手術システムでは、上記のように、制御装置は、第３手術器具が内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡画像の外側に配置して表示装置に表示するように構成されている。これにより、内視鏡の視野外の第３手術器具を仮想現実表示により表示することにより、内視鏡の視野外の第３手術器具の仮想現実表示を内視鏡画像と同じように視認することができる。その結果、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することができる。また、操作ハンドルにより操作されていない第３手術器具が内視鏡の視野外に位置している場合でも、内視鏡画像の外側に配置された仮想現実表示により、操作ハンドルにより操作されていない第３手術器具の位置を容易に確認することができる。

この発明の第３の局面による表示方法は、手術部位を内視鏡により撮像するステップと、内視鏡の撮像範囲情報、および、複数のマニピュレータに各々支持される複数の手術器具の各々の先端の位置情報に基づいて、複数の手術器具のうち少なくとも内視鏡の視野外に位置している手術器具に対応する視野外手術器具を含む仮想現実表示を作成するステップと、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡により撮像した画像の外側に配置して表示装置に表示するステップと、を備える。

この発明の第３の局面による表示方法では、上記のように、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡により撮像した画像の外側に配置して表示装置に表示するステップを設ける。これにより、内視鏡の視野外の手術器具を仮想現実表示により表示することにより、内視鏡の視野外の手術器具を内視鏡により撮像した画像と同じように視認することができる。その結果、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することが可能な表示方法を提供することができる。

この発明の第４の局面によるプログラムは、手術器具に関する情報の表示をコンピュータに実行させるプログラムであって、コンピュータに、手術部位を内視鏡により撮像するステップと、内視鏡の撮像範囲情報、および、複数のマニピュレータに各々支持される複数の手術器具の各々の先端の位置情報に基づいて、複数の手術器具のうち少なくとも内視鏡の視野外に位置している手術器具に対応する視野外手術器具を含む仮想現実表示を作成するステップと、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡により撮像した画像の外側に配置して表示装置に表示するステップと、を実行させる。

この発明の第４の局面によるプログラムでは、上記のように、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡により撮像した画像の外側に配置して表示装置に表示するステップをコンピュータにより実行させる。これにより、内視鏡の視野外の手術器具を仮想現実表示により表示することにより、内視鏡の視野外の手術器具を内視鏡により撮像した画像と同じように視認することができる。その結果、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することが可能なプログラムを提供することができる。

本発明によれば、内視鏡の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することができる。

一実施形態による手術システムの構成を示す図である。 一実施形態による医療用マニピュレータの構成を示す図である。 一実施形態による操作ハンドルの構成を示す図である。 一実施形態によるフットペダルの構成を示す図である。 一実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 一実施形態による手術システムを示すブロック図である。 一実施形態による手術システムの表示装置の内視鏡画像を表示する例を示す図である。 一実施形態による手術システムの表示装置のカメラペダルが操作された場合の第１表示例を示す図である。 一実施形態による手術システムの表示装置のカメラペダルが操作された場合の第２表示例を示す図である。 一実施形態による手術システムの表示装置のカメラペダルが操作された場合の第３表示例を示す図である。 一実施形態による手術システムの表示装置のカメラペダルが操作された場合の第４表示例を示す図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

図１～図１２を参照して、一実施形態による手術システム１００について説明する。手術システム１００は、患者側装置である医療用マニピュレータ１と、医療用マニピュレータ１を操作するための医師側装置である遠隔操作装置２とを備えている。医療用マニピュレータ１は医療用台車３を備えており、移動可能に構成されている。遠隔操作装置２は、医療用マニピュレータ１から離間した位置に配置されており、医療用マニピュレータ１は、遠隔操作装置２により遠隔操作されるように構成されている。医師である術者（操作者）は、医療用マニピュレータ１に所望の動作を行わせるための指令を遠隔操作装置２に入力する。遠隔操作装置２は、入力された指令を医療用マニピュレータ１に送信する。医療用マニピュレータ１は、受信した指令に基づいて動作する。また、医療用マニピュレータ１は、滅菌された滅菌野である手術室内に配置されている。

遠隔操作装置２は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置２は、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、表示装置２４と、支持アーム２５と、支持バー２６とを含む。操作ハンドル２１は、術者（操作者）が指令を入力するための操作用のハンドルを構成する。

操作ハンドル２１は、医療器具４を操作するように構成されている。また、操作ハンドル２１は、医療器具４に対する操作量を受け付ける。操作ハンドル２１は、術者（操作者）から見て、左側に配置され、術者の左手により操作される操作ハンドル２１Ｌと、右側に配置され、術者の右手により操作される操作ハンドル２１Ｒと、を含んでいる。なお、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌは、それぞれ、特許請求の範囲の「第１操作ハンドル」および「第２操作ハンドル」の一例である。

また、図３に示すように、操作ハンドル２１は、リンク部２１ａ、リンク部２１ｂ、リンク部２１ｃ、および、術者（操作者）が操作するリンク部２１ｄを含む。リンク部２１ａは、Ａ４軸周りに回動する。リンク部２１ａがＡ４軸周りに回動されることにより、後述するアーム部６１がＪＴ４軸周りに回動する。リンク部２１ｂは、リンク部２１ａに対して、Ａ５軸周りに回動する。リンク部２１ｂがＡ５軸周りに回動されることにより、後述するアーム部６１がＪＴ５軸周りに回動する。リンク部２１ｃは、リンク部２１ｂに対して、Ａ６軸周りに回動する。リンク部２１ｃがＡ６軸周りに回動されることにより、アーム部６１がＪＴ６軸周りに回動する。リンク部２１ｄは、リンク部２１ｃに対して、Ａ７軸周りに回動する。リンク部２１ｄがＡ７軸周りに回動されることにより、アーム部６１がＪＴ７軸周りに回動する。なお、医療器具４は、特許請求の範囲の「手術器具」の一例である。

また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対してアーム６０（医療器具４）の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、医療器具４は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。

図４に示すように、フットペダル２２は、医療器具４に関する機能を実行するように複数設けられている。また、複数のフットペダル２２は、基台部２８に配置されている。フットペダル２２は、切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとを含んでいる。切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとは、術者の足により操作される。また、切開ペダル２２ｄは、右側のアーム６０用の切開ペダル２２ｄＲと、左側のアーム６０用の切開ペダル２２ｄＬとを含む。また、凝固ペダル２２ｅは、右側のアーム６０用の凝固ペダル２２ｅＲと、左側のアーム６０用の凝固ペダル２２ｅＬとを含む。なお、カメラペダル２２ｃは、特許請求の範囲の「表示操作受付部」および「内視鏡移動受付部」の一例である。

切替ペダル２２ａは、操作ハンドル２１で動作させるアーム６０を切り替えるように構成されている。クラッチペダル２２ｂは、アーム６０と操作ハンドル２１との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル２２ｂが術者によって踏み込まれている間、操作ハンドル２１による操作が、アーム６０に伝達されなくなる。

カメラペダル２２ｃは、内視鏡６を移動させるための指令を入力するために設けられている。具体的には、カメラペダル２２ｃが術者によって踏み込まれることにより、内視鏡６を移動させるための指令が入力される。また、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合（つまり、カメラペダル２２ｃが術者によって踏み込まれている間）、内視鏡６は、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌの両方を操作することによって移動するように構成されている。つまり、制御装置３１は、カメラペダル２２ｃにより操作を受け付けた場合に、操作ハンドル２１Ｒおよび２１Ｌの操作に基づいて内視鏡６を移動させる。

また、切開ペダル２２ｄ（凝固ペダル２２ｅ）が術者によって踏み込まれている間、電気手術装置が起動する。

図１に示すように、表示装置２４は、没入型表示装置である。具体的には、表示装置２４は、内視鏡６によって撮像された画像を表示するためのスコープ型表示装置である。表示装置２４は、内視鏡６により撮像された画像を３次元的に表示することが可能である。つまり、表示装置２４は、右目用の画像と左目用の画像とを表示する。支持アーム２５は、表示装置２４の高さを術者（操作者）の顔の高さに合わせるように表示装置２４を支持する。タッチパネル２３は、支持バー２６に配置されている。表示装置２４近傍に設けられた図示しないセンサにより術者の頭部を検知することにより医療用マニピュレータ１は遠隔操作装置２による操作が可能になる。術者は、表示装置２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。これにより、遠隔操作装置２に指令が入力される。遠隔操作装置２に入力された指令は、医療用マニピュレータ１に送信される。

医療用台車３には、医療用マニピュレータ１の動作を制御する制御装置３１と、医療用マニピュレータ１の動作を制御するためのプログラムなどが記憶される記憶部３２とが設けられている。そして、遠隔操作装置２に入力された指令に基づいて、医療用台車３の制御装置３１は、医療用マニピュレータ１の動作を制御する。

図２に示すように、制御装置３１は、例えば、演算を行うＣＰＵ３１ａと、ＲＯＭおよびＲＡＭ等のメモリを有する記憶部３１ｂとを含んでいる。制御装置３１は、集中制御する単独の制御装置により構成されていてもよく、互いに協働して分散制御する複数の制御装置により構成されてもよい。制御装置３１は、コンピュータにより構成されている。また、制御装置３１は、プログラムに従って処理を行う。

また、医療用台車３には、入力装置３３が設けられている。入力装置３３は、主に施術前に手術の準備を行うために、ポジショナ４０、アームベース５０、および、複数のアーム６０の移動や姿勢の変更の操作を受け付けるように構成されている。

図１および図２に示す医療用マニピュレータ１は、手術室内に配置されている。医療用マニピュレータ１は、医療用台車３と、ポジショナ４０と、アームベース５０と、複数のアーム６０とを備えている。アームベース５０は、ポジショナ４０の先端に取り付けられている。アームベース５０は、比較的長い棒形状（長尺形状）を有する。また、複数のアーム６０は、各々のアーム６０の基端部が、アームベース５０に取り付けられている。複数のアーム６０は、折り畳まれた姿勢（収納姿勢）をとることが可能に構成されている。アームベース５０と、複数のアーム６０とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム６０は、医療器具４を支持する。

ポジショナ４０は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ４０は、医療用台車３上に配置されている。ポジショナ４０は、アームベース５０を移動させる。具体的には、ポジショナ４０は、アームベース５０の位置を３次元に移動させるように構成されている。

また、ポジショナ４０は、ベース部４１と、ベース部４１に連結された複数のリンク部４２とを含む。複数のリンク部４２同士は、関節部４３により連結されている。

図１に示すように、複数のアーム６０の各々の先端には、医療器具４が取り付けられている。医療器具４は、たとえば、取り換え可能なインストゥルメント、手術部位を撮像する（手術部位の画像を取り込むための）内視鏡６などを含む。

図５に示すように、インストゥルメントには、アーム６０のホルダ７１に設けられたサーボモータによって駆動される被駆動ユニット４ａが設けられている。また、インストゥルメントの先端には、鉗子４ｂが設けられている。

また、図６に示すように、インストゥルメントは、エンドエフェクタ部材１０４ａおよび１０４ｂの基端側を先端側でＪＴ１１軸周りに回転可能に支持する第１支持体４ｅと、第１支持体４ｅの基端側を先端側でＪＴ１０軸周りに回転可能に支持する第２支持体４ｆと、第２支持体４ｆの基端側に接続されるシャフト４ｄとを含む。被駆動ユニット４ａと、シャフト４ｄと、第２支持体４ｆと、第１支持体４ｅと、鉗子４ｂとは、Ｚ方向に沿って配置されている。ＪＴ１１軸は、シャフト４ｄが延びる方向（Ｚ方向）に対して直交する。また、ＪＴ１０軸は、シャフト４ｄが延びる方向においてＪＴ１１軸と離間しかつシャフト４ｄが延びる方向およびＪＴ１１軸に対して直交する。

第１支持体４ｅには、ＪＴ１１軸の軸線周りに回転するように鉗子４ｂが取り付けられている。また、第２支持体４ｆは、第１支持体４ｅをＪＴ１０軸について回転可能に支持している。つまり、第２支持体４ｆにはＪＴ１０軸の軸線周りに回転するように第１支持体４ｅが取り付けられている。また、第１支持体４ｅの先端側（Ｚ１方向側）の部分は、Ｕ字形状を有している。第１支持体４ｅのＵ字形状の先端側の部分のＪＴ１１軸の軸線における中央部にツールセンタポイント（ＴＣＰ１、クレビス）が設定されている。

また、医療器具４（鉗子４ｂ）は、シャフト４ｄの回転軸（シャフト４ｄが延びる方向に沿った軸）としてのＪＴ９軸と、鉗子４ｂの開閉軸としてのＪＴ１２軸とを備えている。なお、アーム６０のホルダ７１に設けられたサーボモータは、複数（たとえば、４個）設けられており、複数のサーボモータによって、被駆動ユニット４ａの回転体が駆動される。これにより、Ｊ９軸～Ｊ１２軸周りに、医療器具４が駆動される。

次に、アーム６０の構成について詳細に説明する。

図５に示すように、アーム６０は、アーム部６１（ベース部６２、リンク部６３、関節部６４）と、アーム部６１の先端に設けられる並進移動機構部７０とを含む。アーム６０は、アーム６０の基端（根元）側（アームベース５０）に対して先端側を３次元に移動させるように構成されている。また、アーム部６１は、７軸多関節ロボットアームから構成されている。なお、複数のアーム６０は、互いに同様の構成を有する。

図５に示すように、アーム６０は、回転軸としてのＪＴ１～ＪＴ７軸と、直動軸としてのＪ８軸とを備えている。ＪＴ１～ＪＴ７軸は、アーム部６１の関節部６４の回転軸に対応する。また、ＪＴ７軸は、並進移動機構部７０の基端側リンク部７２に対応する。ＪＴ８軸は、並進移動機構部７０の先端側リンク部７３を基端側リンク部７２に対してＺ方向に沿って相対的に移動させる軸に対応する。

並進移動機構部７０は、アーム部６１の先端側に設けられるとともに医療器具４が取り付けられている。また、並進移動機構部７０は、医療器具４を患者Ｐに挿入する方向に並進移動させる。また、並進移動機構部７０は、医療器具４をアーム部６１に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部７０には、医療器具４を保持するホルダ７１が設けられている。ホルダ７１には、サーボモータが収容されている。

また、図１に示すように、複数のアーム６０のうちの一つのアーム６０（たとえば、アーム６０ｃ）には内視鏡６が取り付けられ、残りのアーム６０（たとえば、アーム６０ａ、６０ｂおよび６０ｄ）には、内視鏡６以外の医療器具４が取り付けられる。具体的には、手術において、４つのアーム６０のうちの１つのアーム６０に内視鏡６が取り付けられ、３つのアーム６０に内視鏡６以外の医療器具４（鉗子４ｂなど）が取り付けられる。なお、アーム６０ａ、６０ｂ、６０ｃ、６０ｄは、各々、特許請求の範囲の「マニピュレータ」の一例である。

また、操作ハンドル２１により操作可能なアーム６０は、２つである。たとえば、操作ハンドル２１Ｌによって、手術器具４Ｌを支持するための左アーム６０Ｌ（例えば、アーム６０ａ）が操作される。また、操作ハンドル２１Ｒによって、手術器具４Ｒを支持するための右アーム６０Ｒ（例えば、アーム６０ｄ）が操作される。なお、手術器具４Ｒおよび手術器具４Ｌは、それぞれ、特許請求の範囲の「第１手術器具」および「第２手術器具」の一例である。

また、もう１つのアーム６０（例えば、アーム６０ｂ）は、手術器具４Ｒまたは４Ｌと操作対象が変更される交換用の手術器具４Ｃを支持する。なお、手術器具４Ｃは、特許請求の範囲の「第３手術器具」の一例である。

図８に示すように、制御装置３１は、内視鏡６により撮像した内視鏡画像２４１に、手術器具４Ｒに関する情報および手術器具４Ｌに関する情報を表示するグラフィカルユーザインターフェイス２４２を重畳して表示装置２４に表示するように構成されている。

グラフィカルユーザインターフェイス２４２は、右手用の操作ハンドル２１Ｒによって操作される手術器具４Ｒに関する情報を示す第１エリア２４２ａと、左手用の操作ハンドル２１Ｌによって操作される手術器具４Ｌに関する情報を示す第２エリア２４２ｂと、内視鏡６に関する情報を示す第３エリア２４２ｃと、を含んでいる。また、グラフィカルユーザインターフェイス２４２は、交換用の手術器具４Ｃに関する情報を示す第４エリア２４２ｄを含んでいる。また、グラフィカルユーザインターフェイス２４２は、クラッチペダル２２ｂの操作状態を示す第５エリア２４２ｅを含んでいる。

第１エリア２４２ａには、手術器具４Ｒの種類が表示される。第２エリア２４２ｂには、手術器具４Ｌの種類が表示される。また、第１エリア２４２ａは、手術器具４Ｒに対するフットペダル２２（切開ペダル２２ｄＲまたは凝固ペダル２２ｅＲ）が操作された場合に、操作に応じた色が表示される。たとえば、第１エリア２４２ａは、切開ペダル２２ｄＲが操作された場合に、黄色の反転表示が行われる。また、第１エリア２４２ａは、凝固ペダル２２ｅＲが操作された場合に、青色の反転表示が行われる。

第２エリア２４２ｂは、手術器具４Ｌに対するフットペダル２２（切開ペダル２２ｄＬまたは凝固ペダル２２ｅＬ）が操作された場合に、操作に応じた色が表示される。たとえば、第２エリア２４２ｂは、切開ペダル２２ｄＬが操作された場合に、黄色の反転表示が行われる。また、第２エリア２４２ｂは、凝固ペダル２２ｅＬが操作された場合に、青色の反転表示が行われる。

第３エリア２４２ｃは、内視鏡６に対するフットペダル２２（カメラペダル２２ｃ）が操作された場合に、操作に応じた色が表示される。たとえば、第３エリア２４２ｃは、カメラペダル２２ｃが操作された場合に、背景色と文字色との反転表示が行われる。また、カメラペダル２２ｃが操作された場合に、図９～図１２に示すように、内視鏡６の水準器２４２ｆが内視鏡画像２４１の略中央の位置に表示される。また、カメラペダル２２ｃが操作されると、操作ハンドル２１Ｒおよび２１Ｌにより、内視鏡６の位置および姿勢を操作することが可能になる。

図８に示すように、第４エリア２４２ｄは、交換用の手術器具４Ｃの種類が表示される。また、第４エリア２４２ｄは、第１エリア２４２ａおよび第２エリア２４２ｂよりも薄目の色合いで情報が表示される。また、切替ペダル２２ａが操作された場合に、手術器具４Ｒまたは４Ｌと、交換用の手術器具４Ｃとの操作対象が変更される。この場合、交換用の手術器具４Ｃと操作対象が変更された手術器具４Ｒまたは４Ｌの情報を示す第１エリア２４２ａまたは第２エリア２４２ｂが薄目の色合いで情報が表示される。また、手術器具４Ｃの情報を示す第４エリア２４２ｄが濃目の色合いで情報が表示される。

第５エリア２４２ｅは、クラッチ機能に関する情報が表示される。第５エリア２４２ｅには、クラッチペダル２２ｂの操作状態が表示される。たとえば、第５エリア２４２ｅは、クラッチペダル２２ｂが操作された場合に、背景色と文字色との反転表示が行われる。

ここで、本実施形態では、制御装置３１は、内視鏡６の撮像範囲情報、および、複数の手術器具４Ｒ、４Ｌ、４Ｃの各々の先端の位置情報に基づいて、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも内視鏡６の視野外に位置している手術器具に対応する視野外手術器具２４３ａ（図９参照）を含む仮想現実表示２４３を作成するように構成されている。制御装置３１は、手術器具の種類毎に仮想現実表示用の手術器具の３次元画像を取得し記憶しておく。そして、制御装置３１は、アーム６０に現在支持されている手術器具４Ｒ、４Ｌ、４Ｃの位置および姿勢に応じて対応する３次元画像および位置を仮想の空間上で配置して、仮想現実表示２４３を作成する。

制御装置３１は、内視鏡６の撮像範囲（画角）の情報を、内視鏡６を支持するアーム６０ｃの姿勢および位置と、内視鏡６のズームの状態（拡大率）と、記憶部３１ｂから読み出した内視鏡６のサイズの情報とに基づいて算出して取得する。また、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃの各々の先端の位置情報を、手術器具４Ｒ、４Ｌ、４Ｃをそれぞれ支持するアーム６０ｄ、６０ａおよび６０ｂの姿勢および位置と、記憶部３１ｂから読み出した手術器具４Ｒ、４Ｌおよび４Ｃのサイズの情報とに基づいて算出して取得する。

そして、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃの各々の先端が内視鏡６の撮像範囲（視野内）に入っているか否かを判定する。そして、制御装置３１は、内視鏡６の視野外にある手術器具を視野外手術器具２４３ａとして３次元画像を作成する。なお、内視鏡６の視野内にある手術器具についても３次元画像を作成してもよい。また、制御装置３１は、視野外手術器具２４３ａの背景として、術野のＣＧ（コンピュータグラフィックス）を配置して仮想現実表示２４３を作成する。術野のＣＧは、たとえば、手術のシミュレーショントレーニングを行う際の術野画像を用いてもよい。また、予め撮像した患者のＣＴ画像などに基づいて術野のＣＧを作成してもよい。また、背景となる術野のＣＧは、作成されずに、単色（たとえば白色）の背景としてもよい。また、背景は、手術の最初に内視鏡６により撮像した画像に基づいて作成されてもよい。

また、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａを含む仮想現実表示２４３を、内視鏡画像２４１の外側に配置して表示装置２４に表示するように構成されている。

具体的には、制御装置３１は、内視鏡６の視野外に位置している手術器具の実際の位置に対応するように視野外手術器具２４３ａを仮想現実表示２４３に配置し、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、仮想現実表示２４３の視野外手術器具２４３ａの位置が実際の位置に対応するように、仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示するように構成されている。

また、制御装置３１は、内視鏡６の視野内の手術器具については、一部が視野外にはみ出ている場合でも、視野外手術器具２４３ａとして、仮想現実表示２４３には表示しない。ここで、手術器具は、患者Ｐの体外から体内に挿入されているため、根元から先端までの全体が内視鏡６の視野内に入ることはない。本明細書では、内視鏡６の視野外の手術器具とは、手術器具の先端が内視鏡６の視野外に位置しているものをいう。一方、内視鏡６の視野内に手術器具の先端が位置している手術器具は、内視鏡６の視野内の手術器具である。そして、制御装置３１は、内視鏡６の視野内に先端が配置されている手術器具について、視野外に位置する部分については仮想現実表示２４３には表示しない。

また、制御装置３１は、カメラペダル２２ｃにより操作を受け付けた際に、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合、視野外手術器具２４３ａを含む仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示する。つまり、カメラペダル２２ｃは、視野外手術器具２４３ａを表示させるための操作を受け付ける表示操作受付部として機能する。また、カメラペダル２２ｃは、内視鏡６を移動させるための操作を受け付ける内視鏡移動受付部として機能する。

また、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃの全てが内視鏡６の視野内に位置している場合に、仮想現実表示２４３を表示装置２４に表示しないように構成されている。つまり、図１２に示すように、カメラペダル２２ｃにより操作を受け付けた場合でも、複数の手術器具４Ｒ、４Ｌ、４Ｃの全てが内視鏡６の視野内に位置している場合は、制御装置３１は、仮想現実表示２４３を表示装置に表示しない。

また、制御装置３１は、図９～図１１に示すように、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａが入る表示範囲の仮想現実表示２４３を作成するように構成されている。また、制御装置３１は、仮想現実表示２４３の表示範囲に合わせて内視鏡画像２４１の大きさを調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。

言い換えると、制御装置３１は、内視鏡６の視野内に対する内視鏡６の視野外に位置している手術器具の距離に基づいて、内視鏡画像２４１の大きさを調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。

図１０に示す例の場合、図９に示す例の場合に比べて、内視鏡６の視野外に位置する手術器具が、内視鏡６の視野に対して近い位置にある。この場合、制御装置３１は、内視鏡画像２４１を、図９に示す例よりも大きく調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示する。

図１１に示す例の場合、図９に示す例の場合に比べて、内視鏡６の視野外に位置する手術器具が、内視鏡６の視野に対して遠い位置にある。この場合、制御装置３１は、内視鏡画像２４１を、図９に示す例よりも小さく調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示する。

また、制御装置３１は、内視鏡６を移動させることに伴って、内視鏡の撮像範囲（視野）が変更された場合には、内視鏡の撮像範囲（視野）の変更に対応させて、仮想現実表示２４３の表示を変更する。また、制御装置３１は、内視鏡の撮像範囲（視野）の変更に対応させて、内視鏡画像２４１の大きさを調整するとともに、内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示する。

また、図９～図１１に示すように、制御装置３１は、内視鏡画像２４１を略中央に配置した状態で、内視鏡画像２４１の外側を取り囲むように仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。

また、制御装置３１は、交換用の手術器具４Ｃが内視鏡６の視野外に位置している場合に、手術器具４Ｃに対応する視野外手術器具２４３ａを含む仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示する。ここで、交換用の手術器具４Ｃは、この時点において、操作ハンドル２１Ｒまたは２１Ｌにより操作されていないため、内視鏡６の視野外に位置することがある。つまり、内視鏡６の視野外となる手術器具は、操作ハンドル２１Ｒおよび２１Ｌにより操作されている手術器具４Ｒおよび４Ｌに比べて、交換用の手術器具４Ｃである場合が多い。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａを含む仮想現実表示２４３を、内視鏡画像２４１の外側に配置して表示装置２４に表示するように構成されている。これにより、内視鏡６の視野外の手術器具を仮想現実表示２４３により表示することにより、内視鏡６の視野外の手術器具を内視鏡画像２４１と同じように視認することができる。その結果、内視鏡６の視野外に位置する手術器具の位置を示す情報の視認性が低下するのを抑制することができる。

また、本実施形態では、上記のように、制御装置３１は、内視鏡６の視野外に位置している手術器具の実際の位置に対応するように視野外手術器具２４３ａを仮想現実表示２４３に配置し、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、仮想現実表示２４３の視野外手術器具２４３ａの位置が実際の位置に対応するように、仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示するように構成されている。これにより、内視鏡６の視野外の手術器具の内視鏡６の視野内に対する方向および距離を容易に認識することができる。

また、本実施形態では、上記のように、遠隔操作装置２は、視野外手術器具２４３ａを表示させるための操作を受け付ける表示操作受付部としてのカメラペダル２２ｃを含む。また、制御装置３１は、カメラペダル２２ｃにより操作を受け付けた際に、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合、視野外手術器具２４３ａを含む仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示する。これにより、操作者（術者）が内視鏡６の視野外の手術器具の位置を確認したい場合に、カメラペダル２２ｃの操作を行うことにより、内視鏡６の視野外の手術器具の位置を視認して確認することができる。また、カメラペダル２２ｃの操作を行わない場合には、内視鏡画像２４１の外側に仮想現実表示２４３がされないので、内視鏡６の視野内の手術器具を動作させている場合などに、内視鏡画像２４１を表示装置２４に大きく表示することができる。

また、本実施形態では、上記のように、制御装置３１は、カメラペダル２２ｃにより操作を受け付けた場合に、操作ハンドル２１Ｒおよび２１Ｌの操作に基づいて内視鏡６を移動させるとともに、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合、視野外手術器具２４３ａを含む仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示する。これにより、内視鏡６を移動させる際に、内視鏡６の視野外に手術器具がある場合には、内視鏡画像２４１の外側に視野外手術器具２４３ａの仮想現実表示２４３が表示されるので、内視鏡画像２４１と内視鏡画像２４１の外側の仮想現実表示２４３との両方を確認しながら内視鏡６の移動操作を容易に行うことができる。

また、本実施形態では、上記のように、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａが入る表示範囲の仮想現実表示２４３を作成するように構成されている。また、制御装置３１は、仮想現実表示２４３の表示範囲に合わせて内視鏡画像２４１の大きさを調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。これにより、内視鏡６の視野外の手術器具が仮想現実表示２４３からはみ出て確認できなくなることが無いように仮想現実表示２４３に視野外手術器具２４３ａが表示されるので、内視鏡６の視野外の手術器具の位置を確実に確認することができる。

また、本実施形態では、上記のように、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃのうち少なくとも１つが内視鏡６の視野外に位置している場合に、視野外手術器具２４３ａが入る表示範囲の仮想現実表示２４３を作成するように構成されている。また、制御装置３１は、内視鏡６の視野内に対する内視鏡６の視野外に位置している手術器具の距離に基づいて、内視鏡画像２４１の大きさを調整して、調整した大きさの内視鏡画像２４１の外側に仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。これにより、内視鏡６の視野内に対して内視鏡６の視野外の手術器具が遠い位置にある場合には、内視鏡画像２４１が小さく表示され、内視鏡６の視野内に対して内視鏡６の視野外の手術器具が近い位置にある場合には、内視鏡画像２４１が大きく表示されるので、内視鏡６の視野内に対して、内視鏡６の視野外の手術器具がどの程度離間しているのかを容易に把握することができる。

また、本実施形態では、上記のように、制御装置３１は、内視鏡画像２４１を略中央に配置した状態で、内視鏡画像２４１の外側を取り囲むように仮想現実表示２４３を配置して表示装置２４に表示するように構成されている。これにより、表示装置２４の略中央に配置された内視鏡画像２４１に対して外側を取り囲む仮想現実表示２４３の対応する位置に視野外手術器具２４３ａを表示することができるので、内視鏡６の視野内に対して内視鏡６の視野外の手術器具の位置をより容易に認識することができる。

また、本実施形態では、上記のように、制御装置３１は、交換用の手術器具４Ｃが内視鏡６の視野外に位置している場合に、手術器具４Ｃに対応する視野外手術器具２４３ａを含む仮想現実表示２４３を内視鏡画像２４１の外側に配置して表示装置２４に表示する。これにより、操作ハンドル２１Ｒ、２１Ｌにより操作されていない交換用の手術器具４Ｃが内視鏡６の視野外に位置している場合でも、内視鏡画像２４１の外側に配置された仮想現実表示２４３により、交換用の手術器具４Ｃの位置を容易に確認することができる。

また、本実施形態では、上記のように、制御装置３１は、複数の手術器具４Ｒ、４Ｌ、４Ｃの全てが内視鏡６の視野内に位置している場合に、仮想現実表示２４３を表示装置２４に表示しないように構成されている。これにより、内視鏡６の視野外に手術器具が位置していない場合には、内視鏡画像２４１の外側に仮想現実表示２４３が表示されないので、内視鏡画像２４１を表示装置２４に大きく表示することができる。

また、本実施形態では、上記のように、表示装置２４は、没入型表示装置である。これにより、操作者（術者）が没入型表示装置をのぞき込みながら、内視鏡画像２４１を確認することができるので、操作者（術者）が集中して手術を行うことができる。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、交換用の手術器具が設けられる例を示したが、本発明はこれに限られない。たとえば、交換用の手術器具は設けられていなくてもよい。この場合、操作ハンドルにより操作される２つの手術器具の少なくともいずれかが内視鏡の視野外に位置している場合に、視野外手術器具を含む仮想現実表示を、内視鏡画像の外側に配置して表示装置に表示してもよい。

また、上記実施形態では、内視鏡を移動させるための操作を受け付けるカメラペダル２２ｃが操作された際に、複数の手術器具のうち少なくとも１つが内視鏡の視野外に位置している場合、視野外手術器具を含む仮想現実表示を内視鏡画像の外側に配置して表示装置に表示する構成の例を示したが、本発明はこれに限られない。本発明では、内視鏡の視野外の手術器具の位置を確認するために別途設けられたスイッチやペダルやボタンなどの操作受付部が操作された際に、仮想現実表示を内視鏡画像の外側に配置して表示装置に表示してもよい。

また、上記実施形態では、内視鏡６の撮像範囲と表示装置２４の表示画面の大きさが同じである例を示したが、本発明はこれに限られない。内視鏡６の撮像範囲よりも表示装置２４の表示画面の大きさが小さい場合や内視鏡６で撮像した画像の一部を拡大して表示装置２４の表示画面に表示する場合は、表示装置２４の表示画面の大きさに基づいて医療器具４の先端が内視鏡６の視野外（表示装置２４の表示画面の外）に位置しているか否かを判定すればよい。

また、上記実施形態では、ロボットアーム（マニピュレータ）が４つ設けられている例を示したが、本発明はこれに限られない。本発明では、マニピュレータの数は、少なくとも２つ以上設けられていれば他の任意の数であってもよい。

また、上記実施形態では、ロボットアームおよびポジショナが７軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、ロボットアームおよびポジショナが７軸多関節ロボット以外の軸構成（例えば、６軸や８軸）の多関節ロボットなどから構成されていてもよい。

また、上記実施形態では、患者側装置が、医療用台車と、ポジショナと、アームベースとを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車と、ポジショナと、アームベースは必ずしも必要なく、患者側装置が、ロボットアームだけで構成されてもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

２：遠隔操作装置、４Ｃ：手術器具（第３手術器具）、４Ｌ：手術器具（第２手術器具）、４Ｒ：手術器具（第１手術器具）、６：内視鏡、２１Ｌ：操作ハンドル（第２操作ハンドル）、２１Ｒ：操作ハンドル（第１操作ハンドル）、２２ｃ：カメラペダル（表示操作受付部、内視鏡移動受付部）、２４：表示装置、３１：制御装置、６０、６０ａ、６０ｂ、６０ｃ、６０ｄ：アーム（マニピュレータ）、１００：手術システム、２４１：内視鏡画像、２４３：仮想現実表示、２４３ａ：視野外手術器具

Claims (13)

1. 手術部位を撮像する内視鏡、および、複数の手術器具を各々支持するための複数のマニピュレータと、
   前記内視鏡によって撮像された内視鏡画像を表示するための表示装置、および、前記複数の手術器具を各々操作するための複数の操作ハンドルを含む遠隔操作装置と、
   前記内視鏡の撮像範囲情報、および、前記複数の手術器具の各々の先端の位置情報に基づいて、前記複数の手術器具のうち少なくとも前記内視鏡の視野外に位置している前記手術器具に対応する視野外手術器具を含む仮想現実表示を作成するように構成された制御装置と、を備え、
   前記制御装置は、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記視野外手術器具を含む前記仮想現実表示を、前記内視鏡画像の外側に配置して前記表示装置に表示するように構成されている、手術システム。
2. 前記制御装置は、前記内視鏡の視野外に位置している前記手術器具の実際の位置に対応するように前記視野外手術器具を前記仮想現実表示に配置し、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記仮想現実表示の前記視野外手術器具の位置が実際の位置に対応するように、前記仮想現実表示を前記内視鏡画像の外側に配置して前記表示装置に表示するように構成されている、請求項１に記載の手術システム。
3. 前記遠隔操作装置は、前記視野外手術器具を表示させるための操作を受け付ける表示操作受付部を含み、
   前記制御装置は、前記表示操作受付部により操作を受け付けた際に、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合、前記視野外手術器具を含む前記仮想現実表示を前記内視鏡画像の外側に配置して前記表示装置に表示する、請求項１または２に記載の手術システム。
4. 前記表示操作受付部は、前記内視鏡を移動させるための操作を受け付ける内視鏡移動受付部を含み、
   前記制御装置は、前記表示操作受付部により操作を受け付けた場合に、前記操作ハンドルの操作に基づいて前記内視鏡を移動させるとともに、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合、前記視野外手術器具を含む前記仮想現実表示を前記内視鏡画像の外側に配置して前記表示装置に表示する、請求項３に記載の手術システム。
5. 前記制御装置は、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記視野外手術器具が入る表示範囲の前記仮想現実表示を作成するとともに、前記仮想現実表示の表示範囲に合わせて前記内視鏡画像の大きさを調整して、調整した大きさの前記内視鏡画像の外側に前記仮想現実表示を配置して前記表示装置に表示するように構成されている、請求項１～４のいずれか１項に記載の手術システム。
6. 前記制御装置は、前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記視野外手術器具が入る表示範囲の前記仮想現実表示を作成するとともに、前記内視鏡の視野内に対する前記内視鏡の視野外に位置している前記手術器具の距離に基づいて、前記内視鏡画像の大きさを調整して、調整した大きさの前記内視鏡画像の外側に前記仮想現実表示を配置して前記表示装置に表示するように構成されている、請求項１～４のいずれか１項に記載の手術システム。
7. 前記制御装置は、前記内視鏡画像を略中央に配置した状態で、前記内視鏡画像の外側を取り囲むように前記仮想現実表示を配置して前記表示装置に表示するように構成されている、請求項１～６のいずれか１項に記載の手術システム。
8. 前記複数の手術器具は、前記複数の操作ハンドルにより各々操作される第１手術器具および第２手術器具と、前記第１手術器具または前記第２手術器具と操作対象が変更される交換用の第３手術器具と、を含み、
   前記制御装置は、交換用の前記第３手術器具が前記内視鏡の視野外に位置している場合に、前記第３手術器具に対応する前記視野外手術器具を含む前記仮想現実表示を前記内視鏡画像の外側に配置して前記表示装置に表示する、請求項１～７のいずれか１項に記載の手術システム。
9. 前記制御装置は、前記複数の手術器具の全てが前記内視鏡の視野内に位置している場合に、前記仮想現実表示を前記表示装置に表示しないように構成されている、請求項１～８のいずれか１項に記載の手術システム。
10. 前記表示装置は、没入型表示装置である、請求項１～９のいずれか１項に記載の手術システム。
11. 手術部位を撮像する内視鏡、第１手術器具、第２手術器具および第３手術器具を各々支持するための複数のマニピュレータと、
    前記内視鏡によって撮像された内視鏡画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、および、前記第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、
    前記内視鏡の撮像範囲情報と、前記第１手術器具、前記第２手術器具および前記第３手術器具の各々の先端の位置情報とに基づいて、前記第１手術器具、前記第２手術器具および前記第３手術器具のうち少なくとも前記内視鏡の視野外に位置している手術器具に対応する視野外手術器具を含む仮想現実表示を作成するように構成された制御装置と、を備え、
    前記制御装置は、前記第３手術器具が前記内視鏡の視野外に位置している場合に、前記視野外手術器具を含む前記仮想現実表示を、前記内視鏡画像の外側に配置して前記表示装置に表示するように構成されている、手術システム。
12. 手術部位を内視鏡により撮像するステップと、
    前記内視鏡の撮像範囲情報、および、複数のマニピュレータに各々支持される複数の手術器具の各々の先端の位置情報に基づいて、前記複数の手術器具のうち少なくとも前記内視鏡の視野外に位置している前記手術器具に対応する視野外手術器具を含む仮想現実表示を作成するステップと、
    前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記視野外手術器具を含む前記仮想現実表示を、前記内視鏡により撮像した画像の外側に配置して表示装置に表示するステップと、を備える、表示方法。
13. 手術器具に関する情報の表示をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    手術部位を内視鏡により撮像するステップと、
    前記内視鏡の撮像範囲情報、および、複数のマニピュレータに各々支持される複数の前記手術器具の各々の先端の位置情報に基づいて、前記複数の手術器具のうち少なくとも前記内視鏡の視野外に位置している前記手術器具に対応する視野外手術器具を含む仮想現実表示を作成するステップと、
    前記複数の手術器具のうち少なくとも１つが前記内視鏡の視野外に位置している場合に、前記視野外手術器具を含む前記仮想現実表示を、前記内視鏡により撮像した画像の外側に配置して表示装置に表示するステップと、を実行させる、プログラム。

Images