JP2020531099A - 手術処置中に関心地点を空間的に場所特定する方法 - Google Patents

Abstract

本開示の一態様では、手術部位を視覚化する方法は、超音波システムによって手術部位を走査することと、第１のタグによって、手術部位の断面視野内の第１の関心領域または関心地点をマークすることと、カメラによって手術部位を視認することと、カメラによって取り込まれた手術部位の画像を第２のディスプレイに示すことと、を含む。第２のディスプレイは、第１のタグを表す第１の指示を、カメラによって取り込まれた手術部位の画像上に表示する。

Description

低侵襲手術（ＭＩＳ）中に、術中超音波プローブを使用して、手術部位の二次元（２Ｄ）断面視野を提供することができる。ＭＩＳ中に、臨床医は、典型的に、手術用把持ツールによって、またはそれ自体が従属するツールシャフトの一部である超音波プローブによって、超音波プローブを保持する。超音波プローブは、手術部位の２Ｄ断面視野画像を超音波ディスプレイ上で見られるように、組織の関心領域と接触して配置され、移動される。超音波ディスプレイは、典型的に、手術部位を直接観察するために使用されている内視鏡から取り込まれた画像を示している内視鏡ディスプレイとは異なる。内視鏡ディスプレイを使用して、超音波プローブの操作を方向付けることができる。

２Ｄ断面視野は、手術部位またはその近傍の組織表面の下側の構造の状態に関する情報を明らかにすることができる。典型的に、臨床医は、超音波プローブを操作して、手術部位またはその近傍の構造に心の中で注目する。臨床医が超音波プローブを取り除いて、手術処置を開始または継続した後に、臨床医は、手術部位またはその近傍の構造の場所を記憶していなければならない。手術処置中に、臨床医が２Ｄ断面視野を思い出す必要がある場合は、手術処置を中断し、超音波プローブを再起動し、２Ｄ断面視野を再度獲得して、臨床医の記憶をリフレッシュする。この手術処置の中断は、手術処置の流れの分断を生じさせることがあり得る。この手術処置の流れの分断は、臨床医が、超音波プローブによって２Ｄ断面視野を再度獲得するために、手術処置を中断しないように促し得る。手術処置中に２Ｄ断面視野を再度獲得することを中断させないことによって、手術処置中の意思決定の質が低下し得る。

臨床医が、手術処置中に関心地点において、手術処置中に超音波画像を視認することを可能にする必要性が存在する。手術処置中に関心地点を識別することによって、手術の意思決定を改善することができる。

本開示の一態様では、手術部位を視覚化する方法は、超音波システムによって手術部位を走査することと、第１のタグによって、手術部位の断面視野内の第１の関心領域または関心地点をマークすることと、第２のディスプレイ上でカメラによって手術部位を視認することと、を含む。第２のディスプレイは、第１のタグを表す第１の指示を表示する。

態様では、超音波システムによって手術部位を走査することは、超音波プローブを患者の体腔の中へ挿入することを含む。第１のタグを表す第１の指示を表示することは、第１の関心領域または関心地点に関する情報を第２のディスプレイに表示することを含むことができる。本方法は、第１の指示をトグルして、第１の関心領域または関心地点に関する情報を第２のディスプレイに表示することを含むことができる。

いくつかの態様では、第２カメラによって第２のディスプレイ上で手術部位を視認することは、制御ユニットが、第１のカメラによって取り込まれた画像内の第１のタグを場所特定することを含む。カメラによって取り込まれた画像内の第１のタグを場所特定することは、カメラによって取り込まれた複数の画像から、手術部位内の第１のタグの深さを決定することを含むことができる。カメラによって取り込まれた画像内の第１のタグを場所特定することは、カメラからの画像のピクセルベースの識別情報を使用して、カメラによって取り込まれた画像内の第１のタグの場所を決定することを含むことができる。

特定の態様では、本方法は、手術部位の特定の断面視野が第１のディスプレイ上で視認可能なように、第１の表示をフリーズさせることを含む。カメラによって第２のディスプレイの手術部位を視認することは、手術部位の画像を第２のディスプレイに表示する前に、カメラによって取り込まれた手術部位の画像から歪曲を取り除くことを含むことができる。

特定の態様において、本方法は、第２のタグによって、手術部位の断面視野内の第２の関心領域または関心地点をマークすることと、第２のディスプレイ上で第２のタグを表す第２の指示を視認することと、を含む。第２のタグを表す第２の指示を視認することは、第２の関心領域または関心地点に関する情報を第２のディスプレイに表示することを含む。本方法は、第２の指示をトグルして、第２の関心領域または関心地点に関する情報を第２のディスプレイに表示することを含むことができる。本方法はまた、第２の指示をトグルすることから独立して、第１の指示をトグルして、第１の関心領域または関心地点に関する情報を第２のディスプレイに表示することも含むことができる。

本開示の別の態様では、手術システムは、超音波システムと、内視鏡システムと、処理ユニットと、を含む。超音波システムは、超音波プローブと、超音波表示と、を含む。超音波プローブは、手術部位の断面視野を取り込むように構成される。超音波ディスプレイは、超音波プローブによって取り込まれた手術部位の断面視野を表示するように構成される。内視鏡システムは、内視鏡と、内視鏡ディスプレイと、を含む。内視鏡は、手術部位の画像を取り込むように構成されたカメラを有する。内視鏡ディスプレイは、カメラによって取り込まれた手術部位の画像を表示するように構成される。処理ユニットは、手術部位の断面視野内の第１の関心領域または関心地点の場所を受信するように、かつ第１の関心領域または関心地点を表す第１の指示を第２ディスプレイに表示するように構成される。

態様では、超音波ディスプレイは、手術部位の断面視野内の第１の関心領域または関心地点の場所を表すタグを受信するように構成されたタッチスクリーンディスプレイである。処理ユニットは、手術部位の画像を第２のディスプレイに表示する前に、カメラによって取り込まれた手術部位の画像から歪曲を取り除くように構成することができる。処理ユニットは、カメラからの画像のピクセルベースの識別情報を使用して、カメラによって取り込まれた画像内の第１の関心領域または関心地点を場所特定するように構成することができる。

さらに、矛盾しない程度に、本明細書に記載される態様のいずれかは、本明細書に記載される他の態様のいずれかまたは全てと併せて使用されてもよい。

本開示の様々な態様を、本明細書に組み込まれ、その一部を構成する図面を参照して下で説明する。

超音波プローブ、位置場発生器、処理ユニット、超音波ディスプレイ、および内視鏡ディスプレイを含む、本開示による超音波システムの斜視図である。 図１に示される超音波プローブおよび患者の体腔内の内視鏡を例示する、図１に示される詳細領域の切り取り図である。 手術部位の二次元断面画像を例示する、図１の超音波ディスプレイの図である。 手術部位の画像および手術部位内の手術器具の遠位部分を例示する、図１の内視鏡ディスプレイの図である。

ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書に使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。この説明の全体を通して、「近位」という用語は、臨床医に最も近い装置またはその構成要素の一部分を指し、「遠位」という用語は、臨床医から最も遠い装置またはその構成要素の一部分を指す。

以下、図１を参照すると、本開示に従って提供される手術システム１は、超音波撮像システム１０と、内視鏡システム３０と、を含む。超音波撮像システム１０は、処理ユニット１１と、超音波ディスプレイ１８と、超音波プローブ２０と、を含む。

超音波撮像システム１０は、患者「Ｐ」の体腔内の関心領域の２Ｄ断面視野または２Ｄ画像スライスを超音波ディスプレイ１８に提供するように構成される。臨床医は、下で詳述するように、超音波撮像システム１０、およびカメラを含むことができる内視鏡３６と相互作用して、手術処置中に、患者「Ｐ」の手術部位「Ｓ」の表面部分および表面下部分を視覚化することができる。

超音波プローブ２０は、患者「Ｐ」の体腔の表面から手術部位「Ｓ」の２Ｄ断面視野を生成するように構成され、および／または手術部位「Ｓ」に隣接する体腔内にある開口部、自然の開口部もしくは切れ目のいずれかを通して挿入することができる。処理ユニット１１は、手術部位「Ｓ」の２Ｄ断面視野を受信して、２Ｄ断面視野の表示を超音波ディスプレイ１８に伝送する。

内視鏡システム３０は、制御ユニット３１と、内視鏡３６と、内視鏡ディスプレイ３８と、を含む。図２をさらに参照すると、内視鏡３６は、カメラ３３と、センサ３７と、を含むことができ、これらはそれぞれ、内視鏡３６の遠位部分またはその中に配置される。カメラ３３は、内視鏡ディスプレイ３８に表示される手術部位「Ｓ」の画像を取り込むように構成される。制御ユニット３１は、カメラ３３と通信しており、カメラ３３によって取り込まれた画像を内視鏡ディスプレイ３８に送信するように構成される。制御ユニット３１は、処理ユニット１１と通信しており、処理ユニット１１と統合することができる。

図１〜４を参照して、手術部位「Ｓ」を撮像するための超音波システム１０および内視鏡システム３０の使用を本開示に従って説明する。最初に、超音波プローブ２０を、患者の体腔内またはその外側のいずれかで手術部位「Ｓ」に隣接して位置付けて、手術部位「Ｓ」の２Ｄ断面視野を取り込む。超音波プローブ２０を操作して、手術部位「Ｓ」の、またはそこに隣接する関心領域または関心地点の２Ｄ断面視野を提供する。２Ｄ断面視野を獲得するときに超音波プローブ２０の位置を手術部位「Ｓ」の２Ｄ断面視野と関連付けることができるように、超音波プローブ２０が内視鏡３６のカメラ３３の視野内ある間に、手術部位「Ｓ」全体が走査されることが認識されるであろう。手術部位「Ｓ」を走査している間、処理ユニット１１および／または制御ユニット３１は、２Ｄ断面視野を記録し、各２Ｄ断面視野を獲得した時点で、２Ｄ断面視野を手術部位「Ｓ」内の超音波プローブ２０の位置と関連付ける。

内視鏡３６が手術部位「Ｓ」を視認すると、内視鏡３６のカメラ３３は、内視鏡ディスプレイ３８で視認するための手術部位「Ｓ」のリアルタイム画像を取り込む。超音波プローブ２０によって手術部位「Ｓ」を走査した後に、他の手術器具、例えば把持器または開創器４６の形態の手術器具を、同じまたは異なる開口部を通して内視鏡３６から挿入して、手術部位「Ｓ」にアクセスして、手術部位「Ｓ」において手術処置を行うことができる。

下で詳述するように、手術部位「Ｓ」の走査中に記録された手術部位「Ｓ」の２Ｄ断面視野は、手術処置中に臨床医が視認するために利用することができる。カメラ３３がリアルタイム画像を取り込むと、画像が内視鏡ディスプレイ３８に表示される。臨床医は、手術部位「Ｓ」の関心領域または関心地点を選択して、内視鏡ディスプレイ３８上でレビューすることができる。内視鏡ディスプレイ３８で関心領域または関心地点が選択されると、制御ユニット３１は、手術部位「Ｓ」内の関心領域または関心地点の位置を決定し、処理ユニット１１に信号を送信する。処理ユニット１１は、制御ユニット３１から信号を受信し、手術部位「Ｓ」の走査中に超音波プローブ２０が関心領域または関心地点に位置付けられたおよび／または近づいたときに記録された２Ｄ断面視野を表示する。記録された２Ｄ断面視野は、固定画像とすることができ、または関心領域もしくは関心地点のビデオクリップとすることができる。

記録された２Ｄ断面視野が関心領域または関心地点のビデオクリップであるとき、ビデオクリップは、約１秒〜約１０秒の長さを有することができる。ビデオクリップの持続時間は、手術処置前またはその間に、臨床医によって予め設定することができ、または選択することができる。ビデオクリップは、連続的に繰り返すようにループされ得ることが想定される。

関心領域または関心地点を内視鏡ディスプレイ３８に示すために、臨床医は、内視鏡ディスプレイ３８上の画像内の関心領域または関心地点を電子的または視覚的に「マークする」または「タグ付けする」ことができる。内視鏡ディスプレイ３８上の画像内の関心領域または関心地点を電子的または視覚的にマークするために、臨床医は、指またはスタイラスによってディスプレイにタッチすること、マウス、トラックパッド、または類似するデバイスを使用して内視鏡ディスプレイ３８のインジケータを移動させること、音声認識システムを使用すること、視線追跡システムを使用すること、キーボードでタイプすること、および／またはこれらの組み合わせ、が挙げられるが、これらに限定されない、任意の既知の手段を使用することができる。

手術部位「Ｓ」内の関心領域または関心地点の位置を決定するために、制御ユニット３１は、カメラ３３からのリアルタイム画像を処理する。制御ユニット３１は、リアルタイム画像から歪曲を取り除いて、関心領域または関心地点の位置を決定する精度を向上させることができる。制御ユニット３１は、カメラ３３からのリアルタイム画像のピクセルベースの識別情報を利用して、カメラ３３からのリアルタイム画像内の関心領域または関心地点の場所を識別することができることが想定される。追加的または代替的に、関心領域または関心地点の場所は、カメラ３３からの複数のリアルタイム画像から推定することができる。具体的には、手術部位「Ｓ」の周りの内視鏡３６の移動中に取り込まれた複数のカメラ画像を使用して、手術部位「Ｓ」内の関心領域または関心地点の深さを推定することができる。

実施形態では、立体内視鏡を使用して、立体内視鏡の深さ撮像能力に基づいて、手術部位「Ｓ」内の構造の深さを決定することができる。構造の深さを使用して、カメラ３３からの画像内の関心領域または関心地点の場所をより正確に推定することができる。

手術部位「Ｓ」の関心領域または関心地点の場所を決定することによって、処理ユニット１１は、関心領域または関心地点の識別された場所と関連付けられた、上で詳述した手術部位「Ｓ」の走査中に記録された２Ｄ断面視野を表示する。臨床医は、２Ｄ断面視野を観察して、関心領域または関心地点の表面下の構造を視覚化することができる。関心領域または関心地点の表面下の構造を視覚化することによって、超音波プローブ２０による関心領域または関心地点の再走査を必要とすることなく、臨床医の関心領域または関心地点の状況認識が改善される。

追加的または代替的に、手術処置中に、臨床医は、超音波プローブ２０によって手術部位「Ｓ」内の関心領域または関心地点を再走査して、手術処置によって達成された変化を視覚化することができる。臨床医は、関心領域または関心地点のリアルタイム２Ｄ断面視野と記録された２Ｄ断面視野とを比較することによって、変化を超音波ディスプレイ１８上に視覚化できることが想定される。変化を超音波ディスプレイ１８上に視覚化するために、臨床医は、リアルタイムまたは記録された２Ｄ断面視野のいずれかと他方とを重ね合わせることができる、

２Ｄ断面視野を視認する前、視認中、または視認した後に、臨床医は、図４においてタグ６２、６４、６６によって表されるように、内視鏡ディスプレイ３８上の画像内の関心領域または関心地点を「タグ付けする」ことができる。タグ６２〜６６は、内視鏡３６によって関心領域または関心地点の周り、例えば神経、血管、瘢痕組織、血流、などを視認したときに明確でない場合がある、関心領域または関心地点に関する情報を含むことができる。臨床医は、関心領域または関心地点をタグ付けする前、タグ付けした後、またはタグ付け中に、内視鏡ディスプレイ３８上の画像をフリーズさせることができることが想到される。内視鏡ディスプレイ３８上の関心領域または関心地点をタグ付けすることによって、臨床医は、手術処置を続けることができる。関心領域または関心地点をマークすることに類似して、臨床医は、任意の周知の手段を使用して、内視鏡ディスプレイ３８上の関心領域または関心地点をタグ付けすることができる。

加えて、超音波ディスプレイ１８を視認しながら、臨床医は、手術部位「Ｓ」の、またはそこに隣接する関心領域または関心地点を識別することができる。臨床医がディスプレイ１８上の関心領域または関心地点を識別するとき、臨床医は、図３においてタグ６８によって表されるように、ディスプレイ１８上の画像内の関心領域または関心地点を電子的または視覚的に「マークする」または「タグ付けする」ことができる。ディスプレイ１８上の画像の関心領域または関心地点を電子的または視覚的にタグ付けするために、臨床医は、上で詳述した任意の既知の手段を使用することができる。タグ６８は、内視鏡３６によって関心領域または関心地点の周り、例えば神経、血管、瘢痕組織、血流、などを視認したときに明確でない場合がある、関心領域または関心地点に関する情報を含むことができる。臨床医は、関心領域または関心地点をタグ付けする前、タグ付けした後、またはタグ付け中に、超音波ディスプレイ１８上の画像をフリーズさせることができることが想到される。関心領域または関心地点を緒音波ディスプレイ１８上でタグ付けすることによって、臨床医は、超音波プローブ２０による手術部位「Ｓ」の走査を続けて、手術部位「Ｓ」の、またはそこに隣接する関心領域または関心地点を表すディスプレイ１８上の後続の関心領域または関心地点を電子的または視覚的にタグ付けすることができる。関心領域または関心地点を超音波ディスプレイ１８上でタグ付けした状態で、臨床医は、超音波プローブ２０による手術部位「Ｓ」の走査を続けて、手術部位「Ｓ」の、またはそこに隣接する関心領域または関心地点を表す超音波ディスプレイ１８上の後続の関心領域または関心地点に電子的または視覚的にタグ付けすることができる。

関心領域または関心地点が超音波ディスプレイ１８上でタグ付けされたとき（例えば、タグ６８）、手術部位「Ｓ」内の超音波プローブ２０の場所は、超音波ディスプレイ１８上のタグを表すために、タグ（例えば、タグ６８’）によって内視鏡ディスプレイ３８上にマークされる。

臨床医が処置を中断することなく、手術処置中に手術部位の、またはそこに隣接する関心領域または関心地点の情報を有するタグ６２、６４、６６、６８’を提供することは、手術処置中の臨床医の状況認識を改善することができ、および／または手術処置中の臨床医の認知的負荷を低減させることができる。臨床医の状況認識を改善すること、および／または臨床医の認知的負荷を低減させることは、患者の手術結果を改善することができる。

示されるように、タグ６２、６４、６６、６８’は、球形、立方体、菱形、感嘆符を含む、様々な形状で表示することができる。タグ６２、６４、６６、６８’の形状は、関連付けられたタグ６２、６４、６６、６８’に関する情報のタイプを示すことができる。加えて、タグ６２、６４、６６、６８’は、タグに含まれる情報を示す色を有することができる。例えば、タグ６２は、タグの情報が血管に関連するときに青色にすることができ、またはタグの情報が組織に関連するときには黄色にすることができる。

タグ６２、６４、６６、６８’が後続の手術処置のために保存することができることが想定される。患者への手術処置の前に、臨床医は、以前の処置からのタグを含む患者のプロファイルを処理ユニット１１および／または制御ユニット３１に読み込むことができる。内視鏡３６のカメラ３３がリアルタイム画像を取り込むと、制御ユニット３１は、手術部位「Ｓ」内の構造を識別して、以前の手術処置からのタグ６２、６４、６６、６８’タグを場所特定し、配置する。類似の構造が手術部位「Ｓ」内で識別されたとき、制御ユニット３１は、内視鏡ディスプレイ３８上の画像内にタグを配置して、上で詳述したものに類似する様態で、以前の手術処置からの関心領域または関心地点に関する付加情報および／またはその２Ｄ断面視野を臨床医に提供する。

上で詳述したように、および図１を参照して、手術システム１は、超音波ディスプレイ１８と、別体の内視鏡ディスプレイ３８と、を含む。しかしながら、手術システム１は、複数のウインドウおよび／またはパネルの分割画面を有する単一のモニタを含むことができ、超音波ディスプレイ１８および内視鏡ディスプレイ３８のそれぞれは、モニタ上のウインドウまたはパネルのそれぞれの１つにおいて視認可能である。

本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容する広い範囲として捉えられるべきであり、本明細書も同様に読み取られるべきと考えられるので、本開示はこれらの実施形態に限定されるものではないことが意図される。上記の実施形態の任意の組み合わせもまた想定され、これらは、添付の特許請求の範囲内である。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者は本明細書に添付される特許請求の範囲内での他の修正を想定するであろう。

Claims (19)

1. 手術部位を視覚化する方法であって、
   前記手術部位の断面視野を記録することを含む、前記手術部位の断面視野を示す第１のディスプレイを含む超音波システムによって手術部位を走査することであって、前記それぞれの断面視野が記録されたときに、前記記録された断面視野の各々が、前記手術部位内の前記超音波システムのプローブを位置と関連付けられる、走査することと、
   第２のディスプレイ上でカメラによって前記手術部位を視認することと、
   前記第２のディスプレイ上の第１の関心領域と関連付けられた前記手術部位の記録された断面視野が前記第１のディスプレイに表示されるように、前記第２ディスプレイ上の前記第１の関心領域を識別することと、を含む、方法。
2. 前記超音波システムによって前記手術部位を走査することが、超音波プローブを患者の体腔の中へ挿入することを含む、請求項１に記載の方法。
3. 前記第２の関心領域に関する情報を含む第１のタグによって、前記第２のディスプレイ上の第２の関心領域をマークすることをさらに含む、請求項１に記載の方法。
4. 前記第１のタグをトグルして、前記第２の関心領域に関する情報を前記第２のディスプレイに表示することをさらに含む、請求項３に記載の方法。
5. 前記第２の関心領域をマークすることが、前記第１の関心領域内の前記第２の関心領域を識別することを含む、請求項３に記載の方法。
6. 以前の手術処置中の以前の関心領域の位置に基づいて、前記カメラによって取り込まれた画像内の第１のタグを場所特定することをさらに含む、請求項１に記載の方法。
7. 前記以前の関心領域を表す前記第１のタグを表示することが、前記以前の関心領域に関する情報を前記第２のディスプレイに表示することを含む、請求項６に記載の方法。
8. 前記第１のタグをトグルして、前記以前の関心領域に関する情報を前記第２のディスプレイに表示することをさらに含む、請求項７に記載の方法。
9. 前記カメラによって取り込まれた画像内の前記第１のタグを場所特定することが、前記カメラによって取り込まれた複数の画像から、前記手術部位内の前記第１のタグの深さを決定することを含む、請求項６に記載の方法。
10. 前記カメラによって取り込まれた画像内の前記第１のタグを場所特定することが、前記カメラからの画像のピクセルベースの識別情報を使用して、前記カメラによって取り込まれた前記画像内の前記第１のタグの位置を決定することを含む、請求項６に記載の方法。
11. 前記カメラによって前記第２のディスプレイの前記手術部位を視認することが、前記手術部位の前記画像を前記第２のディスプレイに表示する前に、前記カメラによって取り込まれた前記手術部位の画像から歪曲を取り除くことを含む、請求項１に記載の方法。
12. 第２のタグによって、前記第１のディスプレイ上の前記手術部位の断面視野内の第３の関心領域をマークすることと、
    前記第３の関心領域が識別されたときに、前記カメラによって取り込まれた画像内の前記超音波の前記プローブの前記位置を表す、前記第２のディスプレイ上の第３のタグを視認することと、をさらに含む、請求項１に記載の方法。
13. 前記第２のタグを表す前記第３のタグを視認することが、前記第３の関心領域に関する情報を前記第２のディスプレイに表示することを含む、請求項１２に記載の方法。
14. 前記第３のタグをトグルして、前記第３の関心領域に関する情報を前記第２のディスプレイに表示することをさらに含む、請求項１３に記載の方法。
15. 前記第３のタグをトグルすることから独立して、前記第１のタグをトグルして、前記第１の関心領域に関する情報を前記第２のディスプレイに表示することをさらに含む、請求項１４に記載の方法。
16. 手術システムであって、
    超音波システムであって、
    手術部位の断面視野を取り込むように構成された超音波プローブと、
    前記超音波プローブによって取り込まれた前記手術部位の前記断面視野を表示するように構成された超音波ディスプレイと、を含む、超音波システムと、
    内視鏡システムであって、
    前記手術部位の画像を取り込むように構成されたカメラを有する内視鏡と、
    前記カメラによって取り込まれた前記手術部位の前記画像を表示するように構成された内視鏡ディスプレイと、を含む、内視鏡システムと、
    前記内視鏡ディスプレイから、前記手術部位の取り込まれた画像内の第１の関心領域の場所を受信するように、かつ前記場所の前記手術部位の断面視野を前記内視鏡ディスプレイに表示するように構成された処理ユニットと、を備える、手術システム。
17. 前記内視鏡ディスプレイが、前記手術部位の前記画像内の前記第１の関心領域の前記場所を表すタグを受信するように構成されたタッチスクリーンディスプレイである、請求項１６に記載の手術システム。
18. 前記処理ユニットが、前記手術部位の画像を前記内視鏡ディスプレイに表示する前に、前記カメラによって取り込まれた前記手術部位の前記画像から歪曲を取り除くように構成される、請求項１６に記載の手術システム。
19. 前記処理ユニットが、前記カメラからの画像のピクセルベースの識別情報を使用して、前記カメラによって取り込まれた画像内の第２の関心領域を場所特定するように構成され、前記第２の関心領域が、第２の関心領域が前記超音波ディスプレイ上で識別されたときの前記手術部位の前記画像内の前記超音波プローブの場所に基づいて位置付けられる、請求項１６に記載の手術システム。