JP2022503556A - 外科用内視鏡ビデオストリームの画像補正 - Google Patents

Abstract

【課題】外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の改善された方法を提供する。
【解決手段】ビデオストリームは、画像シーケンスを含む。本方法は、画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも１つの画像プロパティの異なる範囲の値を有する、識別することと、マスクを画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の少なくとも１つの画像プロパティを修正する、適用することと、外科用ロボットシステムからデータを導出することと、導出されたデータから画像内の特徴間の関係を決定することと、ビデオストリーム内の後続画像の時点での特徴間の予測関係についてマスクを修正することと、修正されたマスクをビデオストリーム内の後続画像に適用することと、を含む。
【選択図】図４

Description

本開示は、外科用ロボットシステムの外科用内視鏡からのビデオストリームの画像補正に関する。

低侵襲外科手術では、外科用内視鏡を介して外科的部位が撮像される。内視鏡はカメラであり、カメラは典型的に、部位を照明するための光源と、ビデオストリームを取得するための１つ以上のレンズと、を備える、先端を有する。ビデオストリームは、ディスプレイ上にリアルタイムで表示され、ディスプレイにより、外科医は、外科的部位、および外科医自身が操作している外科用器具を視認することができる。

外科的部位を十分に照明するために、内視鏡上の光源は非常に強い。結果として生じるビデオストリームでは、照明面積は、影の中にある画像の残りの部分に対して高コントラストである。低侵襲外科手術では、内視鏡の直径は非常に狭く、したがって、光源は内視鏡の光学軸に非常に近い。組織は湿っていて光沢があるため、照明されるとレンズに強い反射が戻され、これは、組織が光学軸の近くにあり、内視鏡に近い場合に、悪化する。画像のこの過度に明るい部分は、非常に暗く見える画像の外周部とは全く対照的である。内視鏡からさらに離れる方向にある組織も非常に暗く見える。結果として、外科医の外科的部位の視野は悪いままで、視認性は限定されている。

外科医が視認する画像の品質を改善するために、内視鏡からビデオストリームへの変換を適用することが知られている。明るさとコントラストを調節して、画像の中心面積をより見えるようにする。しかしながら、画像の他の面積は中心面積よりもはるかに暗いため、変換が画像にわたって均一に適用されると、これらのより暗い面積の視認性がさらに低下する。

例えば、中心面積を暗くし、外周部を明るくするために、内視鏡からの画像の中心面積に、画像の周辺部とは異なる変換を適用することが知られている。画像全体にわたって変換を均一に適用するための改善であるが、このアプローチは、中心面積内または外周部内の高コントラスト領域の視認性が改善されないという問題に悩まされる。

静止画像を処理するためのより高度な技法が知られており、これは、画像の手動操作を伴う。手動操作を伴う技法は、外科医が、外科医自身が手術中の外科的部位をよりよく視認することを可能にするためにこの分野で必要とされるような、内視鏡からのビデオストリームのリアルタイム補正には好適ではない。

外科的部位で手術中の外科医に対して、画像全体にわたって視認性を改善するように、リアルタイムでの外科用内視鏡からのビデオストリームの画像補正の改善された方法が必要とされている。

第１の態様によれば、外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、ビデオストリームが、画像シーケンスを含み、方法が、画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも１つの画像プロパティの異なる範囲の値を有する、識別することと、マスクを画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の少なくとも１つの画像プロパティを修正する、適用することと、外科用ロボットシステムからデータを導出することと、導出されたデータから画像内の特徴間の関係を決定することと、ビデオストリーム内の後続画像の時点での特徴間の予測関係についてマスクを修正することと、修正されたマスクをビデオストリーム内の後続画像に適用することと、を含む、方法が提供される。

本方法は、所定の修正のセットを記憶することと、２つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含み得る。

所定の修正は、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの１つ以上を修正し得る。

後続画像の時点での特徴間の予測関係は、画像内の特徴のうちの１つ以上の形状が変化しているか、または特徴の相対的な位置が変化しているようなものであってもよい。

データは、画像内の別の特徴に対する外科用内視鏡の位置を含み得る。

データは、画像内の特徴の深度情報を含み得る。深度情報は、外科用内視鏡の運動から導出され得る。ビデオストリームは、外科用内視鏡の２つのステレオビデオチャネルの組み合わせであってもよく、本方法は、外科用内視鏡の２つのステレオビデオチャネルから深度情報を導出することを含み得る。

データは、画像内の特徴の識別を含み得る。

本方法は、画像の識別された特徴に対応するように画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含み得る。

本方法は、外科医の焦点を追跡することと、外科医の焦点を中心とするように画像の第１の領域を選択することと、外科医の焦点を除外するように画像の第２の領域を選択することと、第１および第２の領域に異なる領域特異的修正を適用することと、を含み得る。

本方法は、ビデオストリーム内の後続画像の時点での特徴間の予測関係に基づいて、後続画像の複数の領域を識別することを含み得、修正されたマスクをビデオストリーム内の後続画像に適用することは、領域特異的修正を後続画像の各領域に適用することを含む。

本方法は、ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、外科用ロボットシステムからさらなるデータを導出するステップ、導出されたさらなるデータからの画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、ビデオストリーム内のなおもさらなる画像の時点での特徴間の更新された予測関係に対して、更新されたマスクを形成するようにマスクをさらに修正するステップ、更新されたマスクをビデオストリーム内のなおもさらなる画像に適用するステップ、およびビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含み得る。

マスクは、ビデオストリームの画像フレームレートよりも緩徐なレートで更新され得る。マスクは、画像内の特徴の著しい変化のときにのみ更新され得る。マスクは、外科用内視鏡、および／または外科用内視鏡が中にある患者の著しい運動のときにのみ更新され得る。

ここで、添付図面を参照して、本開示を例として説明する。

外科用ロボットのセットによって手術されている人物を例示している。 外科医コンソールを例示している。 外科用内視鏡に関する外科用ロボットシステムの部分の概略図を例示している。 外科用内視鏡からのビデオストリームの画像補正のプロセスを示すフローチャートを例示している。

図１は、人物１０４に対して手術を実施している外科用ロボット１０１、１０２、１０３を例示している。各ロボットは、基部に接続された関節式アームを備える。ロボット１０１および１０２の各々は、そのアームの端部に接続された外科用器具１０５、１０６を有する。外科用内視鏡１０７は、ロボット１０３のアームに接続されている。外科用器具１０５、１０６、および外科用内視鏡１０７は各々、身体１０４の切開部を通って外科的部位にアクセスする。外科医は、図２に示される外科医コンソール２００から外科用器具、および任意選択で外科用内視鏡を制御する。外科医は、ハンドコントローラ２０１、２０２を操作する。制御システムは、ハンドコントローラの運動を制御信号に変えて、外科用ロボットのうちの１つのアーム接合部および／または器具エンドエフェクタを移動させる。外科的部位の外科用内視鏡１０７からのビデオフィードは、ディスプレイ２０３上に表示される。それによって、外科医は、外科医自身がハンドコントローラ２０１、２０２を用いて操作している器具エンドエフェクタを含む外科的部位を視認することができる。

図３は、外科用内視鏡１０７に関する外科用ロボットシステムの部分を例示している。外科用内視鏡１０７は、その基部３０４から遠位にあるロボットアーム１０３の端部に取り付けられている。外科用内視鏡からのビデオストリームは、制御ユニット３０１によって受信され、そこで処理され、次いで、外科医コンソール３０５に出力され、そこでディスプレイ２０３上に表示される。制御ユニット３０１は、プロセッサ３０２およびメモリ３０３を備える。メモリは、プロセッサに、外科用内視鏡１０７からのビデオストリームを本明細書に記載の方法でリアルタイムに補正させるために、プロセッサによって実行され得るソフトウェアコードを非一時的な方法で記憶する。制御ユニット３０１は、外科医コンソール３０５および外科用ロボット１０３の両方から遠隔にあるものとして示されている。代替的に、制御ユニット３０１を外科医コンソール３０５内に組み込むことができる。さらなる代替として、制御ユニット３０１を、外科用ロボット１０３、または外科用ロボットシステムの別の外科用ロボット内に組み込むことができる。

プロセッサ３０２は、図４を参照して説明される以下の例示的な方法に従って、外科用内視鏡１０７からのビデオストリームのリアルタイム画像補正を実施する。

ビデオストリームは、図４の１、２、３、．．．、ｎ－１、ｎ、ｎ＋１、．．．、ｍ－１、ｍ、ｍ＋１、．．．、ｐ－１、ｐ、．．．と番号付けされた画像シーケンスを含む。プロセッサは、画像シーケンス内の各画像を処理する。ステップ４０１で、プロセッサは、画像１内の複数の領域を識別する。各領域は、１つ以上のピクセルからなる。各領域は、少なくとも１つの画像プロパティの異なる範囲の値を有することによって、別の領域と区別される。領域の画像プロパティには、明るさ、コントラスト、ガンマ、および色が含まれる。これらの画像プロパティのうちのいずれか１つ以上は、異なる領域において異なっていてもよい。ステップ４０２で、プロセッサは、マスクを画像１に適用する。マスクは、領域特異的修正を画像の各領域に適用する。１つの領域の領域特異的修正は、別の領域の領域特異的修正とは異なる。各領域特異的修正は、その領域の少なくとも１つの画像プロパティを修正する。領域を、それらが特定の画像プロパティ、例えば、明るさの異なる範囲の値を有することに基づいて識別する場合、領域特異的修正は、その特定の画像プロパティを修正することになる。領域特異的修正はまた、領域の他の画像プロパティを修正し得る。プロセッサは、同じマスクを一連の画像に適用する。例えば、プロセッサは、画像１に基づいて作成されたマスクを、画像１、２、．．．、ｎ－１に適用する。

ステップ４０３で、プロセッサは、外科用内視鏡が一部をなす外科用ロボットシステムからデータを導出する。導出され得る例示的なデータを以下で説明する。ステップ４０４で、プロセッサは、導出されたデータを使用して、画像１内の特徴間の関係を決定する。これらの特徴は、例えば、器官、組織構造、および／または外科用器具であってもよい。ステップ４０５で、プロセッサは、画像１内の特徴間の決定された関係を使用して、これらの同じ特徴間の、画像シーケンス内の後続画像の時点での関係を予測する。図４では、この後続画像は、画像ｎである。ステップ４０６で、プロセッサは、次いで、画像ｎの時点での特徴間の予測関係について、画像１に対して生成されたマスクを修正する。ステップ４０７で、プロセッサは、修正されたマスクを画像ｎに適用する。プロセッサは、同じマスクを一連の画像に適用する。図４の場合、プロセッサは、修正されたマスクを画像ｎ、ｎ＋１、．．．、ｍ－１に適用する。

プロセッサは、マスクを更新して一連の画像に適用し、次いで、マスクを再度更新してさらなる一連の画像に適用するなどといった繰り返しのプロセスを、ビデオストリームが終了するまで実施する。さらなる画像ごとにマスクを更新するために、そのさらなる画像内の特徴間の関係が予測される。図４では、マスクを更新するための次の画像は、画像ｍである。ステップ４０８で、プロセッサは、画像ｍ内の特徴間の関係を予測する。この予測は、ステップ４０５で画像ｎに対して予測が行われたのと同じ方法で、ステップ４０３で外科用ロボットシステムから導出されたデータに基づき得る。代替的に、または加えて、予測は、ステップ４１１で外科用ロボットシステムから導出されたさらなるデータに基づき得る。ステップ４１２で、このさらなる導出されたデータを使用して、さらなるデータが導出された時点での特徴間の更新された関係を決定する。この場合、ステップ４０８で、プロセッサは、ステップ４１２の特徴間の更新された関係に基づいて、画像ｍの時点での特徴間の関係を予測する。ステップ４０９で、マスクは、画像ｍの時点での特徴間の更新された予測関係に対して、更新されたマスクを形成するように修正される。ステップ４１０で、更新されたマスクは、画像ｍに適用される。プロセッサは、同じマスクを一連の画像に適用する。図４の場合、プロセッサは、更新されたマスクを画像ｍ、ｍ＋１、．．．、ｐ－１に適用する。次いで、プロセッサは、画像ｍに関して上述したのと同じプロセスを使用して、画像ｐで始まる一連の画像に対して、さらなる更新されたマスクを生成する。プロセスは、ビデオストリームが停止するまで繰り返し継続される。

ステップ４０３および４１１で外科用ロボットシステムから導出されたデータには、画像内の特徴の位置および／または相対的な運動を決定することを可能にするデータが含まれ得る。これは、例えば、外科用器具が組織構造または器官に触れている画像のフォースフィードバックまたは視覚的分析から決定され得る。外科用器具および外科用内視鏡の相対的な位置は、（ｉ）器具および内視鏡をサポートする外科用ロボットアームの基部の既知の相対的な場所、（ｉｉ）そのサポートしているロボットアームに対する外科用器具の位置であって、当該ロボットアームの接合部上にある位置センサによって検知されるロボットアームの接合部の位置から順運動学を使用して計算され得る、位置、および（ｉｉｉ）そのサポートしているロボットアームに対する外科用内視鏡の位置であって、当該ロボットアームの接合部上にある位置センサによって検知されるロボットアームの接合部の位置から順運動学を使用して計算され得る、位置から計算され得る。したがって、外科用器具および組織構造／器官に対する外科用内視鏡の位置は既知である。外科用器具、外科用内視鏡、および患者のうちの１つ以上の運動に関するデータを、外科用ロボットシステムから導出することもできる。例えば、外科用器具を操作するために外科医のハンドコントローラから送信される指令信号は、指令された操作を行うために、外科用器具を保持するロボットアームの運動、および外科用器具の関節の運動を指定する。画像内の特徴間の初期の関係、および外科用器具、外科用内視鏡、または患者の後続の運動に関するデータから、プロセッサは、将来の指定された時間における特徴間の関係を予測することができる。したがって、プロセッサは、その将来の指定された時間の画像内の特徴の相対的な位置の変化を考慮するようにマスクを修正し、修正されたマスクをビデオストリーム内のその将来の指定された時間の画像に適用する。

ステップ４０３および４１１で外科用ロボットシステムから導出されたデータには、画像内の特徴の配置を推定することを可能にするデータが含まれ得る。具体的には、データは、画像内の特徴の深度を推定することを可能にし得る。このデータは、外科用内視鏡の運動であり得る。外科用内視鏡の運動を駆動する指令信号は、指令された運動を行うために、外科用内視鏡を保持するロボットアームの運動、および外科用内視鏡の関節の運動を指定する。外科用内視鏡が移動する距離および方向は、これらの指令信号から推定することができる。したがって、外科用内視鏡の先端にあるカメラ、ひいては、画像が移動する距離および方向を推定することができる。内視鏡が移動するときの画像の特徴の変化により、これらの特徴に関する深度情報を決定することが可能である。例えば、内視鏡が特徴を通過して移動した場合、内視鏡が進む方向におけるその特徴の寸法を推測することができる。別の例として、内視鏡が遠位特徴に向かって移動した場合、その特徴のサイズの変化を使用して、特徴がどのくらい遠くに離れているかを推測することができる。

画像内の特徴の深度に関するデータは、ビデオストリーム自体から推定され得る。内視鏡は、２つのステレオビデオチャネルを有し得る。２つのチャネルをオフセットし、それに伴って、ディスプレイ上の外科的部位の３Ｄ視野をレンダリングする。プロセッサは、この３Ｄ視野から画像内の特徴の寸法および相対的な深度を推測し得る。

特徴の初期の関係および深度データから、プロセッサは、外科用内視鏡の運動後の将来の時間における特徴間の関係を予測することができる。したがって、プロセッサは、その将来の時間の画像内の特徴の相対的な位置の変化を考慮するようにマスクを修正し、修正されたマスクをビデオストリーム内のその将来の時間の画像に適用する。

ステップ４０３および４１１で外科用ロボットシステムから導出されたデータには、画像内の特徴を識別するデータが含まれ得る。例えば、外科的部位の器官および／または組織構造をタグ付けすることができる。このタグ付けは、外科医によって、手術室スタッフの他のメンバーによって、または制御ユニット３０１による自動検出によって行われてもよい。タグ付けすると、次いで、器官または組織構造を、プロセッサによって、ある画像から別の画像へとビデオストリームを通して運動学的に追跡することができる。プロセッサは、領域となる器官／組織構造を選択し、器官／組織構造特異的マスクを器官／組織構造に適用し得る。例えば、プロセッサは、腎臓に対して定義されたマスクを記憶し、腎臓を識別して、腎臓特異的マスクを腎臓に適用し得る。

外科用ロボットシステムから導出されたデータにより決定される画像内の特徴間の関係には、画像内の特徴の配置および／または画像内の特徴の相対的な位置が含まれ得る。この関係は、画像内の特徴のうちの１つ以上の形状が変化した結果として経時的に変化し得る。特徴が識別された場合、その特徴の経時的な運動および／または形状変化を予想することができる。例えば、画像内の特徴の形状は、身体の生理学的プロセスによって、特徴が物理的に形状を変化させた結果として変化／変形し得る。例えば、患者の心拍の結果として動脈が経時的に脈動し、患者の呼吸の結果として横隔膜が上下に移動する。画像内の特徴の形状は、外科用内視鏡が特徴を通過して移動した結果、ひいては、特徴を異なる角度から視認した結果として変化し得る。画像内の特徴の形状は、その特徴を外科用器具によって操作した結果として変化し得る。

上述のように、マスクは、領域特異的修正を画像の各領域に適用する。マスクは、領域の１つ以上の画像プロパティを修正する。これらの画像プロパティには、明るさ、コントラスト、ガンマ、および色が含まれる。単純な例として、プロセッサは、画像内の３つの領域を識別し得る。第１の領域は暗すぎ、第２の領域は明るすぎ、第３の領域は許容可能な明るさである。プロセッサが画像に適用するマスクは、第１の領域の明るさを増加させ、第２の領域の明るさを減少させ、第３の領域の明るさを変更しない、領域特異的修正を含む。結果として生じる画像は、当該画像にわたってより均一なコントラストを有し、これにより、外科医に対する画像の視認性が改善される。

手術部位は概して、色の変化が少ない。主に、白く見える一部の面積を含む、異なる色合いの赤である。プロセッサは、画像内の特徴の視認性を増加させるために、画像に偽の色を適用するためのマスクを生成し得る。例えば、領域特異的修正には、領域上に重ね合わされる蛍光色チャネルが含まれ得る。

制御ユニット３０１は、所定の修正のセットをメモリ３０３に記憶し得る。次いで、プロセッサは、これらの所定の修正のうちの１つ以上を各領域に適用する。プロセッサが、所定の修正のうちの２つ以上をある領域に適用する場合、プロセッサは、その領域に適用するように所定の修正の比率を選択する。プロセッサは、所定の修正のうちの２つ以上の重み付けされた組み合わせを領域に適用し得る。例えば、プロセッサは、３つの所定の修正、修正１、修正２、および修正３を記憶し得る。画像内の領域の画像プロパティに基づいて、プロセッサは、領域特異的修正を、５％の修正１、１０％の修正２、および８５％の修正３からなる領域１に適用し、領域特異的修正を、８０％の修正１、１５％の修正２、および５％の修正３からなる領域２に適用するように選択し得る。

所定の修正を適用すると、修正自体をその場で生成する必要はなく、適用するこれらの修正の割合のみを生成する必要があるため、ビデオストリームを補正する待ち時間が低減される。所定の修正は、外科的部位からの画像の典型的な画像プロパティの知識を用いて生成され得る。例えば、既知の限定された色チャネル、高コントラスト、高反射部分など。所定の修正はまた、外科的部位からの画像内の典型的な特徴の知識を用いて生成され得る。例えば、所定の修正は、器官および組織構造のセットのうちの１つごとに生成され得る。例えば、腎臓は紫の色調を有するため、強い赤い色を有する動脈に対する所定の修正とは異なる所定の修正が腎臓に対して生成され得る。

上述のように、外科用内視鏡は、２つのオフセットチャネルを有する３Ｄ外科用内視鏡であってもよい。この場合、プロセッサは、マスクを各ビデオチャネルに適用する。２つのチャネルから受信した画像をオフセットし、ひいては、１つのビデオチャネルに適用されたマスクを、他のビデオチャネルに適用されたマスクからオフセットする。外科医が視認する知覚画像が未補正のビデオストリームと比較して改善された視認性を有するように、マスクをオフセットする。

マスクが、フレーム内の後続画像の時点で特徴間の予測関係に対して修正される場合、修正は、領域の領域特異的修正を変化させることである場合がある。例えば、後続画像の時点までの運動または形状変化の結果として、領域がより軽くなることが予期される場合、領域特異的修正は、前の領域特異的修正と比較して、コントラストおよび／または明るさを減少させるように変更され得る。

上述のように、プロセッサは、画像内の複数の領域を識別する。プロセッサは、領域を選択するために画像を分析する。各領域は、ピクセルの集合であってもよく、ピクセルの各々は、その領域内の少なくとも１つの他のピクセルに隣接する。プロセッサは、ピクセルが、以下の画像プロパティ、明るさ、コントラスト、ガンマ、色、彩度のうちのいずれか１つ以上に対して同様の値を有することに基づいて、これらのピクセルを一緒にグループ化して、領域を形成することができる。

プロセッサは、外科用ロボットシステムから導出されたデータからの画像内の特徴識別に基づいて、ピクセルを一緒にグループ化して、領域を形成することができる。例えば、器官および／または組織構造は、自動画像分析、または外科医が外科的手技中の何らかの時点で特徴を識別することのいずれかによって、画像内で識別され得る。プロセッサは、これらの器官および／または組織構造の各々を別個の領域であるように識別し得る。プロセッサは、既知のエッジ発見技法を実装して、器官／組織構造の輪郭、ひいては、領域の境界を決定することができる。このエッジ発見技法は、計算量が少ない粗い測定値であってもよい。これは、領域の境界が器官／組織構造の輪郭に完全に一致していない場合でも、画像補正方法が画像の知覚視認性を改善することを可能にするのに十分である。

プロセッサは、外科医の焦点を追跡することに基づいて、ピクセルを一緒にグループ化して、領域を形成することができる。第１の領域は、外科医の焦点を中心とする画像のある面積であるように選択され得る。１つ以上のさらなる領域は、第１の領域を除外した、画像の残りの面積を組み込むように選択され得る。異なる領域特異的修正が、第１の領域およびさらなる領域に適用される。外科医が知覚する画像品質を改善するが、待ち時間を低減させる必要性に留意するために、より計算的に複雑な画像補正プロセスが第１の領域に実装され得る一方、計算的にそれほど複雑ではない画像補正プロセスがさらなる領域に実装される。例えば、第１の領域に対するマスクは、さらなる領域に対するマスク（複数可）よりも頻繁に更新され得る。

プロセッサは、画像の領域を選択するために、所定の画像領域を使用し得る。所定の画像領域には、例えば、画像の内側領域および外側領域が含まれ得る。プロセッサは、これらの所定の画像領域に基づいて領域を生成し得るが、これらの領域を上述の方法のいずれかに基づいて修正し得る。例えば、プロセッサは、画像の所定の内側領域および外側領域を記憶し得る。プロセッサはまた、外科医の焦点を追跡し得る。その焦点が画面の中心から移動した場合、プロセッサは、内側領域の中心を外科医の焦点の点にシフトさせるように、領域を修正し得る。別の例として、プロセッサは、画像の所定の内側領域および外側領域を記憶し得る。プロセッサはまた、器官／組織構造をタグ付けし、それらを追跡することができる。タグ付けされた器官が、主に画像の内側領域内に位置するが、外側領域に部分的に延在している場合、プロセッサは、タグ付けされた器官全体を包含するように、内側領域を修正し得る。

プロセッサは、後続画像に対する領域を修正し得る。これは、後続画像の時点での画像の特徴間の予測関係に基づき得る。例えば、プロセッサは、外科用内視鏡が特徴に向かって移動しているために特徴間の関係が変化し、その結果、特徴が画像のより大きな割合を占めると予測し得る。プロセッサがその特徴を、ある領域として識別した場合、その領域は、後続画像内のより大きな領域、すなわち、より大きなピクセルのセットになる。外科用内視鏡、外科用器具（複数可）を追跡すること、および画像内の特徴をタグ付けならびに追跡することによって、プロセッサは、領域に対する変化を識別し、後続画像に対する領域を修正して、画像内の特徴間の関係の変化を可能にすることができる。次いで、後続画像のための修正されたマスクが、後続画像の修正された領域に適用されることになる。

ビデオストリームの画像補正は、外科医が、外科医自身が手術中の外科的部位を見ることができるようにするために、リアルタイムで実施される。外科医が、外科医自身による外科的部位での器具の移動と、その運動のディスプレイ上での視認との間で遅延を知覚しないほどに十分に低い待ち時間で、記載の画像補正をプロセッサが実施することができるようにするために、以下の手段のうちの１つ以上を実装することができる。低い待ち時間の画像処理パイプラインを使用して、マスクを適用することができる。図４に関連して説明されるように、同じマスクを一連の画像に適用することができる。この場合、マスクは、画像フレームレートよりも緩徐に更新される。マスクを定期的に更新することができる。例えば、マスクを、１０フレームごとに一回更新することができる。代替的に、または加えて、外科用ロボットシステムの構成要素の特定の行為によってトリガされたときに、マスクを更新することができる。待ち時間をさらに低減するために、かかる行為によってトリガされたときにのみ、マスクを更新することができる。この行為は、画像内の特徴の著しい変化であってもよい。画像内の特徴の著しい変化は、外科用内視鏡の著しい運動から生じる場合がある。画像内の特徴の著しい変化は、例えば、患者を傾けた結果としての、患者の身体の著しい運動により生じる場合がある。これらの著しい変化は、画像分析から決定され得るか、または外科用ロボットシステム自体から導出され得る。患者内の外科用内視鏡の位置および／または向きに応答して、マスクを更新することができる。外科用内視鏡から受信した３Ｄ画像内に視認される特徴に応答して、マスクを更新することができる。

上述のマスクは、外科用内視鏡からのビデオストリームのリアルタイム画像補正の改善された方法を提供する。上述のように生成されたマスクを使用することに加えて、利用可能な場合に、より正確なマスクを特定の画像に対して手動で生成し、ビデオストリームに適用することができる。かかるマスクは、本明細書に記載のリアルタイムマスク生成よりも緩徐に生成される。したがって、この方法で作成されたマスクの更新レートは、本明細書に記載のマスクのものよりも低くなる。

本明細書に記載のリアルタイム画像補正方法は、外科的手技中に外科用ロボットシステムの外科用内視鏡のビデオストリームを補正する以外の目的に使用され得る。例えば、本方法は、エンジンの内側を視認するための自動車製造に使用されるロボットの内視鏡からのビデオストリームを補正するために使用され得る。

これにより、本出願人は、本明細書に記載の各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。

これにより、本出願人は、本明細書に記載の各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、前記ビデオストリームが、画像シーケンスを含み、前記方法が、
前記画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも１つの画像プロパティの異なる範囲の値を有する、識別することと、
マスクを前記画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の前記少なくとも１つの画像プロパティを修正する、適用することと、
前記外科用ロボットシステムからデータを導出することと、
前記導出されたデータから前記画像内の特徴間の関係を決定することと、
前記ビデオストリーム内の後続画像の時点での前記特徴間の予測関係について前記マスクを修正することと、
前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することと、を含む、方法。
［態様２］
所定の修正のセットを記憶することと、２つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含む、態様１に記載の方法。
［態様３］
前記所定の修正が、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの１つ以上を修正する、態様２に記載の方法。
［態様４］
前記後続画像の時点での前記特徴間の前記予測関係が、前記画像内の前記特徴のうちの１つ以上の形状が変化しているようなものである、態様１～３のいずれかに記載の方法。
［態様５］
前記後続画像の時点での前記特徴間の前記予測関係が、前記特徴の相対的な位置が変化しているようなものである、態様１～４のいずれかに記載の方法。
［態様６］
前記データが、前記画像内の別の特徴に対する前記外科用内視鏡の位置を含む、態様１～５のいずれかに記載の方法。
［態様７］
前記データが、前記画像内の前記特徴の深度情報を含む、態様１～６のいずれかに記載の方法。
［態様８］
前記外科用内視鏡の運動から前記深度情報を導出することを含む、態様７に記載の方法。
［態様９］
前記ビデオストリームが、前記外科用内視鏡の２つのステレオビデオチャネルの組み合わせであり、前記方法が、前記外科用内視鏡の前記２つのステレオビデオチャネルから前記深度情報を導出することを含む、態様７に記載の方法。
［態様１０］
前記データが、前記画像内の特徴の識別を含む、態様１～９のいずれかに記載の方法。
［態様１１］
前記画像の識別された特徴に対応するように前記画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含む、態様１０に記載の方法。
［態様１２］
外科医の焦点を追跡することと、前記外科医の焦点を中心とするように前記画像の第１の領域を選択することと、前記外科医の焦点を除外するように前記画像の第２の領域を選択することと、前記第１および第２の領域に異なる領域特異的修正を適用することと、を含む、態様１～１１のいずれかに記載の方法。
［態様１３］
前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて、前記後続画像の複数の領域を識別することを含み、前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することが、領域特異的修正を前記後続画像の各領域に適用することを含む、態様１～１２のいずれかに記載の方法。
［態様１４］
前記ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、
前記外科用ロボットシステムからさらなるデータを導出するステップ、
前記導出されたさらなるデータからの前記画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、
前記ビデオストリーム内のなおもさらなる画像の時点での前記特徴間の前記更新された予測関係に対して、更新されたマスクを形成するように前記マスクをさらに修正するステップ、
前記更新されたマスクを前記ビデオストリーム内の前記なおもさらなる画像に適用するステップ、および
前記ビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含む、態様１～１３のいずれかに記載の方法。
［態様１５］
前記ビデオストリームの画像フレームレートよりも緩徐なレートで前記マスクを更新することを含む、態様１４に記載の方法。
［態様１６］
前記画像内の前記特徴の著しい変化のときにのみ、前記マスクを更新することを含む、態様１４または１５に記載の方法。
［態様１７］
前記外科用内視鏡、および／または前記外科用内視鏡が中にある患者の著しい運動のときにのみ、前記マスクを更新することを含む、態様１６に記載の方法。

Claims (17)

1. 外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、前記ビデオストリームが、画像シーケンスを含み、前記方法が、
   前記画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも１つの画像プロパティの異なる範囲の値を有する、識別することと、
   マスクを前記画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の前記少なくとも１つの画像プロパティを修正する、適用することと、
   前記外科用ロボットシステムからデータを導出することと、
   前記導出されたデータから前記画像内の特徴間の関係を決定することと、
   前記ビデオストリーム内の後続画像の時点での前記特徴間の予測関係について前記マスクを修正することと、
   前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することと、を含む、方法。
2. 所定の修正のセットを記憶することと、２つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含む、請求項１に記載の方法。
3. 前記所定の修正が、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの１つ以上を修正する、請求項２に記載の方法。
4. 前記後続画像の時点での前記特徴間の前記予測関係が、前記画像内の前記特徴のうちの１つ以上の形状が変化しているようなものである、請求項１～３のいずれか一項に記載の方法。
5. 前記後続画像の時点での前記特徴間の前記予測関係が、前記特徴の相対的な位置が変化しているようなものである、請求項１～４のいずれか一項に記載の方法。
6. 前記データが、前記画像内の別の特徴に対する前記外科用内視鏡の位置を含む、請求項１～５のいずれか一項に記載の方法。
7. 前記データが、前記画像内の前記特徴の深度情報を含む、請求項１～６のいずれか一項に記載の方法。
8. 前記外科用内視鏡の運動から前記深度情報を導出することを含む、請求項７に記載の方法。
9. 前記ビデオストリームが、前記外科用内視鏡の２つのステレオビデオチャネルの組み合わせであり、前記方法が、前記外科用内視鏡の前記２つのステレオビデオチャネルから前記深度情報を導出することを含む、請求項７に記載の方法。
10. 前記データが、前記画像内の特徴の識別を含む、請求項１～９のいずれか一項に記載の方法。
11. 前記画像の識別された特徴に対応するように前記画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含む、請求項１０に記載の方法。
12. 外科医の焦点を追跡することと、前記外科医の焦点を中心とするように前記画像の第１の領域を選択することと、前記外科医の焦点を除外するように前記画像の第２の領域を選択することと、前記第１および第２の領域に異なる領域特異的修正を適用することと、を含む、請求項１～１１のいずれか一項に記載の方法。
13. 前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて、前記後続画像の複数の領域を識別することを含み、前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することが、領域特異的修正を前記後続画像の各領域に適用することを含む、請求項１～１２のいずれか一項に記載の方法。
14. 前記ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、
    前記外科用ロボットシステムからさらなるデータを導出するステップ、
    前記導出されたさらなるデータからの前記画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、
    前記ビデオストリーム内のなおもさらなる画像の時点での前記特徴間の前記更新された予測関係に対して、更新されたマスクを形成するように前記マスクをさらに修正するステップ、
    前記更新されたマスクを前記ビデオストリーム内の前記なおもさらなる画像に適用するステップ、および
    前記ビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含む、請求項１～１３のいずれか一項に記載の方法。
15. 前記ビデオストリームの画像フレームレートよりも緩徐なレートで前記マスクを更新することを含む、請求項１４に記載の方法。
16. 前記画像内の前記特徴の著しい変化のときにのみ、前記マスクを更新することを含む、請求項１４または１５に記載の方法。
17. 前記外科用内視鏡、および／または前記外科用内視鏡が中にある患者の著しい運動のときにのみ、前記マスクを更新することを含む、請求項１６に記載の方法。

Images