JP2019515698A - 手術画像および／またはビデオの中で閉塞物体を除去するシステムならびに方法 - Google Patents

Abstract

本開示は、手術画像から閉塞物体を除去するシステムおよび方法を対象とする。画像取り込み装置が、患者の中へ挿入され、手術手技中、患者内部の手術部位の初期画像を取り込む。コントローラが、画像を受信し、閉塞物体が、初期画像に存在することを判定する。コントローラは、複数の動きを実施するように、画像取り込み装置を制御することと、複数の画像を取り込むように、画像取り込み装置を制御することであって、複数の画像の中の各画像は、複数の動きの中の動きに対応する、制御することと、初期画像および複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、閉塞物体が、処理画像から除去される、適用することと、を含む、除去アルゴリズムを実行する。【選択図】図３Ａ

Description

関連出願の相互参照
本出願は、２０１６年３月２日出願の米国仮特許出願第６２／３０２，３６６号の利益および優先権を主張し、その全体の開示は、参照することによって本明細書に援用される。

低侵襲手術は、一つの大きな開口または切開の代わりに、手術手技を実施するために、複数の小切開を使用することを伴う。小切開によって、患者の不快感は低減され、回復時間が改善している。また、小切開では内臓、組織および他の物質の可視性が限定される。

内視鏡が使用され、臨床医が手術中に体内の内臓、組織および他の物質をより容易に見られるように、切開のうちの一つ以上に挿入されている。これらの内視鏡には、体内の器官、組織および物質の拡大表示をカメラが取り込んだ通りに示す、ディスプレイに連結される、光学および／またはデジタルズーム能力を持つ、カメラが含まれている。低侵襲手術手技を実施するとき、一つ以上の手術道具が、内視鏡と共に使用されてもよい。内視鏡の視点は、道具に対して、道具が手術部位の表示を妨げないように置かれる。３次元（３Ｄ）内視鏡検査の場合、道具がレンズに近すぎるとき、および／または道具が動いているとき、ユーザは方向感覚を失い、および／または吐き気を経験し、それによって、動きの選択肢が余儀なく制約される場合がある。加えて、局所的夾雑物によりレンズが遮蔽され、それによって、内視鏡により取得される、いずれの画像の部分も損なわれる場合がある。

道具および／または局所的夾雑物によって遮蔽されない、内視鏡による表示を臨床医に提供する、改良された方法へのニーズがある。

本開示は、手術画像から閉塞物体を除去する、システムおよび方法を対象とする。

本開示の一実施形態では、手術画像から閉塞物体を除去するシステムは、患者の中へ挿入され、手術手技中、患者内部の手術部位の初期画像を取り込むように構成される、画像取り込み装置と、画像を受信するように構成される、コントローラとを含む。コントローラは、閉塞物体が、初期画像に存在することを判定すると、除去アルゴリズムを実行する。除去アルゴリズムは、複数の画像を取り込むように、画像取り込み装置を制御することと、初期画像および複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、その場合に、閉塞物体が、処理画像から除去されることとを含む。

一部の態様では、除去アルゴリズムはさらに、複数の動きを実施するように、画像取り込み装置を制御することを含み、ここにおいて、複数の動きの中の各画像は、複数の動きの中の動きに対応する。

一部の態様では、複数の動きの中の各動きは、大きさおよび方向を含む。さらに、複数の動きの中の各動きは、あらかじめ定められている。

一態様では、画像フィルタを適用することは、初期画像を、初期背景画像および初期閉塞層に分離することと、複数の画像を、複数の背景画像および複数の閉塞層に分離することと、処理画像を生成するように、初期背景画像および複数の背景画像を組み合わせることとを含む。初期背景画像および複数の背景画像を組み合わせることは、初期背景画像および複数の背景画像を登録することと、登録した初期背景画像および複数の背景画像を重ねることとを含む。

他の態様では、画像フィルタを適用することは、空間を作り出すように、閉塞物体を初期画像から除去することと、複数の画像を初期画像に登録することと、初期画像の中の空間を、登録した複数の画像からの対応する画素で満たすことであって、ここにおいて、対応する画素は、閉塞物体を含まないこととを含む。

一部の態様では、コントローラは、ユーザからの入力に基づき、閉塞物体が、初期画像に存在することを判定する。

一部の態様では、ディスプレイが処理画像を表示する。

本開示の別の実施形態では、手術画像から閉塞物体を除去する方法を提供する。方法は、画像取り込み装置で、手術手技中、患者内部の手術部位の初期画像を取り込むことと、閉塞物体が、初期画像の中に検出されると、除去アルゴリズムを実行することとを含む。除去アルゴリズムは、複数の画像を取り込むように、画像取り込み装置を制御することと、初期画像および複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、その場合に、閉塞物体が、処理画像から除去されることとを含む。

一部の態様では、除去アルゴリズムはさらに、複数の動きを実施するように、画像取り込み装置を制御することを含み、ここにおいて、複数の動きの中の各画像は、複数の動きの中の動きに対応する。

一部の態様では、複数の動きの中の各動きは、大きさおよび方向を含む。さらに、複数の動きの中の各動きは、あらかじめ定められている。

一態様では、画像フィルタを適用することは、初期画像を、初期背景画像および初期閉塞層に分離することと、複数の画像を、複数の背景画像および複数の閉塞層に分離することと、処理画像を生成するように、初期背景画像および複数の背景画像を組み合わせることとを含む。初期背景画像および複数の背景画像を組み合わせることは、初期背景画像および複数の背景画像を登録することと、登録した初期背景画像および複数の背景画像を重ねることとを含む。

他の態様では、画像フィルタを適用することは、空間を作り出すように、閉塞物体を初期画像から除去することと、複数の画像を初期画像に登録することと、初期画像の中の空間を、登録した複数の画像からの対応する画素で満たすことであって、対応する画素は、閉塞物体を含まないこととを含む。

一部の態様では、処理画像が表示される。

本開示のまた別の実施形態では、手術画像から閉塞物体を除去するシステムは、患者の中へ挿入され、手術手技中、患者内部の手術部位の初期画像を取り込むように構成される、画像取り込み装置と、画像を受信するように構成される、コントローラとを含む。コントローラは、閉塞物体が、初期画像に存在することを判定すると、除去アルゴリズムを実行する。除去アルゴリズムは、複数の画像を含むビデオフィードを取り込むように、画像取り込み装置を制御することと、ビデオフィードに含まれる複数の画像に基づく置換画素の一群、閉塞物体の位置、およびビデオフィードを取り込む時の画像取り込み装置の視点を生成することと、初期画像および複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、その場合に、閉塞物体が、置換画素の一群に基づき、処理画像から除去されることとを含む。

本開示の上記および他の態様、特徴および利点は、添付の図面と合わせて、以下の発明を実施するための形態を踏まえると、より明らかとなるであろう。

本開示の実施形態に従い、手術環境で閉塞物体を除去するシステムのブロック図である。 図１のコントローラのブロック図である。 本開示の実施形態に従い、画像またはビデオの中の閉塞物体を除去する、画像処理方法を描写するフローチャートである。 本開示の別の実施形態に従い、画像またはビデオの中の閉塞物体を除去する、画像処理方法を描写するフローチャートである。 本開示の実施形態に従い、画像またはビデオの中の閉塞物体を除去するシステムのブロック図である。 取り込んだ画像および処理画像の例を示す。 本開示の実施形態に従う、ロボット手術システムのシステムブロック図である。

手術手技中に内視鏡から取り込まれる画像データは、内視鏡の視点から閉塞物体を除去するように、分析されてもよい。手術部位の様々な画像は、所定の計画に従って、内視鏡を動かすことによって取得されてもよい。その後、様々な画像は、ユーザに単一の画像またはビデオを提示するように組み合わせられてもよく、その場合、閉塞物体は、画像またはビデオから除去される。

これらの技術の一つ以上が、ロボット手術システムに画像システムの一部として含まれ、内視鏡の視野内のさらなる情報を、臨床医に提供してもよい。これにより、臨床医が、手術中に望ましくない状況および条件を、迅速に特定、回避および／または修正することが可能になる。

本開示は、手術手技中にリアルタイムで臨床医に処理画像を提供し、その際に、閉塞物体を画像から除去する、システムおよび方法を対象とする。本明細書に記載するシステムおよび方法によって、不明瞭さのない画像を提供するように、画像処理フィルタを取り込んだ画像に適用する。一部の実施形態では、システムおよび方法によって、手術手技中のビデオの取り込みが可能になる。取り込まれたビデオは、リアルタイムまたはほぼリアルタイムで処理され、その後、処理画像として臨床医へ表示される。画像処理フィルタは、取り込まれたビデオの各フレームに適用される。処理画像またはビデオを臨床医に提供することによって、臨床医に対して隠された部分のない表示を、臨床医に提供する。

本明細書に記載する実施形態によって、臨床医が、充分な詳細と共に関心領域を検分して、手術手技の有効性を保証することが可能になる。

図１を見ると、本開示の実施形態に従う、手術環境の画像および／またはビデオを処理するシステムが、概して１００として示される。システム１００は、プロセッサ１０４およびメモリ１０６を有する、コントローラ１０２を含む。システム１００はまた、例えば、カメラといった、静止フレーム画像または動画を記録する、画像取り込み装置１０８も含む。画像取り込み装置１０８は、内視鏡、立体内視鏡、または低侵襲手術にて使用される、いかなる他の手術料金の中に組み込まれてもよい。ディスプレイ１１０は、手術手技中、臨床医に処理画像を表示する。ディスプレイ１１０は、モニタ、投影機、または臨床医が身に着けるメガネであってもよい。一部の実施形態では、コントローラ１０２は、無線または有線接続で、中央サーバ（図示せず）と通信してもよい。中央サーバは、Ｘ線、コンピュータ断層撮影スキャンまたは磁気共鳴画像法を使用して取得されてもよい、一人の患者または複数の患者の画像を記憶してもよい。

図２は、コントローラ１０２のシステムブロック図を描写している。図２に示す通り、コントローラ１０２は、画像取り込み装置１０８から、静止フレーム画像またはビデオを受信するように構成される、送受信機１１２を含む。一部の実施形態では、送受信機１１２は、無線通信プロトコルによって、静止フレーム画像、ビデオまたはデータを受信する、アンテナを含んでもよい。静止フレーム画像、ビデオまたはデータは、プロセッサ１０４に提供される。プロセッサ１０４は、処理画像またはビデオを生成するように、受信した静止フレーム画像、ビデオまたはデータを処理する、画像処理フィルタ１１４を含む。画像処理フィルタ１１４は、個別部品、ソフトウェアまたはそれらの組み合わせを使用して実装されてもよい。処理画像またはビデオは、ディスプレイ１１０に提供される。

閉塞物体を除去するシステムおよび方法について、図３Ａおよび図４を参照しながら、より詳細に記載する。図３Ａおよび図４に示す通り、画像取り込み装置１０８は、ステップｓ１０で初期画像を取り込む。ステップｓ１２で、プロセッサ１０４は閉塞物体が存在するかを判定する。閉塞物体が存在しない場合、プロセスはステップｓ１４へ進み、ここで画像がディスプレイ１１０に表示される。プロセッサ１０４は、閉塞物体が存在すると判定した場合、メモリ１０に記憶された除去アルゴリズムを実行する。閉塞物体の存在は、従来の画像処理技術を使用して、プロセッサ１０４により判定されてもよく、またはタッチスクリーン装置、あるいはディスプレイ上の物体を選択する、いかなる他の従来の方法（例えば、マウス、ジョイスティック、音声コマンド、タッチパッドなど）を使用して、ユーザにより判定されてもよい。

ステップｓ１６で、カウンタ「Ｎ」を「０」に設定し、ステップｓ１０で取り込まれた画像を「Ｉ_０」として設定し、画像処理フィルタ１１４に送信する。カウンタ「Ｎ」は、ステップｓ２０で値が１増加し、その後、プロセッサが、ステップｓ２２で画像取り込み装置１０８を制御して、異なる視点からの複数の手術部位画像を取得するために、所定の大きさおよび方向の複数の動きを実施する。画像取り込み装置１０８の動きは、装置全体または装置１０８の中のレンズ（図示せず）を動かすことを含んでもよい。画像取り込み装置１０８は、所定の量動かされると、ステップｓ２４で新しい画像を取り込み、「Ｉ_Ｎ」として新しい画像を記憶する。ステップｓ２０からｓ２６は、画像取り込み装置１０８が画像「Ｉ_Ｍ」を取り込んで記憶するまで繰り返され、この場合の「Ｍ」は、画像取り込み装置１０８が実施する動きの所定の数である。

ステップｓ２８では、画像取り込み装置１０８により取り込まれる「Ｍ＋１」画像を、画像フィルタ１２０で組み合わせる。画像フィルタ１２０は、従来の画像処理技術を使用して、画像「Ｉ_０」を、手術部位の画像を含む背景画像「Ｉ_Ｂ０」、および閉塞物体を含む閉塞層「Ｉ_Ｌ０」に変換する。画像フィルタは、画像「Ｉ_１」から「Ｉ_Ｍ」に対する変換を繰り返して、背景画像「Ｉ_Ｂ１」から「Ｉ_ＢＭ」および閉塞層「Ｉ_Ｌ１」から「Ｉ_ＬＭ」を生成する。画像「Ｉ_Ｂ０」から「Ｉ_ＢＭ」はその後登録され、互いの上部に重なり合って、閉塞物体が除去された、ディスプレイ１１０にユーザに対して表示される、処理画像を生み出すであろう。

別の実施形態では、ステップｓ２８で、閉塞物体が画像「Ｉ_０」から除去され、画像「Ｉ_０」に空間を残してもよい。画像フィルタ１２０は、画像「Ｉ_０」の中に作り出される空間を埋めるように、異なる視点から撮られた画像「Ｉ_１」から「Ｉ_Ｍ」からの対応する画素を使用し、それによって、閉塞物体のない、手術部位の完全な画像を生み出す。特に、画像「Ｉ_０」および画像「Ｉ_１」は、二つの画像を登録または整合するように、フィルタ１２０によって比較される。その後、画像フィルタ１２０は、閉塞物体に属さない画像「Ｉ_１」の画素を使用して、画像「Ｉ_０」の空間を埋める。プロセスは、画像「Ｉ_０」の中の空間が埋まるまで、残りの画像「Ｉ_２」から「Ｉ_Ｍ」に対して繰り返される。

別の実施形態では、複数の画像が、閉塞物体を除去するように、時間とともに取得されてもよい。図３Ｂおよび図４に示す通り、画像取り込み装置１０８は、時間とともにビデオフィードを取り込み、ここでビデオフィードは、ステップｓ３２で複数の画像を備える。プロセッサ１０４はその後、ビデオフィードに含まれる複数の画像に基づく置換画素の一群、閉塞物体の位置、およびビデオフィードがステップｓ３４で取り込まれるときの内視鏡の視点を生成してもよい。置換画素の一群は、メモリ１０６に記憶されてもよい。ステップｓ３６で、画像取り込み装置１０８は、初期画像を取り込む。ステップｓ３８で、プロセッサ１０４は閉塞物体が存在するかを判定する。閉塞物体が存在しない場合、プロセスはステップｓ４０へ進み、画像がディスプレイ１１０に表示される。プロセッサ１０４は、閉塞物体が存在すると判定した場合、ステップｓ４２で、メモリ１０に記憶された除去アルゴリズムを実行する。ステップｓ４２で、画像フィルタ１２０は、置換画素の一群を使用して、初期画像を処理して、初期画像から閉塞物体を除去して、処理画像を生成する。初期画像から閉塞物体を除去するために、画像フィルタ１２０は、画像取り込み装置１０８に対して、特定の空間的位置で特定の物体に属する画素を特定する。その後、画像フィルタ１２０は、画像取り込み装置１０８に比較的より近い画素である、閉塞物体に属する、比較的より近接した画素を除去し、比較的より近接した画素を、置換画素の一群から比較的より遠くの画素と置換する。画像はそれから、処理画像を作り出すように、比較的より近接した画素の代わりに、比較的より遠くの画素と再構築される。その後、処理画像は、ステップｓ４４でディスプレイ１１０に表示される。

図５は、画像取り込み装置１０８によって取り込まれた、手術環境の画像１３０を描写している。画像１３０は、画像フィルタ１２０の使用を伴う場合がある、画像処理フィルタ１１４によって処理されて、処理画像１３２を生成する。処理画像１３２に見られ得る通り、画像１３０に存在する、閉塞された物体「O」が、処理画像１３２から除去される。

上記の実施形態はまた、ロボット手術システムと連動するように構成され、通例「遠隔手術」と称されるものであってもよい。そのようなシステムでは、手術室の臨床医を支援し、手術用器具の遠隔操作（または部分的遠隔操作）を可能にするように、様々なロボット要素を用いる。様々なロボットアーム、ギア、カム、滑車、電気および機械モータなどが、このために用いられてもよく、操作または治療の過程において、臨床医を支援するように、ロボット手術システムを想定して設計されてもよい。そのようなロボットシステムは、遠隔に操作可能なシステム、自動で柔軟に順応する手術システム、遠隔で柔軟に順応する手術システム、遠隔からの連接型手術システム、無線手術システム、モジュール式または選択的に構成可能な遠隔に操作される手術システムなどを含んでもよい。

図６に示す通り、ロボット手術システム２００は、手術室の隣にある、または遠隔地に設置される、一つ以上のコンソール２０２と共に用いられてもよい。この例の場合、臨床医たちまたは看護師たちの１チームが、手術のために患者の準備を整え、一つ以上の器具２０４を伴う、ロボット手術システム２００を設定してもよく、一方で別の臨床医（または別のグループの臨床医たち）が、ロボット手術システムを介して遠隔で器具を制御する。理解され得る通り、高度な技能を持つ臨床医が、自身の遠隔コンソールを離れることなく、複数の位置の複数の操作を実施することが可能であり、これは、経済的にも有利であり、患者または複数の患者にとっても利点となり得る。

手術システム２００のロボットアーム２０６は、通常、コントローラ２１０によって、１対のマスターハンドル２０８に連結される。コントローラ２１０は、コンソール２０２と統合されてもよく、または手術室内の独立型装置として提供されてもよい。ハンドル２０６は、ロボットアーム２０６に取り付けられる、いかなるタイプの手術器具２０４（例えば、プローブ、エンドエフェクタ、把持器具、メス、ハサミなど）の作業端部の対応する動きを生み出すように、臨床医によって動かされ得る。例えば、手術器具２０４は、画像取り込み装置を含む、プローブであってもよい。プローブは、手術手技中、患者内部の関心領域の画像を取り込むために、患者の中へ挿入される。画像処理フィルタ１１４Ａまたは１１４Ｂのうちの一つ以上は、画像が臨床医に対して、ディスプレイ１１０に表示される前に、コントローラ２１０によって、取り込んだ画像に適用される。

マスターハンドル２０８の動きは、作業端部が、臨床医の操作する手の動きよりも、小さいまたは大きいなど異なるが、対応する動きをするように、調整されてもよい。倍率またはギア比は、オペレータが、手術器具２０４の作業端部の解像度を制御し得るように、調整可能であってもよい。

手術システム２００の操作中、マスターハンドル２０８は、ロボットアーム２０６および／または手術器具２０４の対応する動きを生み出すように、臨床医により操作される。マスターハンドル２０８によって、信号がコントローラ２１０に提供され、その後、コントローラ２１０により、一つ以上の駆動モータ２１４へ対応する信号を提供される。一つ以上の駆動モータ２１４は、ロボットアーム２０６および／または手術器具２０４を動かすために、ロボットアーム２０６に連結される。

マスターハンドル２０８は、例えば、処置に起因する組織抵抗、切開またはそれ以外の治療、組織上への器具による圧力、組織温度、組織インピーダンスなど、様々な組織のパラメータまたは条件に関して、臨床医にフィードバックを提供する、様々な触覚２１６を含んでもよい。理解され得る通り、そのような触覚２１６によって、臨床医に強化した触覚フィードバックを提供し、実際の操作条件をシミュレートする。触覚２１６は、振動モータ、電気活性ポリマー、圧電素子、静電素子、亜音速音響波表面作動素子、リバース電子振動、またはユーザに触覚フィードバックを提供できるいかなる他の素子を含んでもよい。マスターハンドル２０８はまた、繊細な組織への処置または治療のために、様々な異なるアクチュエータ２１８を含み、さらに実際の操作条件を再現する、臨床医の能力を強化してもよい。

本明細書に開示する実施形態は、本開示の例であり、様々な形態で具現化されてもよい。本明細書に開示する特定の構造および機能に関する詳細は、限定的に解釈されるべきではなく、請求項の基礎として、および実質的に任意の適切な詳細構造において本開示を様々に用いるように、当業者に教授するための代表的な基礎として、解釈されるべきである。同様の参照符号は、図に関する記載を通して、類似または同一の要素を指す場合がある。

語句「一実施形態では」、「複数の実施形態では」、「一部の実施形態では」または「他の実施形態では」は、本開示に従う同一のまたは異なる実施形態のうちの一つ以上を各々指してもよい。「ＡまたはＢ」の形式の語句は、「（Ａ）、（Ｂ）、または（ＡおよびＢ）」を意味する。「Ａ、ＢまたはＣのうちの少なくとも一つ」の形式の語句は、「（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）、または（Ａ、ＢおよびＣ）」を意味する。臨床医は、外科医、または医師、看護師、技師、医療助手、もしくは医療手技を実施する類似の人など、いかなる医療従事者を指してもよい。

本明細書に記載するシステムはまた、一つ以上のコントローラを利用して、様々な情報を受信し、出力を生成するように、受信した情報を変形してもよい。コントローラは、いかなるタイプのコンピュータ装置、計算回路、またはメモリに記憶される一連の命令を実行できる、いかなるタイプのプロセッサもしくは処理回路を含んでもよい。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラまたは同類のものなど、いかなるタイプのプロセッサを含んでもよい。コントローラはまた、一連の命令を実施するように、データおよび／またはアルゴリズムを記憶するメモリを含んでもよい。

本明細書に記載する方法、プログラム、アルゴリズムまたはコードのいずれも、プログラミング言語もしくはコンピュータプログラムへ変換されてもよく、またはプログラミング言語もしくはコンピュータプログラムで表わされてもよい。「プログラミング言語」および「コンピュータプログラム」は、コンピュータへの命令を指定するように使用される、いかなる言語をも含み、これらの言語およびそれらの派生物、すなわち、アセンブラ、Ｂａｓｉｃ、バッチファイル、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、機械語、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、ＶｉｓｕａｌＢａｓｉｃ、自身がプログラムを指定するメタ言語、ならびにすべての第１、第２、第３、第４および第５世代コンピュータ言語を含む（ただし、それらに限定されない）。また、データベースおよび他のデータスキーマ、ならびにいかなる他のメタ言語も含まれる。解釈される言語、コンパイルされる言語、またはコンパイルおよび解釈される手法の両方を使用する言語は区別されない。また、プログラムのコンパイル版とソース版も区別されない。そのため、プログラミング言語が二つ以上の状態（ソース、コンパイル済み、オブジェクトまたはリンク済みなど）で存在し得るプログラムへの言及は、任意およびすべてのそのような状態への言及である。プログラムへの言及は、実際の命令および／またはそれら命令の意図を網羅してもよい。

本明細書に記載する方法、プログラム、アルゴリズムまたはコードのいずれも、一つ以上の機械可読メディアまたはメモリ上に包含されてもよい。用語「メモリ」は、プロセッサ、コンピュータまたはデジタル処理装置など、機械により読み取り可能な形態で情報を提供（例えば、記憶および／または送信）する機構を含んでもよい。例えば、メモリは、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置、またはいかなる他の揮発性もしくは不揮発性メモリ記憶装置を含んでもよい。それらに包含されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表されてもよい。

前述の記載は本開示の例示のみであることは、理解されるべきである。様々な代替物および変形物が、本開示から逸脱することなく、当業者によって考案され得る。例えば、本明細書に記載する処理画像のいずれも、単一の処理画像の中に組み合わされ、臨床医に表示され得る。したがって、本開示は、すべてのそのような代替物、変形物および差異を受け入れることを意図している。添付の図面を参照して記載する実施形態は、本開示のある例を実証するためにのみ提示している。上に記載するものおよび／または添付の特許請求の範囲のものとわずかに異なる、他の要素、ステップ、方法および技術もまた、本開示の範囲内であることを意図している。

Claims (18)

1. 手術画像から閉塞物体を除去するシステムであって、前記システムは、
   患者の中へ挿入され、手術手技中、前記患者内部の手術部位の初期画像を取り込むように構成される、画像取り込み装置、および、
   前記画像を受信するように構成される、コントローラであって、前記コントローラは、前記閉塞物体が、前記初期画像に存在することを判定すると、除去アルゴリズム実行し、前記除去アルゴリズムが、
   複数の画像を取り込むように、前記画像取り込み装置を制御することと、
   前記初期画像および前記複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、前記閉塞物体が、前記処理画像から除去される、適用することと、
   を含む、コントローラ、を備える、システム。
2. 前記除去アルゴリズムは、複数の動きを実施するように、前記画像取り込み装置を制御することをさらに含み、前記複数の動きの中の各画像は、前記複数の動きの中の動きに対応する、請求項１に記載のシステム。
3. 前記複数の動きの中の各動きは、大きさおよび方向を含む、請求項２に記載のシステム。
4. 前記複数の動きの中の各動きは、あらかじめ定められている、請求項２に記載のシステム。
5. 前記画像フィルタを適用することは、
   前記初期画像を、初期背景画像および初期閉塞層に分離することと、
   前記複数の画像を、複数の背景画像および複数の閉塞層に分離することと、
   前記処理画像を生成するように、前記初期背景画像および前記複数の背景画像を組み合わせることと、を含む、請求項１に記載のシステム。
6. 前記初期背景画像および前記複数の背景画像を組み合わせることは、
   前記初期背景画像および前記複数の背景画像を登録することと、
   前記登録した初期背景画像および前記複数の背景画像を重ねることと、を含む、請求項５に記載のシステム。
7. 前記画像フィルタを適用することは、
   空間を作り出すように、前記閉塞物体を前記初期画像から除去することと、
   前記複数の画像を前記初期画像に登録することと、
   前記初期画像の中の前記空間を、前記登録した複数の画像からの対応する画素で満たすことであって、前記対応する画素は、前記閉塞物体を含まない、満たすことと、を含む、請求項１に記載のシステム。
8. 前記コントローラは、ユーザからの入力に基づき、前記閉塞物体が、前記初期画像に存在することを判定する、請求項１に記載のシステム。
9. 前記処理画像を表示する、ディスプレイをさらに備える、請求項１に記載のシステム。
10. 手術画像から閉塞物体を除去する方法であって、前記方法は、
    画像取り込み装置で、手術手技中、患者内部の手術部位の初期画像を取り込むこと、および、
    前記閉塞物体が、前記初期画像の中に検出されると、除去アルゴリズムを実行することであって、前記除去アルゴリズムは、
    複数の画像を取り込むように、前記画像取り込み装置を制御することと、
    前記初期画像および前記複数の画像を組み合わせ、処理画像を生成するように、画像フィルタを適用することであって、前記閉塞物体が、前記処理画像から除去される、適用することと、を含む、実行すること、
    を含む、方法。
11. 前記除去アルゴリズムは、複数の動きを実施するように、前記画像取り込み装置を制御することをさらに含み、前記複数の動きの中の各画像は、前記複数の動きの中の動きに対応する、請求項１０に記載の方法。
12. 前記複数の動きの中の各動きは、大きさおよび方向を含む、請求項１１に記載の方法。
13. 前記複数の動きの中の各動きは、あらかじめ定められている、請求項１１に記載の方法。
14. 前記画像フィルタを適用することは、
    前記初期画像を、初期背景画像および初期閉塞層に分離することと、
    前記複数の画像を、複数の背景画像および複数の閉塞層に分離することと、
    前記処理画像を生成するように、前記初期背景画像および前記複数の背景画像を組み合わせることと、を含む、請求項１０に記載の方法。
15. 前記初期背景画像および前記複数の背景画像を組み合わせることは、
    前記初期背景画像および前記複数の背景画像を登録することと、
    前記登録した初期背景画像および前記複数の背景画像を重ねることと、を含む、請求項１４に記載の方法。
16. 前記画像フィルタを適用することは、
    空間を作り出すように、前記閉塞物体を前記初期画像から除去することと、
    前記複数の画像を前記初期画像に登録することと、
    前記初期画像の中の前記空間を、前記登録した複数の画像からの対応する画素で満たすことであって、前記対応する画素は、前記閉塞物体を含まない、満たすことと、を含む、請求項１０に記載の方法。
17. 前記処理画像を表示することを、さらに含む、請求項１０に記載の方法。
18. 手術画像から閉塞物体を除去するシステムであって、前記システムは、
    患者の中へ挿入され、手術手技中、前記患者内部の手術部位の複数の画像を含む、ビデオフィードを取り込むように構成される、画像取り込み装置と、
    前記ビデオフィードに含まれる前記複数の画像に基づく置換画素の一群、前記閉塞物体の位置、および前記ビデオフィードを取り込むときの前記画像取り込み装置の視点を生成するように構成される、コントローラと、を備え、
    前記画像取り込み装置は、手術手技中、前記患者内部の手術部位の初期画像を取り込み、前記コントローラは、前記閉塞物体が、前記初期画像に存在することを判定するとき、除去アルゴリズムを実行し、前記除去アルゴリズムは、処理画像を生成するように、画像フィルタを前記初期画像に適用することを含み、前記閉塞物体は、前記置換画素の一群に基づき、前記処理画像から除去される、システム。