JP2020501652A - 眼科手術用の適応的画像レジストレーション - Google Patents

Abstract

眼科手術システムは、第１画像を生成する撮像システムと、第２画像を生成する撮像システムと、第１画像を受け取り、第２画像を受け取り、第１画像における手術器具の遠位先端の位置を追跡し、遠位先端の所定近接範囲内の第１画像の部分を含む第１画像における優先レジストレーション領域を画定し、第１画像における優先レジストレーション領域を第２画像における対応する領域とレジストレーションし、遠位先端が動かされる際、レジストレーション領域の外側である第１画像または第２画像の部分をレジストレーションすることなく、第１画像における優先レジストレーション領域の第２画像における対応する領域とのレジストレーションをリアルタイムにアップデートする画像レジストレーションシステムとを含む。

Description

本開示は、概して医用撮像に関し、より詳細には、眼科手術用撮像に関する。

画像誘導手術は、従来の手術と比較して改善された安全性および患者転帰を提供することができる。たとえば、光干渉断層撮影（ＯＣＴ）誘導黄斑手術または蛍光眼底造影（ＦＡ）誘導レーザ光凝固術を実施する医師は、誘導画像を利用して、手術処置中の精度および洞察力を高める。

誘導画像は、手術前にまたは手術中に取得することができ、通常、執刀医の視野のライブビデオ画像とともに見られる。執刀医が、処置中にリアルタイムに確信をもって誘導画像に頼ることができるように、誘導画像と現視野との正確なリアルタイム画像レジストレーションが重要である。

たとえば、いくつかの眼科手術処置は、硝子体液、すなわち、後眼部を充填する透明なジェリー状物質の切断および／または除去を必要とする。硝子体の切除は、網膜の牽引、網膜の脈絡膜からの分離、網膜裂孔、または最悪の場合、網膜自体の切除を回避するために、十分注意して行わなければならない。硝子体切除手術の細心の注意を要する性質を考慮すると、執刀医が画像に基づいて判断を行うことができるように、誘導画像データが視野と高度な精度および速度の両方でレジストレーションされることが極めて重大である。

画像レジストレーションは、一部にはそれが徹底的な計算需要を課すために困難であり、それは、リアルタイム画像レジストレーションが必要とする処理負荷により、リアルタイム速度で画像を正確にレジストレーションすることが困難となるためである。眼科手術において改善された画像レジストレーション技法が必要とされている。

いくつかの実施形態は、眼の第１画像を生成するように構成された第１撮像システムと、眼の第２画像を生成するように構成された第２撮像システムと、プロセッサとメモリに格納された命令とを含む画像レジストレーションシステムとを備える眼科撮像システムを含む。命令は、プロセッサにより、画像レジストレーションシステムに対して、第１撮像システムによって生成された第１画像を受け取らせ、第２撮像システムによって生成された第２画像を受け取らせ、第１画像において手術器具の遠位先端の位置を追跡させ、第１画像における優先レジストレーション領域を画定させ、優先レジストレーション領域が、手術器具の遠位先端の所定近接範囲内の第１画像の部分を含み、第１画像における優先レジストレーション領域を第２画像における対応する領域とレジストレーションさせ、遠位先端が動かされるに従い、レジストレーション領域の外側である第１画像および第２画像の部分をレジストレーションすることなく、第１画像における優先レジストレーション領域の第２画像における対応する領域とのレジストレーションをリアルタイムでアップデートさせるように実行可能である。

いくつかの実施形態では、第１画像および第２画像は、基底部、強膜または虹彩の第１画像および第２画像を含む。第１撮像システムは、手術用顕微鏡、２次元カメラ、ラインスキャンカメラ、および共焦点走査型検眼鏡において使用されるような単一検出器のうちの少なくとも１つを含むことができる。第２撮像システムは、光干渉断層撮影（ＯＣＴ）撮像システムおよび蛍光眼底造影撮像システムのうちの少なくとも一方を含むことができる。

さらに、システムの実施形態は、プロセッサにより、画像レジストレーションシステムに対して、リアルタイムに、第１画像におけるレジストレーション領域が、第２画像における対応するレジストレーション領域に位置合せされ、レジストレーション領域の外側である第１画像または第２画像の部分はレジストレーションされない、表示画像を生成させるように実行可能な命令を含む。いくつかの実施形態では、第１画像または第２画像のレジストレーションされない部分は、生成された表示画像において視覚的に非表示にされる。

システムの実施形態は、生成された表示画像を表示するように構成されたアイピースまたはヘッドアップスクリーンをさらに備えることができる。

いくつかの実施形態では、優先レジストレーション領域の少なくとも１つの特性は、ユーザにより構成可能である。たとえば、優先レジストレーション領域のサイズが、ユーザにより構成可能である。

いくつかの実施形態では、優先レジストレーション領域のサイズが、処理負荷に基づいて動的に調整される。

遠位先端の位置は、特徴ベース、領域ベースまたは動きベースの物体検出アルゴリズムを用いて追跡することができる。

いくつかの実施形態では、遠位先端は、システムオペレータによって選択された対象とする特徴を含む。遠位先端は、撮像手続きの前に対象とする特徴として選択することができ、遠位先端は、追跡することができる対象とする特徴のリストから選択することができる。

いくつかの実施形態では、眼科撮像システムにおいて画像をレジストレーションする方法は、第１撮像システムによって生成された第１画像を受け取るステップと、第２撮像システムによって生成された第２画像を受け取るステップと、第１画像における手術器具の遠位先端の位置を追跡するステップと、第１画像における優先レジストレーション領域を画定するステップであって、優先レジストレーション領域が、手術器具の遠位先端の所定近接範囲内の第１画像の部分を含む、ステップと、第１画像における優先レジストレーション領域を第２画像における対応する領域とレジストレーションするステップと、遠位先端が動かされるに従い、レジストレーション領域の外側である第１画像および第２画像の部分をレジストレーションすることなく、第１画像における優先レジストレーション領域の第２画像における対応する領域とのレジストレーションをリアルタイムでアップデートするステップとを含む。

本方法のいくつかの実施形態は、リアルタイムに、第１画像におけるレジストレーション領域が、第２画像における対応するレジストレーション領域に位置合せされ、レジストレーション領域の外側である第１画像または第２画像の部分はレジストレーションされない、表示画像を生成するステップをさらに含む。

本方法の例は、第１画像または第２画像のレジストレーションされない部分を視覚的に非表示にするステップをさらに含むことができる。さらにまたは別法として、本方法は、アイピース内にまたはヘッドアップスクリーン上に表示画像を表示するステップを含むことができる。

方法の実施形態は、ユーザ入力に基づき、第１画像において優先レジストレーション領域を画定するステップを含むことができる。さらにまたは別法として、本方法は、処理負荷に基づき優先レジストレーション領域のサイズを動的に調整するステップをさらに含むことができる。いくつかの例では、遠位先端の位置は、特徴ベース、領域ベースまたは動きベースの物体追跡アルゴリズムを用いて追跡される。

いくつかの実施形態では、本方法は、システムオペレータから、追跡すべき対象とする特徴として器具先端を特定する入力を受け取るステップを含む。器具先端は、撮像手続きの前に対象とする特徴として特定することができ、器具先端は、追跡することができる対象とする特徴のリストから選択することができる。

いくつかの実施形態は、１つまたは複数の技術的利点を提供することができる。たとえば、本開示によるシステムおよび方法は、場合により、レジストレーションされる画像を生成する基礎をなす撮像システムに対してハードウェア変更なしに、高精度、高速画像レジストレーションを提供することができる。いくつかの実施形態は、ライブビデオ画像の最も重大な領域と対応する高度化した画像（たとえば、手術前または手術中ＯＣＴ）とにおける画像レジストレーションを優先することにより、細心の注意を要する眼科処置中の可視化を改善する。たとえば、実施形態は、手術器具の先端の位置を追跡し、先端に近接して画像レジストレーション領域を画定し、画定された領域内のみの適用可能な画像をレジストレーションすることができる（たとえば、それにより、画定された領域外のレジストレーションは試みられない）。さらにまたは別法として、実施形態は、画像の特徴、病変または他の態様に基づき画像レジストレーション領域を画定することができる。これらの利点および他の利点は、本図面および明細書を考慮して当業者には明らかとなろう。

本開示およびその利点がより完全に理解されるために、ここで、同様の参照数字が同様の特徴を示す添付図面とともに、以下の説明を参照する。

いくつかの実施形態による、適応的画像レジストレーション用の眼科手術可視化システムの例を示す。 従来の画像レジストレーションシステムによって生成された、レジストレーションされた画像を示す。 いくつかの実施形態による、改善された画像レジストレーションシステムによって生成された、レジストレーションされた画像を示す。 いくつかの実施形態による、改善された画像レジストレーションシステムによって生成された、レジストレーションされた画像を示す。 いくつかの実施形態による、改善された画像レジストレーションシステムによって生成された、レジストレーションされた画像を示す。 いくつかの実施形態による、改善された画像レジストレーションシステムによって実施されるステップを示すフローチャートである。

当業者であれば、以下に記載する図面が、単に例示を目的とするものであり、出願人の開示の範囲を限定するようには意図されていないことが理解されよう。

本開示の原理の理解を促進する目的で、ここで、図面に示す実施形態を参照し、それについて具体的な用語を用いて説明する。しかしながら、本開示の範囲の限定は意図されていないことが理解されよう。記載するシステム、装置および方法に対する改変およびさらなる変更と、本開示の原理の任意のさらなる適用とは、本開示が関連する当業者に通常想到するように企図される。特に、一実施形態に関して記載するシステム、装置および／または方法は、本開示の他の実施形態に関して記載する特徴、構成要素および／またはステップと組合せることができることが企図される。簡潔のために、これらの組合せの多数の繰返しは、個別に記載しない。簡単のために、場合により、同じかまたは同様の部分を指すために、図面を通して同じ参照番号を使用する。

概して、本開示は、対象とする画像内の特徴に基づく適応的リアルタイム画像レジストレーションを執刀医に提供することができる、眼科手術システムに関する。いくつかの実施形態は、ユーザに対し、（たとえば、デジタルビデオカメラ、ラインスキャン検眼鏡または共焦点走査型検眼鏡によって生成される）手術視野の拡大画像を提供し、それは、光干渉断層撮影（ＯＣＴ）撮像システム、蛍光眼底造影撮像システム、ステレオ写真測量法撮像システム、コンピュータ体軸断層撮影（ＣＡＴ）スキャンシステム、磁気共鳴断層撮影（ＭＲＩ）システムまたは陽電子放出断層撮影（ＰＥＴ）撮像システム等、誘導撮像システムによって生成される誘導画像データに対応するコンピュータ生成の視覚的オーバーレイを含む。

いくつかの実施形態は、執刀医の対象とする現領域内で視野と誘導画像とのリアルタイムのレジストレーションおよび位置合せを提供する。たとえば、いくつかの実施形態は、執刀医の視野のビデオ画像内で手術器具の先端を認識し、優先レジストレーション領域に対応する対象とする領域として、器具先端に近接して周囲領域を特定するかまたは画定するように構成された、画像レジストレーションシステムを含む。他の実施形態は、網膜孔（ｒｅｔｉｎａｌ ｂｒｅａｋ）、網膜上膜または網膜剥離等、手術領域内の重要な特徴を認識し、レジストレーション領域として周囲の領域を特定することができる。画像レジストレーションシステムは、レジストレーション領域内で、その領域内で高いレジストレーション精度を維持し、誘導画像データに基づくリアルタイム手術判断を容易にするために、ビデオと誘導撮像データとのレジストレーションに優先順位を付ける。いくつかの実施形態では、画像レジストレーションシステムは、特定されたレジストレーション領域内の画像のみをレジストレーションし、画像の他の領域はレジストレーションしない。これにより、画像レジストレーションシステムは、画像の最も重大な領域のみをレジストレーションするように資源を充当することができる。

図１は、手術用顕微鏡１０２、第１撮像システム１０４、第２撮像システム１０６、画像レジストレーションシステム１０８およびディスプレイ１１０を含み、それらの各々が物理的にかつ／または通信可能に結合され得る、画像誘導手術用の眼科手術システム１００の例のいくつかの構成要素を示す。

手術用顕微鏡１０２は、手術処置中に患者の眼１０２の拡大観察を容易にすることができ、概して、接眼レンズ、リレーレンズ、拡大／焦点合せ光学系、対物レンズおよび手術用観察光学系を含むことができる。接眼レンズ、リレーレンズ、拡大／焦点合せ光学系、対物レンズおよび手術用観察光学系の各々は、当業者によって理解されるように、任意の好適な光学部品を含むことができる。

手術用顕微鏡１０２は、高度化した手術撮像をサポートするように、第１撮像システム１０４および第２撮像システム１０６等、１つまたは複数の撮像システムに結合することができる。第１撮像システム１０４および第２撮像システム１０６は、眼の画像を取得するために好適な部品（たとえば、ビームスプリッタ、ミラー等）を介して、手術用顕微鏡１０２に光学的に組み込みかつ位置合せすることができる。第１撮像システム１０４および第２撮像システム１０６は、眼科手術を支援するために好適な任意の撮像システムを含むことができるが、それらは、通常、好意的な機能を提供する。

たとえば、第１撮像システム１０４は、執刀医の所望の視野内に眼１０２の組織の拡大ビューを提供することができる。こうしたシステムによって提供される拡大画像は、眼組織（たとえば、基底部、虹彩等）の２Ｄもしくは３Ｄ画像、手術前画像または手術中（リアルタイム）ライブ画像とすることができ、患者の眼１０２の別個の静止写真、または患者の眼１０２の連続ビデオストリームを含むことができる。いくつかの例では、システムは、システム１００の他の構成要素が処理し変更することができる複数の画像フレームを提供することができる。こうした撮像システム１０４の例としては、デジタルビデオカメラ、ラインスキャン検眼鏡および共焦点走査型検眼鏡が挙げられる。

いくつかの実施形態では、第２撮像システム１０６は、第１撮像システム１０４によって提供される組織画像を補足して手術処置に役立つように、誘導画像を提供することができる。誘導画像は、眼１０２の任意の態様の２Ｄもしくは３Ｄ画像、手術前画像または手術中画像とすることができ、患者の眼１０２の別個の静止写真または患者の眼１０２の連続ビデオストリームを含むことができる。いくつかの例では、撮像システムは、システム１００の他の構成要素が処理し変更することができる複数の画像フレームを提供することができる。こうした第２撮像システム１０６の例としては、ＯＣＴ撮像システム、蛍光眼底造影撮像システム、ステレオ写真測量法撮像システム、コンピュータ体軸断層撮影（ＣＡＴ）スキャンシステム、磁気共鳴断層撮影（ＭＲＩ）システムまたは陽電子放出断層撮影（ＰＥＴ）撮像システムが挙げられる。

上述した撮像システムは、眼科手術の分野において既知であり、簡潔のためにそれらのアーキテクチャおよび動作については詳細に考察しない。しかしながら、システム１００のさまざまな実施形態において、第１撮像システム１０４および第２撮像システム１０６は、本明細書に記載する特定の撮像システムの任意の組合せを含む、任意の好適な撮像システムを含むことができる。さらに、一方または両方の撮像システムは、任意の好適な方法で手術用顕微鏡１０２と統合するかまたはそれに取り付けることができ、プローブベースの撮像システムを含むことができる。典型的な実施形態では、第１撮像システム１０４は、デジタルビデオカメラ、ラインスキャン検眼鏡または共焦点走査型検眼鏡を含み、第２撮像システム１０６は、ＯＣＴまたは蛍光眼底造影撮像システムを含む。例としてのシステム１００では、第１撮像システム１０４はデジタルビデオカメラを含み、第２撮像システム１０６はＯＣＴ撮像システムを含む。しかしながら、代替的な撮像システムが本開示の範囲内にあり、第１撮像システム１０４および第２撮像システム１０６は、撮像システムの任意の好適な組合せを含むことができることが理解される。

システム１００は、画像レジストレーションシステム１０８およびディスプレイ１１０をさらに含む。画像レジストレーションシステム１０８は、第１撮像システム１０４および第２撮像システム１０６によって生成される画像を受け取り、ディスプレイ１１０上に複合画像として執刀医にビデオ顕微鏡および誘導画像を同時に提示するように、２Ｄまたは３Ｄビデオ画像データを生成する。たとえば、誘導画像（たとえば、ＯＣＴ画像）は、（たとえば、図３〜図５に示すように）ディスプレイ１１０を介して執刀医が見るビデオ顕微鏡画像内で可視構造と位置合せされる半透明オーバーレイとして処理し出力することができる。こうした実施形態では、誘導画像と眼の実際の構造との間の位置合せは、連続してリアルタイムに画像を分析し位置合せする適応的画像レジストレーションプロセスを用いて達成することができる。いくつかの実施形態による適応的画像レジストレーションプロセス例について、さらに詳細に後述する。

画像レジストレーションシステム１０８は、第１撮像システムおよび第２撮像システムによって生成される画像をレジストレーションし表示するように構成された、ハードウェア、ファームウェアおよびソフトウェアの任意の好適な組合せを含むことができる。いくつかの実施形態では、レジストレーションシステム１０８は、メモリに結合されたプロセッサを含む（図１において、それぞれ「Ｐ」および「Ｍ」と示す）。プロセッサは、１つまたは複数のＣＰＵ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、ＡＳＩＣ、ＤＳＰまたは等価なコンポーネントを含むことができる。メモリは、磁気媒体、光媒体、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、リムーバブルメディアまたは等価なコンポーネントを含む、揮発性または不揮発性メモリを含むことができる。メモリは、プロセッサによって実行されると、本明細書に記載する画像レジストレーションシステム１０８の機能を実施するソフトウェアプログラムおよびアルゴリズムのための命令を格納することができる。特許請求の範囲で用いる「プロセッサ」、「メモリ」、「命令」等の用語は、当業者に既知である構造の分類を指し、開示するシステムの機能的要素ではなく構造的要素を示すものとして理解されるべきである。

ディスプレイ１１０は、１つまたは複数のアイピース、表示画面、ヘッドアップディスプレイ、１次元または２次元ディスプレイアレイ、プロジェクタ、ホログラフィックディスプレイ、ビューイングゴーグルまたは眼鏡等を含む、画像を表示する任意の好適なデバイスを含むことができる。ディスプレイ１１０は、さまざまな実施形態において、画像レジストレーションシステム１０８、第１撮像システム１０４、第２撮像システム１０４および／または手術用顕微鏡１０２から受け取られる２Ｄまたは３Ｄ画像を表示することができる。

リアルタイム画像レジストレーションは、計算的に要求が厳しく、高解像度画像を必要な精度で位置合せするために連続して実施される多数の計算を必要とする。高い精度および速度を同時に達成することは困難であり、従来の画像レジストレーションシステムでは、図２に示すように、応答性が不十分であり、遅延、ジッタおよび位置合せ不良があることが多い。

図２は、ビデオ顕微鏡によって生成される基底部２００の画像を示す。基底部画像２００内には、手術器具２１０、視神経２０２および網膜血管が見える。図２の底部において凡例に示すように、リアルタイムビデオ顕微鏡画像における網膜血管は、実線として示す。基底部画像２００はまた、破線で表す誘導画像システム（たとえば、ＯＣＴシステム）によって生成される網膜血管のオーバーレイ画像も含む。

図２に示すように、実線および破線は、手術器具２０１の近くの領域を含む、基底部画像２００の多くの部分において、十分に位置合せされていない。この位置合せ不良は、不正確なレジストレーションを示し、従来のレジストレーションシステムが画像レジストレーションプログラムの処理要求を満たすことができないことの結果である。不正確な結果は非常に問題があり、眼科手術処置中、誘導画像と執刀医の眼組織のビューとの間の高速かつ正確な画像レジストレーションは、重大である。これは、通常、覚醒したままである患者に実施される、硝子体除去手術等の処置において特に当てはまる。不正確な、低速のまたはジッタのある画像レジストレーションにより、（執刀医に対して、自身の動きを鈍らせ位置合せを待つために中断させることにより）手術の時間が長くなり、（血管の位置に関する不正確な情報を提供することにより）細心の注意を要する手術がより困難かつ危険となり、医学的合併症および不十分な転帰に至る可能性がある。

システム１００の実施形態は、画像の大部分の重大な領域の高速、高精度レジストレーションに対して適応的画像レジストレーションプロセスを実施するように構成された改善された画像レジストレーションシステム１０８を使用して、これに対処する。特に、レジストレーションシステム１０８は、第１撮像システムまたは第２撮像システムから画像を受け取りかつ受け取った画像を分析して、重要な特徴（たとえば、手術器具先端、視神経等の組織特徴、病変等）を動的に特定することができる。これらの特徴に基づいて、レジストレーションシステム１０８は、それらの特徴に近接する優先レジストレーション領域（ａｒｅａ／ｒｅｇｉｏｎ）をリアルタイムに画定し、それらの画像におけるレジストレーション領域のレジストレーションを優先させる。いくつかの実施形態では、レジストレーションシステム１０８は、画像の最も重要な領域をレジストレーションすることに処理資源を効率的に割り当てるために、画定されたレジストレーション領域に画像レジストレーションを能動的に限定しまたは制限する。したがって、レジストレーションシステム１０８は、術野内の重大な領域に画像処理資源を効率的に割り当てる（手術器具先端等、重要な特徴をリアルタイムに追跡することができる）適応的プロセスを実施し、それらの領域におけるレジストレーションの精度および速度を向上させる。いくつかの例では、これらの改善は、従来のレジストレーションシステムに対する（従来のレジストレーションシステムを改善されたレジストレーションシステム１０８に変換する）ソフトウェアアップグレードにおけるように、具現化することができ、それにより、ハードウェアを変更することなく性能および効率の増大を具現化する。

図６は、いくつかの実施形態による適応的画像レジストレーションプロセスの一例のステップを記述するフローチャートを示す。上述したように、画像レジストレーションシステム１０８は、プロセッサと、メモリと、メモリに格納された命令とを含む。命令は、プロセッサによって実行されると、レジストレーションシステム１０８に対し、図６に記載する適応的レジストレーションプロセスを実施させるソフトウェアを含む。

特に、ステップ６１０において、レジストレーションシステム１０８は、第１撮像システム１０４（たとえば、ビデオ顕微鏡）から１つの画像または一連の画像（たとえば、ビデオフィード）を受け取る。第１撮像システムから受け取られる画像は、基底部画像（たとえば、図３および図４を参照）、外眼部の特徴の画像（たとえば、図５を参照）、または手術視野内の他の組織を含むことができる。

ステップ６２０において、レジストレーションシステム１０８は、第２撮像システム１０４（たとえば、スペクトルドメイン（ｓｐｅｃｔｒａｌ−ｄｏｍａｉｎ）ＯＣＴシステムまたは波長掃引型（ｓｗｅｐｔ−ｓｏｕｒｃｅ）ＯＣＴシステム）から１つの画像または一連の画像（たとえば、手術前または手術中ＯＣＴ画像）を受け取る。第２撮像システムから受け取られる画像は、第１撮像システム１０４から受け取られる画像に示されている組織に関連する誘導画像を含むことができる。図６は、第２撮像システムの前に第１撮像システムから画像を受け取ることを示すが、順序を逆にすることができる。

ステップ６３０において、レジストレーションシステム１０８は、受け取った画像のうちの１つまたは画像の組を分析して、手術器具の先端の位置等、対象となる１つもしくは複数の特徴または領域を特定する。さらにまたは別法として、レジストレーションシステム１０８は、血管、病変、網膜孔、網膜上膜または網膜剥離等の生物学的特徴を対象とする特徴として特定することができる。

いくつかの例では、レジストレーションシステム１０８は、システムオペレータが、対象とする特徴として単独でまたは組合せて特定されるべき追跡される１つまたは複数のタイプの特徴（たとえば、器具先端、病変、特徴等）を（ユーザインタフェース、音声コマンド、モーション／ジェスチャまたは他の入力を介して）構成するかまたは選択することができるようにすることができる。こうした選択は、撮像手続きの前にまたは処置中にその場で行うことができる。

画像レジストレーションシステム１０８は、特徴ベース、領域ベース、または動きベースの物体追跡アルゴリズムを含む任意の好適な画像処理アルゴリズムを使用して、こうした特徴または領域を特定することができる。たとえば、いくつかの実施形態は、特徴認識もしくは抽出技法および／または動きベースの物体追跡ならびに画像処理アルゴリズム（たとえば、エッジ検出、コーナ検出、ブロブ検出、ブロブ抽出、リッジ検出、スケール不変特徴変換、動き検出、背景差分、フレーム差分法、オプティカルフロー、閾値処理、テンプレートマッチング、ハフ変換等）を利用して、受け取った画像を分析し、画像内の特徴を特定することができる。いくつかの実施形態では、レジストレーションシステム１０８は、こうした技法を使用して、リアルタイムに手術画像内の器具先端の位置を特定し追跡することができる。いくつかの例は、その全体が参照により本明細書に援用される米国特許出願公開第２０１５−０１７３６４４Ａ１号明細書に記載されているように、手術器具の先端に位置する特徴的なマーカを認識し追跡するように特に構成することができる。

対象とする特徴の特定に基づき、ステップ６４０における画像レジストレーションシステム１０８は、特徴に近接して１つまたは複数の優先レジストレーション領域を画定する。いくつかの実施形態では、レジストレーション領域は、特定された特徴から所定距離（たとえば、半径）以内の領域であり得る。

さまざまな実施形態において、レジストレーション領域のサイズは、静的または動的とすることができ、処置前にまたは処置中にシステムオペレータが構成することができる。レジストレーション領域のサイズは、絶対値（たとえば、半径値）または相対値（たとえば、視野の特定の部分）であり得る。いくつかの実施形態では、画像レジストレーションシステム１０８は、処理負荷に基づき優先レジストレーション領域のサイズを自動的に調整することができる。たとえば、レジストレーションシステム１０８は、プロセッサキューまたはプロセッサ利用データ等、現処理負荷および／または予期された処理負荷の指標を受け取ることができる。こうした指標に基づき、レジストレーションシステム１０８は、必要な精度および速度でのレジストレーション領域のレジストレーションを可能にする最大サイズまでレジストレーション領域のサイズを増減させることができる。同様に、レジストレーションシステム１０８は、処理負荷が変化するに従い、レジストレーション領域において所望の性能を維持する必要に応じて、レジストレーション領域のサイズを動的に増減させることができる。

レジストレーション領域が画定された後、ステップ６５０において、レジストレーションシステム１０８は、レジストレーションアルゴリズムを実行して、画定されたレジストレーション領域内で第１画像および第２画像をレジストレーションする。いくつかの実施形態では、レジストレーションシステム１０８は、レジストレーション領域の外側の画像の領域をレジストレーションすることなくこのステップを実施する。すなわち、第１画像および第２画像のレジストレーションは、いくつかの例では、対象とする特徴に近接してステップ６４０において画定された領域に、能動的に限定または制限され、それにより、処理資源は、より優先順位の低い領域における画像の領域をレジストレーションすることに費やされない。

レジストレーションシステム１０８の実施形態は、任意の好適な画像レジストレーション技法を使用して、第１画像および第２画像を互いに相関させることができ、それにより、同じ解剖学的点に対応する２つの画像における点が、表示画像において互いにマッピングされる。画像レジストレーションアルゴリズム例は、輝度ベースのアルゴリズムまたは特徴ベースのアルゴリズムを利用して、異なる時点に取得された画像の差を特定し、かつ／または異なるタイプの画像における情報を関連づけることができる。既知の技法を用いて、画像における特徴または画像の特性に基づいて、第１画像および第２画像の適用可能な部分を、並進させ、回転させ、拡大縮小する等が可能である。たとえば、第１画像および第２画像は、それらの画像における特徴を抽出するかまたはランドマークを特定し、特徴またはランドマーク間の距離を求め、レジストレーションされた画像における距離を最小限にすることにより、レジストレーションすることができる。いくつかの実施形態では、レジストレーションシステム１０８は、血管セグメンテーション、細長い要素の分岐および生成、ならびにペアレジストレーションを含む、画像レジストレーションアルゴリズムを実行することができる。画像レジストレーション技法例としては、プロクラステス点位置合せ、反復最近接点（ＩＣＰ）、面取り距離マッチング、ファジー対応、ピクセルベースレジストレーション、ボクセルベースレジストレーション、高密度フィールド法、線形空間変換、輝度マッピングおよび分割画像一様性が挙げられる。

ステップ６６０において、レジストレーションシステム１０８は、第１画像および第２画像が優先レジストレーション領域においてレジストレーションされ、それらの領域外ではレジストレーションされない、表示画像を生成し出力する。生成された画像は、優先レジストレーション領域内で位置合せされた第１画像および第２画像の両方の態様を含む複合画像を含むことができる。複合画像は、（図３〜図５の例に示すような）オーバーレイ、窓、または、執刀医もしくはシステムオペレータに所望の複合ビューを提供する第１画像および第２画像の態様の任意の好適な組合せを含むことができる。

図３〜図５は、図６に関して上述したプロセスによって生成することができるレジストレーションされた画像を示す。

特に、図３は、第１撮像システム１０４（たとえば、ビデオ顕微鏡）によって生成された基底部２００の２つの基底部画像（ａ）および（ｂ）を示す。第１撮像システム１０４によって生成されたライブビデオ画像における網膜血管は、黒い実線として示し、第２撮像システム１０６によって生成された誘導画像オーバーレイにおける網膜血管は、破線として示す。この例では、レジストレーションシステム１０８は、図３の左側の（ａ）に対応するライブビデオ画像を受け取りかつ分析し、特徴ベース、領域ベースまたは動きベースの物体追跡アルゴリズムを用いて、対象とする特徴として、手術器具２１０の先端２１２を特定する。このプロセスはリアルタイムで実行され、それにより、手術器具２１０の先端が、図３の右側の画像（ｂ）に示す別の位置まで移動すると、レジストレーションシステム１０８は器具先端２１２の位置を追跡する。レジストレーションシステム１０８が器具先端２１２の位置を追跡する際、レジストレーションシステム１０８により、優先レジストレーション領域２２０Ａおよび２２０Ｂは、器具先端２１２の特定の半径方向距離内の領域を包含するように動的に画定される。いくつかの例では、レジストレーションシステム１０８のサイズ（たとえば、器具先端２１２からの半径方向距離）は、キュー長さまたはプロセッサ利用等、現処理負荷または予測される処理負荷の指標に基づき、動的に画定し変更することができる。

したがって、器具先端２１２が図３の左側の（ａ）に示す位置にあるとき、レジストレーションシステム１０８は、優先レジストレーション領域２２０Ａ内で第１画像および第２画像を迅速にかつ正確にレジストレーションする（破線および実線の位置合せが正確なレジストレーションを示す）。ここで、第１撮像システムによって生成されるライブビデオ画像に示す網膜血管（および／または他の特徴）は、誘導画像（たとえば、ＯＣＴ画像）に示す同じ網膜血管（および／または他の特徴）に正確にレジストレーションされるが、基底部画像の他の部分はレジストレーションされない。実際に、レジストレーションシステム１０８は、レジストレーション領域２２０Ａの外側の第１画像および第２画像の部分をレジストレーションするように試みない。

器具先端２１２が図３の右側の（ｂ）に示す位置まで移動すると、レジストレーションシステム１０８は、優先レジストレーションシステム２２０Ｂ内で第１画像および第２画像を迅速にかつ正確にレジストレーションする（破線および実線の位置合せが正確なレジストレーションを示す）。この場合もまた、第１撮像システムによって生成されるライブビデオ画像に示す網膜血管（および／または他の特徴）が、誘導画像（たとえば、ＯＣＴ画像）に示す同じ網膜血管（および／または他の特徴）に正確にレジストレーションされるが、基底部画像の他の部分はレジストレーションされない。レジストレーションシステム１０８は、レジストレーション領域２２０Ｂの外側の第１画像および第２画像の部分をレジストレーションしようと試みない。

このように、器具先端２１２の近くの優先レジストレーション領域（たとえば、領域２２０Ａおよび２２０Ｂ）に画像レジストレーションを制限することにより、レジストレーションシステム１０８は、器具先端２１２が移動する際であっても高い精度および速度でレジストレーションを維持することができ、応答性およびシステム性能を向上させる。

図４もまた、第１撮像システム１０４（たとえば、ビデオ顕微鏡）によって生成された基底部２００の画像を示す。第１撮像システム１０４によって生成されたライブビデオ画像における網膜血管は、黒い実線として示し、第２撮像システム１０６によって生成された誘導画像オーバーレイにおける網膜血管は、破線として示す。ここでは、レジストレーションシステム１０８は、ビデオ画像を受け取り分析して、特徴ベース、領域ベースまたは動きベースの物体追跡アルゴリズムを用いて、特徴４０２、４０４および４０６として示す特定の網膜特徴または病変ならびに視神経４０８を特定する。そして、レジストレーションシステム１０８により、優先レジストレーション領域４００Ａ、４００Ｂ、４００Ｃおよび４００Ｄは、網膜特徴４０２、４０４および４０６ならびに視神経４０８それぞれの特定の半径方向距離の範囲内の領域を包含するように画定される。これらの優先レジストレーション領域４００Ａ〜４００Ｄ内で、ビデオ画像に示されている網膜血管（および／または他の特徴）は、破線および実線の位置合せによって示すように、誘導画像に示す同じ網膜血管に迅速かつ正確にレジストレーションされる。その間、優先レジストレーション領域４００Ａ〜４００Ｄの外側の画像の部分はレジストレーションされない。図４では、異なる特徴に基づく複数のレジストレーション領域を同時にレジストレーションされているものとして示すが、さまざまな実施形態において、システムオペレータは、レジストレーション領域を画定するためにいずれの特徴を追跡すべきかを選択することができることが理解されるべきである。たとえば、レジストレーションシステム１０８は、レジストレーション領域４００Ａ〜４００Ｃ内で本明細書に記載するプロセスを実施するが、レジストレーション領域４００Ｄでは実施しないように構成することができる。他の任意の好適な構成を選択することができる。

図５は、第１撮像システム１０４（たとえば、ビデオ顕微鏡）によって生成される瞳孔５０２、虹彩５０４および強膜５０６を含む眼１０２の外部構造の画像を示す。この例では、レジストレーションシステム１０８は、画像を受け取り分析して、特徴ベース、領域ベースまたは動きベースの物体追跡アルゴリズムを用いて、強膜５０６の特定の血管または虹彩５０４上の可視パターン等、対象とする特徴を特定する。このプロセスは、これらの特徴を動的に特定し追跡するようにリアルタイムで実行することができる。そして、レジストレーションシステム１０８は、強膜血管の特定の半径方向距離内の領域を包含するように優先レジストレーション領域５００Ａおよび５００Ｂを画定する。優先レジストレーション領域５００Ｃは、虹彩５０４全体を包含するように画定される。優先レジストレーション領域５００Ｄは、虹彩５０４上に特定された特定のパターンを包囲する領域を包含するように画定される。図５には示さないが、特定された特徴は、図３に関して上述したように、器具先端の位置であり得ることが理解される。図３および図４に関して考察した例におけるように、優先レジストレーション領域５００Ａ、５００Ｂ、５００Ｃおよび５００Ｄ内の虹彩および強膜の特徴のビデオ画像および誘導画像は、高い精度および速度でレジストレーションされる。領域５００Ａ、５００Ｂおよび５００Ｄ内の正確なレジストレーションは、破線および実線の位置合せによって示す。領域５００Ｃ内で、ビデオ画像および誘導画像は完全にかつ正確にレジストレーションされていることが理解されるべきであるが、これは、明確にするために点線で示さない。図５では、異なる特徴に基づく複数のレジストレーション領域が同時にレジストレーションされているように示すが、さまざまな実施形態では、システムオペレータが、レジストレーション領域を画定するためにいずれの特徴を追跡すべきかを選択することができることが理解されるべきである。たとえば、レジストレーションシステム１０８は、レジストレーション領域５００Ｃ内で本明細書に記載したプロセスを実施するが、レジストレーション領域５００Ａ、５００Ｂまたは５００Ｄ内では実施しないように構成することができる。他の任意の好適な構成を選択することができる。

したがって、本開示の実施形態は、手術視野内の優先度の高い領域のレジストレーションを優先し、画像レジストレーションをそうした領域に限定する適応的レジストレーションシステムにより、画像の重大な領域における画像レジストレーションの速度および精度を向上させる。このように、画像レジストレーションシステム１０８は、手術処置に最も重大である画像の部分を連続的にレジストレーションしアップデートすることに特化した処理資源を増大させることができる。これにより、執刀医に表示される画像の精度および信頼性を向上させることができ、いくつかの実施形態では、ハードウェアに対する変更なしに従来のシステムにおいてソフトウェアアップグレードとして実施することができる。

上に開示した特徴および機能ならびに他の特徴および機能のうちのいくつか、またはそれらの代替態様は、他の多くの異なるシステムまたは応用に望ましいように統合することができることが理解されよう。当業者であれば、さまざまな現時点で予見できないかまたは予測できない、本発明の代替態様、変更、変形または改善を後に行うことができることも理解されよう。こうした代替態様、変形および改善もまた、以下の特許請求の範囲によって包含されるように意図されている。

Claims (15)

1. 眼の第１画像を生成するように構成された第１撮像システムと、
   前記眼の第２画像を生成するように構成された第２撮像システムと、
   プロセッサとメモリに格納された命令とを含む画像レジストレーションシステムであって、前記命令が、前記プロセッサにより、前記画像レジストレーションシステムに対して、
   前記第１撮像システムによって生成された前記第１画像を受け取らせ、
   第２撮像システムによって生成された前記第２画像を受け取らせ、
   前記第１画像において手術器具の遠位先端の位置を追跡させ、
   前記第１画像における優先レジストレーション領域を画定させ、前記優先レジストレーション領域が、前記手術器具の前記遠位先端の所定近接範囲内の前記第１画像の部分を含み、
   前記第１画像における前記優先レジストレーション領域を前記第２画像における対応する領域とレジストレーションさせ、
   前記遠位先端が動かされるに従い、前記レジストレーション領域の外側である前記第１画像および前記第２画像の部分をレジストレーションすることなく、前記第１画像における前記優先レジストレーション領域の前記第２画像における前記対応する領域とのレジストレーションをリアルタイムでアップデートさせる
   ように実行可能である、画像レジストレーションシステムと、
   を備える眼科撮像システム。
2. 前記第１画像および前記第２画像が、基底部、強膜または虹彩の第１画像および第２画像を含む、請求項１に記載の眼科手術システム。
3. 前記第１撮像システムが、手術用顕微鏡、２次元カメラ、ラインスキャンカメラ、および共焦点走査型検眼鏡において使用されるような単一検出器のうちの少なくとも１つを含む、請求項２に記載の眼科手術システム。
4. 前記第２撮像システムが、光干渉断層撮影（ＯＣＴ）撮像システムおよび蛍光眼底造影撮像システムのうちの少なくとも一方を含む、請求項３に記載の眼科手術システム。
5. 前記プロセッサにより、前記画像レジストレーションシステムに対して、リアルタイムに、
   前記第１画像における前記レジストレーション領域が、前記第２画像における前記対応するレジストレーション領域に位置合せされ、
   前記レジストレーション領域の外側である前記第１画像または前記第２画像の部分はレジストレーションされない、
   表示画像を生成させるように実行可能な命令をさらに含む、請求項４に記載のシステム。
6. 前記第１画像または前記第２画像のレジストレーションされない部分が、前記生成された表示画像において視覚的に非表示にされる、請求項５に記載のシステム。
7. 前記生成された表示画像を表示するように構成されたアイピースまたはヘッドアップスクリーンをさらに備える、請求項５に記載の眼科手術システム。
8. 前記優先レジストレーション領域の少なくとも１つの特性が、ユーザにより構成可能である、請求項５に記載の眼科手術システム。
9. 前記優先レジストレーション領域のサイズが、ユーザにより構成可能である、請求項８に記載の眼科手術システム。
10. 前記優先レジストレーション領域のサイズが、処理負荷に基づいて動的に調整される、請求項５に記載の眼科手術システム。
11. 前記遠位先端が、システムオペレータによって選択された対象とする特徴を含む、請求項１に記載の眼科手術システム。
12. 眼科撮像システムにおいて画像をレジストレーションする方法であって、
    第１撮像システムによって生成された第１画像を受け取るステップと、
    第２撮像システムによって生成された第２画像を受け取るステップと、
    前記第１画像における手術器具の遠位先端の位置を追跡するステップと、
    前記第１画像における優先レジストレーション領域を画定するステップであって、前記優先レジストレーション領域が、前記手術器具の前記遠位先端の所定近接範囲内の前記第１画像の部分を含む、ステップと、
    前記第１画像における前記優先レジストレーション領域を前記第２画像における対応する領域とレジストレーションするステップと、
    前記遠位先端が動かされるに従い、前記レジストレーション領域の外側である前記第１画像および前記第２画像の部分をレジストレーションすることなく、前記第１画像における前記優先レジストレーション領域の前記第２画像における前記対応する領域とのレジストレーションをリアルタイムでアップデートするステップと、
    を含む方法。
13. リアルタイムに、
    前記第１画像における前記レジストレーション領域が、前記第２画像における前記対応するレジストレーション領域に位置合せされ、
    前記レジストレーション領域の外側である前記第１画像または前記第２画像の部分はレジストレーションされない、
    表示画像を生成するステップをさらに含む、請求項１２に記載の方法。
14. 前記第１画像または前記第２画像のレジストレーションされない部分を視覚的に非表示にするステップをさらに含む、請求項１３に記載の方法。
15. 処理負荷に基づき前記優先レジストレーション領域のサイズを動的に調整するステップをさらに含む、請求項１２に記載の方法。

Images