JP2018528800A

JP2018528800A - 動的手術データオーバーレイ

Info

Publication number: JP2018528800A
Application number: JP2018503172A
Authority: JP
Inventors: レンフーカン; ユイリンフォン
Original assignee: ノバルティスアーゲー
Priority date: 2015-08-04
Filing date: 2016-05-24
Publication date: 2018-10-04
Also published as: AU2016304400A1; US20170035287A1; TW201706890A; CA2989094A1; CN107847349A; WO2017021790A1; EP3331480A1

Abstract

表示最適化のための方法（３００）は、イメージングシステムから手術部位の画像を受信するステップ（３０２）を含む。方法は、画像内の第１の場所において関心領域を特定するステップ（３０４）を更に含む。方法は、第１の位置において手術データオーバーレイを生成するステップ（３０６）を更に含み、第１の位置は関心領域の第１の場所と関連付けられている。方法は、関心領域が画像内の第２の場所に移動したことを検出するステップ（３１０）を更に含む。方法は、関心領域が第２の場所に移動したことを検出するステップに応じて、手術データオーバーレイを第２の位置に移動するステップ（３１４）を更に含み、第２の位置は第２の場所と関連付けられている。方法は、画像及び手術データオーバーレイをユーザに対して表示するステップ（３０８）を更に含む。

Description

本開示は、眼医療処置の方法及びシステムに関し、より具体的には、このような処置の画像化を含む方法及びシステムに関する。

多くの顕微手術処置では、種々の体組織の精密な切除及び／又は除去を必要とする。例えば、内境界膜（ＩＬＭ：ｉｎｔｅｒｎａｌｌｉｍｉｔｉｎｇｍｅｍｂｒａｎｅ）除去及び網膜上膜（ＥＲＭ：ｅｐｉ−ｒｅｔｉｎａｌｍｅｍｂｒａｎｅ）除去は異なる黄斑表面疾患に対する有用な外科治療である。しかしながら、ＩＬＭ及びＥＲＭ剥離のための手術手技にはスキルと忍耐が必要である。精密且つ慎重に作製された手術器具が手術手技の各区分において用いられる。

ＩＬＭ及びＥＲＭ処置では２段階手技（ｔｗｏ−ｓｔｅｐｔｅｃｈｎｉｑｕｅ）を用いる。第１段階は、膜の縁を得ることを含み、第２段階は、膜を把持し、剥離することを含む。一部の術者は膜の縁を得るためにスクレーパを用いる。術者は縁を把持する準備を整えるために膜を優しくこすって膜の縁を分離する。次に、術者は特別な鉗子を導入して膜を把持し、剥離する。しかしながら、各段階で忍耐と精密さを要するため、術者は時として、１度の外科的処置中に複数回組織をこすり、その後把持しようとする場合がある。

これら種類及び他の種類の外科的処置において術者を補助するために、術者は患者の眼の組織などの、治療される組織の顕微鏡像を呈示するイメージングシステムを用いてもよい。したがって、このようなイメージングシステムのユーザに、鉗子又は他のツールなどの手術器具及び眼の関心領域の拡大像を提供してもよい。一部の場合では、術者に、術者にとって有用となり得る追加情報も提供してよい。例えば、術者に、眼の関心領域の光干渉断層（ＯＣＴ：ｏｐｔｉｃａｌｃｏｈｅｒｅｎｃｅｔｏｍｏｇｒａｐｈｙ）画像を提供してもよい。ＯＣＴイメージングでは一般に、近赤外光を使用し、表面下の組織の画像を得る又は生成することができる。様々な眼処置用の手術システム及びツールの使用並びに操作性の継続的な改良に対する需要がある。

表示最適化のための方法は、イメージングシステムから手術部位の画像を受信するステップを含む。当該方法は、画像内の第１の場所において関心領域を特定するステップを更に含む。当該方法は、第１の位置において手術データオーバーレイを生成するステップであって、第１の位置は関心領域の第１の場所と関連付けられている、ステップを更に含む。当該方法は、関心領域が画像内の第２の場所に移動したことを検出するステップを更に含む。当該方法は、関心領域が第２の場所に移動したことを検出するステップに応じて、手術データオーバーレイを第２の位置に移動するステップであって、第２の位置は第２の場所と関連付けられている、ステップを更に含む。当該方法は、画像及び手術データオーバーレイをユーザに対して表示するステップを更に含む。

システムは、手術部位の画像を得るためのイメージングモジュールを含む。システムは、手術部位の画像をユーザに対して表示し、手術データを手術部位の画像に重ね合わせて表示するためのディスプレイモジュールを更に含む。システムは、第１の場所における手術部位の関心領域を特定するためのトラッキングモジュールを更に含む。システムは、トラッキングモジュールからのデータを基に、関心領域が第２の場所に移動したことを検出し、新たな関心領域に基づき、手術データを画像上の新たな位置に移動するようディスプレイモジュールに命令するための制御モジュールを更に含む。

表示最適化のための方法は、イメージングシステムから手術部位の画像を受信するステップを含む。当該方法は、画像内の関心領域を特定するステップを更に含む。当該方法は、画像内の第１の位置において手術データオーバーレイを生成するステップであって、第１の位置は関心領域の第１の場所と関連付けられている、ステップを更に含む。手術データオーバーレイは関心領域の光干渉断層（ＯＣＴ）画像を含む。当該方法は、関心領域が第２の場所に移動したことを検出するステップを更に含む。当該方法は、関心領域が第２の場所に移動したことを検出するステップに応じて、ユーザの好み及び関心領域の第２の場所の両方を基に、画像内の手術データオーバーレイの第２の位置を特定するステップを更に含む。当該方法は、画像及び第２の位置にある手術データオーバーレイをユーザに対して表示するステップを更に含む。

前述の概要及び以下の詳細な説明は両方とも本質的に例示及び説明であり、本開示の範囲を限定することなく本開示の理解を提供することを目的とすることは理解すべきである。この点に関し、以下の詳細な説明から、本開示の更なる態様、特徴及び利点は当業者には明らかであろう。

添付の図面は、本明細書中に開示されるデバイス及び方法の実施形態を示し、明細書とともに、本開示の原理を説明する機能を果たす。

例示的な眼手術システムを示す図である。外科的処置中、イメージングシステムを介して見られ得る患者の眼の例示的な画像を示す図である。動的手術データオーバーレイを提供するための例示的な方法を示す流れ図である。関心領域を基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域を基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域を基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域及びユーザの好みを基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域及びユーザの好みを基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域及びユーザの好みを基に動的に配置された例示的な手術データオーバーレイを示す図である。関心領域及びユーザの好みを基に動的に配置された例示的な手術データオーバーレイを示す図である。ツールトラッキングを用いて現在の関心領域を特定する画像システムを示す図である。アイトラッキングを用いて現在の関心領域を特定する画像システムを示す図である。

本開示の原理の理解を促すために、ここで図示されている実施形態について述べ、特定の言語を用いてこれを説明する。しかし、本開示の範囲の限定を意図するものではないことは理解されよう。記載されるデバイス、器具、方法に対するあらゆる変更及び更なる修正並びに本開示の原理の任意の更なる適用は、本開示に関係する当業者に通常想起されるものと十分に考えられる。特に、一実施形態に関して記載される特徴、構成要素及び／又はステップは、本開示の他の実施形態に関して記載される特徴、構成要素及び／又はステップと組み合わせてもよいと十分に考えられる。簡略化のため、場合によっては、同一又は同様の部品を参照するために図面の全体を通して同じ参照符号が使用される。

本開示は、手術データを手術部位の標準画像と共に表示するための方法及びシステムに関する。種々の処置において、ユーザは、手術部位における特定の組織領域などの関心領域を、イメージングシステムを用いて観察してもよい。イメージングシステムはまた、関心領域の画像とは別に、更なる手術データをユーザに対して表示してもよい。一例では、更なる手術データはＯＣＴ画像を含む。例えば、一部のイメージングシステムは、顕微鏡イメージングシステム及びＯＣＴイメージングシステムを含む。ＯＣＴイメージングシステムは、関心領域の断面像を含むＯＣＴ画像を得る。したがって、ＯＣＴ画像を用いて、外部表面組織下の組織を可視化してもよい。一部の場合では、ＯＣＴ画像は、顕微鏡画像内に手術データオーバーレイとして提供される。

こうしたイメージングシステムは、ユーザが手術器具を使用してＩＬＭ除去など眼の外科的処置を実施している間、従来の顕微鏡画像及びＯＣＴ画像の両方を観察することを可能にする。従来の顕微鏡画像は、約４００ナノメートル〜７００ナノメートルの範囲の波長を有する可視スペクトル内の光を使用して観察される。ＯＣＴ画像は、通常、約７００ナノメートル〜２６００ナノメートルの範囲内の波長を有する近赤外域の光を使用して生成される。しかしながら、可視スペクトル域内の光を使用してＯＣＴ画像を得ることも可能である。したがって、ＯＣＴ画像は、任意の実施可能な波長域内の光を使用して得てもよい。

一般に、このような手術データオーバーレイはそれらが含まれる画像に対し、観察可能場所に固定されたままである。したがって、ユーザが画像内の手術部位の異なる関心領域に注意を向ける際、ユーザはこれらの関心領域から視線を外して手術データオーバーレイを見なければならない。ユーザが繊細な処置の最中である場合、これには危険を伴う可能性がある。ユーザは、手術データオーバーレイに注意を向け直す間、ツールをしっかりと保持していなければならない場合がある。

本明細書中に記載される原理によれば、本開示は、手術データオーバーレイの位置をリアルタイムで動的に修正することに関する。現在の関心領域は、種々の機構によって特定される。関心領域とは、ユーザが概ね注意を向けている全般的領域を意味する。関心領域を特定するために使用され得る機構の一例は、ユーザの眼が画像内のどこに向けられているかを追跡するアイトラッキング機構である。以下で更に詳細に説明する他の例は、ツールトラッキング及びＯＣＴビーム検出を含む。現在の関心領域が特定された後、手術データオーバーレイの位置を適宜変更することができる。特に、関心領域が新たな場所に移動すれば、手術データオーバーレイをその新たな場所の近傍に位置変更することができる。

図１は、例示的な眼イメージングシステム１００を示す図である。本例によれば、眼イメージングシステム１００は、画像ビューア１０４と、顕微鏡イメージングシステム１０６と、ＯＣＴイメージングシステム１０８と、制御システム１１２と、を含む。眼イメージングシステム１００は、患者の体の標的領域内の関心領域の顕微鏡像及びＯＣＴ画像をユーザ１０２に提供する。この例では、標的領域は患者の眼１１０である。

顕微鏡イメージングシステム１０６は可視スペクトル内の光を使用して患者の眼１１０の画像を得る。可視スペクトルはヒトの眼で見える光の波長域を画定する。可視スペクトルは、上で示した通り、一般に約４００ナノメートル〜７００ナノメートルの範囲内の波長を有する電磁放射を含むが、この波長域は異なる個体ではわずかに異なる場合がある。顕微鏡イメージングシステム１０６はレンズ系を用いて、患者の眼１１０又は更には患者の眼１１０内の特定関心領域の拡大像を提供してもよい。このような画像は、その後、画像ビューア１０４に提供されてもよい。

ＯＣＴイメージングシステム１０８は患者の眼１１０のＯＣＴ画像を得る。ＯＣＴイメージングシステム１０８は種々の技術を用いて、標準的な顕微鏡の使用では得ることができない組織表面下の患者の組織の深さ分解画像を得る。これは、ＯＣＴスペクトル内の光を基に、コヒーレンスゲーティングを用いて行われる。上で示したように、この範囲は約７００ナノメートル〜２６００ナノメートルの波長を有する電磁放射を含み、一部の場合では、約４００ナノメートル〜７００ナノメートルの可視光域に及び得る。コヒーレンスゲーティングを用いることにより、ＯＣＴイメージングシステム１０８は表面組織下の組織の画像を表示することができると共に、このような組織の断面像を生成することができる。したがって、ＯＣＴイメージングシステム１０８を用いて、ユーザ１０２が手術している関心領域の断面像を得てもよい。この利点は、手術器具とＩＬＭの表面との間の相互作用がＩＬＭの表面下の組織にどう影響するかをユーザ１０２が見ることができることである。特に、ユーザ１０２は断面画像を用いて、下の網膜の偶発的な損傷を避けることができる。一部の例では、ＯＣＴイメージングシステム１０８は従来の顕微鏡イメージングシステム１０６と一体化されている。一部の例では、しかしながら、ＯＣＴイメージングシステム１０８は画像ビューア１０４にＯＣＴ画像を提供する別個の装置であってもよい。

ＯＣＴイメージングシステム１０８は、ＯＣＴイメージング機能を実施するために使用される種々の構成要素を含む。例えば、ＯＣＴイメージングシステム１０８は、関心領域にＯＣＴビームを投射するためのＯＣＴ光源１１８を含んでもよい。ＯＣＴイメージングシステム１０８は、また、関心領域から反射したＯＣＴ光を検出するＯＣＴキャプチャデバイス１２０を含んでもよい。ＯＣＴイメージングシステム１０８は、したがって、ＯＣＴキャプチャデバイス１２０によって得た情報を用いて関心領域の画像を構築する。一部の例では、画像は、関心領域内の組織表面下の像を提供する、関心領域の２次元断面であってもよい。一部の例では、画像は、また、表面下の３次元像を提供する３次元画像であってもよい。

画像ビューア１０４は、ユーザ１０２又は他の術者に対し、顕微鏡イメージングシステム１０６及びＯＣＴイメージングシステム１０８の両方により得た画像を表示する。画像ビューア１０４は、モニタ上、ディスプレイスクリーン上、顕微鏡接眼レンズ上などの種々の手法、又は他の手法で画像を表示してもよい。一部の例では、顕微鏡イメージングシステム１０６は、少なくとも２つの画像で形成された立体像を提供してもよい。画像ビューア１０４はこの少なくとも２つの画像をユーザ１０２の異なる眼に表示し、それによって３次元効果を生成してもよい。

制御システム１１２は、ＯＣＴイメージングシステム１０８から得た画像を処理してもよいコンピューティングシステムである。制御システム１１２はユーザの関心領域を追跡し、ＯＣＴ画像などの手術データオーバーレイの最適位置を特定してもよい。一部の例では、制御システム１１２は画像ビューア１０４と一体化してもよい。一部の例では、制御システム１１２は、画像ビューア１０４及びＯＣＴイメージングシステム１０８とは別であり、画像ビューア１０４及びＯＣＴイメージングシステム１０８と通信する別個の構成要素である。

制御システム１１２はプロセッサ１１４及びメモリ１１６も含む。メモリ１１６は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）など）及び不揮発性メモリ（ソリッドステートストレージなど）を含む様々な種類のメモリを含んでもよい。メモリ１１６はコンピュータ可読命令を記憶してもよく、コンピュータ可読命令がプロセッサ１１４によって実行されると、制御システム１１２は、本明細書に記載されるような手術データオーバーレイの位置変更を含む種々の機能を実施する。メモリ１１６は、イメージングシステム１０６、１０８により捉えられた画像及びこれら画像の修正版を示すデータも記憶してよい。

一部の例では、ＯＣＴイメージングシステム１０８はエンドプローブであってもよい。エンドプローブは、患者の開口部に挿入されるように設計されたデバイスであり、患者の組織を見るために使用される。エンドプローブは種々の疾患又は状態を診断するために使用してもよい。このようなエンドプローブからＯＣＴ画像が取得されると、手術データオーバーレイがユーザの関心領域に追従するように提供及び配置されてもよい。

図２は、画像ビューア１０４によって呈示又は表示される、例示的な、組み合わされた患者の眼の顕微鏡画像及び手術データオーバーレイ像２００を示す図である。本例によれば、画像ビューア１０４（例えば、図１の参照符号１０４）はＯＣＴ画像２１２などの手術データオーバーレイ２１０を顕微鏡画像２０２上に重ね合わせる。したがって、ユーザは潜在的関心領域２０６を、関心領域２０６内における手術のために使用されている手術器具２０４と共に見ることができる。図２の点線２０８は、手術データオーバーレイ２１０内の断面ＯＣＴ画像２１２が撮影される断面線を示す。したがって、示され得るように、画像ビューア１０４は、ユーザが両画像２０２、２１２を同時にリアルタイムで視覚的に観察することを可能にする状態でＯＣＴ画像２１２を顕微鏡画像２０２上に投影する。

図２に示される例及び本明細書中に記載されるその他の例は、ＯＣＴ画像２１２を呈示する手術データオーバーレイ２１０に関するが、手術データオーバーレイ２１０内に他の種類の情報を提供してもよい。例えば、手術データオーバーレイ２１０は、リアルタイムＯＣＴ画像ビューの代わりに、患者の眼の静止ＯＣＴ画像を提供してもよい。一部の場合では、このようなＯＣＴ画像は特定の特徴をより明瞭に示すために画質向上してもよい。例えば、画質向上した画像は、ＥＲＭの厚さ及びＥＲＭが付着している場所を示してもよい。画質向上した画像は、内境界膜（ＩＬＭ）を強調してもよい。画質向上した画像は、網膜下液（ＳＲＦ）、ＳＲＦの厚さ及び／又はＳＲＦの量を強調してもよい。手術データオーバーレイ２１０は、種々の病理学的データも表示してよい。一部の例では、手術データオーバーレイは、手描きのグラフの画像を含んでもよい。イメージングシステムのユーザにとって有用となり得る他の種類の情報も考えられる。例えば、他の種類の情報には、手術パラメータ、１つ以上の網膜層の厚さ、１つ以上の網膜血管の血流速度、網膜血管造影情報、及び１つ以上の網膜層の特性情報を含んでもよい。

図３は、動的手術データオーバーレイを提供するための例示的な方法３００を示す流れ図である。一部の例では、方法３００は制御システム（例えば、図１の参照符号１１２）によって実施される。本例によれば、方法３００は、イメージングシステム（例えば、図１の参照符号１０６）から画像を受信するステップ３０２を含む。画像は網膜など手術部位のものであってもよい。画像内の手術部位は、イメージングシステムのユーザが治療のための手術行為を実施し得るいくつかの場所を有してもよい。

方法３００は、画像内の関心領域を特定するステップ３０４を更に含む。関心領域は、ユーザの注意が現在向けられている画像内の特定領域を示す。例えば、ユーザが画像内の特定の場所において特定の治療行為を実施している場合、その場所が現在の関心領域として示されてもよい。

画像内の関心領域は種々の機構によって特定されてもよい。一例では、関心領域は、手術ツールが画像内のどこに位置するかを特定することによって特定される。一例では、関心領域は、ユーザの眼が現在向けられている場所を基に特定される。一例では、関心領域は、画像内のどこにＯＣＴビームが向けられているかを検出することによって特定される。

鉗子などのツールの場所及び／又は向きを使用して、ユーザの関心領域を特定することができる。一例では、画像内のツールの特定部分の場所を使用して、現在の関心領域を特定することができる。鉗子の場合、ツールの特定部分は鉗子の先端部であってもよい。ツールの他の領域も使用される可能性がある。したがって、関心領域は鉗子の先端部の場所を基に特定することができる。

種々の機構を使用して、画像に対するツールの場所及び／又は向きを特定することができる。一部の例では、ツールは、このような情報を検出することができる、ツールに取り付けられた又はツール内部に埋設された位置若しくは向きセンシングデバイスを有してもよい。例えば、ツールはそれに対応付けられた、現在の向きを特定するためのジャイロスコープ、加速度計、又は他の種類のセンサを有してもよい。いくつかの他の例では、しかしながら、場所及び／又は向きは、画像自体の分析によって特定されてもよい。特に、制御システムは画像内におけるツールの境界を検出する機能を適用してもよい。制御システムは、また、手術部位内における場所を検出する機能を適用してもよい。このように、手術部位に対するツールの場所を特定することができる。他の機構では、検出のために検出器の入カと分析との組み合わせを用いてもよい。更に別の機構及びシステムも考えられる。

一部の例では、ツールは、手術部位に対するツールの位置特定を補助するマーカー、エングレービング、又は他のインジケータを含んでもよい。いくつかの実装形態では、画像の分析に使用される機能は、このようなマーカー又はエングレービングを検出するように構成されている。一例では、マーカーはツールの着色部分であってもよい。マーカーの色又は性質は、この部分を、画像分析機能により容易に認識可能であるようなものであってもよい。他の例では、表面構造、デザイン、色対比、又はこの機能により認識可能な他のマーカーを用いてもよい。

一部の例では、ツールトラッキングシステムは、ツールが一定時間にわたって動作している全般的な場所を特定することができる。おそらくは、外科手術中、ツールはそのツール内でツールのオペレータが関連の外科手術を実施する際に移動する。そこで、ツールトラッキングシステムは、過去の一定時間の間にツールが移動した全般的領域を含む関心領域を特定することができる。この時間は、許容できる関心領域を特定するのに十分なトラッキングデータは得るものの、ユーザがツールを新たな場所に移動したとき、したがって、関心領域が画像内の異なる場所に移動したときに望ましくない遅延があるほど長時間とならないように選択することができる。一部の例では、この時間はユーザが手動で設定してもよい。この時間は、例えば、１秒でも、５秒でも、０〜２０秒の範囲内でもよい。より長い時間及びより短い時間も考えられる。

一部の例では、アイトラッキングを用いて、現在の関心領域を特定してもよい。例えば、アイトラッキングシステムはユーザの眼をスキャンし、ユーザの眼が向けられている画像内の場所を特定してもよい。おそらくは、このような場所はユーザが最も見たいと思う画像の領域に一致し、ユーザが外科手術を現在実施している領域を含んでもよい。

一部の例では、アイトラッキングモジュールは、以下で更に詳細に記載するように、ユーザの眼が一定時間にわたって向けられている画像内の全般的な場所を特定することができる。おそらくは、ユーザは、外科手術中、自身が手術している領域近傍の様々な場所を見るであろう。そこで、制御システムは、過去の一定時間にわたってユーザの眼が向けられていた全般的領域を含む関心領域を特定することができる。この時間は、許容できる関心領域を特定するのに十分なトラッキングデータは得るものの、ユーザが自身の眼を新たな場所に移動したとき、したがって、関心領域が画像内の異なる場所に移動したときに望ましくない遅延があるほど長時間とならないように選択することができる。一部の例では、この時間はユーザが手動で設定してもよい。一部の例では、制御システムは、ユーザが手術データオーバーレイを見ていることに一致するトラッキングデータを除外してもよい。ユーザが関心領域から目を離して近傍の手術データオーバーレイを見る場合、関心領域が手術データオーバーレイの方に偏るのを避けるためにそのようなトラッキングデータを含まないことが望ましい場合がある。

一部の例では、ＯＣＴビームが向けられる手術部位の場所を使用して、現在の関心領域を特定することができる。上述のように、手術データオーバーレイはＯＣＴ画像を含んでもよい。このような画像はＯＣＴビームを手術部位に向けることにより得られる。その後、ＯＣＴ画像キャプチャデバイス（例えば、図１の参照符号１２０）が手術部位の表面下から反射したＯＣＴ光を検出する。概して、ＯＣＴビームが向けられる関心領域はユーザが外科手術を実施している場所、したがって、関心領域に一致する。

種々の機構を用いて、ＯＣＴビームがどこに向けられているかを特定してもよい。一例では、ＯＣＴ画像デバイスと対応付けられたトラッキングシステムを使用して、画像内のどこにＯＣＴビームが向けられているかを特定してもよい。一部の例では、顕微鏡イメージングシステムにより得た画像の分析を実施し、ＯＣＴビームがどこに向けられているかを特定してもよい。ＯＣＴ光はヒトの眼で容易に識別できない場合があるが、ＯＣＴ光が向けられている画像内の場所を画像の分析によって検出することができてもよい。

一部の場合では、制御システムは、関心領域を特定するために複数源からのデータを考慮するように構成してもよい。例えば、制御システムは、ツールトラッキングデータ、アイトラッキングデータ、ＯＣＴビーム位置データ及び／又はその他のデータを受信してもよい。このような形態のデータ全てを用いて、関心領域を特定することができる。

方法３００は、手術データオーバーレイを生成するステップ３０６を更に含む。上述のように、手術データオーバーレイは、例えば、手術部位のリアルタイムＯＣＴ画像、手術若しくは器具データ、患者データ、患者の生理的状態に関する検出データ、又はその他の情報を含む様々な種類の情報を含んでもよい。一部の例では、手術データオーバーレイは手術部位の静止ＯＣＴ画像を含んでもよい。手術部位が患者の眼である場合、静止ＯＣＴ画像は、強調表示、画像強度の増加、又は他の技術によって、種々の特徴そのような網膜上膜（ＥＲＭ）、ＥＲＭの厚さ、及びＥＲＭの輪郭を強調するために画質向上させてもよい。

手術データオーバーレイの位置は関心領域の場所を基に特定される。特に、手術データオーバーレイの位置は関心領域に対して設定される。例えば、手術データオーバーレイは関心領域上などに直接隣接するように配置されてもよい。

ステップ３０８において、制御システムは画像と手術データオーバーレイを一緒に表示する。一例では、制御システムはユーザが見るために画像ビューアに画像を提供する。手術データオーバーレイは現在の関心領域の近傍にあるように配置されるため、ユーザは手術データオーバーレイ内に含まれる情報を見るために関心領域からはるか遠方を見る必要はない。

ステップ３１０において、制御システムは関心領域が変化したかどうかを特定する。特に、制御システムは、関心領域が画像内の別の場所に移動したかどうかを特定する。このような情報は、ツールトラッキングシステム、アイトラッキングシステム、又は現在の関心領域を特定するために用いられる何らかの他の機構から得たトラッキングデータを基にしてもよい。

いくつかの実施形態では、制御システムは、関心領域が大きく場所を変化したかどうかを特定するように構成されている。関心領域はツールのわずかな動き又はユーザの眼のわずかな動きに基づきその現在位置からわずかに移動する場合があるが、このようなわずかな動きは同伴する手術データオーバーレイの位置の変化に寄与しなくてもよい。例えば、関心領域が１ミリメートルなど特定量よりも小さく移動する場合、手術データオーバーレイは変化しないままである。より大きな又はより小さな距離も考えられる。

関心領域の場所に大きな変化がなければ、当該方法はステップ３０８に戻る。ステップ３０８では、制御システムによって画像ビューが、画像を手術データオーバーレイと共に表示する。しかし、関心領域の大きな変化がある場合、当該方法はステップ３１２に進む。

ステップ３１２において、当該方法は、手術データオーバーレイの最適な場所を特定することを含む。このような特定は、関心領域の新たな場所を基にする。以下で更に詳細に記載するように、最適な場所は様々なユーザの好みも考慮に入れてよい。

方法３００は、特定された最適位置を基に手術データオーバーレイの位置を更新するステップ３１４を更に含む。当該方法は、次いで、制御システムが画像及び手術データオーバーレイをその新たな位置に表示するステップ３０８に戻る。制御システムは関心領域が再度変化するまで手術データオーバーレイをその新たな位置に表示させ続ける。そのような時、手術データの場所は適宜更新される。

図４Ａ、図４Ｂ及び図４Ｃは、現在の関心領域４０６を基に動的に配置された例示的な手術データオーバーレイ４０８を示す図である。図４Ａは、手術部位４０１の画像４００を示す。画像４００内に手術ツール４０４が見える。画像４００は、第１の位置４０２にある手術データオーバーレイ４０８を含む。第１の位置４０２は手術部位４０１内の現在の関心領域４０６に基づく。関心領域４０６の場所４０７は、画像４００内に見えるツール４０４の場所を基に、上述のようにユーザの眼が向けられている領域を基に、又はユーザの注目領域（ａｒｅａｏｆｆｏｃｕｓ）を示す他の情報を基に特定されてもよい。

図４Ｂは、関心領域４０６が異なる場所４１２に移動した後の手術部位４０１の画像４１０を示す。一例では、関心領域４０６は、ユーザの眼が新たな場所４１２に向けられていることを検出したことに応じて新たな場所４１２に移動してもよい。一例では、関心領域４０６は、ツール４０４が新たな場所４１２に移動したことを検出したことに応じて新たな場所４１２に移動してもよい。関心領域４０６が新たな場所４１２に移動したため、手術データオーバーレイ４０８もまた、新たな位置４１６に移動している。新たな位置４１６は関心領域４０６の場所４１２に基づく。特に、新たな位置４１６は、新たな場所４１２にある関心領域４０６の頂部の近傍である。

図４Ｃは、関心領域４０６が画像内の別の異なる場所４２２に移動した後の手術部位４０１の画像４２０を示す。一例では、関心領域４０６は、ＯＣＴビームが新たな場所４２２に現在向けられていることを検出したことに応じて新たな場所４２２に移動してもよい。関心領域４０６が新たな場所４２２に移動したため、手術データオーバーレイ４０８もまた、新たな位置４２６に移動している。新たな位置４２６は関心領域４０６の場所４２２に基づく。特に、新たな位置４２６は新たな場所４２２にある関心領域４２６の頂部の近傍にある。

図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄは、関心領域５０６及びユーザの好みを基に動的に配置された例示的な手術データオーバーレイを有する画像を示す図である。一部の例では、制御システムは、手術データオーバーレイ５０４を関心領域５０６に対して配置するためのデフォルト設定を有してもよい。例えば、デフォルト設定は、手術データオーバーレイ５０４を関心領域５０６の頂部近傍に配置するものであってもよい。しかし、一部のユーザは関心領域５０６に対する手術データオーバーレイ５０４の他の位置の方を好む場合がある。したがって、ユーザは、イメージングシステムの設定を、手術データオーバーレイ５０４を関心領域５０６に対し所望の位置に表示するように変更する能力を有してもよい。

図５Ａは、手術データオーバーレイ５０４が関心領域５０６の頂部近傍の位置５０２にある、手術部位５０１の画像５００を示す。この例では、このような位置５０２はツール５０８を部分的に遮っている。ユーザは自身が、通常、ツールを特定の位置から操作することを知っていれば、ユーザは制御システムを通じて、手術データオーバーレイが常に関心領域５０６に対して特定の位置にあるように好みを設定してもよい。図５Ｂは、手術データオーバーレイ５０４が関心領域５０６の右下側の位置５１２にある、手術部位５０１の画像５１０を示す。図５Ｃは、手術データオーバーレイ５０４が関心領域５０６の右側の位置５２２にある、手術部位５０１の画像５２０を示す。図５Ｄは、手術データオーバーレイ５０４が関心領域５０６の左側の位置５３２にある、手術部位５０１の画像５３０を示す。設定又は選択されてもよいいくつかのユーザの好みには、例えば、手術データオーバーレイを関心領域の中心の頂部、下部、左、又は右に有するかどうかを含む。

一部の例では、関心領域５０６に対する手術データオーバーレイ５０４の位置は、様々な要因を基に動的に特定されてもよい。例えば、手術データオーバーレイ５０４がツール５０８のいかなる部分も遮らないことの方をユーザが好むのであれば、ユーザは、図５Ｂに示すように、手術データオーバーレイ５０４がツール５０８を遮らないように配置されるよう好みを設定してもよい。一部の例では、しかしながら、ユーザは、図５Ｃ及び図５Ｄに示すように、ツール５０８の先端部が遮られないままで、手術データオーバーレイ５０４がツール５０８の一部分の上に配置されることを望んでもよい。したがって、ユーザはこのような機能性を提供するように設定を適宜変更することができる。したがって、ユーザが関心領域内の様々な位置にツール５０８を移動させると、手術データオーバーレイ５０４はツール５０８の先端部を尚露出させたままの状態でツールに追従してもよい。

図６及び図７は、それぞれツールベースのトラッキング及びアイトラッキングを用いて現在の関心領域を特定するイメージングシステム６００、７００を示す図である。図６は、ツールトラッキングを用いる例示的なイメージングシステム６００を示す図である。本例によれば、イメージングシステムは、ディスプレイモジュール６０２と、イメージングモジュール６０４と、トラッキングモジュール６０６と、制御モジュール６０８と、を含む。これらモジュールのいずれも、制御システム１１２若しくは図１のシステム１００の他の要素の一部を成してもよい、又は制御システム１１２若しくは図１のシステム１００の他の要素を利用してもよい。

イメージングモジュール６０４は、患者の眼６１０などの手術部位の画像を得るように構成されたハードウェア、ソフトウェア、又は両者の組み合わせを含む。このような画像内に含まれるのは、照明器６１２及び鉗子６１４などの種々の手術ツール６１２、６１４であってもよい。イメージングモジュール６０４は、顕微鏡イメージングシステム（例えば、図１の参照符号１０６）及びＯＣＴイメージングシステム（例えば、図１の参照符号１０８）を含んでもよい。イメージングモジュール６０４はディスプレイモジュール６０２にイメージングデータを提供する。

ディスプレイモジュール６０２は、ユーザに対し画像を表示するように構成されたハードウェア、ソフトウェア、又は両者の組み合わせを含む。特に、ディスプレイモジュール６０２はイメージングモジュール６０４により得た画像を表示する。このような画像は、上述のように、手術部位の画像及びオーバーレイ内に呈示される手術データを含んでもよい。手術データオーバーレイが呈示される手法は制御モジュール６０８から受信した命令を基にしてもよい。ディスプレイモジュール６０８は上述の画像ビューア１０４に対応してもよい。

制御モジュール６０８は、イメージングモジュール６０４により得た画像をディスプレイモジュール６０２による表示用に配置するように構成されたハードウェア、ソフトウェア、又は両者の組み合わせを含む。特に、制御モジュールは、トラッキングモジュール６０４から、現在の関心領域を特定するために使用され得るトラッキングデータを受信する。この例では、トラッキングモジュール６０６は画像内のツール６１４の場所を追跡する。特に、トラッキングモジュール６０６はツール６１４の場所及び／又は向きを特定する。この情報に基づき、画像内の関心領域を推測することができる。例えば、ツールの先端部が特定領域内を移動している場合、制御モジュール６０８はその特定領域を含む関心領域を画定する。制御モジュール６０８は上述の制御システム１１２に対応してもよい。

図７は、ユーザの眼を追跡するように設計されたトラッキングモジュール７０２を含むイメージングシステム６２０を示す。トラッキングモジュール７０２は、制御システム１１２若しくは図１のシステム１００の他の要素の一部を成してもよい、又は制御システム１１２若しくは図１のシステム１００の他の要素を利用してもよい。トラッキングモジュール７０２は、ディスプレイモジュール６０８によって表示されている画像内のどこにユーザの眼が向けられているかを検出するように構成されている。トラッキングモジュール７０２は分析のために制御モジュール６０８にこのような情報を提供することができる。例えば、ユーザが患者の眼６１０の特定領域を見ている場合、制御モジュール６０８はその特定領域を含む関心領域を特定することができる。

本明細書中に記載される原理を用いることで、ユーザは手術部位を見る際により良い経験を得ることができる。特に、ユーザは手術データオーバーレイを見たいときに毎回画像の頂部を見る必要はない。むしろ、手術データオーバーレイはそれがユーザにとって便利な位置にあるように連続的に位置変更される。

当業者であれば、本開示によって包含される実施形態は上述の特定の例示的実施形態に限定されないと理解するであろう。この点に関して、例示的な実施形態を示し、記載してきたが、前述の開示の広範な修正、変更及び置換は考えられる。本開示の範囲から逸脱することなく、前述のものに対しこのような変更を施してもよいことは理解される。したがって、添付の特許請求の範囲が広く且つ本開示に合致するように解釈されることは適切である。

Claims

表示最適化のための方法であって、当該方法はコンピューティングシステムによって実施され、当該方法は、
イメージングシステムから手術部位の画像を受信するステップと、
前記画像内の第１の場所において関心領域を特定するステップと、
第１の位置において手術データオーバーレイを生成するステップであって、前記第１の位置は前記関心領域の前記第１の場所と関連付けられている、ステップと、
前記関心領域が前記画像内の第２の場所に移動したことを検出するステップと、
前記関心領域が前記第２の場所に移動したことを検出するステップに応じて、前記手術データオーバーレイを第２の位置に移動するステップであって、前記第２の位置は前記第２の場所と関連付けられている、ステップと、
前記画像及び前記手術データオーバーレイをユーザに対して表示するステップと、
を含む、方法。
前記関心領域を特定するステップは、ツールトラッキングシステムによって、ツールの特定部分が動作している前記画像内の領域を検出することを含む、請求項１に記載の方法。
前記ツールトラッキングシステムは、前記画像の分析を基に前記ツールの場所を特定する、請求項２に記載の方法。
前記関心領域が前記第２の場所に移動したことを検出するステップは、前記ツールの前記特定部分が前記第２の場所に移動したことを特定することを含む、請求項２に記載の方法。
前記関心領域を特定するステップは、前記ユーザの眼が向けられている前記画像内の領域を検出することを含む、請求項１に記載の方法。
前記関心領域が前記第２の場所に移動したことを検出するステップは、前記ユーザの眼が前記第２の場所に向け直されたことを特定することを含む、請求項５に記載の方法。
前記手術データオーバーレイは、ＯＣＴイメージングシステムにより得た前記関心領域の光干渉断層（ＯＣＴ）画像を含む、請求項１に記載の方法。
前記関心領域を特定するステップは、ＯＣＴビームが向けられている前記画像の領域を特定することを含む、請求項１に記載の方法。
前記ＯＣＴビームが向けられている前記画像の前記領域を特定することは、前記画像を分析してＯＣＴスペクトル内の光を検出することを含む、請求項１に記載の方法。
前記イメージングシステムは顕微鏡イメージングシステムを含む、請求項１に記載の方法。
前記ＯＣＴイメージングシステムはエンドプローブを含む、請求項７に記載の方法。
前記手術データオーバーレイの手術データは、前記手術部位のプリスキャン診断画像、病理データ、手描きグラフ、手術パラメータ、並びに内境界膜（ＩＬＭ）、網膜上膜（ＥＲＭ）、前記ＥＲＭの厚さ、１つ以上の網膜層の厚さ、１つ以上の網膜血管の血流速度、網膜血管造影情報、１つ以上の網膜層の特性情報、前記ＥＲＭの輪郭、網膜下液（ＳＲＦ）、前記（ＳＲＦ）の厚さ、及び前記ＳＲＦの量のうちの少なくとも１つを強調する、前記手術部位の画質向上した画像のうちの少なくとも１つを含む、請求項１に記載の方法。
ユーザの好みを基に前記手術データを前記関心領域に対して重ね合わせるステップを更に含む、請求項１に記載の方法。
前記手術部位は網膜の一部を含む、請求項１に記載の方法。
手術部位の画像を得るためのイメージングモジュールと、
前記手術部位の前記画像をユーザに対して表示し、
手術データを前記手術部位の前記画像に重ね合わせて表示するためのディスプレイモジュールと、
第１の場所における前記手術部位の関心領域を特定するためのトラッキングモジュールと、
前記トラッキングモジュールからのデータを基に、前記関心領域が第２の場所に移動したことを検出し、
前記新たな関心領域に基づき、前記手術データを前記画像上の新たな位置に移動するよう前記ディスプレイモジュールに命令するための制御モジュールと、
を含む、システム。
前記トラッキングモジュールは、前記画像内のツールを追跡すること、前記画像のどこに前記ユーザの眼が向けられているかを特定すること、及び前記画像内のどこに光干渉断層（ＯＣＴ）ビームが向けられているかを特定すること、のうちの少なくとも１つを基に、前記関心領域を検出するように構成されている、請求項１５に記載のシステム。
前記手術データは前記関心領域にあるＯＣＴ画像を含む、請求項１５に記載のシステム。
表示最適化のための方法であって、当該方法はコンピューティングシステムによって実施され、当該方法は、
イメージングシステムから手術部位の画像を受信するステップと、
前記画像内の関心領域を特定するステップと、
前記画像内の第１の位置において手術データオーバーレイを生成するステップであって、前記第１の位置は前記関心領域の第１の場所と関連付けられており、前記手術データオーバーレイは前記関心領域の光干渉断層（ＯＣＴ）画像を含む、ステップと、
前記関心領域が第２の場所に移動したことを検出するステップと、
前記関心領域が前記第２の場所に移動したことを検出するステップに応じて、ユーザの好み及び前記関心領域の前記第２の場所の両方を基に、前記画像内の前記手術データオーバーレイの第２の位置を特定するステップと、
前記画像及び前記第２の位置にある手術データオーバーレイをユーザに対して表示するステップと、
を含む、方法。
前記関心領域を特定するステップ及び前記関心領域が第２の場所に移動したことを特定するステップは、前記画像内に存在するツールの場所を検出すること、ＯＣＴビームが向けられている領域を検出すること、及びユーザの眼が向けられている前記画像の領域を検出すること、のうちの１つを含む、請求項１８に記載の方法。
前記ＯＣＴ画像は、エンドプローブを含むＯＣＴイメージングシステムから取得される、請求項１８に記載の方法。