JP2022116430A - 制御装置、制御システム及び制御方法 - Google Patents

Abstract

【課題】眼科手術サポートの利便性を向上させることが可能な制御装置、制御システム及び制御方法を提供する。
【解決手段】制御装置８は、眼科の手術における術野の画像を取得する取得部８１と、取得部の取得結果に基づいて、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定する決定部８２と、決定部の決定結果に従ってレーザ照射を制御するレーザ制御部８３と、を備える。決定部８２は、ポインティング及び属性選択に基づいて、対象領域を特定する。
【選択図】図３

Description

本開示は、制御装置、制御システム及び制御方法に関する。

眼科手術においてレーザ照射が行われることが知られている（例えば特許文献１を参照）。

特開２０２０－３９４０２号

例えば、眼科手術では、術者が顕微鏡で術野を観察しながら、単純な機能を持つ術具を用いて手術を行う。術野の視認性不十分や施術対象の網羅的な把握が困難であるといった理由から、手術効率が悪くなる。レーザ照射等の処置においてヒューマンエラーが生じたり、処置に時間がかかったりするといった問題もある。より利便性が向上された（インテリジェントな）手術サポートが期待されている。

本開示の一側面は、手術サポートの利便性を向上させることが可能な制御装置、制御システム及び制御方法を提供する。

本開示の一側面に係る制御装置は、眼科の手術における術野の画像を取得する取得部と、取得部の取得結果に基づいて、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定する決定部と、決定部の決定結果に従ってレーザ照射を制御するレーザ制御部と、を備える。

本開示の一側面に係る制御システムは、レーザ装置と、レーザ装置によるレーザ照射を制御する制御装置と、を備え、制御装置は、眼科の手術における術野の画像を取得する取得部と、取得部の取得結果に基づいて、画像に示される眼部位の領域にレーザ装置による手術中のレーザ照射を行うべきか否かを決定する決定部と、決定部の決定結果に従ってレーザ装置によるレーザ照射を制御するレーザ制御部と、を含む。

本開示の一側面に係る制御方法は、制御装置が、眼科の手術における術野の画像を取得することと、制御装置が、取得結果に基づいて、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定することと、制御装置が、決定結果に従ってレーザ照射を制御することと、を含む。

実施形態に係る制御システムの概略構成の例を示す図である。 制御システムの詳細構成の例を示す図である。 制御装置の概略構成の例を示す図である。 取得部が取得する画像の例を模式的に示す図である。 取得部が取得する画像の例を模式的に示す図である。 ポインティングの例を模式的に示す図である。 ポインティングの例を模式的に示す図である。 属性選択の例を模式的に示す図である。 属性選択の例を模式的に示す図である。 対象領域特定の例を模式的に示す図である。 レーザ照射の制御の例を模式的に示す図である。 レーザ照射の制御の例を模式的に示す図である。 画像の重畳の例を模式的に示す図である。 マーキングの例を模式的に示す図である。 ガイド情報提示の例を模式的に示す図である。 制御装置において実行される処理の例を示すフローチャートである。 装置のハードウェア構成の例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。

以下に示す項目順序に従って本開示を説明する。
１．序
２．実施形態
２．１ ポインティング
２．２ 属性選択
２．３ 対象領域特定
２．４ 重畳画像
２．５ マーキング
２．６ ガイド情報提示
３．ハードウェア構成の例
４．変形例
５．効果の例

１．序
開示される技術は、例えば眼科手術に用いられる。レーザ照射を手作業で行うと、誤って傷害を起こす範囲にレーザ照射する可能性がある。広範囲への照射に時間を要する可能性もある。対象範囲及び位置等の視認性向上を実現して手術を効率的に進めたいが、非侵襲でこれを実現する手段が存在しない。すなわち、手術中に施術や観察の対象に関する範囲や位置を指定するのが容易でないという課題が存在する。指定の際に手術前に取得した画像を参照することに価値があるが、術野に適切にマッピングして術野と同様に観察するのが容易でないという課題も存在する。これらの課題は、開示されるいくつかの技術によって対処されうる。なお、本開示において、「撮像」は、「撮影」を含む意味であってよい。

２．実施形態
図１は、実施形態に係る制御システムの概略構成の例を示す図である。例示される制御システム１は、ベッドＢに横たわっている患者の眼の手術に用いられる手術システムである。制御システム１のユーザの例は、医師等の術者、術者をサポート等する医療スタッフである。

手術には、顕微鏡装置が用いられる。顕微鏡装置の構成要素のうち、図１には、対物レンズ３１、接眼レンズ５及びＵＩ部４２（この例ではモニタ等として描かれている）に符号が付されている。術者は、接眼レンズ５を覗き、また、必要に応じてＵＩ部４２に表示される情報も参照しながら、手術部位を例えば拡大観察して手術を行う。手術部位は、この例では、患者の眼である。眼を構成する部位（以下、「眼部位」という。）のうちの１つまたはいくつかの眼部位の領域（例えば病変部位）にレーザが照射される。なお、ＵＩ部４２は、顕微鏡装置とは別の構成要素（例えば別体）であってもよい。

制御システム１は、上述の顕微鏡装置（対物レンズ３１、接眼レンズ５及び提示部４１等）の他に、レーザ装置７と、制御装置８とを含む。

レーザ装置７は、手術用のレーザを出射する。レーザは、レーザ装置７からのケーブル７１及びレーザプローブ７２を介して照射される。例えば、レーザプローブ７２のレーザ出射端が照射対象の近くに位置するように、レーザプローブ７２が眼部内に挿入され、レーザ照射される。ケーブル７１及びレーザプローブ７２は、レーザ装置７の構成要素であってもよいし、制御装置８の構成要素であってもよい。

制御装置８は、制御システム１の全体制御を行う。詳細は後に図２以降を参照して説明する。

図２は、制御システムの詳細構成の例を示す図である。制御システム１は、これまで説明した対物レンズ３１、接眼レンズ５及びＵＩ部４２（顕微鏡装置の構成要素の例）並びにレーザ装置７及び制御装置８の他に、光源２と、観察光学系３と、提示部４１と、正面画像撮像部６１と、断層画像撮像部６２と、ユーザ画像撮像部６３とを含む。

光源２は、手術対象の領域に照明光を照射し、術野を照明する。照明された術野からの光の少なくとも一部（観察光）が、観察光学系３の対物レンズ３１に入射する。この例では、観察光学系３は、対物レンズ３１及び図示しないレンズ等、並びにハーフミラー３２を含む。対物レンズ３１に入射した観察光の一部（例えば略半分）はハーフミラー３２を透過し、さらに提示部４１も透過して（理由は後述する）、接眼レンズ５に入射する。観察光の残部は、ハーフミラー３２で反射し、正面画像撮像部６１に到達する。

接眼レンズ５は、観察光を集光し、術野の光学像を結像させる。結像された術野の光学像が、接眼レンズ５を覗く術者によって観察される。

提示部４１及びＵＩ部４２について説明する。これらは、制御システム１のユーザ（術者等）との間で情報のやり取りを行うユーザインタフェースの例である。

提示部４１は、観察光学系３を覗いている術者に情報を提示する。この例では、提示部４１は、観察光学系３と接眼レンズ５との間に設けられる透過型の表示デバイスである。したがって、上述のように、ハーフミラー１４からの観察光が、提示部４１を透過して接眼レンズ５に入射する。手術サポートに供することのできる情報（画像等）が、提示部４１によって提示（表示）される。術者は、術野を観察して手術を行うとともに、必要に応じて、提示部４１によって提示される情報を参照する。

ＵＩ部４２は、ユーザに情報を提示したり、ユーザ操作を受け付けたりする。ＵＩ部４２は、先の図１に例示されるようなモニタ、図示しない操作盤（コントローラ、リモートコントローラ等）等を含んで構成される。モニタはタッチパネルであってよく、その場合、操作盤の機能の一部又は全部がモニタによって実現されうる。他にも、スピーカ、マイク、ランプ（回転灯、表示灯等）等、ユーザとの間で情報のやり取りを行うためのさまざまな要素がＵＩ部４２に含まれてよい。

正面画像撮像部６１、断層画像撮像部６２及びユーザ画像撮像部６３について説明する。これらは、手術に関するさまざまな画像を取得する画像撮像部の例である。

正面画像撮像部６１は、正面画像を撮像する。正面画像は、手術部位を正面から観察した画像であり、例えば患者の眼を略眼軸方向から撮像した画像である。正面画像は、術野画像に相当し得る。正面画像撮像部６１は、例えばビデオカメラ等を含んで構成される。

断層画像撮像部６２は、断層画像を撮像する。断層画像は、手術部位の断面画像、例えば患者の眼における眼軸方向と略平行な方向の断面の画像である。断層画像撮像部６２は、例えば光干渉断層計（ＯＣＴ：Optical Coherence Tomography）、シャインプルークカメラ等を含んで構成される。例えば、赤外光を用いて、干渉原理により、断層画像が取得される。その際の赤外光の光路と、観察光学系３内の観察光の光路の一部とが共通化されてよい。

ユーザ画像撮像部６３は、ユーザ画像を撮像する。ユーザ画像撮像部６３は、ユーザの視線を特定できるような画像、例えばユーザの顔等の画像を撮像する。ユーザの視線の例は、ＵＩ部４２のモニタを見ているユーザ（例えば術者）の視線である。ユーザ画像撮像部６３は、モニタ付近に設けられたビデオカメラ等を含んで構成される。

レーザ装置７は、先に述べたように手術用のレーザを出射する。手術中、レーザ装置７によるレーザ照射が、自動及び／又は手動で制御される。自動制御は、例えば制御装置８によって行われる。手動制御は、ユーザ（例えば術者）によって行われる。レーザ照射の制御の例は、レーザの照射位置、レーザを照射する／照射しない（レーザのオン／オフ）、照射態様（照射期間、照射回数等）、レーザの強度等である。

制御装置８は、制御システム１全体の動作を制御する。制御に必要な情報は、制御装置８と他の構成要素との間で適宜送受信される。例えば、制御装置８は、光源２を制御することによって、照明の位置、輝度等を調節する。制御装置８は、観察光学系３を制御することによって、観察の位置、倍率等を調節する。制御装置８は、提示部４１を制御することによって、手術サポートに供することのできる情報（画像等）を術者に提示する。制御装置８は、ＵＩ部４２を制御することによって、ユーザ操作を受け付けたり、手術サポートに供することのできる情報（画像等）を術者等に提示したりする。制御装置８は、正面画像撮像部６１、断層画像撮像部６２及びユーザ画像撮像部６３を制御することによって、正面画像、断層画像及びユーザ画像を撮像する。

以上説明したようなレーザ照射が可能な制御システム１は、例えば眼内手術に適用される。眼内手術の例は、網膜硝子体手術である。そのような手術においては、例えば術者がレーザプローブ７２の姿勢とレーザ照射を手動制御することで、レーザ照射によるレーザ光凝固を実現している。このような手動制御は、多くの場合かなり時間を要する。とくに経験の浅い術者の場合には、誤ってレーザ照射してはいけない黄斑や視神経乳頭に照射を行ってしまうといったヒューマンエラーが発生する可能性がある。制御装置８によれば、レーザ照射に要する時間を低減したり、ヒューマンエラーの発生を抑制したりできる可能性が高められる。

図３は、制御装置の概略構成の例を示す図である。制御装置８は、取得部８１と、決定部８２と、レーザ制御部８３とを含む。

取得部８１は、眼科の手術における術野画像を取得する。以下、とくに説明がある場合を除き、取得部８１によって取得される術野画像を、単に画像という。

画像は、手術中に撮像された画像（手術中画像）であってよい。この場合、例えば、取得部８１は、手術中に正面画像撮像部６１によって撮像された画像を取得する。

画像は、手術前に撮像された画像（手術前画像）であってよい。手術前画像は、例えば後述するように、手術中画像に重畳されて用いられる。手術前画像は、例えば手術室とは別の部屋（検査室等）において撮像される、Ｆｌｕｏｒｅｓｃｅｉｎ Ａｎｇｉｏｇｒａｐｈｙの画像やＯＣＴ Ａｎｇｉｏｇｒａｐｈｙの画像のようなモダリティ画像であってよい。これにより、例えば血管及び血管に関連する眼部位（漏出点等）の描出が容易になる。手術前画像に対して決定した（手術前に決定した）眼部位の領域へのレーザ照射制御（詳細は後述する）を、手術中にそのまま採用することもできる。医師、医療機関等におけるワークフローは個別的であるため、それぞれのワークフローに照らした場合により効率化を実現できる可能性が高まる。

図４及び図５は、制御装置が取得する画像の例を模式的に示す図である。図４には、手術中画像の例が示される。いくつかの眼部位及び術具、例えば視神経乳頭やレーザプローブが画像中に示される。図５には、手術前画像の例が示される。例示される手術前画像は、蛍光眼底造影（fluorescein angiography）画像である。いくつかの眼部位、例えば視神経乳頭や血管瘤、無灌流領域、漏出点が画像中に示される。

図３に戻り、決定部８２は、取得部８１の取得結果（画像）に基づいて、画像に示される眼部位の領域にレーザ照射を行うべきか否かを決定する。ここでのレーザ照射は、手術中のレーザ照射であってよい。決定結果の例は、眼部位の領域と、手術中のレーザ照射の許可／禁止とを対応づけたデータである。眼部位の領域は、例えば位置、範囲等によって表される。決定部８２による決定の詳細は後述する。

以下、とくに説明がある場合を除き、手術中のレーザ照射を単に「レーザ照射」という。また、決定部８２による決定の対象となる眼部位の領域を、「対象領域」という。対象領域の例は、網膜裂孔の領域、血管瘤の領域、無灌流領域の領域、漏出点の領域、出血点の領域、黄斑の領域、視神経乳頭の領域及び血管の分岐点の領域等である。

レーザ制御部８３は、決定部８２の決定結果に従って、レーザ装置７によるレーザ照射を制御する。先に述べたように、レーザ照射は自動及び／又は手動で制御される。レーザ制御部８３は、その自動及び／又は手動でのレーザ照射の制御が、上述の決定部８２の決定結果に反しないように、レーザの照射を制御する。例えば、決定部８２によってレーザ照射が禁止された対象領域に対しては、レーザのオンを指示する手動操作等が、レーザ制御部８３によって無効化される。

自動制御の場合、レーザ制御部８３は、例えばレーザプローブ７２を保持するロボット（不図示）を制御して、レーザの照射位置を制御する。その際、レーザ制御部８３は、取得部８１が取得した画像或いは後述の重畳画像を参照し、また、決定部８２の決定結果に従って、レーザ照射を行う。例えば、レーザ制御部８３は、レーザプローブ７２からのエイミングビームが、レーザ照射が許可された領域にあることを確認する等の安全策をとったうえで、レーザ照射を行う。レーザ照射の際には、予め術者等により設定された照射数や照射密度に従うようにしてもよい。

再び決定部８２について説明する。決定部８２は、これまで説明した制御システム１のさまざまな構成要素を利用して、対象領域を特定する。一実施形態において、決定部８２は、ユーザ操作に基づいて、対象領域を特定する。対象領域の特定は、例えば次に説明する「ポインティング」、「属性選択」及び「対象領域特定」によって行われる。

２．１ ポインティング
ポインティングは、画像中の位置を指定するユーザ操作の例である。ポインティングにより、対象領域の概略位置が指定される。ポインティングは、必要に応じて、画像（後述の重畳画像でもよい）が提示された状態で行われる。例えば、決定部８２は、提示部４１によって画像が提示されるように提示部４１を制御したり、ＵＩ部４２によって画像が提示（モニタ表示等）されるようにＵＩ部４２を制御したりする。

ポインティングは、ＵＩ部４２のコントローラ等の操作等によって行われてもよいが、手術中の術者の手術行為を妨げにくくする等の観点から、例えば次に図６及び図７を参照して説明するような、利便性が向上された操作が採用されてよい。

図６及び図７は、ポインティングの例を模式的に示す図である。図６に例示されるポインティングは、提示された画像中の位置をユーザの視線で指定するユーザ操作である。画像を見ているユーザの視線を視線Ｌと称し矢印で模式的に図示する。決定部８２は、ユーザ画像撮像部６３によって撮像されたユーザ画像に基づいて、ユーザの視線を検出する。視線検出には、種々の公知の手法が用いられてよい。検出されたユーザの視線に示される画像中の位置（矢印の先端位置に相当）が指定される。

図７に例示されるポインティングは、画像中の位置を術具の位置で指定するユーザ操作である。決定部８２は、例えば正面画像撮像部６１によって撮像された正面画像に示される術具Ｔ（より具体的には術具Ｔの先端部ＴＥ）の、正面画像中の位置を検出する。位置検出には、画像認識等を含む種々の公知の手法が用いられてよい。検出された位置が、画像中の位置として指定される。術具は、指定する位置に接触していなくともよい（非接触状態でもよい）。なお、このポインティングはユーザが画像を見なくとも行い得るので、画像提示は必須ではない。

２．２ 属性選択
属性選択は、眼部位の属性を選択するユーザ操作の例である。眼部位の属性の例は、眼部位の特徴、性質、種類等を示す。眼部位の属性の例は、網膜裂孔、血管瘤、無灌流領域、漏出点、出血点、黄斑、視神経乳頭、及び、血管の分岐点等である。

図８及び図９は、属性選択の例を模式的に示す図である。図８に例示される属性選択は、準備された複数の属性から所望の属性を選択（メニュー選択等）するユーザ操作である。この例では、ＧＵＩ（Graphical user interface)によってリスト表示された「網膜裂孔」、「血管瘤」、「無灌流領域」、「漏出点」及び「出血点」等のうち、「無灌流領域」が、眼部位の属性として選択される。

図９に例示される属性選択は、ユーザの音声で眼部位の属性を選択（音声選択）するユーザ操作である。この例では、ユーザが発声した音声から、「無灌流領域」が認識される。音声は、例えばＵＩ部４２のマイクによって取得される。音声認識には、種々の公知の手法が用いられてよい。認識された属性が、眼部位の属性として選択される。

２．３ 対象領域特定
対象領域特定は、対象領域を自動的に特定する処理である。対象領域が正確かつ容易に特定される。例えば、決定部８２は、画像に対する画像認識結果に基づいて、対象領域を特定する（画像認識等する）。画像認識結果の例は、画像中の眼部位の領域（位置、範囲等）及び属性等である。画像認識には、種々の公知の画像認識エンジン、画像認識モデル（学習済みモデル等）等が用いられてよい。

決定部８２は、ポインティングに基づいて、対象領域を特定してよい。その場合、決定部８２は、画像認識結果に基づいて、ポインティングによって指定された画像中の位置に対応する眼部位の領域を、対象領域として特定する。例えば、ポインティングによって指定された画像中の位置に対応する範囲（ポインティング範囲）内の眼部位の領域が、対象領域として特定される。ポインティング範囲は、例えば、ポインティングされた位置を含み所定の大きさを有する範囲であってよい。範囲の大きさ、形状等は適宜設定されてよい。

決定部８２は、属性選択に基づいて、対象領域を特定してよい。その場合、決定部８２は、画像認識結果に基づいて、属性選択によって選択された属性の眼部位の領域を、対象領域として特定する。

決定部８２は、ポインティング及び属性選択に基づいて、対象領域を特定してよい。その場合、決定部８２は、画像認識結果に基づいて、属性選択で選択された属性の眼部位の領域のうちポインティングによって指定された画像中の位置に対応する眼部位の領域（例えばその位置の近傍にあるもの）を、対象領域として特定する。

なお、決定部８２は、ポインティングにも属性選択にも基づかず、対象領域を特定してもよい。例えば、決定部８２は、画像認識結果に基づいて、画像に示される眼部位のうち、デフォルト設定等によって指定された属性の眼部位の領域を、対象領域として特定してよい。

図１０は、対象領域特定の例を模式的に示す図である。この例では、属性選択で選択された属性の眼部位の領域のうちポインティングによって指定された画像中の位置近傍にある領域が、対象領域として特定される。特定された対象領域を、対象領域Ｒと称し図示する。対象領域Ｒは、この例では無灌流領域である。

例えば以上のようにして、対象領域が特定され、レーザ照射を行うべきか否かが決定される。先にも述べたように、レーザ制御部８３は、その決定結果に従って、レーザ照射を制御する。

図１１及び図１２は、レーザ照射の制御の例を模式的に示す図である。図１１に示される例では、レーザの照射位置及び照射が自動制御される。レーザの照射が許可された対象領域を、照射許可領域ＲＡと称し図示する。例示される照射許可領域ＲＡは、無灌流領域であり、レーザ照射が許可された眼部位の領域である。レーザ制御部８３は、レーザプローブ７２の先端が照射許可領域ＲＡ付近に位置するようにレーザプローブ７２の位置を制御する。レーザ制御部８３は、適切な数及び密度等（例えば指定された数及び密度等）で照射許可領域ＲＡ内にレーザが照射されるように、レーザ装置７を制御する。

図１２に示される例では、レーザの照射位置及び照射が手動制御され、レーザ照射の禁止による術者補助（手術サポートの例）が制御装置８によって行われる。レーザの照射が禁止された対象領域を、照射禁止領域ＲＦ１及び照射禁止領域ＲＦ２と称し図示する。例示される照射禁止領域ＲＦ１及び照射禁止領域ＲＦ２は、黄斑及び視神経乳頭である。レーザ制御部８３は、エイミングビームＡＢが照射禁止領域ＲＦ１又は照射禁止領域ＲＦ２に位置しているとき、或いはその領域付近（所定距離の範囲内等）に位置しているときには、術者等からの照射指示（照射操作）にかかわらず、レーザ照射を禁止する。この例では、エイミングビームＡＢが照射禁止領域ＲＦ１に位置しており、レーザ照射が禁止される。

以上説明したように、制御装置８によりレーザ装置７を制御することで、レーザ照射が許可された対象領域へのレーザの自動照射が実現されたり、レーザ照射が禁止された対象領域へのレーザ照射回避等が実現されたりする。自動照射により、手動照射よりも手術時間を短縮し、手術の効率化が実現される。レーザ照射回避により、ヒューマンエラーを低減できる。

例えば、視線等によるポインティングと、音声等による属性選択と、対象領域特定（画像認識等）とを組み合わせることで、対象領域を正確かつ容易に特定することができる。

２．４ 重畳画像
提示される画像は、重畳画像であってよい。例えば、決定部８２は、手術中画像に手術前画像が重畳された重畳画像を生成し、生成した重畳画像が提示されるように、提示部４１、ＵＩ部４２等を制御する。

決定部８２は、重畳画像において、手術中画像及び手術前画像それぞれに示される眼部位同士が一致するように（マッピングされるように）、手術前画像を幾何変換し、手術中画像に重畳してよい。一致させる眼部位は、任意に設定されてよく、例えば黄斑、視神経乳頭、血管の分岐点等であってよい。位置合わせは、各眼部位の画像認識結果等に基づいて行われてよい。

幾何変換は、線形幾何変換であってもよいし、非線形幾何変換であってもよい。線形幾何変換の例は、アフィン変換等である。非線形幾何変換の例は、モーフィング等である。非線形幾何変換を用いることで、線形幾何変換を用いる場合よりも位置合わせ精度が向上する。というのも、画像及び重畳画像それぞれの取得における撮像光学系等の違いにより、それらの画像は、アフィン変換などの線形幾何変換では画像中の各部位（黄斑、視神経乳頭、血管の分岐点等）を正解に位置合わせすることはできない場合が少なくないからである。非線形幾何変換による重畳画像を用いることで、対象領域の位置、範囲等をより適切に特定することができる。

手術前画像が片眼画像であり、手術中画像が両眼画像であってもよい。その場合、決定部８２は、片眼画像を両眼画像の両眼それぞれに重畳してよい。両眼それぞれにおける眼部位のパターンが類似しているという性質を利用したものである。上述の幾何変換は、両眼それぞれに応じて行われてよい。

マッピングは、術者の左右の眼用のそれぞれの画像に行うようにしても良い。このような画像は、例えば提示部４１によって提示される。術者は、重畳画像を３Ｄで観察することが可能になる。

重畳は半透過の形で実施しても良い。半透過にすることで手術中画像における術具等と手術前画像における眼部位の位置関係の把握等が可能になる。

図１３は、画像の重畳の例を模式的に示す図である。手術前画像を、画像Ｐ１と称し図示する。画像Ｐ１は、片眼画像である。手術中画像を、画像Ｐ２と称し図示する。画像Ｐ２は、両眼画像である。画像Ｐ１が、これまで説明したように幾何変換され、画像Ｐ２に示される一方の眼の部分及び他方の眼の部分それぞれに重畳される。

上述のような重畳画像が提示されることにで。手術前画像を基準とした対象領域の決定が可能になる。手術中に比べて検査の自由度の高い手術前画像を利用可能にすることで、例えば、選択対象の属性範囲を広げることができる。マッピング精度が高まり、適切な位置、範囲等の選択が可能になる。両眼用の画像それぞれにマッピングすることで、３Ｄ観察も実現可能になる。

２．５ マーキング
決定部８２は、対象領域がマーキングされるように、画像の提示を制御してよい。マーキングは、対象領域の強調提示（表示）、位置情報提示等に活用される。手術の途中で、後に続く工程での利用を目的に対象領域をマーキングしておきたい場合がある。これまでは、例えばジアテルミーを用いた焼灼により対象を白く変色させるような方法しか無かったが、このような手法は眼組織への侵襲を伴うリスクもある。提示される画像において対象領域がマーキングされることで、そのようなリスクを避けることができる。マーキングがあることで、対象領域を探す手間等を減らすことができる。

図１４は、マーキングの例を模式的に示す図である。この例では、対象領域は、網膜裂孔であり、その輪郭がハイライト線Ｈで強調表示される。ハイライト線Ｈは、視認性の高い色で表示されてよい。なお、図１４に示される例に限らず、あらゆる態様のマーキングが用いられてよい。

２．６ ガイド情報提示
決定部８２は、対象領域が術野外（手術中画像の外側）に位置しているときに、術野を対象領域に導くガイド情報が提示されるように、画像の提示を制御してよい。対象領域は、上述のようにマーキングされた対象領域であってよい。ガイド情報は、例えば、対象領域の存在位置の方向等を示す情報である。例えば、決定部８２は、対象領域の位置情報及び現在の術野の位置情報等を、画像認識等によって把握し、それらの位置情報の比較結果等に基づいて、ガイド情報を生成する。

図１５は、ガイド情報提示の例を模式的に示す図である。対象領域が手術中画像の外側（術野外）に位置している。この例では、現在の術野よりも右上の方向に対象領域が位置しており、その対象領域の位置の方向を示すガイド矢印Ｇが表示される。

上述のようなガイド情報提示により、対象領域を探す手間の低減、及び、観察するための術野移動の把握による視認の容易化が実現され、手術の効率化が実現される。

図１６は、制御装置において実行される処理（制御方法、制御装置の作動方法）の例を示すフローチャートである。具体的な処理はこれまで説明したとおりであるので、説明は繰り返さない。

ステップＳ１において、制御装置が、画像を取得する。制御装置８の取得部８１が、これまで説明したように、術野の画像を取得する。

ステップＳ２において、制御装置が、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定する。制御装置８の決定部８２が、先のステップＳ１で取得された画像に示される眼部位から、これまで説明したように、対象領域を特定し、特定した対象領域にレーザ照射を行うべきか否かを決定する。

ステップＳ３において、制御装置が、決定結果に従ってレーザ照射を制御する。制御装置８のレーザ制御部８３が、先のステップＳ２での決定結果に従って、これまで説明したように、レーザ照射を制御する。

３．ハードウェア構成の例
図１７は、装置のハードウェア構成の例を示す図である。これまで説明した制御装置８は、例えば、コンピュータを制御装置８として機能させるソフ卜ウェア（プログラム）によって実現されてよい。

コンピュータにおいて、ＣＰＵ(Central Processing Unit)３０１、ＲＯＭ(Read Only Memory)３０２、ＲＡＭ(Random Access Memory)３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記録部３０８、通信部３０９及びドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロフォン、撮像素子等よりなる。出力部３０７は、ディスプレイ、スピーカ等よりなる。記録部３０８は、ハードディスクや不揮発性のメモリ等よりなる。通信部３０９は、ネッ卜ワークインタフェース等よりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体３１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、ＲＡＭ３０３にロードして実行することにより、これまで説明した制御装置８の制御が実行される。

コンピュータ（ＣＰＵ３０１)が実行するプログラムは、例えば、パッケージメディア等としてリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、口一カルエリアネットワーク、インタ一ネッ卜、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記録部３０８に、あらかじめインストールしておくことができる。

４．変形例
開示される技術は上記実施形態に限定されない。いくつかの変形例について説明する。

制御装置８の決定部８２は、上述のポインティング、属性選択及び対象領域特定のすべての機能を備えている必要は無い。例えば、決定部８２は、それらの機能のうちの、ポインティング機能だけを備えていてよい。他の機能を備えない分、決定部８２の構成、ひいては制御装置８の構成を簡素化することができる。

上記実施形態では、対象領域への施術等は、レーザ照射に限定されない。他のさまざまな施術等を対象領域に行うべきか否かが、決定部８２によって決定されてよい。他の施術の例は、網膜下注射や冷凍凝固等である。

制御システム１の構成要素、制御装置８の構成要素等は、別個の筐体に収納され、ネットワークを介して接続されていてもよい。例えば、１つの機能をネットワークを介して複数の装置で分担、共同して処理するような、クラウドコンピューティング構成が採用されてもよい。

５．効果の例
以上説明した制御装置８は、例えば次のように特定される。図１～図３等を参照して説明したように、制御装置８は、取得部８１と、決定部８２と、レーザ制御部８３と、を備える。取得部８１は、眼科の手術における術野の画像を取得する。決定部８２は、取得部８１の取得結果に基づいて、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定する。レーザ制御部８３は、決定部８２の決定結果に従ってレーザ照射を制御する。

上記の制御装置８によれば、例えば、レーザ照射が許可された対象領域へのレーザの自動照射が実現されたり、レーザ照射が禁止された対象領域へのレーザ照射回避等が実現されたりする。自動照射により、手動照射よりも手術時間を短縮し、手術の効率化が実現される。レーザ照射回避により、ヒューマンエラーを低減できる。したがって、手術サポートの利便性を向上させることが可能になる。

図６～図９等を参照して説明したように、取得部８１は、画像に示される眼部位のうち、ユーザ操作に基づいて特定された眼部位の領域（対象領域）にレーザ照射を行うべきか否かを決定してよい。これにより、ユーザが意図する眼部位の領域へのレーザ照射を制御することができる。

図６及び図７を参照して説明したように、ユーザ操作は、画像中の位置を指定するユーザ操作であってよい。ユーザ操作は、提示された画像中の位置をユーザの視線で指定するユーザ操作であってよい。ユーザ操作は、画像中の位置を術具の位置で指定するユーザ操作であってよい。これにより、ユーザが指定する位置に応じた眼部位の領域へのレーザ照射を制御することができる。

図８及び図９等を参照して説明したように、決定部８２は、画像に示される眼部位のうち、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域にレーザ照射を行うべきか否かを決定してよい。ユーザ操作は、ユーザの音声で眼部位の属性を選択するユーザ操作であってよい。眼部位の属性は、網膜裂孔、血管瘤、無灌流領域、漏出点、出血点、黄斑、視神経乳頭及び血管の分岐点の少なくとも一つを含んでよい。これにより、ユーザが選択する属性の眼部位の領域へのレーザ照射を制御することができる。

図１０等を参照して説明したように、決定部８２は、画像に対する画像認識結果に基づいて特定された画像中の位置に対応する眼部位の領域にレーザ照射を行うべきか否かを決定してよい。これにより、自動的に特定された眼部位の領域へのレーザ照射を制御することができる。

図６～図１０を参照して説明したように、決定部８２は、画像に対する画像認識結果に基づいて、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域のうち、画像中の位置を指定するユーザ操作に基づいて特定された画像中の位置に対応する領域にレーザ照射を行うべきか否かを決定してよい。例えばこのようにして、レーザ照射を行うべきか否かの決定の対象となる眼部位の領域を正確かつ容易に決定することができる。

図１３等を参照して説明したように、決定部８２は、手術中画像に手術前画像（例えばモダリティ画像）を重畳させて提示された重畳画像中の位置を指定するユーザ操作に基づいて特定された画像中の位置に対応する眼部位の領域にレーザ照射を行うべきか否かを決定してよい。重畳画像は、手術中画像及び手術前画像それぞれに示される眼部位同士が一致するように幾何変換（例えば非線形幾何変換）された手術前画像が手術中画像に重畳された重畳画像であってよい。手術前画像を用いることで、いくつかの眼部位の描出が容易になり、対象領域の範囲／位置等を決定し易くなる。非線形幾何変換による重畳画像を用いることで、線形幾何変換による重畳画像を用いる場合よりも、対象領域の範囲／位置等をより適切に決定することが可能になる。

図１４等を参照して説明したように、決定部８２は、決定対象となった眼部位の領域がマーキングされるように、画像の提示を制御してよい。これにより、例えばジアテルミーを用いた焼灼等によるマーキングによって生じうる眼組織への侵襲リスクを回避して、マーキングを行うことができる。マーキングによって、対象領域を探す手間等を減らすことができる。

図１５等を参照して説明したように、決定部８２は、決定対象となった眼部位の領域が術野外に位置しているときに、術野を当該眼部位に導くガイド情報（例えばガイド矢印Ｇ）が提示されるように、画像の提示を制御してよい。これにより、決定対象となった眼部位の領域（対象領域）を探す手間の低減、及び、観察するための術野移動の把握による視認の容易化が実現され、手術の効率化が実現される。

取得部８１が取得する画像は、手術前画像（例えばモダリティ画像）を含んでよい。手術前画像が決定部８２の決定に用いられることで、例えば、手術前に決定した眼部位に対するレーザ照射／非照射がそのまま採用されうる。医師、医療機関等におけるワークフローは個別的であるため、それぞれのワークフローに照らした場合により効率化を実現できる可能性が高められる。

決定部８２の決定対象となる眼部位の領域は、網膜裂孔の領域、血管瘤の領域、無灌流領域の領域、漏出点の領域、出血点の領域、黄斑の領域、視神経乳頭の領域及び血管の分岐点の領域の少なくとも一つを含んでよい。例えばこのようなさまざまな眼部位の領域へのレーザ照射を制御することができる。

図１～図３等を参照して説明した制御システム１も、本開示の一態様である。制御システム１は、レーザ装置７と、レーザ装置７によるレーザ照射を制御する制御装置８と、を備える。制御装置８は、眼科の手術における術野の画像を取得する取得部８１と、取得部８１の取得結果に基づいて、画像に示される眼部位の領域にレーザ装置７による手術中のレーザ照射を行うべきか否かを決定する決定部８２と、決定部８２の決定結果に従ってレーザ装置７によるレーザ照射を制御するレーザ制御部８３と、を含む。このような制御システム１によっても、これまで説明したように、手術サポートの利便性を向上させることが可能になる。

図１６等を参照して説明した制御方法も、本開示の一態様である。制御方法は、制御装置８が、眼科の手術における術野の画像を取得すること（ステップＳ１）と、制御装置８が、取得結果に基づいて、画像に示される眼部位の領域に手術中のレーザ照射を行うべきか否かを決定すること（ステップＳ２）と、制御装置８が、決定結果に従ってレーザ照射を制御すること（ステップＳ３）と、を含む。このような制御方法によっても、これまで説明したように、手術サポートの利便性を向上させることが可能になる。

なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。

以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
眼科の手術における術野の画像を取得する取得部と、
前記取得部の取得結果に基づいて、前記画像に示される眼部位の領域に前記手術中のレーザ照射を行うべきか否かを決定する決定部と、
前記決定部の決定結果に従って前記レーザ照射を制御するレーザ制御部と、
を備える、
制御装置。
（２）
前記決定部は、前記画像に示される眼部位のうち、ユーザ操作に基づいて特定された眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（１）に記載の制御装置。
（３）
前記決定部は、前記画像に示される眼部位のうち、前記画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（２）に記載の制御装置。
（４）
前記決定部は、前記画像に示される眼部位のうち、提示された前記画像中の位置をユーザの視線で指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（２）に記載の制御装置。
（５）
前記決定部は、前記画像に示される眼部位のうち、前記画像中の位置を術具の位置で指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（２）に記載の制御装置。
（６）
前記決定部は、前記画像に示される眼部位のうち、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（２）～（５）のいずれかに記載の制御装置。
（７）
前記決定部は、前記画像に示される眼部位のうち、ユーザの音声で眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（６）に記載の制御装置。
（８）
前記眼部位の属性は、網膜裂孔、血管瘤、無灌流領域、漏出点、出血点、黄斑、視神経乳頭及び血管の分岐点の少なくとも一つを含む、
（６）又は（７）に記載の制御装置。
（９）
前記決定部は、前記画像に対する画像認識結果に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（１）～（８）のいずれかに記載の制御装置。
（１０）
前記決定部は、前記画像に対する画像認識結果に基づいて、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域のうち、前記画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する領域に前記レーザ照射を行うべきか否かを決定する、
（１）～（９）のいずれかに記載の制御装置。
（１１）
前記決定部は、手術中画像に手術前画像を重畳させて提示された重畳画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
（２）～（１０）のいずれかに記載の制御装置。
（１２）
前記重畳画像は、前記手術中画像及び前記手術前画像それぞれに示される眼部位同士が一致するように幾何変換された前記手術前画像が前記手術中画像に重畳された重畳画像である、
（１１）に記載の制御装置。
（１３）
前記幾何変換は、非線形幾何変換である、
（１２）に記載の制御装置。
（１４）
前記決定部は、決定対象となった眼部位の領域がマーキングされるように、前記画像の提示を制御する、
（１）～（１３）のいずれかに記載の制御装置。
（１５）
前記決定部は、決定対象となった眼部位の領域が術野外に位置しているときに、術野を当該眼部位に導くガイド情報が提示されるように、前記画像の提示を制御する、
（１）～（１４）のいずれかに記載の制御装置。
（１６）
前記取得部が取得する前記画像は、手術前画像を含む、
（１）～（１５）のいずれかに記載の制御装置。
（１７）
前記手術前画像は、モダリティ画像である、
（１１）～（１３）及び（１６）のいずれかに記載の制御装置。
（１８）
前記決定部の決定対象となる眼部位の領域は、網膜裂孔の領域、血管瘤の領域、無灌流領域の領域、漏出点の領域、出血点の領域、黄斑の領域、視神経乳頭の領域及び血管の分岐点の領域の少なくとも一つを含む、
（１）～（１７）のいずれかに記載の制御装置。
（１９）
レーザ装置と、
前記レーザ装置によるレーザ照射を制御する制御装置と、
を備え、
前記制御装置は、
眼科の手術における術野の画像を取得する取得部と、
前記取得部の取得結果に基づいて、前記画像に示される眼部位の領域に前記レーザ装置による前記手術中のレーザ照射を行うべきか否かを決定する決定部と、
前記決定部の決定結果に従って前記レーザ装置による前記レーザ照射を制御するレーザ制御部と、
を含む、
制御システム。
（２０）
制御装置が、眼科の手術における術野の画像を取得することと、
前記制御装置が、取得結果に基づいて、前記画像に示される眼部位の領域に前記手術中のレーザ照射を行うべきか否かを決定することと、
前記制御装置が、決定結果に従って前記レーザ照射を制御することと、
を含む、
制御方法。

１ 制御システム
２ 光源
３ 観察光学系
４１ 提示部
４２ ＵＩ部
５ 接眼レンズ
６１ 正面画像撮像部
６２ 断層画像撮像部
６３ ユーザ画像撮像部
７ レーザ装置
８ 制御装置
８１ 取得部
８２ 決定部
８３ レーザ制御部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記録部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブル記録媒体

Claims (20)

1. 眼科の手術における術野の画像を取得する取得部と、
   前記取得部の取得結果に基づいて、前記画像に示される眼部位の領域に前記手術中のレーザ照射を行うべきか否かを決定する決定部と、
   前記決定部の決定結果に従って前記レーザ照射を制御するレーザ制御部と、
   を備える、
   制御装置。
2. 前記決定部は、前記画像に示される眼部位のうち、ユーザ操作に基づいて特定された眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項１に記載の制御装置。
3. 前記決定部は、前記画像に示される眼部位のうち、前記画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項２に記載の制御装置。
4. 前記決定部は、前記画像に示される眼部位のうち、提示された前記画像中の位置をユーザの視線で指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項２に記載の制御装置。
5. 前記決定部は、前記画像に示される眼部位のうち、前記画像中の位置を術具の位置で指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項２に記載の制御装置。
6. 前記決定部は、前記画像に示される眼部位のうち、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項２に記載の制御装置。
7. 前記決定部は、前記画像に示される眼部位のうち、ユーザの音声で眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項６に記載の制御装置。
8. 前記眼部位の属性は、硝子体、網膜裂孔、血管瘤、無灌流領域、漏出点、黄斑、視神経乳頭及び血管の分岐点の少なくとも一つを含む、
   請求項６に記載の制御装置。
9. 前記決定部は、前記画像に対する画像認識結果に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
   請求項１に記載の制御装置。
10. 前記決定部は、前記画像に対する画像認識結果に基づいて、眼部位の属性を選択するユーザ操作によって選択された属性の眼部位の領域のうち、前記画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する領域に前記レーザ照射を行うべきか否かを決定する、
    請求項１に記載の制御装置。
11. 前記決定部は、手術中画像に手術前画像を重畳させて提示された重畳画像中の位置を指定するユーザ操作に基づいて特定された前記画像中の位置に対応する眼部位の領域に前記レーザ照射を行うべきか否かを決定する、
    請求項２に記載の制御装置。
12. 前記重畳画像は、前記手術中画像及び前記手術前画像それぞれに示される眼部位同士が一致するように幾何変換された前記手術前画像が前記手術中画像に重畳された重畳画像である、
    請求項１１に記載の制御装置。
13. 前記幾何変換は、非線形幾何変換である、
    請求項１２に記載の制御装置。
14. 前記決定部は、決定対象となった眼部位の領域がマーキングされるように、前記画像の提示を制御する、
    請求項１に記載の制御装置。
15. 前記決定部は、決定対象となった眼部位の領域が術野外に位置しているときに、術野を当該眼部位に導くガイド情報が提示されるように、前記画像の提示を制御する、
    請求項１に記載の制御装置。
16. 前記取得部が取得する前記画像は、手術前画像を含む、
    請求項１に記載の制御装置。
17. 前記手術前画像は、モダリティ画像である、
    請求項１１に記載の制御装置。
18. 前記決定部の決定対象となる眼部位の領域は、網膜裂孔の領域、血管瘤の領域、無灌流領域の領域、漏出点の領域、出血点の領域、黄斑の領域、視神経乳頭の領域及び血管の分岐点の領域の少なくとも一つを含む、
    請求項１に記載の制御装置。
19. レーザ装置と、
    前記レーザ装置によるレーザ照射を制御する制御装置と、
    を備え、
    前記制御装置は、
    眼科の手術における術野の画像を取得する取得部と、
    前記取得部の取得結果に基づいて、前記画像に示される眼部位の領域に前記レーザ装置による前記手術中のレーザ照射を行うべきか否かを決定する決定部と、
    前記決定部の決定結果に従って前記レーザ装置による前記レーザ照射を制御するレーザ制御部と、
    を含む、
    制御システム。
20. 制御装置が、眼科の手術における術野の画像を取得することと、
    前記制御装置が、取得結果に基づいて、前記画像に示される眼部位の領域に前記手術中のレーザ照射を行うべきか否かを決定することと、
    前記制御装置が、決定結果に従って前記レーザ照射を制御することと、
    を含む、
    制御方法。

Images