JP2016112358A - 情報処理装置、手術顕微鏡システム及び情報処理方法 - Google Patents

Abstract

【課題】高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供すること。【解決手段】本技術に係る情報処理装置は、拡大率取得部と、画像生成部とを具備する。拡大率取得部は、施術対象の眼が撮影された画像である参照画像と、参照画像が撮影された時刻とは異なる時刻に施術対象の眼が撮影された画像である対象画像について、対象画像の参照画像に対する拡大率を取得する。画像生成部は、拡大率取得部によって取得された拡大率に基づいて、眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する。【選択図】図３

Description

本技術は、眼科手術をガイドする情報処理装置、手術顕微鏡システム及び情報処理方法に関する。

眼科手術等で用いられる施術ガイド装置は、施術対象の眼を撮影した画像にナビゲーション情報を重畳させ、施術者に提示する（例えば、特許文献１参照）。ナビゲーション情報は例えば術具の挿入位置や眼内レンズの挿入位置を示す情報である。具体的には、施術ガイド装置は、術前に検査装置により撮影された眼の画像（以下、検査画像）を施術者に提示する。施術者は検査画像を参照して術具の挿入位置や眼内レンズの向き等を検討し、術前計画として検査画像に対して指定する。

施術ガイド装置は、施術開始前に手術顕微鏡を介して撮像された施術対象の眼の画像（以下、手術画像）と検査画像を比較し、両画像の位置合わせ（レジストレーション）を行った上で検査画像において指定された術前計画をナビゲーション情報として手術画像に重畳させ、施術者に提示する。

施術が開始されると、施術ガイド装置は、眼の動きをトラッキング処理（連続又は任意のフレーム間の位置合わせ）により追跡し、眼の動きに応じてナビゲーション情報を更新する。施術者はナビゲーション情報を参照しながら施術を行うことにより、経験不足を補い、あるいは手術の安全性や術後ＱｏＬ（quality of life）を向上させることが可能となる。

特開２０１４−１２１６４３号公報

上記のように、ナビゲーション情報は、検査画像と手術画像の間での位置合わせや手術画像同士での位置合わせに基づいてその配置が決定される。ここで、画像間においては回転やスケール変化、照明変化等が生じる場合がある。施術ガイド装置は、このような撮像条件の変化に応じて高速かつ高精度にナビゲーション情報を更新する必要がある。しかしながら、位置合わせ処理は計算量も多く、処理速度と精度を両立させることは容易ではない。

以上のような事情に鑑み、本技術の目的は、高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、拡大率取得部と、画像生成部とを具備する。
上記拡大率取得部は、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する。
上記画像生成部は、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する。

この構成によれば、参照画像と対象画像の拡大率に基づいてナビゲーション情報を含むナビゲーション画像が生成される。参照画像と対象画像の拡大率は、これらの画像を撮影する撮影装置（手術顕微鏡等）の拡大倍率や撮影装置と眼の距離等によって変動するが、本情報処理装置は拡大率の変動をナビゲーション画像の生成に利用することが可能である。

上記拡大率取得部は、上記参照画像において検出された物体の像の大きさと、上記対象画像において検出された上記物体の像の大きさの比率に基づいて上記拡大率を取得してもよい。

この構成によれば、拡大率取得部は、参照画像と対象画像に含まれる物体（眼の角膜や
瞳孔、施術者により眼に施されたマーカー等）の大きさの比率を利用して参照画像と対象画像の拡大率を取得することができる。

上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離と、上記対象画像が撮影されたときの撮影装置と上記眼の距離の比率に基づいて上記拡大率を取得してもよい。

この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置と施術対象の眼の距離を利用して参照画像と対象画像の拡大率を取得することができる。

上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて上記拡大率を取得してもよい。

この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置のズーム率を利用して参照画像と対象画像の拡大率を取得することができる。

上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率の比率に基づいて上記拡大率を取得してもよい。

この構成によれば、拡大率取得部は、撮影装置から取得した撮影装置と施術対象の眼の距離と撮影装置のズーム率の両者を利用して参照画像と対象画像の拡大率を取得することができる。

上記画像生成部は、上記拡大率を利用して上記参照画像と上記対象画像の画像マッチングを行い、上記画像マッチングの結果を用いて上記ナビゲーション画像を生成してもよい。

画像マッチングは、マッチングの対象である参照画像と対象画像の拡大率が予め判明していれば、より高速かつ高精度に実行することが可能となる。上記構成によれば、画像生成部は拡大率取得部によって取得された拡大率を利用して高速かつ高精度に画像マッチングを実行することが可能となる。

上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出してもよい。

この構成によれば、特徴点検出部は、予め判明している拡大率を利用して対象画像における特徴点検出の検出速度を高速化させることが可能である。

上記特徴点検出部は、上記参照画像と上記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、上記参照画像と上記対象画像のそれぞれに対して上記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
上記スケール範囲決定部は、上記対象画像についてのスケール範囲を上記拡大率によって制限してもよい。

画像マッチング手法であるＳＩＦＴ（Scale-Invariant Feature Transform）においては、画像間のスケール（拡大率）が既知の場合、ＤｏＧ（Difference of Gaussian）値が極値となる標準偏差を推定することができ、その近傍範囲の標準偏差値のみを探索範囲としてＤｏＧ値の極値を探索すればよいため、計算量を削減することが可能である。このため、上記構成によれば、画像間のスケール（拡大率）が未知の場合に比べ、特徴点検出の検出速度を高速化することが可能であり、即ち画像マッチングの速度を高速化することが可能である。

上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行ってもよい。

この構成によれば、特徴点マッチング部は、参照画像と対象画像の特徴点のペアの正誤判定に予め判明している拡大率を利用することができ、特徴点マッチングの精度を向上させることが可能である。

上記特徴点マッチング部は、上記参照画像において検出された特徴点と上記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、上記特徴点ペアのスケール比率によって上記特徴点ペアの正誤を判定するスケール値比較部とを備え、
上記スケール値比較部は、正判定とするスケール比率を上記拡大率によって制限してもよい。

ＳＩＦＴにおいては、比較対象の画像においてそれぞれ検出された特徴点を特徴量の相関値を利用してペアとし、特徴点ペアを生成する。ここで、特徴量の相関値は画像中のノイズの影響等により攪乱され、相関値が最大のペアが必ずしも正しいペアではない場合がある。上記構成によれば、特徴点マッチング部は、特徴量の相関値に加え、特徴点ペアのスケール比率を比較することによって特徴点ペアの正誤を判定することができ、画像間のスケールが未知の場合に比べ、特徴点マッチングの精度を向上させることが可能である。

上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出し、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行ってもよい。

上記のように画像生成部は、特徴点検出に拡大率を利用することにより、特徴点検出の速度を向上させ、特徴点マッチングに拡大率を利用することにより、特徴点マッチングの精度を向上させることが可能である。即ち画像生成部は、拡大率を利用することにより、画像マッチングの速度と精度を共に向上させることが可能である。

上記画像生成部は、上記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成してもよい。

この構成によれば、情報処理装置は、拡大率に応じて適したナビゲーション情報を施術者に提示することが可能となる。

上記画像生成部は、上記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、上記拡大率が閾値以上の場合、上記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成してもよい。

この構成によれば、施術者が対象画像の拡大率を大きくすると、小さい間隔の目盛りを有する第２のナビゲーション情報が提示され、施術者が対象画像の拡大率を小さくすると、大きい間隔の目盛りを有する第２のナビゲーション情報が提示される。これにより、施術者の意図に応じて適切な目盛りを有するナビゲーション情報が提示され、施術者の利便性を向上させることが可能となる。

上記目的を達成するため、本技術の一形態に係る手術顕微鏡システムは、手術顕微鏡と、情報処理装置とを具備する。
上記手術顕微鏡は、施術対象の眼を撮影する。
上記情報処理装置は、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える。

上記目的を達成するため、本技術の一形態に係る情報処理方法は、拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する。
画像生成部が、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する。

以上のように、本技術によれば、高速かつ高精度に眼科手術のためのナビゲーション情報を提示することが可能な情報処理装置を提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の各実施形態に係る手術顕微鏡システムの利用が可能な眼科手術のプロセスを示す模式図である。 同手術顕微鏡システムの利用が可能な眼科手術のプロセスを示す模式図である。 本技術の第１の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムが取得する検査画像及び術前計画の例である。 同手術顕微鏡システムが出力するナビゲーション画像の例である。 同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの角膜検出部によって参照画像において検出された角膜半径を示す模式図である。 同手術顕微鏡システムの角膜検出部によって対象画像において検出された角膜半径を示す模式図である。 同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。 同手術顕微鏡システムのハードウェア構成を示すブロック図である。 本技術の第２の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの拡大率取得部が取得する手術顕微鏡と施術対象の眼の距離を示す模式図である。 同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。 本技術の第３の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。 本技術の第４の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの拡大率取得部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの拡大率取得部の動作を示すフローチャートである。 本技術の第５の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。 ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。 ＳＩＦＴにおける、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。 同手術顕微鏡システムの画像生成部の構成を示すブロック図である。 同手術顕微鏡システムの画像生成部が備える特徴点検出部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの画像生成部が備える特徴点検出部の動作を示すフローチャートである。 同手術顕微鏡システムの画像生成部が備える特徴点マッチング部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの画像生成部が備える特徴点マッチング部の動作を示すフローチャートである。 本技術の第６の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。 同手術顕微鏡システムの画像生成部によって選択されるナビゲーション情報を示すグラフである。 同手術顕微鏡システムの画像生成部によって生成されるナビゲーション画像の例である。 本技術の第７の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。 本技術の第８の実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの顕微鏡制御部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの顕微鏡制御部の動作を示すフローチャートである。 本技術の第９実施形態に係る手術顕微鏡システムの構成を示す模式図である。 同手術顕微鏡システムの画像生成部の構成及び動作を示すブロック図である。 同手術顕微鏡システムの画像生成部の動作を示すフローチャートである。

（眼科手術の概要）
本技術の各実施形態に係る手術顕微鏡システムを利用することが可能な眼科手術の概要について説明する。図１及び図２は施術対象の眼Ｅに対する白内障手術のプロセスを示す模式図である。これらの図に示すように、眼Ｅは、角膜１００１、虹彩１００２、水晶体１００３及び強膜１００４等の組織で構成されている。水晶体１００３の表面において虹彩１００２の間が瞳孔１００５であり、角膜１００１の外周が角膜輪部１００６である。

図１に示すように、白内障手術においては、ナイフ等の術具１１００によって角膜１００１に創口１００１ａを形成する。続いて、図２に示すように、創口１００１ａから吸引用の術具１２００を挿入し、水晶体１００３の内部（核や皮質）を吸引、除去する。その後、水晶体３０３を除去した位置に眼内レンズを挿入して手術が完了する。

なお、ここに示した白内障手術は、本技術の各実施形態に係る手術顕微鏡システムの利用が可能な眼科手術の例であり、本技術の各実施形態に係る手術顕微鏡システムは各種の眼科手術において利用することが可能である。また、本技術の各実施形態に係る手術顕微鏡システムは、眼科手術以外の手術に利用することも可能である。

（第１の実施形態）
本技術の第１の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図３は、本実施形態に係る手術顕微鏡システム１の構成を示すブロック図である。同図に示すように、手術顕微鏡システム１は、情報処理装置１０及び手術顕微鏡１５を具備する。

情報処理装置１０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置１０は、手術顕微鏡１５に一体的に構成されていてもよく、手術顕微鏡１５とは独立した装置であってもよい。情報処理装置１０の構成については後述する。

手術顕微鏡１５は、図３に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡１５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡１５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡１５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図３に示すように、情報処理装置１０は、画像取得部１１、入力受付部１２、拡大率取得部１３及び画像生成部１４を具備する。

画像取得部１１は、眼Ｅを含む画像を取得する。画像取得部１１は、検査画像、術前画像及び術中画像を取得するものとすることができる。検査画像は、手術開始前に図示しない検査装置によって撮像される眼Ｅを含む画像であり、術前画像は、手術開始時に手術顕微鏡１５によって撮像される眼Ｅを含む画像である。術中画像は、手術中に手術顕微鏡１５によって撮像される眼Ｅを含む画像である。

画像取得部１１は、検査装置や手術顕微鏡１５等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部１１は、取得した各画像を拡大率取得部１３及び画像生成部１４に供給する。

入力受付部１２は、ユーザによる入力を受け付ける。入力受付部１２は、検査画像における術前計画の指定を受け付けるものとすることができる。図４は、検査画像Ｇ１及び検査画像Ｇ１において指定された術前計画の一例を示す模式図である。なお、図４には瞳孔１００５、虹彩１００２、目蓋１００８及び血管１００９が含まれている。

同図に示すように、術前計画には、術具の挿入位置Ｐ１や眼内レンズの向きＰ２等が含まれる。ユーザは手術開始前に検査画像Ｇ１を参照しながら、術具の挿入位置Ｐ１や眼内レンズの向きＰ２を検討し、術前計画として検査画像Ｇ１において指定することができる。入力受付部１２は、術前計画の入力を受け付け、術前計画を画像生成部１４に供給する。

拡大率取得部１３は、検査画像、術前画像及び術中画像の間で画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部１３は、取得した拡大率を画像生成部１４に供給する。

画像生成部１４は、拡大率取得部１３から供給された拡大率を用いてナビゲーション画像を生成する。画像生成部１４は、手術が開始され、術前画像が撮影されると、検査画像と術前画像の位置合わせ（レジストレーション）を行う。この位置合わせには、ＳＩＦＴ（Scale-Invariant Feature Transform）等の画像マッチング手法が用いられる。画像生成部１４は位置合わせに上記拡大率を利用することができ、その詳細については後述する。

画像生成部１４は、レジストレーションの結果に基づいて、検査画像において指定された術前計画の術前画像における配置を決定し、術前計画をナビゲーション情報として術前画像に重畳させ、ナビゲーション画像を生成する。図５はナビゲーション画像の一例であり、術前画像Ｇ２に、ナビゲーション情報である術具の挿入位置Ｐ１や眼内レンズの向きＰ２が重畳されている。なお、図５には、瞳孔１００５、虹彩１００２、開瞼器により広げられた目蓋１００８及び血管１００９が含まれている。画像生成部１４は生成したナビゲーション画像を図示しないディスプレイに表示させる。

画像生成部１４は、手術が進行し、術中画像が撮影されると、術前画像Ｇ２と術中画像の位置合わせ（トラッキング）を行う。この位置合わせにも、ＳＩＦＴ等の画像マッチング手法が用いられる。画像生成部１４は位置合わせに上記拡大率を利用することができ、その詳細については後述する。

画像生成部１４は、トラッキングの結果に基づいて、術前画像における術前計画の術中画像における配置を決定し、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する（図５参照）。画像生成部１４はナビゲーション画像をディスプレイに表示させ、ナビゲーション画像を更新する。

以後、画像生成部１４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。

上記のように、画像生成部１４は、レジストレーションにおいては検査画像と術前画像を比較し、トラッキングにおいては術前画像と術中画像、あるいは術中画像同士を比較する。検査画像と術前画像は撮影装置や照明等の撮影条件が異なり、術前画像と術中画像、あるいは術中画像同士も眼の位置や顕微鏡の拡大率が相違している可能性があるためである。

以下、比較において参照される画像、即ち、レジストレーションにおける検査画像、トラッキングにおける術前画像又は撮影時刻が過去の術中画像を「参照画像」とする。また、比較において比較対象となる画像、即ち、レジストレーションにおける術前画像、トラッキングにおいて撮影時刻が最も新しい術中画像を「対象画像」とする。

情報処理装置１０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［拡大率取得部の詳細］
上述のように、拡大率取得部１３は、参照画像に対する対象画像の拡大率を取得する。図６は、拡大率取得部１３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部１３は、角膜検出部１３１、記憶部１３２及び拡大率算出部１３３を具備する。

角膜検出部１３１は、参照画像及び対象画像に含まれる角膜を検出し、角膜中心と角膜半径を取得する。図７は、参照画像Ａ１と、参照画像Ａ１において検出された角膜の周縁Ｓ１、角膜中心Ｃ１及び角膜半径Ｒ１を示す模式図である。図８は、対象画像Ａ２と、対象画像Ａ２において検出された角膜の周縁Ｓ２、角膜中心Ｃ２及び角膜半径Ｒ２を示す模式図である。

角膜検出部１３１は、勾配計算、楕円フィッティング、ハフ変換等の一般的な画像処理方法によって各画像において角膜を検出し、角膜中心及び角膜半径を取得することができる。角膜検出部１３１は、参照画像Ａ１において取得した角膜半径Ｒ１を記憶部１３２に供給し、対象画像Ａ２において取得した角膜半径Ｒ２を拡大率算出部１３３に供給する。

記憶部１３２は、角膜検出部１３１から供給された角膜半径Ｒ１を記憶する。

拡大率算出部１３３は、記憶部１３２から角膜半径Ｒ１を、角膜検出部１３１から角膜半径Ｒ２を取得し、角膜半径Ｒ１と角膜半径Ｒ２を用いて拡大率Ｍを算出する。角膜半径は生理的に不変であるため、各画像における角膜半径の変化は、画像自体の拡大率の変化に相当する。このため、拡大率算出部１３３は、角膜半径Ｒ１と角膜半径Ｒ２の比率、即ちＲ２／Ｒ１を拡大率Ｍとして算出する。

図９は、拡大率取得部１３の動作を示すフローチャートである。同図に示すように、角膜検出部１３１は、参照画像Ａ１を取得する（Ｓｔ１０１）と、参照画像Ａ１において角膜を検出し（Ｓｔ１０２）、角膜半径Ｒ１を記憶部１３２に保存する（Ｓｔ１０３）。続いて、角膜検出部１３１は、対象画像Ａ２を取得する（Ｓｔ１０４）と、対象画像Ａ２において角膜を検出し（Ｓｔ１０５）、拡大率算出部１３３に供給する。拡大率算出部１２３は、角膜半径Ｒ１と角膜半径Ｒ２を用いて拡大率Ｍを算出する（Ｓｔ１０６）。

拡大率取得部１３は、以上のようにして拡大率Ｍを取得し、画像生成部１４に供給する。なお、角膜検出部１３１は、参照画像Ａ１及び対象画像Ａ２において、角膜半径の代わりに瞳孔の半径や施術者により施術対象の眼に直接記されたマーカーの大きさを検出してもよく、拡大率算出部１３３は、その比率から拡大率Ｍを算出してもよい。

画像生成部１４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。

［ハードウェア構成］
上記のような情報処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。

図１０は、情報処理装置１０のハードウェア構成を示す模式図である。同図に示すように情報処理装置１０はハードウェア構成として、ＣＰＵ１５０１、メモリ１５０２、ストレージ１５０３及び入出力部（Ｉ／Ｏ）１５０４を有する。これらはバス１５０５によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１５０１は、メモリ１５０２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１５０２に格納する。ＣＰＵ１５０１はマイクロプロセッサであるものとすることができる。

メモリ１５０２はＣＰＵ１５０１によって実行されるプログラム及びデータを格納する。メモリ１５０２はＲＡＭ（Random Access Memory）であるものとすることができる。

ストレージ１５０３は、プログラムやデータを格納する。ストレージ１５０３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。

入出力部１５０４は情報処理装置１０に対する入力を受け付け、また情報処理装置１０の出力を外部に供給する。入出力部１５０４は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。

情報処理装置１０のハードウェア構成はここに示すものに限られず、情報処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

（第２の実施形態）
本技術の第２の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図１１は、本実施形態に係る手術顕微鏡システム２の構成を示すブロック図である。同図に示すように、手術顕微鏡システム２は、情報処理装置２０及び手術顕微鏡２５を具備する。

情報処理装置２０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置２０は、手術顕微鏡２５に一体的に構成されていてもよく、手術顕微鏡２５とは独立した装置であってもよい。情報処理装置２０の構成については後述する。

手術顕微鏡２５は、図１１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡２５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡２５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡２５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図１１に示すように、情報処理装置２０は、画像取得部２１、入力受付部２２、拡大率取得部２３及び画像生成部２４を具備する。

画像取得部２１は、眼Ｅを含む画像を取得する。画像取得部２１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部２１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部２１は、取得した参照画像及び対象画像を拡大率取得部２３及び画像生成部２４に供給する。

入力受付部２２は、ユーザによる情報入力を受け付ける。入力受付部２２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部２２は、入力された術前計画を画像生成部１４に供給する。

拡大率取得部２３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部２３は、取得した拡大率を画像生成部２４に供給する。

画像生成部２４は、拡大率取得部２３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部２４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部２４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を術前画像又は術中画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部２４は、生成したナビゲーション画像をディスプレイに表示させる。

以後、画像生成部２４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。

情報処理装置２０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［拡大率取得部の詳細］
上述のように、拡大率取得部２３は、参照画像に対する対象画像の拡大率を取得する。図１２は、拡大率取得部２３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部２３は、距離取得部２３１、記憶部２３２及び拡大率算出部２３３を具備する。

距離取得部２３１は、検査装置や手術顕微鏡等の撮影装置と施術対象の眼の距離を検出する。図１３は、手術顕微鏡２５と施術対象の眼Ｅを示す模式図である。同図において手術顕微鏡２５と眼Ｅの距離Ｌを示す。距離取得部２３１は、撮影装置から３次元位置座標を取得し、その変位から距離Ｌを取得することができる。また、距離取得部２３１は、撮影装置に設けられた距離センサーの出力に基づいて距離Ｌを取得することもできる。さらに、距離取得部２３１は、撮影装置が複数のカメラを備える場合には、各カメラの視差情報から距離Ｌを取得することもできる。距離取得部２３１はここに示す以外の方法によって距離Ｌを取得してもよい。

距離取得部２３１は、少なくとも参照画像Ａ１が撮像されたときの距離Ｌ（以下、距離Ｌ１）と対象画像Ａ２が撮像されたときの距離Ｌ（以下、距離Ｌ２）を取得する。距離取得部２３１は、距離Ｌ１を記憶部３４２に供給し、距離Ｌ２を拡大率算出部２３３に供給する。

記憶部２３２は、距離取得部２３１から供給された距離Ｌ１を記憶する。

拡大率算出部２３３は、記憶部２３２から距離Ｌ１を、距離取得部２３１から距離Ｌ２を取得し、距離Ｌ１と距離Ｌ２を用いて拡大率Ｍを算出する。撮影装置と施術対象の眼の距離は、画像間の拡大率に密接に関連する。このため、拡大率算出部２３３は、距離Ｌ２と距離Ｌ１の比率、即ちＬ１／Ｌ２を拡大率Ｍとして算出する。

図１４は、拡大率取得部２３の動作を示すフローチャートである。同図に示すように、距離取得部２３１は、参照画像Ａ１が撮像された時刻における距離Ｌ１を取得し（Ｓｔ２０１）、距離Ｌ１を記憶部２３２に保存する（Ｓｔ２０２）。続いて、距離取得部２３１は、対象画像Ａ２が撮像された時刻における距離Ｌ２を取得し（Ｓｔ２０３）、拡大率算出部２３３に供給する。拡大率算出部２３３は、距離Ｌ１と距離Ｌ２を用いて拡大率Ｍを算出する（Ｓｔ２０４）。

拡大率取得部２３は、以上のようにして拡大率Ｍを取得し、画像生成部２４に供給する。画像生成部２４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。

情報処理装置２０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。

（第３の実施形態）
本技術の第３の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図１５は、本実施形態に係る手術顕微鏡システム３の構成を示すブロック図である。同図に示すように、手術顕微鏡システム３は、情報処理装置３０及び手術顕微鏡３５を具備する。

情報処理装置３０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置３０は、手術顕微鏡３５に一体的に構成されていてもよく、手術顕微鏡３５とは独立した装置であってもよい。情報処理装置３０の構成については後述する。

手術顕微鏡３５は、図１５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡３５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡３５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡３５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図１５に示すように、情報処理装置３０は、画像取得部３１、入力受付部３２、拡大率取得部３３及び画像生成部３４を具備する。

画像取得部３１は、眼Ｅを含む画像を取得する。画像取得部３１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部３１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部３１は、取得した参照画像及び対象画像を拡大率取得部３３及び画像生成部３４に供給する。

入力受付部３２は、ユーザによる情報入力を受け付ける。入力受付部３２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部３２は、入力された術前計画を画像生成部３４に供給する。

拡大率取得部３３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部３３は、取得した拡大率を画像生成部３４に供給する。

画像生成部３４は、拡大率取得部３３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部３４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部３４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を対象画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部３４は、生成したナビゲーション画像をディスプレイに表示させる。

以後、画像生成部３４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。

情報処理装置３０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［拡大率取得部の詳細］
上述のように、拡大率取得部３３は、参照画像に対する対象画像の拡大率を取得する。図１６は、拡大率取得部３３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部３３は、ズーム率取得部３３１、記憶部３３２及び拡大率算出部３３３を具備する。

ズーム率取得部３３１は、撮影装置のズーム率を取得する。ズーム率取得部３３１は、検査装置や手術顕微鏡等の撮影装置から、ズーム率を取得する。ズーム率は、撮影装置の光学ズームの倍率及びデジタルズームの倍率である。ズーム率取得部３２１は、少なくとも参照画像Ａ１が撮像されたときのズーム率（以下、ズーム率Ｚ１）と対象画像Ａ２が撮像されたときのズーム率（以下、ズーム率Ｚ２）を取得する。ズーム率取得部３３１は、ズーム率Ｚ１を記憶部３３２に供給し、ズーム率Ｚ２を拡大率算出部３３３に供給する。

記憶部３３２は、ズーム率取得部３２１から供給されたズーム率Ｚ１を記憶する。

拡大率算出部３３３は、記憶部３３２からズーム率Ｚ１を、ズーム率取得部３３１からズーム率Ｚ２を取得し、ズーム率Ｚ１とズーム率Ｚ２を用いて拡大率Ｍを算出する。撮影装置のズーム率は、画像間の拡大率に密接に関連する。このため、拡大率算出部３３３は、ズーム率Ｚ１とズーム率Ｚ２の比率、即ちＺ２／Ｚ１を拡大率Ｍとして算出する。

図１７は、拡大率取得部３３の動作を示すフローチャートである。同図に示すように、ズーム率取得部３３１は、参照画像Ａ１が撮像された時刻におけるズーム率Ｚ１を取得し（Ｓｔ３０１）、ズーム率Ｚ１を記憶部３３２に保存する（Ｓｔ３０２）。続いて、ズーム率取得部３２１は、対象画像Ａ２が撮像された時刻におけるズーム率Ｚ２を取得し（Ｓｔ３０３）、拡大率算出部３３３に供給する。拡大率算出部３２３は、ズーム率Ｚ１とズーム率Ｚ２を用いて拡大率Ｍを算出する（Ｓｔ３０４）。

拡大率取得部３３は、以上のようにして拡大率Ｍを取得し、画像生成部３４に供給する。画像生成部３４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。

情報処理装置３０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。

（第４の実施形態）
本技術の第４の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図１８は、本実施形態に係る手術顕微鏡システム４の構成を示すブロック図である。同図に示すように、手術顕微鏡システム４は、情報処理装置４０及び手術顕微鏡４５を具備する。

情報処理装置４０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置４０は、手術顕微鏡４５に一体的に構成されていてもよく、手術顕微鏡４５とは独立した装置であってもよい。情報処理装置４０の構成については後述する。

手術顕微鏡４５は、図１８に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡４５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡４５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡４５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図１８に示すように、情報処理装置４０は、画像取得部４１、入力受付部４２、拡大率取得部４３及び画像生成部４４を具備する。

画像取得部４１は、施術対象の眼Ｅを含む画像を取得する。画像取得部４１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部４１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部４１は、取得した参照画像及び対象画像を拡大率取得部４３及び画像生成部４４に供給する。

入力受付部４２は、ユーザによる情報入力を受け付ける。入力受付部４２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部４２は、入力された術前計画を画像生成部４４に供給する。

拡大率取得部４３は、参照画像と対象画像の拡大率を取得する。拡大率の取得については後述する。拡大率取得部４３は、取得した拡大率を画像生成部４４に供給する。

画像生成部４４は、拡大率取得部４３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部４４は、第１の実施形態に係る画像生成部１４と同様にＳＩＦＴ等の画像マッチング手法を用いて、検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。画像生成部４４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を術前画像又は術中画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部４４は、ナビゲーション画像をディスプレイに表示させる。

以後、画像生成部４４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。

情報処理装置４０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［拡大率取得の詳細］
上述のように、拡大率取得部４３は、参照画像に対する対象画像の拡大率を取得する。図１９は、拡大率取得部４３の構成及び動作を示すブロック図である。同図に示すように、拡大率取得部４３は、距離取得部４３１、ズーム率取得部４３２、記憶部４３３及び拡大率算出部４３４を具備する。

距離取得部４３１は、検査装置や手術顕微鏡等の撮影装置と施術対象の眼の距離を検出する。距離取得部４３１は、第２の実施形態と同様に、撮影装置から撮影装置と施術対象の眼の距離を取得する。距離取得部４２１は、少なくとも参照画像Ａ１が撮像されたときの撮影装置と眼の距離Ｌ１と対象画像Ａ２が撮像されたときの撮影装置と眼の距離Ｌ２を取得する。距離取得部４３１は、距離Ｌ１を記憶部４３３に供給し、距離Ｌ２を拡大率算出部４３４に供給する。

ズーム率取得部４３２は、撮影装置のズーム率を取得する。ズーム率取得部４３２は、第３の実施形態と同様に、撮影装置からズーム率を取得する。ズーム率取得部４３２は、少なくとも参照画像Ａ１が撮像されたときのズーム率Ｚ１と対象画像Ａ２が撮像されたときのズーム率Ｚ２を取得する。ズーム率取得部４３２は、ズーム率Ｚ１を記憶部４３３に供給し、ズーム率Ｚ２を拡大率算出部４３４に供給する。

記憶部４３３は、距離取得部４３１から供給された距離Ｌ１及びズーム率取得部４３２から供給されたズーム率Ｚ１を記憶する。

拡大率算出部４３４は、記憶部４３３から距離Ｌ１及びズーム率Ｚ１を、距離取得部４３１から距離Ｌ２を、ズーム率取得部４３２からズーム率Ｚ２を取得し、距離Ｌ１、距離Ｌ２、ズーム率Ｚ１及びズーム率Ｚ２を用いて拡大率Ｍを算出する。拡大率算出部４３４は、距離Ｌ２と距離Ｌ１の比率及びズーム率Ｚ１とズーム率Ｚ２の比率の積、即ち（Ｌ１／Ｌ２）×（Ｚ２／Ｚ１）を拡大率Ｍとして算出する。

図２０は、拡大率取得部４３の動作を示すフローチャートである。同図に示すように、距離取得部４３１は、参照画像Ａ１が撮像された時刻における距離Ｌ１を取得し（Ｓｔ４０１）、ズーム率取得部４３２は、同時刻におけるズーム率Ｚ１を取得する（Ｓｔ４０２）。記憶部４３３は、距離Ｌ１及びズーム率Ｚ１を保存する（Ｓｔ４０３）。

続いて、距離取得部４３１は、対象画像Ａ２が撮像された時刻における距離Ｌ２を取得し（Ｓｔ４０４）、拡大率算出部４３４に供給する。ズーム率取得部４３２は、同時刻におけるズーム率Ｚ２を取得し（Ｓｔ４０５）、拡大率算出部４３４に供給する。拡大率算出部４３４は、距離Ｌ１、距離Ｌ２、ズーム率Ｚ１及びズーム率Ｚ２を用いて拡大率Ｍを算出する（Ｓｔ４０６）。

拡大率取得部４３は、以上のようにして拡大率Ｍを取得し、画像生成部４４に供給する。画像生成部４４は上述のように、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行い、ナビゲーション画像を生成する。位置合わせにおける拡大率Ｍの利用については他の実施形態において説明する。

情報処理装置４０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。

（第５の実施形態）
本技術の第５の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図２１は、本実施形態に係る手術顕微鏡システム５の構成を示すブロック図である。同図に示すように、手術顕微鏡システム５は、情報処理装置５０及び手術顕微鏡５５を具備する。

情報処理装置５０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置５０は、手術顕微鏡５５に一体的に構成されていてもよく、手術顕微鏡５５とは独立した装置であってもよい。情報処理装置５０の構成については後述する。

手術顕微鏡５５は、図２１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡５５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡５５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡５５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図２１に示すように、情報処理装置５０は、画像取得部５１、入力受付部５２、拡大率取得部５３及び画像生成部５４を具備する。

画像取得部５１は、眼Ｅを含む画像を取得する。画像取得部５１は第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部５１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部４１は、取得した参照画像及び対象画像を拡大率取得部５３及び画像生成部５４に供給する。

入力受付部５２は、ユーザによる情報入力を受け付ける。入力受付部５２は、第１の実施形態に係る入力受付部１２と同様に、検査画像における術前計画の指定を受け付けるものとすることができる（図４参照）。入力受付部５２は、入力された術前計画を画像生成部３４に供給する。

拡大率取得部５３は、参照画像と対象画像の拡大率を取得する。拡大率取得部５３は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部５３は、取得した拡大率を画像生成部５４に供給する。

画像生成部５４は、拡大率取得部５３から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部５４は、ＳＩＦＴを用いて検査画像と術前画像の位置合わせ（レジストレーション）や術前画像と術中画像の位置合わせ（トラッキング）を行う。この詳細については後述する。画像生成部５４は、位置合わせの結果を用いてナビゲーション情報（術前計画）を対象画像に重畳させ、ナビゲーション画像（図５参照）を生成する。画像生成部４４は、生成したナビゲーション画像をディスプレイに表示させる。

以後、画像生成部５４は、撮影時刻が異なる術中画像（連続する又は任意の間隔のフレーム）を継続的に取得して術中画像同士の間でトラッキングを行い、術前計画をナビゲーション情報として術中画像に重畳させ、ナビゲーション画像を生成する。

情報処理装置５０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［画像生成部の詳細］
上述のように画像生成部５４は、拡大率Ｍに基づいて、ナビゲーション情報を対象画像Ａ２に重畳させ、ナビゲーション画像を生成する。上記のように画像生成部５４は、拡大率Ｍを用いて参照画像Ａ１と対象画像Ａ２の位置合わせ（トラッキング又はレジストレーション）を行う。画像生成部５４はＳＩＦＴ（Scale-Invariant Feature Transform）を利用して位置合わせを行うことができる。

ＳＩＦＴはスケール不変性を特徴とする。スケール不変性を利用すると、スケール（即ち、拡大率）の異なる画像間での位置合わせが可能となる。ＳＩＦＴでは、スケール不変の特徴点を検出するために、入力画像に対してガウシアンフィルタを適用し、平滑化画像を生成する。このとき、ガウシアンフィルタの標準偏差σを少しずつ変化させ、多数の平滑化画像を準備する。

次に、標準偏差σの隣接する平滑化画像の差分画像（ＤｏＧ：Difference of Gaussian）を生成する。例えばＮ枚の平滑化画像を準備した場合、Ｎ−１枚の ＤｏＧ画像が生成される。そして、標準偏差σの連続する３枚のＤｏＧ画像を用いて、注目ピクセルの極値判定を行う。先の例では、極値検出対象画像はＮ−３枚となるため、注目ピクセルに対してＮ−３回の極値判定が実施される。

ここで、ＳＩＦＴは、スケールの異なる画像間の位置合わせが可能である反面、スケールの不変性を実現するために、多数の平滑化画像の生成やＤｏＧ画像の極値探索が必要となり、計算量が大きくなる。スケールが２倍異なる画像間では、対応点の標準偏差σは２倍だけ異なる関係性になっている。画像間のスケールが異なるほど、標準偏差σの値も大きく異なり、より広範囲の標準偏差σを探索する必要があり、計算量が大きくなる。一方で、探索する標準偏差σの範囲(σ^ｍｉｎ−σ^ｍａｘ)を事前に決めてしまうと、この範囲の標準偏差σでは表現できないスケール変化に対応することができず、画像間で対応する特徴点が欠落してしまうことから、位置合わせの精度が低下する。

したがって、スケールが異なる画像間での位置合わせにおいては、標準偏差σの範囲(σ^ｍｉｎ−σ^ｍａｘ)が大きいと位置合わせの精度は高いものの必要な計算量が大きくなる。反対に標準偏差σの範囲(σ^ｍｉｎ−σ^ｍａｘ)が小さいと必要な計算量は小さいものの、位置合わせの精度は小さくなる。これに対し、本実施形態における画像生成部５４は、必要な計算量を抑制しつつ、位置合わせを高精度に実現することが可能である。

画像生成部５４は、上記のようにＳＩＦＴにおいて拡大率Ｍを利用する。拡大率ＭはＳＩＦＴにおけるスケールに相当するため、スケールが既知であることによるＳＩＦＴの高速化及び精度向上が可能である。図２２乃至図２４は、スケールが２倍異なる画像間におけるＤｏＧ極値の関係と探索範囲の設定方法の例を示す模式図である。図２２（ａ）は参照画像Ａ１を示し、図２２（ｂ）は対象画像Ａ２示す。ここでは対象画像Ａ２は参照画像Ａ１の２倍のスケール（拡大率Ｍ＝２）とする。

図２３は参照画像Ａ１の注目ピクセルにけるガウシアンフィルタの標準偏差σとＤｏＧ値の関係を示すグラフである。同図に示すように、ＤｏＧ値が極値を与える標準偏差はσ_１＝６である。図２４は対象画像Ａ２の注目ピクセルにおけるガウシアンフィルタの標準偏差σとＤｏＧ値の関係を示すグラフである。同図に示すように、ＤｏＧ値が極値を与える標準偏差はσ_２＝１２である。

画像間のスケールが未知の場合は、ＤｏＧ値が極値となる標準偏差σ_２に関する事前情報がないため、広範囲の標準偏差値(σ^ｍｉｎ−σ^ｍａｘ)を探索して極値を検出する必要がある。一方で、画像間のスケールが既知の場合は、ＤｏＧ値が極値となる標準偏差σ_２を推定できるため、その近傍範囲の標準偏差値のみを探索すればよい。

次に、画像間の位置合わせ精度の向上について説明する。画像間の位置合わせは、各々の画像で検出された特徴点群から対応する特徴点のペアを選択することで行う。このとき、多数の正しい特徴点のペアが選択されると位置合わせの精度は高く、多数の誤った特徴点のペアが選択されると位置合わせの精度が低くなる。特徴点のマッチング処理は、各特徴点で求めた特徴量の相関値を計算し、最も相関値の高い特徴点を正しいペアとして保持する方法がある。

しかし、実際は、画像中のノイズの影響などにより特徴量が攪乱され、相関値の最大のペアが必ずしも正しいペアでないことが多々ある。これが位置合わせ精度を低下させてしまう原因となる。この問題に対して、画像間のスケールが既知である場合は、特徴点の間で、特徴量の相関値に加えて、スケールの値を比較することで、正しいペアが選ばれる確率を高めることができる。図２２乃至図２４の例では、特徴量の相関値が最大として選択されたペアに対して、そのスケールの関係が２倍より大きく異なるときは、誤ったペアであると判断することができる。

図２５は、画像生成部５４の構成を示すブロック図である。同図に示すように、画像生成部５４は、特徴点検出部５４１、特徴点マッチング部５４２及び画像重畳部５４３を具備する。

特徴点検出部５４１は、参照画像Ａ１及び対象画像Ａ２において特徴点を検出する。図２６は、特徴点検出部５４１の構成及び動作を示すブロック図である。同図に示すように、特徴点検出部５４１は、ＤｏＧ画像作成部５４１１、ＤｏＧ極値探索部５４１２及びスケール範囲決定部５４１３を具備する。

ＤｏＧ画像作成部５４１１は、与えられたスケール範囲及びステップ幅で変更したスケール幅を使った平滑化画像を作成し、隣接する平滑化画像間の差分画像（ＤｏＧ画像）を生成する。ＤｏＧ画像作成部５４１１は、参照画像Ａ１及び対象画像Ａ２に対して共通であるが、与えられるスケール範囲が異なる。

ＤｏＧ画像作成部５４１１は、参照画像Ａ１に対しては、初期値として定められたスケール範囲［σ^ｍｉｎ _ｉｎｉｔ，σ^ｍａｘ _ｉｎｉｔ］を用い、対象画像Ａ２に対しては、スケール範囲決定部５４１３によって定められたスケール範囲［σ^ｍｉｎ _Ａ２，σ^ｍａｘ _Ａ２］を用いる。このスケール範囲は、初期値のスケール範囲より狭く、σ^ｍｉｎ _Ａ２＞σ^ｍｉｎ _ｉｎｉｔであり、σ^ｍａｘ _Ａ２＜σ^ｍａｘ _ｉｎｉｔである。対象画像Ａ２に対しては、探索範囲が狭く設定されるため、探索の高速化を実現することができる。

ＤｏＧ極値探索部５４１２は、連続する３枚のＤｏＧ画像を用いて注目ピクセル毎に極値判定を行い、ＤｏＧ値が極値となるスケールを求めて出力する。ＤｏＧ極値探索部５４１２は、参照画像Ａ１及び対象画像Ａ２に対して共通であるが、参照画像Ａ１に対しては画像全体におけるスケールの最小値σ^ｍｉｎ _Ａ１及びスケールの最大値σ^ｍａｘ _Ａ１をスケール範囲決定部５４１３に供給する。

スケール範囲決定部５４１３は、拡大率取得部５３から供給された拡大率Ｍと参照画像Ａ１のスケール最小値σ^ｍｉｎ _Ａ１及びスケールの最大値σ^ｍａｘ _Ａ１を用いて下記（式１）及び（式２）により対象画像Ａ２のスケールの最小値σ^ｍｉｎ _Ａ２及びスケールの最大値σ^ｍａｘ _Ａ２を決定する。

σ^ｍｉｎ _Ａ２＝Ｍ×σ^ｍｉｎ _Ａ１ （式１）
σ^ｍａｘ _Ａ２＝Ｍ×σ^ｍａｘ _Ａ１ （式２）

スケール範囲決定部５４１３は、［σ^ｍｉｎ _Ａ２，σ^ｍａｘ _Ａ２］を含む範囲で設定されたスケールをＤｏＧ画像作成部５４１１に供給する。

図２７は、特徴点検出部５４１による特徴点検出のフローチャートである。同図に示すように、ＤｏＧ画像作成部５４１１は、参照画像Ａ１のＤｏＧ画像を作成する（Ｓｔ５０１）。続いて、ＤｏＧ極値探索部５４１２は、参照画像Ａ１において注目ピクセル毎にＤｏＧ値が極値となるスケールを探索する（Ｓｔ５０２）。ＤｏＧ極値探索部５４１２は、最小値σ^ｍｉｎ _Ａ１及び最大値σ^ｍａｘ _Ａ１をスケール範囲決定部５４１３に供給する（Ｓｔ５０３）。

続いて、スケール範囲決定部５４１３は、拡大率取得部５３から拡大率Ｍを取得し（Ｓｔ５０４）、最小値σ^ｍｉｎ _Ａ２（＝Ｍ×σ^ｍｉｎ _Ａ１）及び最大値σ^ｍａｘ _Ａ２（＝Ｍ×σ^ｎａｘ _Ａ１）を対象画像Ａ２のスケール範囲として決定する（Ｓｔ５０５）。続いて、ＤｏＧ画像作成部５４１１は、対象画像Ａ２のＤｏＧ画像を作成し（Ｓｔ５０６）、ＤｏＧ極値探索部５４１２は、対象画像Ａ２において注目ピクセル毎にＤｏＧ値が極値となるスケールを探索（Ｓｔ５０７）する。

特徴点検出部５４１はこのようにして参照画像Ａ１及び対象画像Ａ２において特徴点を検出し、特徴点マッチング部５４２に供給する。

特徴点マッチング部５４２は、参照画像Ａ１及び対象画像Ａ２において検出された特徴点をマッチングする。図２８は、特徴点マッチング部５４２の構成及び動作を示すブロック図である。同図に示すように、特徴点マッチング部５４２は、特徴量計算部５４２１、特徴量相関値計算部５４２２、特徴点ペア選択部５４２３及びスケール値比較部５４２４を具備する。

特徴量計算部５４２１は、参照画像Ａ１及び対象画像Ａ２に対して共通であり、両画像における各々の特徴点に対して特徴量を計算し、特徴量相関値計算部５４２２に供給する。

特徴量相関値計算部５４２２は、参照画像Ａ１の着目する特徴点と対象画像Ａ２の各々の特徴点の間で特徴量の相関値を計算し、特徴点ペア選択部５４２３に供給する。

特徴点ペア選択部５４２３は、参照画像Ａ１の各特徴点に対して相関値が最大となる対象画像Ａ２の特徴点を算出し、特徴点ペアとしてスケール値比較部５４２４に供給する。

スケール値比較部５４２４は、拡大率取得部５３から供給された拡大率Ｍを利用して特徴点ペアの正誤を判定する。スケール値比較部５４２４は、各特徴点ペアに対して、スケール値を下記（式３）によって比較する。

Ｓ_１×Ｍ＜σ_Ａ２／σ_Ａ１＜Ｓ_２×Ｍ （式３）

σ_Ａ１は参照画像Ａ１の特徴点のスケール、σ_Ａ２は対象画像Ａ２の特徴点のスケール、Ｓ_１、Ｓ_２は拡大率を補正するパラメータであり、Ｓ_１はスケール比率の下限の許容範囲、Ｓ_２はスケール比率の上限の許容範囲を制御する。上記（式３）を満足する特徴点ペアは正しい特徴点ペアとして保持し、（式３）を満たさない特徴点ペアは誤った特徴点ペアとして破棄する。

図２９は、特徴点マッチング部５４２による特徴点マッチングのフローチャートである。特徴量計算部５４２１は、参照画像Ａ１における各々の特徴点に対して特徴量を計算する（Ｓｔ５０８）。続いて、特徴量計算部５４２１は、対象画像Ａ２における各々の特徴点に対して特徴量を計算する（Ｓｔ５０９）。特徴量相関値計算部５４２２は、参照画像Ａ１の着目する特徴点と対象画像Ａ２の全ての特徴点の間で特徴量の相関値を計算する（Ｓｔ５１０）。

続いて、特徴点ペア選択部５４２３は、参照画像Ａ１の各特徴点に対して相関値が最大となる対象画像Ａ２の特徴点を選択する（Ｓｔ５１１）。スケール値比較部５４２４は特徴点ペアに対してスケール値の比率を計算し、特徴点ペアの信頼性を判定する（Ｓｔ５１２）。

特徴点マッチング部５４２はこのようにして信頼性が高い特徴点ペアを抽出し、画像重畳部５３３に供給する。

画像重畳部５４３は、特徴点マッチング部５４２から供給された特徴点ペアを用いて参照画像Ａ１と対象画像Ａ２の位置合わせを行い、ナビゲーション情報（術前計画）を対象画像Ａ２に重畳させ、ナビゲーション画像を生成する。

画像生成部５４は以上のような構成を有する。上記のように特徴点検出部５４１は、拡大率Ｍを利用することにより、探索の高速化を実現することができる。また、特徴点マッチング部５４２は、拡大率Ｍを利用することにより、特徴点ペアの精度を向上させることができる。

情報処理装置５０は、第１の実施形態に係る情報処理装置１０と同様のハードウェア構成によって実現されているものとすることができる。

（第６の実施形態）
本技術の第６の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図３０は、本実施形態に係る手術顕微鏡システム６の構成を示すブロック図である。同図に示すように、手術顕微鏡システム６は、情報処理装置６０及び手術顕微鏡６５を具備する。

情報処理装置６０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置６０は、手術顕微鏡６５に一体的に構成されていてもよく、手術顕微鏡６５とは独立した装置であってもよい。情報処理装置６０の構成については後述する。

手術顕微鏡６５は、図３０に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡６５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡６５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡６５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図３０に示すように、情報処理装置６０は、画像取得部６１、拡大率取得部６２及び画像生成部６３を具備する。

画像取得部６１は、眼Ｅを含む画像を取得する。画像取得部６１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部６１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部６１は、取得した各画像を拡大率取得部６２及び画像生成部６３に供給する。

拡大率取得部６２は、参照画像と対象画像の拡大率を取得する。拡大率取得部６２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部６２は、取得した拡大率を画像生成部６３に供給する。

画像生成部６３は、拡大率取得部６２から供給された拡大率を用いてナビゲーション情報を含むナビゲーション画像を生成する。画像生成部６３は、拡大率に応じて異なる情報をナビゲーション情報として選択し、ナビゲーション画像を生成する。この詳細については後述する。画像生成部６３は、ナビゲーション画像をディスプレイに表示させる。

情報処理装置５０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［画像生成部の詳細］
上述のように画像生成部６３は、拡大率Ｍに基づいて、ナビゲーション情報を選択し、ナビゲーション情報を生成する。

図３１は、画像生成部６３の構成及び動作を示すブロック図である。同図に示すように、画像生成部６３は、閾値処理部６３１、提示情報切替部６３２及び画像重畳部６３３を具備する。

閾値処理部６３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、提示するナビゲーション情報の識別子を選択する。閾値は一つであってもよく、複数であってもよい。閾値処理部６３１は、選択した識別子を提示情報切替部６３２に供給する。

提示情報切替部６３２は、記憶部に記憶されているナビゲーション情報のうち、閾値処理部６３１から供給された識別子で指定されたナビゲーション情報を選択し、画像重畳部６３３に供給する。

画像重畳部６３３は、提示情報切替部６３２から供給されたナビゲーション情報を、対象画像に重畳させ、ナビゲーション画像を生成する。画像重畳部６３３は、対象画像に対する画像処理によって、眼の組織（角膜等）を検出し、その位置に応じてナビゲーション情報を対象画像に重畳させるものとすることができる。

図３２は、画像生成部６３の動作を示すフローチャートである。同図に示すように、閾値処理部６３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ６０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の大小関係に応じて（Ｓｔ６０１）、提示するナビゲーション情報の識別子を選択し、選択した識別子を提示情報切替部６３２に供給する。提示情報切替部６３２は、閾値処理部６３１から供給された識別子で指定されたナビゲーション情報を選択し（Ｓｔ６０３）、画像重畳部６３３に供給する。画像重畳部６３３は供給されたナビゲーション情報を対象画像に重畳させてナビゲーション画像を生成し、ディスプレイに表示させる（Ｓｔ６０４）。

図３３は、画像生成部６３によるナビゲーション情報の切り替え動作の例である。閾値処理部６３１は、手術時間の経過に伴う拡大率Ｍの変動に応じて異なる識別子を選択し、提示情報切替部６３２は識別子に応じて提示するナビゲーションを選択する。例えば、図３３に示すように拡大率Ｍが閾値２以上である場合、ナビゲーション情報１が選択され、拡大率Ｍが閾値１以上閾値２未満である場合、ナビゲーション情報２が選択される。また、拡大率Ｍが閾値１未満である場合、ナビゲーション情報３が選択される。

図３４は、画像生成部６３によって生成されるナビゲーション画像の例である。同図においてナビゲーション情報は、角膜の周縁に配置された角度目盛である。図３４（ａ）は拡大率Ｍが閾値２以上の場合であり、ナビゲーション情報１（Ｎ１）が含まれている。このナビゲーション情報１は所定の間隔の目盛を有する。図３４（ｂ）は拡大率Ｍが閾値１以上閾値２未満の場合であり、ナビゲーション情報２（Ｎ２）が含まれている。ナビゲーション情報２は、ナビゲーション情報１より目盛り間隔が大きくなっている。図３４（ｃ）は拡大率Ｍが閾値１未満の場合であり、ナビゲーション情報３（非表示）が含まれている。

このように画像生成部６３は、拡大率Ｍの大きさによって表示するナビゲーション情報を切り替える。ユーザは、拡大率Ｍが大きくなるズームインの操作をするとき、眼内レンズの挿入角度をより詳細に確認することを意図していると考えられる。そこで、これをサポートするために、より細かい角度目盛を備えるナビゲーション情報を表示する。また、ユーザは、拡大率Ｍが小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこでは、角度の目盛表示は不必要であるため、ナビゲーション情報を非表示にする。

なお、ナビゲーション情報は、角度目盛に限られず、拡大率Ｍの変動に応じて切り替えられるものであればよい。また、画像重畳部６３３は、眼の組織の位置に応じて撮影画像に重畳させるものでなくてもよく、眼の組織の位置とは無関係にナビゲーション情報を重畳させてもよい。

画像生成部６３は以上のような構成を有する。上記のように画像生成部６３は、拡大率Ｍに応じて異なるナビゲーション情報を含むナビゲーション画像を生成する。ナビゲーション情報は拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。

（第７の実施形態）
本技術の第７の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図３５は、本実施形態に係る手術顕微鏡システム７の構成を示すブロック図である。同図に示すように、手術顕微鏡システム７は、情報処理装置７０及び手術顕微鏡７５を具備する。

情報処理装置７０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置７０は、手術顕微鏡７５に一体的に構成されていてもよく、手術顕微鏡７５とは独立した装置であってもよい。情報処理装置７０の構成については後述する。

手術顕微鏡７５は、図３５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡７５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡７５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡７５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図３５に示すように、情報処理装置７０は、画像取得部７１、拡大率取得部７２及び画像生成部７３を具備する。

画像取得部７１は、施術対象の眼を含む画像を取得する。画像取得部７１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部７１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部７１は、取得した各画像を拡大率取得部７２及び画像生成部７３に供給する。

拡大率取得部７２は、参照画像と対象画像の拡大率を取得する。拡大率取得部７２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部７２は、取得した拡大率を画像生成部７３に供給する。

画像生成部７３は、拡大率取得部７２から供給された拡大率を用いて画像処理を行い、表示画像を生成する。この詳細については後述する。画像生成部７３は、画像処理により生成した表示画像をディスプレイに表示させる。

情報処理装置７０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［画像生成部の詳細］
上述のように画像生成部７３は、拡大率Ｍに応じて対象画像に画像処理を施す。

図３６は、画像生成部７３の構成及び動作を示すブロック図である。同図に示すように、画像生成部７３は、閾値処理部７３１及び画像処理切替部７３２を具備する。

閾値処理部７３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、画像処理の種類を選択する。閾値は一つであってもよく、複数であってもよい。画像処理の種類は特に限定されないが、陰影強調処理や高精彩化処理、血管強調処理等である。閾値処理部７３１は、選択した画像処理の種類を画像処理切替部７３２に供給する。

画像処理切替部７３２は、閾値処理部７３１によって選択された種類の画像処理を対象画像に施す。

図３７は、画像生成部７３の動作を示すフローチャートである。同図に示すように、閾値処理部７３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ７０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の比較結果に応じて（Ｓｔ７０１）、画像処理の種類を選択し、選択した画像処理の種類を画像処理切替部７３２に供給する。画像処理切替部７３２は、閾値処理部７３１によって選択された画像処理を対象画像に施し（Ｓｔ７０３）、ディスプレイに表示させる（Ｓｔ７０４）。

このように画像生成部７３は、拡大率Ｍの大きさによって対象画像に異なる画像処理を施す。ユーザは、拡大率Ｍが大きくなるズームインの操作をするとき、角膜内部を詳細に確認することを意図していると考えられる。そこで、画像生成部７３は、角膜内部の視認性を向上させるために、陰影強調や高精細化などの画像処理を適用する。また、ユーザは、拡大率が小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこで、画像生成部７３は血管強調などの画像処理を適用する。

画像生成部７３は以上のような構成を有する。上記のように画像生成部７３は、拡大率Ｍに応じて異なる画像処理を対象画像に施し、ナビゲーション画像を生成する。画像処理の種類は拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。

（第８の実施形態）
本技術の第８の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図３８は、本実施形態に係る手術顕微鏡システム８の構成を示すブロック図である。同図に示すように、手術顕微鏡システム８は、情報処理装置８０及び手術顕微鏡８５を具備する。

情報処理装置８０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置８０は、手術顕微鏡８５に一体的に構成されていてもよく、手術顕微鏡８５とは独立した装置であってもよい。情報処理装置８０の構成については後述する。

手術顕微鏡８５は、図３５に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡８５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡８５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡８５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

［情報処理装置の構成］
図３８に示すように、情報処理装置８０は、画像取得部８１、拡大率取得部８２及び顕微鏡制御部８３を具備する。

画像取得部８１は、眼Ｅを含む画像を取得する。画像取得部８１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部８１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部８１は、取得した各画像を拡大率取得部８２及び顕微鏡制御部８３に供給する。

拡大率取得部８２は、参照画像と対象画像の拡大率を取得する。拡大率取得部８２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部８２は、取得した拡大率を顕微鏡制御部８３に供給する。

顕微鏡制御部８３は、拡大率取得部８２から供給された拡大率を用いて手術顕微鏡８５を制御する。本実施形態における手術顕微鏡８５は、光学系に導入することが可能な帯域通過フィルタを備える手術顕微鏡であるものとする。顕微鏡制御部８３は、拡大率に応じて手術顕微鏡８５に設けられた帯域通過フィルタを切り替えるものとすることができる。この詳細については後述する。

情報処理装置８０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［顕微鏡制御部の詳細］
上述のように顕微鏡制御部８３は、拡大率Ｍに応じて手術顕微鏡８５を制御する。

図３９は、顕微鏡制御部８３の構成及び動作を示すブロック図である。同図に示すように、顕微鏡制御部８３は、閾値処理部８３１及び帯域通過フィルタ切替部８３２を具備する。

閾値処理部８３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、帯域通過フィルタの種類を選択する。帯域通過フィルタの種類は、赤色通過フィルタや緑色・青色通過フィルタ等である。閾値処理部８３１は例えば、拡大率Ｍが閾値以上であれば赤色通過フィルタを選択し、拡大率Ｍが閾値未満であれば緑色・青色通過フィルタを選択するものとすることができる。閾値処理部８３１は、選択した帯域通過フィルタの種類を帯域通過フィルタ切替部８３２に供給する。

帯域通過フィルタ切替部８３２は、閾値処理部８３１から供給された種類の帯域通過フィルタを光学系に導入するように手術顕微鏡８５に指示する。

図４０は、顕微鏡制御部８３の動作を示すフローチャートである。同図に示すように、閾値処理部８３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ８０１）。即ち、閾値処理部６３１は、拡大率Ｍと閾値の比較結果に応じて帯域通過フィルタの種類を選択し（Ｓｔ８０１）、帯域通過フィルタ切替部８３２に指示する。帯域通過フィルタ切替部８３２は、閾値処理部８３１から供給された種類の帯域通過フィルタを光学系に導入するように撮影装置に指示する（Ｓｔ８０３）。手術顕微鏡８５は、導入された帯域通過フィルタを利用して眼Ｅの画像を撮影する（Ｓｔ８０４）。

このように、顕微鏡制御部８３によって、拡大率Ｍに応じて手術顕微鏡８５の帯域通過フィルタが切り替えられ、眼Ｅの画像が撮影される。画像取得部８１は、手術顕微鏡８５からこの画像を取得し、ディスプレイに表示させるものとすることができる。ユーザは、拡大率が大きくなるズームインの操作をするとき、角膜内部を詳細に確認することを意図していると考えられる。そこで、顕微鏡制御部８３は角膜内部の視認性を向上させるために、赤色を強調（通過）するような帯域通過フィルタを適用する。また、ユーザは、拡大率が小さくなるズームアウトの操作をするとき、出血の有無や眼全体の俯瞰チェックを意図していると考えられる。そこで、顕微鏡制御部８３は血管を強調するために、緑色や青色を強調（通過）するような帯域通過フィルタを適用する。

顕微鏡制御部８３は以上のような構成を有する。上記のように顕微鏡制御部８３は、拡大率Ｍに応じて撮影装置の光学系における帯域通過フィルタの種類を切り替える。帯域通過フィルタの切り替えは、拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。

（第９の実施形態）
本技術の第９の実施形態に係る手術顕微鏡システムについて説明する。

［手術顕微鏡システムの構成］
図４１は、本実施形態に係る手術顕微鏡システム９の構成を示すブロック図である。同図に示すように、手術顕微鏡システム９は、情報処理装置９０及び手術顕微鏡９５を具備する。

情報処理装置９０は、パーソナルコンピュータ等の情報処理が可能な装置である。情報処理装置９０は、手術顕微鏡９５に一体的に構成されていてもよく、手術顕微鏡９５とは独立した装置であってもよい。情報処理装置９０の構成については後述する。

手術顕微鏡９５は、図４１に示すように施術対象の眼Ｅに対向し、眼Ｅの顕微鏡拡大像を撮影する。手術顕微鏡９５の構成は特に限定されず、眼Ｅの撮影が可能なものであればよい。手術顕微鏡９５は、光学的あるいはデジタル的に撮影画像の拡大率を変更可能であり、また、手術顕微鏡９５と眼Ｅの相対位置（距離）によっても撮影画像の拡大率が変更可能なものとすることができる。

（情報処理装置の構成）
図４１に示すように、情報処理装置９０は、画像取得部９１、拡大率取得部９２及び画像生成部９３を具備する。

画像取得部９１は、眼Ｅを含む画像を取得する。画像取得部９１は、第１の実施形態に係る画像取得部１１と同様に、参照画像及び対象画像を取得するものとすることができる。画像取得部９１は、検査装置や手術顕微鏡等から直接に各画像を取得してもよく、ネットワークを介して又は、ストレージに保存されている各画像を取得してもよい。画像取得部９１は、取得した各画像を拡大率取得部９２及び画像生成部９３に供給する。

拡大率取得部９２は、参照画像と対象画像の拡大率を取得する。拡大率取得部９２は、実施形態１乃至４において説明したいずれかの方法、即ち、各画像に対する物体認識処理、撮影装置と施術対象の眼の距離又は撮影装置のズーム率の少なくともいずれかを利用して拡大率を取得するものとすることができる。拡大率取得部９２は、取得した拡大率を画像生成部９３に供給する。

画像生成部９３は、拡大率取得部９２から供給された拡大率を用いて三次元（３Ｄ）画像であるナビゲーション画像を生成する。本実施形態における手術顕微鏡９５は、３Ｄ撮影が可能な手術顕微鏡であるものとする。画像生成部９３は、拡大率に応じて３Ｄ視差を調整するものとすることができる。この詳細については後述する。

情報処理装置９０は以上のような構成を有する。なお、上記各画像は必ずしも検査装置又は手術顕微鏡によって撮影されたものでなくてもよく、少なくとも施術対象の眼を含む画像であればよい。さらに、上記各画像は、静止画像でもよく、動画の１フレームであってもよい。

［画像生成部の詳細］
上述のように画像生成部９３は、拡大率Ｍに応じて３Ｄ画像の視差を調整する。

図４２は、画像生成部９３の構成及び動作を示すブロック図である。同図に示すように、画像生成部９３は、閾値処理部９３１及び３Ｄ視差調整部９３２を具備する。

閾値処理部９３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行し、
３Ｄ画像における視差の強調程度を選択する。閾値処理部９３１は例えば、拡大率Ｍが閾値以上であれば視差の強調程度を小さくし、拡大率Ｍが閾値未満であれば視差の強調程度を大きくするものとすることができる。また、閾値処理部９３１は、拡大率Ｍが閾値以上であれば視差の強調を実行しないものとすることも可能である。閾値処理部８３１は、選択した視差の強調程度を３Ｄ視差調整部９３２に供給する。

３Ｄ視差調整部９３２は、３Ｄ撮影画像に対して、閾値処理部９３１から供給された強調程度で視差を調整し、３Ｄ画像を生成する。

図４３は、画像生成部９３の動作を示すフローチャートである。同図に示すように、閾値処理部９３１は、拡大率Ｍが供給されると、拡大率Ｍに対して閾値処理を実行する（Ｓｔ９０１）。即ち、閾値処理部９３１は、拡大率Ｍと閾値の比較結果に応じて視差の強調程度を選択し（Ｓｔ９０１）、３Ｄ視差調整部９３２に指示する。３Ｄ視差調整部９３２は、閾値処理部９３１から供給された視差の強調程度で３Ｄ画像を生成（Ｓｔ９０３）し、ディスプレイに表示させる（Ｓｔ９０４）。

このように、画像生成部９３によって、拡大率Ｍに応じて視差強調の程度が異なる３Ｄ画像が生成される。画像生成部９３は、生成した３Ｄ画像をディスプレイに表示させるものとすることができる。ユーザが拡大率を大きくするズームインの操作をすると、画像が拡大されるため視差の強い３Ｄ画像が表示されてしまう。そこで、画像生成部９３は視差を非強調する処理を行い、目に優しい３Ｄ画像を提示する。また、ユーザが拡大率が小さくなるズームアウトの操作をすると、画像が縮小されるため視差の弱い３Ｄ画像が表示されてしまう。そこで、画像生成部９３は視差を強調処理し、立体感のある３Ｄ画像を提示する。

画像生成部９３は以上のような構成を有する。上記のように画像生成部９３は、拡大率Ｍに応じて３Ｄ画像の視差の強調程度を変更する。視差の強調程度の変更は、拡大率Ｍに応じて自動的に選択されるため、ユーザが手動で選択する必要がなく、高い利便性を提供することができる。

なお、本技術は以下のような構成もとることができる。
（１）
施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、
上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する画像生成部と
を具備する情報処理装置。

（２）
上記（１）に記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像において検出された物体の像の大きさと、上記対象画像において検出された上記物体の像の大きさの比率に基づいて上記拡大率を取得する
情報処理装置。

（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離と、上記対象画像が撮影されたときの撮影装置と上記眼の距離の比率に基づいて上記拡大率を取得する
情報処理装置。

（４）
上記（１）から（３）のいずれか一つに記載の情報処理装置であって
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて上記拡大率を取得する
情報処理装置。

（５）
上記（１）から（４）のいずれか一つに記載の情報処理装置であって、
上記拡大率取得部は、上記参照画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率と、上記対象画像が撮影されたときの撮影装置と上記眼の距離及び撮影装置のズーム率の比率に基づいて上記拡大率を取得する
情報処理装置。

（６）
上記（１）から（５）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率を利用して上記参照画像と上記対象画像の画像マッチングを行い、上記画像マッチングの結果を用いて上記ナビゲーション画像を生成する
情報処理装置。

（７）
上記（１）から（６）のいずれか一つに記載の情報処理措置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出する
情報処理装置。

（８）
上記（１）から（７）のいずれか一つに記載の情報処理装置であって、
上記特徴点検出部は、上記参照画像と上記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、上記参照画像と上記対象画像のそれぞれに対して上記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
上記スケール範囲決定部は、上記対象画像についてのスケール範囲を上記拡大率によって制限する
情報処理装置。

（９）
上記（１）から（８）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行う
情報処理装置。

（１０）
上記（１）から（９）のいずれか一つに記載の情報処理装置であって、
上記特徴点マッチング部は、上記参照画像において検出された特徴点と上記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、上記特徴点ペアのスケール比率によって上記特徴点ペアの正誤を判定するスケール値比較部とを備え、
上記スケール値比較部は、正判定とするスケール比率を上記拡大率によって制限する
情報処理装置。

（１１）
上記（１）から（１０）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記参照画像と上記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、上記参照画像と上記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
上記特徴点検出部は、上記拡大率を利用して上記対象画像における特徴点を検出し、
上記特徴点マッチング部は、上記拡大率を利用して上記マッチングを行う
情報処理装置。

（１２）
上記（１）から（１１）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。

（１３）
上記（１）から（１２）のいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、上記拡大率が閾値以上の場合、上記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成する
情報処理装置。

（１４）
施術対象の眼を撮影する手術顕微鏡と、
施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得する拡大率取得部と、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える情報処理装置と
を具備する手術顕微鏡システム。

（１５）
拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、上記参照画像が撮影された時刻とは異なる時刻に上記眼が撮影された画像である対象画像について、上記対象画像の上記参照画像に対する拡大率を取得し、
画像生成部が、上記拡大率取得部によって取得された拡大率に基づいて、上記眼の施術をガイドするナビゲーション画像を生成する
情報処理方法。

１、２、３、４、５、６、７、８、９…手術顕微鏡システム
１０、２０、３０、４０、５０、６０、７０、８０、９０…情報処理装置
１５、２５、３５、４５、５５、６５、７５、８５、９５…手術顕微鏡
１１、２１、３１、４１、５１、６１、７１、８１、９１…画像取得部
１２、２２、３２、４２、５２…入力受付部
１３、２３、３３、４３、５３、６２、７２、８２、９２…拡大率取得部
１４、２４、３４、４４、５４、６３、７３、９３…画像生成部
８３…顕微鏡制御部
５４１…特徴点検出部
５４２…特徴点マッチング部
５４１１…ＤｏＧ画像作成部
５４１２…ＤｏＧ極値探索部
５４１３…スケール範囲決定部
５４２１…特徴量計算部
５４２２…特徴量相関値計算部
５４２３…特徴点ペア選択部
５４２４…スケール値比較部

Claims (15)

1. 施術対象の眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得する拡大率取得部と、
   前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション情報を含むナビゲーション画像を生成する画像生成部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記拡大率取得部は、前記参照画像において検出された物体の像の大きさと、前記対象画像において検出された前記物体の像の大きさの比率に基づいて前記拡大率を取得する
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置と前記眼の距離と、前記対象画像が撮影されたときの撮影装置と前記眼の距離の比率に基づいて前記拡大率を取得する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置のズーム率と、前記対象画像が撮影されたときの撮影装置のズーム率の比率に基づいて前記拡大率を取得する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記拡大率取得部は、前記参照画像が撮影されたときの撮影装置と前記眼の距離及び撮影装置のズーム率と、前記対象画像が撮影されたときの撮影装置と前記眼の距離及び撮影装置のズーム率の比率に基づいて前記拡大率を取得する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記画像生成部は、前記拡大率を利用して前記参照画像と前記対象画像の画像マッチングを行い、前記画像マッチングの結果を用いて前記ナビゲーション画像を生成する
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部を備え、
   前記特徴点検出部は、前記拡大率を利用して前記対象画像における特徴点を検出する
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記特徴点検出部は、前記参照画像と前記対象画像のそれぞれに対して平滑化画像を生成するためのガウシアンフィルタのスケール範囲を決定するスケール範囲決定部と、前記参照画像と前記対象画像のそれぞれに対して前記スケール範囲決定部により決定されたスケール範囲でＤｏＧ画像を生成するＤｏＧ画像生成部とを備え、
   前記スケール範囲決定部は、前記対象画像についてのスケール範囲を前記拡大率によって制限する
   情報処理装置。
9. 請求項６に記載の情報処理装置であって、
   前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部を備え、
   前記特徴点マッチング部は、前記拡大率を利用して前記マッチングを行う
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記特徴点マッチング部は、前記参照画像において検出された特徴点と前記対象画像において検出された特徴点のペアである特徴点ペアを選択する特徴点ペア選択部と、前記特徴点ペアのスケール比率によって前記特徴点ペアの正誤を判定するスケール値比較部とを備え、
    前記スケール値比較部は、正判定とするスケール比率を前記拡大率によって制限する
    情報処理装置。
11. 請求項６に記載の情報処理装置であって、
    前記画像生成部は、前記参照画像と前記対象画像のそれぞれにおいて特徴点を検出する特徴点検出部と、前記参照画像と前記対象画像のそれぞれにおいて検出された特徴点をマッチングする特徴点マッチング部とを備え、
    前記特徴点検出部は、前記拡大率を利用して前記対象画像における特徴点を検出し、
    前記特徴点マッチング部は、前記拡大率を利用して前記マッチングを行う
    情報処理装置。
12. 請求項１に記載の情報処理装置であって、
    前記画像生成部は、前記拡大率に応じて異なるナビゲーション情報を含むナビゲーション画像を生成する
    情報処理装置。
13. 請求項１２に記載の情報処理装置であって、
    前記画像生成部は、前記拡大率が閾値未満の場合、所定間隔の目盛りを有する第１のナビゲーション情報を含むナビゲーション画像を生成し、前記拡大率が閾値以上の場合、前記第１のナビゲーション情報より小さい間隔の目盛りを有する第２のナビゲーション情報を含むナビゲーション画像を生成する
    情報処理装置。
14. 施術対象の眼を撮影する手術顕微鏡と、
    前記眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得する拡大率取得部と、前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション画像を生成する画像生成部とを備える情報処理装置と
    を具備する手術顕微鏡システム。
15. 拡大率取得部が、施術対象の眼が撮影された画像である参照画像と、前記参照画像が撮影された時刻とは異なる時刻に前記眼が撮影された画像である対象画像について、前記対象画像の前記参照画像に対する拡大率を取得し、
    画像生成部が、前記拡大率取得部によって取得された拡大率に基づいて、前記眼の施術をガイドするナビゲーション画像を生成する
    情報処理方法。

Images