JP2021154047A - 眼科画像処理装置および眼科画像処理プログラム - Google Patents

Abstract

【課題】同一の被検眼の組織における同一部位を撮影した複数の眼科画像の位置合わせを適切に実行することが可能な眼科画像処理装置および眼科画像処理プログラムを提供する。【解決手段】眼科画像処理装置の制御部は、第１眼科画像および第２眼科画像の各々について、第２方向の各位置の第１方向に関する位置ずれの影響を除外した中間情報を取得する（Ｓ４）。制御部は、中間情報に基づいて、第１眼科画像と第２眼科画像の第２方向に関する位置合わせを実行する（Ｓ５，Ｓ６）。制御部は、第２方向に関する位置合わせが実行された第１眼科画像と第２眼科画像について、第２方向における位置が共通する画素同士の第１方向に関する位置合わせを実行する（Ｓ７）．【選択図】図４

Description

本開示は、光をスキャンすることで取得される眼科画像のデータを処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。

被検眼の組織上で光をスキャンしつつ、組織からの光を連続して受光することで眼科画像を取得する技術が知られている。同一の被検眼の組織における同一部位を複数回撮影して複数の眼科画像を取得することで、例えば、複数の眼科画像を加算平均してノイズの影響の抑制を図る場合、または、組織における動きを示すモーションコントラスト画像を生成する場合等がある。また、取得時期が異なり、且つ同一部位を撮影した複数の眼科画像に基づいて、組織の経時変化を確認する場合等もある。これらの場合、複数の眼科画像の間の位置合わせが適切に実行されたうえで、その後の処理が実行されることが望ましい。

例えば、特許文献１には、予め測定光の横断方向（ＸＹ方向）に関する位置合わせを行うことで、ＸＹ方向に関する画像データ間でのずれを補正した後、深さ方向における位置合わせを行うとの記載がある。

特開２０１８−３８６１１号公報

第１方向と、第１方向に交差する第２方向に広がる複数の眼科画像の位置合わせを行う場合には、第１方向に関する位置合わせと、第２方向に関する位置合わせを共に実行することが望ましい。しかし、複数の眼科画像の間に、第１方向に関する位置ずれと第２方向に関する位置ずれがともに生じている場合には、一方の方向に関する位置ずれが生じたまま他方の方向に関する位置合わせを精度良く実行することは、従来の技術では困難であった。例えば、同一部位を複数回撮影する場合であっても、眼科画像には被検眼の姿勢によって歪みが生じる場合が多い。特に、歪みがある状態の複数の眼科画像の位置合わせを行う場合等には、従来の技術では位置合わせの精度を向上させ難かった。

本開示の典型的な目的は、同一の被検眼の組織における同一部位を撮影した複数の眼科画像の位置合わせを適切に実行することが可能な眼科画像処理装置および眼科画像処理プログラムを提供することである。

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置であって、前記眼科画像は、前記被検眼の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得され、第１方向と、前記第１方向に交差する第２方向とに広がるスキャン画像であり、前記眼科画像処理装置の制御部は、同一の前記被検眼の組織における同一部位を撮影した第１眼科画像および第２眼科画像を取得する画像取得ステップと、前記第１眼科画像および前記第２眼科画像の各々について、前記第２方向の各位置の前記第１方向に関する位置ずれの影響を除外した情報である中間情報を取得する中間情報取得ステップと、前記第１眼科画像について取得された前記中間情報と、前記第２眼科画像について取得された前記中間情報に基づいて、前記第１眼科画像と前記第２眼科画像の前記第２方向に関する位置合わせを実行する第１位置合わせステップと、前記第１位置合わせステップにおいて前記第２方向に関する位置合わせが実行された前記第１眼科画像と前記第２眼科画像について、前記第２方向における位置が共通する画素同士の前記第１方向に関する位置合わせを実行する第２位置合わせステップと、を実行する。

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像は、前記被検眼の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得され、第１方向と、前記第１方向に交差する第２方向とに広がるスキャン画像であり、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、同一の前記被検眼の組織における同一部位を撮影した第１眼科画像および第２眼科画像を取得する画像取得ステップと、前記第１眼科画像および前記第２眼科画像の各々について、前記第２方向の各位置の前記第１方向に関する位置ずれの影響を除外した情報である中間情報を取得する中間情報取得ステップと、前記第１眼科画像について取得された前記中間情報と、前記第２眼科画像について取得された前記中間情報に基づいて、前記第１眼科画像と前記第２眼科画像の前記第２方向に関する位置合わせを実行する第１位置合わせステップと、前記第１位置合わせステップにおいて前記第２方向に関する位置合わせが実行された前記第１眼科画像と前記第２眼科画像について、前記第２方向における位置が共通する画素同士の前記第１方向に関する位置合わせを実行する第２位置合わせステップと、を前記眼科画像処理装置に実行させる。

本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、同一の被検眼の組織における同一部位を撮影した複数の眼科画像の位置合わせが適切に実行される。

眼科画像処理システム１００の概略構成を示すブロック図である。 眼科画像撮影装置１が被検眼の組織５０の眼科画像を撮影する方法を説明するための説明図である。 眼科画像撮影装置１によって撮影された眼科画像６１の一例を示す図である。 眼科画像処理装置４０が実行する眼科画像処理の一例を示すフローチャートである。 位置合わせが行われる前の第１眼科画像６１Ａと第２眼科画像６１Ｂの一例を示す図である。 第１眼科画像６１Ａについて取得された第１中間情報７１Ａと、第２眼科画像６１Ｂについて取得された第２中間情報７１Ｂを示す図である。 第２方向に関する位置合わせが行われた第１眼科画像６１Ａと第２眼科画像６１ＢＸの一例を示す図である。 第１方向に関する位置合わせ処理の一例を説明するための説明図である。 変容例の眼科画像撮影装置が被検眼の組織５０の眼科画像を撮影する方法を説明するための説明図である。

＜概要＞
本開示で例示する眼科画像処理装置は、被検眼の組織の画像である眼科画像のデータを処理する。眼科画像は、被検眼の組織上で光をスキャンしつつ、組織からの光（例えば反射光等）を時間的に連続して受光することで取得（撮影）され、第１方向と、第２方向に交差する第２方向とに広がるスキャン画像である。眼科画像処理装置の制御部は、画像取得ステップ、中間情報取得ステップ、第１位置合わせステップ、および第２位置合わせステップを実行する。画像取得ステップでは、制御部は、同一の被検眼の組織における同一部位を撮影した第１眼科画像および第２眼科画像を取得する。中間情報取得ステップでは、制御部は、第１眼科画像および第２眼科画像の各々について、第２方向の各位置の第１方向に関する位置ずれの影響を除外した情報である中間情報を取得する。つまり、中間情報は、第２方向の各位置における、第１方向に関する位置ずれに不変な特徴を表現する。第１位置合わせステップでは、制御部は、第１眼科画像について取得された中間情報と、第２眼科画像について取得された中間情報に基づいて、第１眼科画像と第２眼科画像の第２方向に関する位置合わせを実行する。第２位置合わせステップでは、制御部は、第１位置合わせステップにおいて第２方向に関する位置合わせが実行された第１眼科画像と第２眼科画像について、第２方向における位置が共通する画素同士の第１方向に関する位置合わせを実行する。

本開示に係る技術によると、まず、同一部位を撮影した第１眼科画像および第２眼科画像の各々について、第２方向の各位置の、第１方向に関する位置ずれの影響を除外した情報である中間情報が取得される。次いで、第１眼科画像の中間情報と、第２眼科画像の中間情報に基づいて、第１眼科画像と第２眼科画像の第２方向に関する位置合わせが実行される。従って、第１方向に関する位置ずれの影響が抑制された状態で、第１眼科画像と第２眼科画像の第２方向に関する位置合わせが精度良く実行される。その後、第２方向に関する位置合わせが実行された第１眼科画像と第２眼科画像について、第２方向における位置が共通する画素同士の第１方向に関する位置合わせが実行される。従って、第１方向に関する位置合わせも、第２方向に関する位置ずれの影響が抑制された状態で精度良く実行される。よって、複数の眼科画像の間に、第１方向に関する位置ずれと、第２方向に関する位置ずれが共に生じている場合でも、複数の眼科画像の位置合わせが適切に実行される。例えば、歪みがある状態の複数の眼科画像の位置合わせを実行する場合等でも、第１方向と第２方向の位置合わせが共に精度良く行われる。位置合わせに有効な特徴的な構造が眼科画像に写り込んでいない場合等でも、位置合わせの精度が向上する。

なお、眼科画像は二次元画像であってもよい。この場合、第１方向と第２方向は、互いに交差する（例えば互いに直交する）一次元の方向であってもよい。また、眼科画像は三次元画像であってもよい。この場合、第１方向および第２方向の一方は二次元の方向（平面方向）であり、他方は一次元の方向であってもよい。

中間情報は、眼科画像（第１眼科画像および第２眼科画像の各々）に対して第１方向にフーリエ変換を行うことで得られるパワースペクトル画像の情報であってもよい。この場合、パワースペクトル画像は、第２方向の各位置における各周波数の振幅の絶対値を示す。従って、取得されるパワースペクトル画像では、第１方向に関する位置ずれの影響が除外されている。よって、パワースペクトル画像の情報を中間情報として用いることで、第１方向に関する位置ずれの影響が抑制された状態で、第１眼科画像と第２眼科画像の第２方向に関する位置合わせが精度良く実行される。

ただし、中間情報の内容を変更することも可能である。例えば、第２方向の各位置において、第１方向に並ぶ複数の画素の平均輝度、最大輝度、輝度値の標準偏差等の統計量、第１方向の輝度ヒストグラム、輝度値でソートしたデータ等の少なくともいずれかを示す情報が、中間情報として用いられてもよい。また、第２方向の各位置における複数の画素について、第２方向に沿って隣接する複数の画素との間の相関が高くなるように第１方向の位置を調整した画像情報が、中間情報として用いられてもよい。これらの場合でも、中間情報では、第２方向の各位置における第１方向の位置ずれの影響が除外される。

制御部は、第１位置合わせステップにおいて、第１眼科画像と第２眼科画像の各々の画像内における第２方向の相対的な位置関係を保った状態で、第１眼科画像と第２眼科画像の第２方向に関する位置合わせを実行してもよい（全体位置合わせ）。この場合、第２方向の各位置における画像内の相対的な位置関係が全体で維持されたまま、第１眼科画像と第２眼科画像の第２方向における位置合わせが実行される。従って、第２方向における大まかな位置合わせが容易に実行される。

全体位置合わせの具体的な方法は適宜選択できる。例えば、制御部は、第１眼科画像の中間情報と、第２眼科画像の中間情報を参照し、位相限定相関法（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）を用いて第２方向の位置合わせを実行してもよい。位相限定相関法では、画像情報に対してフーリエ変換を実行することで、振幅の情報と位相の情報に分解される。次いで、形状情報が含まれない振幅情報を使用せずに、位相情報のみを用いて画像同士の相関を取ることで、画像間の位置合わせが適切に実行される。

なお、制御部は、第２位置合わせステップにおいて、第２方向における位置が共通する第１眼科画像と第２眼科画像の画素同士の第１方向に関する位置合わせ実行する際に、位相限定相関法を用いてもよい。この場合も、第２方向の各位置における第１方向の位置合わせが、位相情報によって適切に実行される。

ただし、第２位置合わせステップの具体的な方法を変更することも可能である。例えば、制御部は、第２方向における位置が共通する第１眼科画像と第２眼科画像の画素同士の相関が高くなるように、一方の眼科画像の画素を第１方向に移動させることで、第１方向に関する位置合わせを実行してもよい。

制御部は、第１位置合わせステップにおいて、第２方向の各位置毎に、第２方向に関する位置合わせを実行してもよい（個別位置合わせ）。この場合、第１眼科画像と第２眼科画像の間の第２方向における位置ずれ量が、第２方向の位置に応じて異なる場合でも、第１眼科画像と第２眼科画像の第２方向に関する位置合わせが精度良く実行される。

個別位置合わせの具体的な方法も適宜選択できる。例えば、制御部は、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（所謂ＤＰマッチング法／弾性マッチング法）を利用して、第２方向の各位置毎に画像間の位置合わせを実行してもよい。また、第２方向の各位置における、画像間の位置合わせのための第２方向の位置補正量を、関数で近似してもよい。

眼科画像を撮影する眼科画像撮影装置は、スポット状の測定光を組織上でスキャンすることで組織の断層画像を撮影するＯＣＴ装置であってもよい。第１方向は、測定光の光軸に沿う組織の深さ方向であるＡスキャン方向であってもよい。第２方向は、測定光が組織上でスキャンされる方向であるＢスキャン方向であってもよい。この場合、眼科画像には、測定光をスキャンしている間に生じるＢスキャン方向の位置ずれだけでなく、各Ａスキャン画像のＡスキャン方向に沿った位置ずれも生じ得る。特に、ＯＣＴ装置によって撮影される眼科画像には歪みが生じる場合が多く、位置合わせの基準とし易い特徴的な構造も写り込みにくい。これに対し、本開示の眼科画像処理装置は、Ａスキャン方向に関する位置ずれと、Ｂスキャン方向に関する位置ずれを共に解消し、複数の眼科画像の位置合わせを適切に実行することができる。

眼科画像を撮影する眼科画像撮影装置は、主走査方向に沿うスキャンライン上でスポット状の光をスキャンすると共に、主走査方向に交差する副走査方向にスキャンラインを移動させることで、組織の画像を撮影する装置（例えば、走査型レーザ検眼鏡（ＳＬＯ）等）であってもよい。第１方向は主走査方向であってもよく、第２方向は副走査方向であってもよい。この場合、眼科画像には、光を副走査方向にスキャンしている間に生じるスキャンライン同士の位置ずれだけでなく、各スキャンライン上で光を主走査方向にスキャンしている間の位置ずれも生じ得る。これに対し、本開示の眼科画像処理装置は、主走査方向に関する位置ずれと、副走査方向に関する位置ずれを共に解消し、複数の眼科画像の位置合わせを適切に実行することができる。

ただし、眼科画像を撮影する眼科画像撮影装置は、前述した装置に限定されない。例えば、眼科画像撮影装置は、一次元方向に延びる光をスキャンして二次元の領域に照射することで眼科画像を撮影する装置（例えば、ラインスキャンＳＬＯ、または、ラインスキャンＯＣＴ等）であってもよい。この場合、第１方向は、照射される光が延びる一次元方向であってもよく、第２方向は、光がスキャンされるスキャン方向であってもよい。また、眼科画像撮影装置は、ローリングシャッター方式の撮影装置等であってもよい。眼科画像撮影装置は、組織によって反射された光の反射光を受光することで眼科画像のデータを生成してもよいし、光が照射された組織から発せられる光（例えば蛍光等）を受光することで眼科画像のデータを生成してもよい。

また、前述した方法では、光が同時に照射される方向、または、光のスキャン速度が他方のスキャン速度よりも速い方向（ＯＣＴのＡスキャン方向、主走査方向、またはラインスキャンにおいてスキャンラインが延びる方向）が第１方向とされ、第１方向に交差（垂直に交差）する方向（ＯＣＴのＢスキャン方向、副走査方向、または、スキャンラインのスキャン方向）が第２方向とされる。しかし、第１方向と第２方向を逆にする場合でも、複数の眼科画像の位置合わせは適切に実行される。

＜実施形態＞
以下、本開示に係る典型的な実施形態の１つについて説明する。本実施形態では、ＯＣＴ装置によって撮影された、被検眼Ｅの眼底組織の眼科画像を処理する場合について例示する。しかし、処理対象とする眼科画像は、眼底組織以外の組織の画像であってもよい。例えば、処理対象とする眼科画像は、被検眼Ｅの眼底以外の組織（例えば前眼部等）の画像であってもよい。また、被検眼Ｅ以外の生体組織（例えば、皮膚、消化器、または脳等）の画像（つまり、眼科画像以外の画像）が処理対象とされてもよい。また、前述したように、画像を撮影する撮影装置はＯＣＴ装置に限定されない。

図１を参照して、本実施形態の眼科画像処理システム１００の概略構成について説明する。本実施形態の眼科画像処理システム１００は、眼科画像撮影装置１と眼科画像処理装置４０を備える。眼科画像撮影装置１は、生体の組織上で光をスキャンしつつ、組織からの光を時間的に連続して受光することで、第１方向と、第１方向に交差する第２方向に広がるスキャン画像を撮影する。眼科画像処理装置４０は、眼科画像撮影装置１によって取得（撮影）された眼科画像のデータの処理（詳細には、同一部位を撮影した複数の眼科画像の位置合わせ処理）を実行する。本実施形態では、複数の二次元の眼科画像の位置合わせ処理を行う場合を例示する。

本実施形態の眼科画像撮影装置１の構成について説明する。眼科画像撮影装置（ＯＣＴ装置）１は、ＯＣＴ部１０と制御ユニット３０を備える。ＯＣＴ部１０は、ＯＣＴ光源１１、カップラー（光分割器）１２、測定光学系１３、参照光学系２０、および受光素子２２を備える。

ＯＣＴ光源１１は、眼科画像のデータを取得するための光（ＯＣＴ光）を出射する。カップラー１２は、ＯＣＴ光源１１から出射されたＯＣＴ光を、測定光と参照光に分割する。また、本実施形態のカップラー１２は、組織（本実施形態では被検眼Ｅの眼底）によって反射された測定光と、参照光学系２０によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー１２は、ＯＣＴ光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子（例えば、サーキュレータ、ビームスプリッタ等）が使用されてもよい。

測定光学系１３は、カップラー１２によって分割された測定光を被検体に導くと共に、組織によって反射された測定光をカップラー１２に戻す。測定光学系１３は、走査部（スキャナ）１４、照射光学系１６、およびフォーカス調整部１７を備える。走査部１４は、駆動部１５によって駆動されることで、測定光の光軸に交差する二次元方向に、スポット状の測定光をスキャン（走査）させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な２つのガルバノミラーが、走査部１４として用いられている。しかし、光を偏向させる別のデバイス（例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか）が走査部１４として用いられてもよい。照射光学系１６は、走査部１４よりも光路の下流側（つまり被検体側）に設けられており、測定光を組織に照射する。フォーカス調整部１７は、照射光学系１６が備える光学部材（例えばレンズ）を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。

参照光学系２０は、参照光を生成してカップラー１２に戻す。本実施形態の参照光学系２０は、カップラー１２によって分割された参照光を反射光学系（例えば、参照ミラー）によって反射させることで、参照光を生成する。しかし、参照光学系２０の構成も変更できる。例えば、参照光学系２０は、カップラー１２から入射した光を反射させずに透過させて、カップラー１２に戻してもよい。参照光学系２０は、測定光と参照光の光路長差を変更する光路長差調整部２１を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系１３の光路中に設けられていてもよい。

受光素子２２は、カップラー１２によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が受光素子２２によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。フーリエドメインＯＣＴの一例として、Ｓｐｅｃｔｒａｌ−ｄｏｍａｉｎ−ＯＣＴ（ＳＤ−ＯＣＴ）、Ｓｗｅｐｔ−ｓｏｕｒｃｅ−ＯＣＴ（ＳＳ−ＯＣＴ）等を採用できる。また、例えば、Ｔｉｍｅ−ｄｏｍａｉｎ−ＯＣＴ（ＴＤ−ＯＣＴ）等を採用することも可能である。

制御ユニット３０は、眼科画像撮影装置１の各種制御を司る。制御ユニット３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、および不揮発性メモリ（ＮＶＭ）３４を備える。ＣＰＵ３１は各種制御を行うコントローラである。ＲＡＭ３２は各種情報を一時的に記憶する。ＲＯＭ３３には、ＣＰＵ３１が実行するプログラム、および各種初期値等が記憶されている。ＮＶＭ３４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。

制御ユニット３０には、モニタ３７および操作部３８が接続されている。モニタ３７は、各種画像を表示する表示部の一例である。操作部３８は、ユーザが各種操作指示を眼科画像撮影装置１に入力するために、ユーザによって操作される。操作部３８には、例えば、マウス、キーボード、タッチパネル、フットスイッチ等の種々のデバイスを用いることができる。なお、マイクに音が入力されることで各種操作指示が眼科画像撮影装置１に入力されてもよい。

眼科画像処理装置４０の概略構成について説明する。本実施形態では、眼科画像処理装置４０としてパーソナルコンピュータ（以下「ＰＣ」という）が用いられている。しかし、ＰＣ以外のデバイスが眼科画像処理装置として用いられてもよい。例えば、眼科画像撮影装置１自身が、複数の眼科画像の位置合わせ処理を行う眼科画像処理装置として機能してもよい。眼科画像処理装置４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、およびＮＶＭ４４を備える。ＣＰＵ４１は、各種制御を行うコントローラである。ＲＡＭ４２、ＲＯＭ４３、およびＮＶＭ４４は、前述のように各種情報を記憶することができる。後述する眼科画像処理（図４参照）を実行するための眼科画像処理プログラムは、ＮＶＭ４４に記憶されていてもよい。また、眼科画像処理装置４０には、モニタ４７および操作部４８が接続されている。モニタ４７は、各種画像を表示する表示部の一例である。操作部４８は、ユーザが各種操作指示を眼科画像処理装置４０に入力するために、ユーザによって操作される。操作部４８には、眼科画像撮影装置１の操作部３８と同様に、マウス、キーボード、タッチパネル等の種々のデバイスを用いることができる。また、マイク４６に音が入力されることで、各種操作指示が眼科画像処理装置４０に入力されてもよい。

眼科画像処理装置４０は、眼科画像撮影装置１から各種データ（例えば、眼科画像撮影装置１によって撮影された眼科画像のデータ等）を取得することができる。各種データは、例えば、有線通信、無線通信、および着脱可能な記憶装置（例えばＵＳＢメモリ）等の少なくともいずれかによって取得されればよい。

図２および図３を参照して、本実施形態の眼科画像処理装置４０が位置合わせ処理を行う対象とする眼科画像の撮影方法、および、眼科画像の構成の一例について説明する。図２に示すように、本実施形態の眼科画像撮影装置１は、生体の組織５０（図２に示す例では、眼底組織）上で、スポット状の光（測定光）をスキャンする。詳細には、本実施形態の眼科画像撮影装置１は、組織５０上で所定の方向に延びるスキャンライン５２上で光をスキャンすることで、光の光軸に沿うＺ方向と、Ｚ方向に交差（本実施形態では垂直に交差）するＸ方向とに広がる二次元のスキャン画像（本実施形態では断層画像）６１（図３参照）を撮影する。

図３に示すように、本実施形態では、スポット状の測定光が組織上でスキャンされる方向（「Ｂスキャン方向」という）を、Ｘ方向とする。また、測定光の光軸に沿う組織５０の深さ方向（つまり、Ｘ方向に垂直に交差する方向。「Ａスキャン方向」という。）を、Ｚ方向とする。図３に例示する眼科画像６１には、測定光をスキャンしている間に生じるＢスキャン方向（Ｘ方向）の位置ずれだけでなく、各Ａスキャン画像（つまり、Ｂスキャン方向の各位置においてＡスキャン方向に並ぶ複数の画素からなる画像）の、Ａスキャン方向に沿った位置ずれも生じ得る。組織の姿勢によって眼科画像６１に歪みが生じると、各方向における位置ずれはより複雑となる。本実施形態の眼科画像処理装置４０は、Ａスキャン方向に関する位置ずれと、Ｂスキャン方向に関する位置ずれを共に解消し、複数の眼科画像６１の位置合わせを適切に実行する。なお、本実施形態では、Ａスキャン方向（Ｚ方向）を第１方向、Ｂスキャン方向（Ｘ方向）を第２方向として説明を行う。

図４から図８を参照して、本実施形態における眼科画像処理について説明する。なお、本実施形態では、ＰＣである眼科画像処理装置４０が眼科画像撮影装置１から複数の眼科画像６１のデータ（以下、単に「眼科画像６１」という場合もある）を取得し、取得した複数の眼科画像６１の位置合わせを実行する。しかし、前述したように、他のデバイスが眼科画像処理装置として機能してもよい。例えば、眼科画像撮影装置１自身が眼科画像処理を実行してもよい。また、複数の制御部（例えば、眼科画像撮影装置１のＣＰＵ３１と、眼科画像処理装置４０のＣＰＵ４１）が協働して眼科画像処理を実行してもよい。眼科画像処理装置４０のＣＰＵ４１は、ＮＶＭ４４に記憶された眼科画像処理プログラムに従って、図４に示す眼科画像処理を実行する。

まず、ＣＰＵ４１は、同一の被検眼の組織における同一部位を撮影した、複数の眼科画像６１を取得する（Ｓ１）。図３および図５に例示するように、本実施形態の眼科画像６１は、第１方向と第２方向に広がるスキャン画像（本実施形態では二次元の断層画像）である。

次いで、ＣＰＵ４１は、Ｓ１で取得された複数の眼科画像６１の少なくともいずれかを、複数の眼科画像６１の位置合わせを実行する際の基準とする第１眼科画像（基準画像）６１Ａに設定する（Ｓ２）。以後説明する処理では、Ｓ１で取得された複数の眼科画像６１のうち、第１眼科画像６１Ａ以外の第２眼科画像６１Ｂを、基準画像である第１眼科画像６１Ａに対して位置合わせすることで、複数の眼科画像６１の位置合わせが実行される。

ここで、複数の眼科画像６１のうち、良好に撮影されていない画像（例えば、位置ずれの程度が大きい画像等）が、基準画像である第１眼科画像６１Ａに設定されると、複数の眼科画像６１の位置合わせが適切に実行され難い。また、以下説明する処理では画像間の局所的な位置合わせが実行されるため、画像全体に亘って特徴がある画像が、基準画像である第１眼科画像６１Ａに設定されることが好ましい。従って、本実施形態のＳ２では、ＣＰＵ４１は、Ｓ１で取得された複数の眼科画像６１の少なくとも２つ以上を加算平均処理して加算平均画像を一旦生成し、生成した加算平均画像との間の類似度が最も高い（例えば、相関が最も大きい）眼科画像６１を、第１眼科画像６１Ａに設定する。

ただし、第１眼科画像６１Ａの設定方法を変更することも可能である。例えば、ＣＰＵ４１は、複数の眼科画像６１のうち、画像品質（例えば、ノイズの低さ、またはエッジの鋭さ等）が最も高い眼科画像６１を、第１眼科画像６１Ａに設定してもよい。また、ＣＰＵ４１は、複数の眼科画像６１のいずれかをランダムに選択し、選択した画像を第１眼科画像６１Ａに設定してもよい。

ＣＰＵ４１は、Ｓ１で取得した複数の眼科画像６１のうち、第１眼科画像６１Ａ以外の眼科画像６１の１つを、位置合わせを実行する対象とする第２眼科画像６１Ｂとする。前述したように、各々の眼科画像６１には、Ａスキャン方向（第１方向であるＸ方向）に関する位置ずれと、Ｂスキャン方向（第２方向であるＺ方向）に関する位置ずれが共に生じ得る。

図５に示す例では、第１眼科画像６１Ａに写る第１特徴部位のＸ座標Ｐ１Ａと、第２眼科画像６１Ｂに写る第２特徴部位のＸ座標Ｐ１Ｂの間に、距離ｄ１の位置ずれが生じている。また、第１眼科画像６１Ａに写る第２特徴部位のＸ座標Ｐ２Ａと、第２眼科画像６１Ｂに写る第２特徴部位のＸ座標Ｐ２Ｂの間に、距離ｄ２の位置ずれが生じている。つまり、第１眼科画像６１Ａと第２眼科画像６１Ｂの間には、Ｘ方向（第２方向）に関する位置ずれが生じている。また、詳細は後述するが、第１眼科画像６１Ａと第２眼科画像６１Ｂの間には、各Ａスキャン画像の、Ｚ方向（第１方向）に関する位置ずれも生じている。

図４の説明に戻る。ＣＰＵ４１は、第１眼科画像６１Ａと第２眼科画像６１Ｂの各々について、第２方向（Ｘ方向）の各位置の第１方向（Ｚ方向）に関する位置ずれの影響を除外した情報である中間情報を取得する（Ｓ４）。第１眼科画像６１Ａと第２眼科画像６１Ｂに対し、第１方向に関する位置ずれが生じた状態のまま第２方向に関する位置合わせを精度良く実行することは困難である。従って、ＣＰＵ４１は、第１方向に関する位置ずれの影響を除外した中間情報を用いることで、第２方向に関する位置合わせの精度を向上させる。

詳細には、本実施形態のＳ４では、ＣＰＵ４１は、眼科画像６１（第１眼科画像６１Ａおよび第２眼科画像６１Ｂの各々）に対して、第１方向（Ｚ方向）にフーリエ変換を行うことで得られるパワースペクトル画像の情報を、中間情報として取得する。パワースペクトル画像は、第２方向（Ｘ方向）の各位置における各周波数の振幅の絶対値を示す。従って、取得されるパワースペクトル画像では、第１方向（Ｚ方向）に関する位置ずれの影響が除外されている。

図６は、第１眼科画像６１Ａについて取得された第１中間情報（第１パワースペクトル画像）７１Ａと、第２眼科画像６１Ｂについて取得された第２中間情報（第２パワースペクトル画像）７１Ｂを示す。図６に示すように、第１中間情報７１Ａと第２中間情報７１Ｂには、第１方向に関する位置ずれの情報が含まれていないので、両画像間の第２方向に関する位置ずれが鮮明に表れる。よって、パワースペクトル画像の情報を中間情報７１Ａ，７１Ｂとして用いることで、第１方向に関する位置ずれの影響が抑制された状態で、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向に関する位置合わせが精度良く実行される。

図４の説明に戻る。ＣＰＵ４１は、第１眼科画像６１Ａについて取得された第１中間情報７１Ａと、第２眼科画像６１Ｂについて取得された第２中間情報７１Ｂに基づいて、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向（Ｘ方向）に関する位置合わせを実行する（Ｓ５，Ｓ６）。詳細には、本実施形態では、両画像の全体位置合わせ（Ｓ５）を実行した後に、個別位置合わせ（Ｓ７）を実行する。

全体位置合わせ（Ｓ５）では、ＣＰＵ４１は、第１眼科画像６１Ａと第２眼科画像６１Ｂの一方（本実施形態では第２眼科画像６１Ｂ）の全体の位置を、纏めて第２方向に補正する（つまり、全体の位置を第２方向に平行移動させる）ことで、他方（本実施形態では第１眼科画像６１Ａ）の位置に合わせる。その結果、各々の眼科画像６１内の第２方向の相対的な位置関係が全体で維持されたまま、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向に関する位置合わせが実行される。よって、第２方向における大まかな位置合わせが容易に実行される。

一例として、本実施形態の全体位置合わせ（Ｓ５）では、ＣＰＵ４１は、第１中間情報７１Ａと第２中間情報７１Ｂを参照し、位相限定相関法を用いて、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向の位置合わせを実行する。位相限定相関法では、画像情報（中間情報７１Ａ，７１Ｂ）に対してフーリエ変換が実行されることで、振幅の情報と位相の情報に分解される。次いで、ＣＰＵ４１は、形状情報が含まれない振幅情報を使用せずに、位相情報のみを用いて、第１中間情報７１Ａと第２中間情報７１Ｂの相関を取る。ＣＰＵ４１は、第１中間情報７１Ａと第２中間情報７１Ｂの相関が最も高くなる際の、第２中間情報７１ＢのＸ方向の移動方向および移動距離を、第１眼科画像６１Ａに対する第２眼科画像６１ＢのＸ方向の移動方向および移動距離とする。その結果、全体位置合わせが適切に実行される。

個別位置合わせ（Ｓ６）では、ＣＰＵ４１は、第１中間情報７１Ａと第２中間情報７１Ｂに基づいて、第２方向（Ｘ方向）の各位置毎に、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向に関する位置合わせを実行する。その結果、第１眼科画像６１Ａと第２眼科画像６１Ｂの間の第２方向における位置ずれ量が、第２方向の位置に応じて異なる場合でも、両画像の第２方向に関する位置合わせが精度良く実行される。

一例として、本実施形態の個別位置合わせ（Ｓ６）では、ＣＰＵ４１は、第１中間情報７１Ａと第２中間情報７１Ｂを参照し、動的計画法によるマッチング法（所謂ＤＰマッチング法／弾性マッチング法）によって、第１眼科画像６１Ａに対する第２眼科画像６１Ｂの第２方向における各位置の個別位置合わせを実行する。その結果、第２方向の位置に応じて、適切に第２方向の位置合わせが行われる。ただし、個別位置合わせの方法を変更することも可能である。例えば、ＣＰＵ４１は、第２方向の各位置における補正量（つまり、第２方向の移動量）を、Ｘを変数とする関数で近似してもよい。

図７では、第１眼科画像６１Ａと、第１眼科画像６１Ａに対して第２方向に関する位置合わせ（Ｓ５，Ｓ６）が実行された第２眼科画像６１ＢＸを、Ｚ方向に並べて示している。図７に示すように、第１方向（Ｚ方向）に関する位置ずれの影響を除外した中間情報７１Ａ，７１Ｂに基づいて、第２方向に関する両画像の位置合わせが実行されることで、第１特徴部位のＸ座標Ｐ１Ａ，Ｐ１Ｂの位置ずれも、第２特徴部位のＸ座標Ｐ２Ａ，Ｐ２Ｂの位置ずれも、共に精度良く解消されている。

以上説明したように、本実施形態では、第１眼科画像６１Ａと第２眼科画像６１Ｂの第２方向に関する全体位置合わせ（Ｓ５）と個別位置合わせ（Ｓ６）が、共に実行される。よって、第２方向に関する両画像の位置合わせが、より精度良く実行される。しかし、全体位置合わせ（Ｓ５）と個別位置合わせ（Ｓ６）の一方のみが実行される場合でも、第１方向（Ｚ方向）に関する位置ずれの影響を除外した中間情報７１Ａ，７１Ｂに基づいて第２方向の位置合わせが実行されることで、第２方向の位置合わせが適切に行われる。

次いで、ＣＰＵ４１は、第２方向に関する位置合わせ（Ｓ５，Ｓ６）が実行された第１眼科画像６１Ａと第２眼科画像６１ＢＸ（図７参照）について、第２方向（Ｘ方向）における位置が共通する画素同士の、第１方向（Ｚ方向）に関する位置合わせを実行する（Ｓ７）。従って、両画像間の第１方向における位置合わせも、第２方向に関する位置ずれの影響が抑制された状態で精度良く実行される。

一例として、本実施形態のＳ７では、ＣＰＵ４１は、第２方向における位置が共通する第１眼科画像６１Ａと第２眼科画像６１ＢＸの画素同士の、第１方向に関する位置合わせ（本実施形態では、第１眼科画像６１Ａの画素に対する第２眼科画像６１ＢＸの画素の位置合わせ）を、前述した位相限定相関法を用いて実行する。図８に示すように、第２方向における位置が共通する画素同時の相関が最も高くなるように、第１方向に関する移動方向および移動量ΔＺを、第２方向における各位置について求める。その結果、第１方向に関する両画像間の位置合わせが適切に実行される。

次いで、Ｓ１で取得された複数の眼科画像６１の全てについて、位置合わせが未だ完了していなければ（Ｓ９：ＮＯ）、処理はＳ４へ戻り、未だ位置合わせが行われていない眼科画像６１を第２眼科画像６１Ｂとして、Ｓ４〜Ｓ７の処理が繰り返される。全ての眼科画像６１の位置合わせが完了すると（Ｓ９：ＹＥＳ）、位置合わせが行われた複数の眼科画像６１に基づいて、加算平均画像またはモーションコントラスト画像が生成される（Ｓ１０）。複数の眼科画像６１の位置合わせが精度良く実行されているので、Ｓ１０では、高品質の加算平均画像またはモーションコントラスト画像が生成される。

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態の眼科画像処理装置４０は、ＯＣＴ装置である眼科画像撮影装置１によって撮影された複数の眼科画像６１の位置合わせを実行する。しかし、位置合わせの対象となる眼科画像を撮影する眼科画像撮影装置は、ＯＣＴ装置に限定されない。例えば、図９に示すように、眼科画像を撮影する眼科画像撮影装置は、主走査方向に沿うスキャンライン８２上でスポット状の光をスキャンすると共に、主走査方向に交差（例えば垂直に交差）する副走査方向にスキャンライン８２を移動させることで、組織５０上の二次元の領域８１の画像を撮影する装置（例えば、走査型レーザ検眼鏡（ＳＬＯ）等）であってもよい。

この場合、眼科画像には、スキャンライン８２を副走査方向にスキャンしている間に生じるスキャンライン８２同士の位置ずれだけでなく、各スキャンライン８２上で光を主走査方向にスキャンしている間の位置ずれも生じ得る。これに対し、上記実施形態で例示したように、眼科画像処理装置は、主走査方向および副走査方向のうち、一方の第１方向に関する位置ずれの影響を除外した中間情報に基づいて、他方の第２方向に関する位置合わせを実行し、その後第１方向に関する位置合わせを実行することで、複数の眼科画像の位置合わせを適切に実行することが可能である。

なお、第１方向は主走査方向であってもよく、第２方向は副走査方向であってもよい。この場合、主走査方向に高速で光をスキャンしている間に生じる細かい位置ずれの影響が除外されたうえで、大幅な位置ずれが生じやすい副走査方向に関する複数の眼科画像の位置合わせが実行される。よって、複数の眼科画像の位置合わせがより適切に実行される。

ただし、第１方向を副走査方向とし、第２方向を主走査方向とする場合でも、複数の眼科画像の位置合わせは適切に実行される。同様に、上記実施形態における第１方向（Ａスキャン方向）と第２方向（Ｂスキャン方向）を逆にする場合でも、複数の眼科画像の位置合わせは適切に実行される。

また、位置合わせの対象となる眼科画像を撮影する眼科画像撮影装置は、一次元方向に延びる光をスキャンして二次元の領域に照射することで眼科画像を撮影する装置（例えば、ラインスキャンＳＬＯ、または、ラインスキャンＯＣＴ等）であってもよい。この場合、照射される光が延びる一次元方向を第１方向とし、光がスキャンされるスキャン方向を第２方向とすることで、第１方向に生じる細かい位置ずれの影響が除外されたうえで、第２方向に関する複数の眼科画像の位置合わせが実行される。ただし、前述したように、第１方向と第２方向を逆にすることも可能である。また、眼科画像撮影装置は、ローリングシャッター方式の撮影装置、または、二次元領域に照射される測定光をスキャンする撮影装置等であってもよい。

また、上記実施形態では、複数の眼科画像６１の撮影が完了した後に位置合わせ処理が実行される。しかし、基準画像（第１眼科画像６１Ａ）に対する位置合わせを実行する対象となる第２眼科画像６１Ｂが撮影される毎に、両画像の位置合わせが実行されてもよい。この場合、複数の眼科画像６１のうち、最初に撮影された眼科画像６１が、基準画像である第１眼科画像６１Ａに設定されてもよい。

また、上記実施形態では、複数の二次元の眼科画像６１の位置合わせが実行される場合を例示した。しかし、複数の三次元の眼科画像の位置合わせを実行する場合でも、上記実施形態で例示した技術の少なくとも一部を採用できる。この場合、第１方向および第２方向の一方は、二次元の方向（平面方向）であってもよい。

なお、図４のＳ１で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図４のＳ４で中間情報を取得する処理は、「中間情報取得ステップ」の一例である。図４のＳ５，Ｓ６で第２方向に関する位置合わせを実行する処理は、「第１位置合わせステップ」の一例である。図４のＳ７で第１方向に関する位置合わせを実行する処理は、「第２位置合わせステップ」の一例である。図４のＳ５で全体位置合わせを実行する処理は、「全体位置合わせステップ」の一例である。図４のＳ６で個別位置合わせを実行する処理は、「個別位置合わせステップ」の一例である。

１ 眼科画像撮影装置
４０ 眼科画像処理装置
４１ ＣＰＵ
４４ ＮＶＭ
６１ 眼科画像
６１Ａ 第１眼科画像
６１Ｂ 第２眼科画像
７１Ａ 第１中間情報
７１Ｂ 第２中間情報

Claims (7)

1. 被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置であって、
   前記眼科画像は、
   前記被検眼の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得され、第１方向と、前記第１方向に交差する第２方向とに広がるスキャン画像であり、
   前記眼科画像処理装置の制御部は、
   同一の前記被検眼の組織における同一部位を撮影した第１眼科画像および第２眼科画像を取得する画像取得ステップと、
   前記第１眼科画像および前記第２眼科画像の各々について、前記第２方向の各位置の前記第１方向に関する位置ずれの影響を除外した情報である中間情報を取得する中間情報取得ステップと、
   前記第１眼科画像について取得された前記中間情報と、前記第２眼科画像について取得された前記中間情報に基づいて、前記第１眼科画像と前記第２眼科画像の前記第２方向に関する位置合わせを実行する第１位置合わせステップと、
   前記第１位置合わせステップにおいて前記第２方向に関する位置合わせが実行された前記第１眼科画像と前記第２眼科画像について、前記第２方向における位置が共通する画素同士の前記第１方向に関する位置合わせを実行する第２位置合わせステップと、
   を実行することを特徴とする眼科画像処理装置。
2. 請求項１に記載の眼科画像処理装置であって、
   前記中間情報は、前記眼科画像に対して前記第１方向にフーリエ変換を行うことで得られるパワースペクトル画像の情報であることを特徴とする眼科画像処理装置。
3. 請求項１または２に記載の眼科画像処理装置であって、
   前記制御部は、前記第１位置合わせステップにおいて、前記第１眼科画像の前記中間情報と、前記第２眼科画像の前記中間情報に基づいて、前記第１眼科画像と前記第２眼科画像の各々の画像内における前記第２方向の相対的な位置関係を保った状態で、前記第１眼科画像と前記第２眼科画像の前記第２方向に関する位置を合わせる全体位置合わせステップを実行することを特徴とする眼科画像処理装置。
4. 請求項１から３のいずれかに記載の眼科画像処理装置であって、
   前記制御部は、前記第１位置合わせステップにおいて、前記第１眼科画像の前記中間情報と、前記第２眼科画像の前記中間情報に基づいて、前記第２方向の各位置毎に、前記第２方向に関する位置合わせを実行する個別位置合わせステップを実行することを特徴とする眼科画像処理装置。
5. 請求項１から４のいずれかに記載の眼科画像処理装置であって、
   前記眼科画像を撮影する眼科画像撮影装置は、スポット状の測定光を組織上でスキャンすることで、組織の断層画像を撮影するＯＣＴ装置であって、
   前記第１方向は、前記測定光の光軸に沿う前記組織の深さ方向であるＡスキャン方向であり、
   前記第２方向は、前記測定光が前記組織上でスキャンされるＢスキャン方向であることを特徴とする眼科画像処理装置。
6. 請求項１から４のいずれかに記載の眼科画像処理装置であって、
   前記眼科画像を撮影する眼科画像撮影装置は、主走査方向に沿うスキャンライン上でスポット状の光をスキャンすると共に、主走査方向に交差する副走査方向に前記スキャンラインを移動させることで、組織の画像を撮影する装置であって、
   前記第１方向は前記主走査方向であり、
   前記第２方向は前記副走査方向であることを特徴とする眼科画像処理装置。
7. 被検眼の組織の画像である眼科画像のデータを処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
   前記眼科画像は、
   前記被検眼の組織上で光をスキャンしつつ、前記組織からの光を時間的に連続して受光することで取得され、第１方向と、前記第１方向に交差する第２方向とに広がるスキャン画像であり、
   前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
   同一の前記被検眼の組織における同一部位を撮影した第１眼科画像および第２眼科画像を取得する画像取得ステップと、
   前記第１眼科画像および前記第２眼科画像の各々について、前記第２方向の各位置の前記第１方向に関する位置ずれの影響を除外した情報である中間情報を取得する中間情報取得ステップと、
   前記第１眼科画像について取得された前記中間情報と、前記第２眼科画像について取得された前記中間情報に基づいて、前記第１眼科画像と前記第２眼科画像の前記第２方向に関する位置合わせを実行する第１位置合わせステップと、
   前記第１位置合わせステップにおいて前記第２方向に関する位置合わせが実行された前記第１眼科画像と前記第２眼科画像について、前記第２方向における位置が共通する画素同士の前記第１方向に関する位置合わせを実行する第２位置合わせステップと、
   を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
   
   

Images