JP2017056245A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画像に組織形状や細胞動態の計測が困難な例外フレームが含まれている場合でも正確に組織を抽出したり、ロバストに細胞動態を計測したりすることを可能にする。【解決手段】画像処理装置は、収差補正デバイスを有する眼科撮影装置により撮影された動画像を構成する複数のフレームから例外フレームを判定し、複数のフレームのうち例外フレームと判定されなかったフレームについて血管領域に関する画像処理を適用する。【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に眼科診療に適した画像処理装置及び画像処理方法に関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザ顕微鏡の原理を利用した眼科装置である走査型レーザ検眼鏡（ＳＬＯ：Scanning Laser Ophthalmoscope）は、測定光であるレーザを眼底に対してラスタ走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜の平面画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜の平面画像の取得において、被検眼の収差による平面画像のＳＮ比及び分解能の低下が課題になってきた。

そのような課題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発されてきている。このような補償光学ＳＬＯ装置によれば、高横分解能な平面画像の取得が可能となる。

また、このような高横分解能な平面画像は動画像（以下、ＳＬＯ動画像）として取得することができ、たとえば網膜毛細血管の血流動態を非侵襲に計測することができる。具体的には、ＳＬＯ動画像の各ｘｙ位置におけるフレーム方向での輝度のばらつきを画像化し、網膜毛細血管を抽出（図５（ｂ））して血流速度の計測位置を決める。次に、ＳＬＯ動画像上で該計測位置（図５（ａ）のｐｔ）を指定して該経路上で時空間画像と呼ばれる曲断面画像（図５（ｄ））を生成する。時空間画像から血球の移動軌跡を検出し、該軌跡の角度から血球の移動速度を計測する。

上記血流計測においては、眼球・眼瞼運動の影響もしくは撮像装置に起因する画像特性の違いにより計測が困難な例外フレームが生じることがある。特に患眼では、図５（ａ）に示すように瞬目によって低輝度フレームが発生したり、固視ずれによって撮影対象外の領域が撮影されたフレームが発生したりすることがしばしば生じる。また、収差補正不良等の装置の特性により動画像中にＳＮ比の低下したフレームが含まれる場合もある。このような例外フレームの影響を考慮せずにそのまま計測を行うと、例えば血管抽出の際に図５（ｃ）に示すように血管像がぼやけて細部の血管の位置が特定できなくなってしまう。あるいは、図５（ｅ）のＥｂ・Ｅｄに示すように瞬目や固視ずれによって時空間画像上に低輝度領域や異なる撮影位置の情報が混入し、計測対象である血球軌跡が途切れてしまい、血球の移動軌跡の検出が困難になる場合があった。

ＳＬＯ動画像中に例外フレームが発生するのを防ぐために、撮像時に例外フレームの発生を防ぐ追尾機構を装置に備える方法が考えられる。しかし、広画角ＳＬＯ画像を撮影するための構成を別途備える必要がある。また、例えそのような追尾機構を設けたとしても、実際には固視微動が大きい場合に完全に追尾させることは難しい。

そこでＳＬＯ動画像における例外フレームを自動判定し、例外フレームを除外して画像計測したり、例外フレームに近接したフレームにおける画像処理法を変更して画像計測する技術が必要となる。特許文献１には、眼部動画像における血流速度を計測する方法として、眼底血管の始点と終点を指定し、始点と終点の輝度の時間差に基づいて、血流速を求める技術が記載されている。

特開２００７−３３０５８２号公報

J.Tam et al.；"Noninvasive Visualization and Analysis of Parafoveal Capillaries in Humans", IOVS, Vol.51, No.3,pp.1691-1698, 2010.

しかしながら特許文献１に記載の技術では血管部に正確にビームを照射する必要があり、眼底の動きが発生すると、血流速の測定そのものができない。特許文献１では、このように眼底の動きが発生したフレームを含む場合の対処については考慮されていない。

また、非特許文献１には、収差補正ＳＬＯ動画像から動画像フレーム間の輝度値の標準偏差に基づいて毛細血管を抽出することが記載されている。しかし、非特許文献１では、全てのフレームを用いて輝度値の標準偏差を求めているため、眼底の動きが発生すると（血球の動き以外の要因で該標準偏差の値が大きくなり）血管像がぼやけてしまう。すなわち、非特許文献１においても、眼底の動きが発生したフレームを含む場合に正確に毛細血管を抽出するという課題について何等考慮されていない。

本発明は上記の課題に鑑みてなされたものであり、動画像に組織形状や細胞動態の計測が困難な例外フレームが含まれている場合でも正確に組織を抽出したり、ロバストに細胞動態を計測したりすることを可能にすることを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
収差補正デバイスを有する眼科撮影装置により撮影された動画像を構成する複数のフレームから例外フレームを判定する判定手段と、
前記複数のフレームのうち前記例外フレームと判定されなかったフレームについて血管領域に関する画像処理を適用する処理手段と、を備える。

本発明によれば、眼部の動画像に組織形状や細胞動態を計測するのに適さない例外フレームが含まれている場合でも、ロバストに組織を抽出したり細胞動態を計測したりできる。

第１実施形態に係る画像処理装置の機能構成例を示すブロック図。 画像処理装置を含むシステムの構成例を示すブロック図。 画像処理装置を実現するコンピュータのハードウェア構成例を示すブロック図。 第１実施形態に係る画像処理装置が実行する処理を示すフローチャート。 第１実施形態での画像処理内容を説明する図。 第１実施形態に係る例外フレーム判定処理を示すフローチャート。 第１実施形態に係る計測処理を示すフローチャート。 第２実施形態に係る画像処理装置の機能構成例を示すブロック図。 第２実施形態に係る画像処理装置が実行する処理を示すフローチャート。 第２実施形態に係る位置合わせ処理を示すフローチャート。 ＳＬＯ動画像に対する計測結果に関する表示画面の一例を示す図。 血流速度グラフを示す図。 同一眼を撮影した複数のＳＬＯ動画像に対する計測結果に関する表示画面の一例を示す図。

以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし本発明は以下の実施形態に限定されるものではない。

［第１実施形態］
以下の実施形態では、組織形状として眼球の網膜毛細血管の形状を、細胞動態として網膜毛細血管における血球の移動を計測する場合を例示して説明する。第１実施形態に係る画像処理装置では、ＳＬＯ動画像Ｄを構成する複数フレームから瞬目や固視ずれ、収差補正不良を含む例外フレームを検出し、例外フレームに対する画像処理方法を変更して網膜毛細血管の抽出や血球の移動速度を計測する。

具体的には、画像処理装置は図１に示される機能構成を有し、ＳＬＯ動画像に含まれる画像特徴に基づいて例外フレーム判定部１４１が例外フレームを判定する。例外フレーム判定部１４１は例外の種類と程度も判定し、画像処理法変更部１４２は例外の種類と程度に基づいて例外フレーム内に計測対象（血管や血球）に関する情報が含まれるかを判定する。計測対象に関する情報が残っていると判定した場合には、画像処理パラメータ設定部１４２２が例外フレームにおける画像処理パラメータを変更した上で、血管抽出や血球軌跡の検出を行う。他方、計測対象に関する情報が残っていないと判断された場合には、画像処理対象選択部１４２１が非例外フレームのみを選択して血管抽出や血球軌跡の検出を行い、例外フレームにおける血球移動速度は非例外フレームにおける計測データを補間して推定する。表示部１４４において計測値と推定値、信頼度判定部１４３１が判定した計測値の信頼度を表示する。以上の構成により、眼部の動画像に血管形状や血球動態を計測するのに適さない例外フレームが含まれている場合でも、ロバストに血管を抽出したり血球動態を計測したりできる。

図２は第１実施形態に係る画像処理装置１０を含む撮影システムの構成図である。図２に示すように、画像処理装置１０は、ＳＬＯ装置２０、時相データ取得装置３０、データサーバ５０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ４０）を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。また、これら画像処理装置１０、ＳＬＯ装置２０、時相データ取得装置３０、データサーバ５０のうちの複数のいくつかが一つの装置において実現されてもよい。たとえば、画像処理装置１０とデータサーバ５０が一つの情報処理装置によって実現されてもよい。

ＳＬＯ装置２０は補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）であり、眼底部の平面画像（ＡＯ−ＳＬＯ動画像）を撮像する装置である。ＳＬＯ装置２０は、ＳＬＯ動画像Ｄを撮像し、ＳＬＯ動画像Ｄ及びその撮影時に用いた固視標位置Ｆの情報を画像処理装置１０やデータサーバ５０へ送信する。ＳＬＯ装置２０はＳＬＤ、シャックハルトマン波面センサ、補償光学系、第一及び第二のビームスプリッタ、Ｘ−Ｙ走査ミラー、フォーカスレンズ、絞り、光センサ、画像形成部、出力部を有する。光源であるＳＬＤ（Super Luminescent Diode）から照射された光は眼底で反射され、一部が第二のビームスプリッタ経由でシャックハルトマン波面センサへ、それ以外は第一のビームスプリッタ経由で光センサへ入力される。シャックハルトマン波面センサは眼の収差を測定するためのデバイスであり、レンズアレイにＣＣＤが接続されている。入射光がレンズアレイを透過するとＣＣＤに輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系はシャックハルトマン波面センサで測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。該収差補正された光はフォーカスレンズ、絞りを経由し光センサにて受光される。Ｘ／Ｙ走査ミラーを動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。該データを画像形成部へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ（動画像もしくは静止画像）を形成する。出力部は画像形成部が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。なお、ＳＬＯ装置２０の代わりに補償光学系または収差補正デバイスを有する眼底カメラ等の眼科撮影装置を用いることもできる。

時相データ取得装置３０は、自律的に変化する生体信号データ（時相データ）を取得する装置であり、例えば脈波計もしくは心電計からなる。時相データ取得装置３０は不図示の操作者による操作に応じ、ＳＬＯ動画像Ｄの取得と同時に時相データＰを取得する。ここで時相データＰは図５（ｆ）に示すように一方の軸に取得時刻ｔ、他方の軸に脈波計が計測した脈波信号値ｖを持つ点列として表現される。得られた時相データＰは、画像処理装置１０やデータサーバ５０へ送信される。

データサーバ５０は被検眼のＳＬＯ動画像Ｄや固視標位置Ｆのような撮像条件データ、時相データＰ、眼部の画像特徴などを保持する。ＳＬＯ装置２０が出力するＳＬＯ動画像Ｄ、固視標位置Ｆや時相データ取得装置３０が出力する時相データＰ、画像処理装置１０が出力する眼部の画像特徴はデータサーバ５０に保存される。また、データサーバ５０は、画像処理装置１０からの要求に応じ、ＳＬＯ動画像Ｄ、時相データＰ、眼部の画像特徴及び該画像特徴の正常値データを画像処理装置１０に送信する。

次に、図３を用いて本実施形態による画像処理装置１０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置である。また、３０５はモニタであり、ＣＰＵ３０１の制御下で各種表示を行なう。３０６はキーボード、３０７はポインティングデバイス（例えばマウス）であり、ユーザによる操作入力を行なう。３０８はインターフェースであり、ＬＡＮ４０と画像処理装置１０を接続する。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下で図１等を用いて説明される各部として機能する。

図１は画像処理装置１０の機能構成を示すブロック図である。図１において、画像処理装置１０は画像取得部１１０、時相データ取得部１２０、記憶部１３０、画像処理部１４０、指示取得部１５０を有する。また、画像処理部１４０は例外フレーム判定部１４１、画像処理法変更部１４２、計測部１４３、表示部１４４を備える。例外フレーム判定部１４１は、画像特徴取得部１４１１、基準領域設定部１４１２、判定部１４１３を有する。また、画像処理法変更部１４２は、画像処理対象選択部１４２１、画像処理パラメータ設定部１４２２を有する。さらに、計測部１４３は信頼度判定部１４３１を有する。以下、画像処理装置１０を構成する各ブロックの機能について、図４のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。

＜ステップＳ４１０＞ 時相データ取得部１２０は時相データ取得装置３０に対し生体信号に関する時相データＰの取得を要求する。本実施形態では時相データ取得装置３０として脈波計を用い、被験者の耳垂（耳たぶ）から脈波データＰが取得される。時相データ取得装置３０は時相データ取得部１２０からの取得要求に応じて対応する時相データＰを取得して送信する。これにより、時相データ取得部１２０は、上記取得要求に応じて時相データ取得装置３０からＬＡＮ４０を介して当該脈波データＰを受信することができる。時相データ取得部１２０は受信した時相データＰを記憶部１３０に格納する。

また、画像取得部１１０はＳＬＯ装置２０に対して固視標位置Ｆで撮影されたＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。本実施形態では、黄斑部の傍中心窩に固視標位置Ｆを設定してＳＬＯ動画像Ｄを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。ここで時相データ取得装置３０が取得する時相データＰのある位相に合わせて画像取得部１１０がＳＬＯ動画像Ｄを取得開始する場合と、ＳＬＯ動画像Ｄの取得要求後直ちに脈波データＰとＳＬＯ動画像Ｄの取得を開始する場合とが考えられる。本実施形態では後者（ＳＬＯ動画像Ｄの取得要求後直ちに時相データＰとＳＬＯ動画像Ｄの取得を開始する）が用いられるものとする。

ＳＬＯ装置２０は、画像取得部１１０からの取得要求に応じてＳＬＯ動画像Ｄ、固視標位置Ｆを取得し送信する。画像取得部１１０はＳＬＯ装置２０からＬＡＮ４０を介してＳＬＯ動画像Ｄ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄ、固視標位置Ｆを記憶部１３０に格納する。なお、本実施形態ではＳＬＯ動画像Ｄは既にフレーム間位置合わせ済の動画像であるとする。

＜ステップＳ４２０＞ 例外フレーム判定部１４１は、ＳＬＯ動画像Ｄの各フレームＤｉ（ｉ＝１，．．．，ｎ０）から画像特徴を取得し、取得した画像特徴を用いて例外フレーム判定（例外フレームか否か、例外の種類及び程度）を行う。次に例外フレーム以外で最もフレーム番号の小さいフレームを基準フレームとして設定する。さらに、各フレームから得られた画像特徴群のフレーム間変位量に基づいて例外フレーム判定を行う。画像特徴取得および単一フレームでの例外フレーム判定処理の具体的な手順については図６のステップＳ６１０及びＳ６２０で詳述する。なお、基準フレームの設定は、上記に限られるものではなく、例外フレーム以外の任意のフレームを指定してもよいし、特定の画像特徴に基づいて自動的に選択されてもよい。

＜ステップＳ４３０＞ 画像処理法変更部１４２は、ＳＬＯ動画像Ｄ中の各例外フレームについて、例外フレームの種類及び程度の情報に基づいて、血球動態の計測時に各例外フレームにおける輝度情報を利用するか否かを判定する。輝度情報を利用すると判定された例外フレームについては、画像処理パラメータ設定部１４２２がその例外フレームに対する画像処理パラメータを変更した上で、計測を行う。他方、輝度情報を利用しないと判定されたフレームについては、画像処理対象選択部１４２１がその例外フレーム以外を計測対象フレームとして選択した上で、血管抽出及び血流計測を行う。なお、具体的な画像処理パラメータの変更法については図７のフローチャート（ステップＳ７３０）により後述する。

なお、血流速度を算出する場合には時相データを用いて脈波１周期内での相対的な速度値を算出する。速度値の算出法については図７のフローチャート（ステップＳ７５０）で説明する。さらに、信頼度判定部１４３１が例外フレーム番号、例外の種類もしくは程度の情報に基づいて計測結果の信頼度を判定する。計測データに関する信頼度の判定法については図７のフローチャート（ステップＳ７６０）で説明する。

＜ステップＳ４４０＞ 表示部１４４は、ステップＳ４３０で特定した血管領域を示す画像及び該特定した血管領域内の血球移動速度の計測結果や、信頼度判定部１４３１が判定した計測データの信頼度を、モニタ３０５に表示する。例えば、血管領域画像の端部には血管抽出に用いた画像の枚数の情報を表示しておく。また、時空間画像上で検出された血球軌跡のうち、例外フレームを通過する軌跡から得られる速度値もしくは速度マップの信頼度をスコア（数値）もしくはカラーで表示する。なお表示法はこれに限られるものではなく、任意の表示法を用いて良い。

＜ステップＳ４５０＞ 指示取得部１５０は、ステップＳ４４０において表示されたＳＬＯ動画像Ｄ、固視標位置Ｆ、例外フレーム番号系列、脈波の解析データ（極値・周期）をデータサーバ５０へ保存するか否かの指示を取得する。この指示は例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。保存が指示された場合はステップＳ４６０へ、保存が指示されなかった場合はステップＳ４７０へと処理を進める。

＜ステップＳ４６０＞ 画像処理部１４０は、検査日時、披検眼を同定する情報、ＳＬＯ動画像Ｄと該画像群の固視標位置Ｆ、例外フレーム番号系列、脈波の解析データを関連付けてデータサーバ５０へ送信する。

＜ステップＳ４７０＞ 指示取得部１５０は画像処理装置１０によるＳＬＯ動画像Ｄの表示処理を終了するか否かの指示を取得する。この指示はキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはステップＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

次に図６を参照して、ステップＳ４２０で実行される例外判定処理について説明する。
＜ステップＳ６１０＞ 画像特徴取得部１４１１がＳＬＯ動画像Ｄから画像特徴を取得する。画像特徴としては任意の画像特徴を用いることができるが、本実施形態ではＳＬＯ動画像Ｄの各フレームＤｉにおける平均輝度値Ａｉ、信号雑音比（ＳＮ比）、及び血管領域Ｖｉを取得する。血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とする。また、血管領域Ｖｉを細線化して得られる点列Ｂｉｍ（ｍ＝１，２，．．．，ｎ３）の交差部Ｃｉｎ（ｎ＝１，．．．，ｎ４≧３）も取得しておく。

＜ステップＳ６２０＞ 例外フレーム判定部１４１は、フレーム単独の画像特徴、及び／または、隣接するフレーム間の画像特徴の変動量、に基づいて例外フレームを判定する。たとえば、例外フレーム判定部１４１は、ＳＬＯ動画像Ｄを構成するフレームＤｉより、
・瞬目により輝度が極端に低い（輝度異常が発生している）フレーム、
・固視微動により画像歪みが生じているフレーム（特徴点間の距離の変動量が大きい）、
・収差補正不良によりＳＮ比が低いフレーム、
を例外フレームとして検出する。また、例外フレームにおける例外の種類（輝度異常・画像歪み・低ＳＮ比）と程度を判定する。

上述のような例外フレームを検出するために、本実施形態では、以下のような判定を行なう。
・ＳＬＯ動画像Ｄのフレームｉの平均輝度値Ａｉが閾値Ｔ２以下であれば、そのフレームｉを例外フレームと判定する。このとき、例外の種類を「輝度異常」、例外の程度を「輝度値」であるとする。
・ＳＬＯ動画像Ｄのフレームｉの血管交差部Ｃｉｎ間の距離の二乗和の値が、隣接フレーム間で閾値Ｔ３以上異なっていればそのフレームｉを例外フレームと判定する。これは、固視微動による画像ひずみを判定するために、特徴点間の距離の変動量として、交差部Ｃｉｎを用いた例である。この場合、例外の種類を「画像歪み」、例外の程度を「隣接フレーム間の血管交差部Ｃｉｎ間の距離の二乗和の値」であるとする。
・ＳＬＯ動画像ＤのフレームｉのＳＮ比が閾値Ｔ４以下であれば、そのフレームｉを例外フレームと判定する。このとき、例外の種類を「低画質」、例外の程度を「ＳＮ比」とする。

なお例外フレームの判定法はこれらに限られるものではなく、任意の例外判定法を用いることができる。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、これが閾値Ｔ５以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定しても良い。なお、この場合の例外の種類は例えば「ボケ」、例外の程度は例えば「輝度統計量」となる。或いは、例外フレーム判定部１４１は、特定の部位もしくは組織、細胞、病変がフレームに含まれていないか、もしくは一定の割合未満しか含まれていないフレームを例外フレームと判定するようにしてもよい。この場合、特定の部位もしくは組織、細胞、病変は画像処理により各フレームから自動的に検出され、その大きさが測定される。この場合の例外の種類は例えば「特定部位喪失」、例外の程度は例えば「フレーム中の特定部位の大きさ（画素数）」となる。

＜ステップＳ６３０＞ 基準領域設定部１４１２は、動画像Ｄにおける固視ずれフレーム（例外フレーム）を判定するための基準となる領域を設定する。本実施形態では、ステップＳ６２０において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームの全体を基準領域とする。

なお、基準領域の設定法はこれに限るものではなく、任意の設定法を用いることができる。例えば、ユーザが指定した基準フレーム番号を指示取得部１５０から取得し、指定された基準フレーム番号に対応するフレームの全体を基準領域として設定してもよい。あるいは、上記基準フレーム内の、更にユーザが指定した領域を基準領域して設定しても良い。あるいは、画像特徴取得部１４１１が任意の公知の画像処理法により部位（中心窩）もしくは病変を検出しておき、最もフレーム番号の小さい非例外フレームにおいて検出された該部位もしくは病変領域を基準領域として設定してもよい。

＜ステップＳ６４０＞ 例外フレーム判定部１４１は、ステップＳ６３０で設定した基準領域と、この基準領域に対応した領域とのずれが大きいフレームを例外フレームとする。例えば、例外フレーム判定部１４１は、ステップＳ６３０で設定された基準領域における画像特徴（例えば、血管交差部Ｃｉｎ）と非基準領域における画像特徴との変位量を算出し、変位量が許容値より大きいフレームを例外フレームとして判定する。

本実施形態では、フレームｉの基準フレームに対する変位量として並進（ｘ、ｙ）、回転θ、拡大率（ｓｘ、ｓｙ）を成分として持つ変位量ベクトル（ｘ，ｙ，θ，ｓｘ、ｓｙ）を定義する。そして、ｘ＞Ｔｘ、ｙ＞Ｔｙ、θ＞Ｔθ、ｓｘ＞Ｔｓｘ、ｓｙ＞Ｔｓｙの少なくとも一つが成り立つ場合に、そのフレームｉを例外フレームと判定する。また、そのような例外フレームについて、例外の種類として「固視ずれ」、例外の程度として「変位量（ベクトル）」を設定する。

なお、変位量の定義はこれに限らず、変位の程度を表す量（スカラ量またはベクトル量）であれば任意の値を用いてよい。例えば、観察・計測対象となる基準領域が各フレームにおいて含まれる割合、例えば、(基準領域全体の面積)／(各フレームＤｉに含まれる基準領域の面積)、を変位量として定義しても良い。

次に図７のフローチャートを参照して、ステップＳ４３０で実行される計測処理について説明する。
＜ステップＳ７１０＞ 画像処理対象選択部１４２１は、血管抽出処理に用いるフレームを選択する。本実施形態では、ステップＳ４２０における例外フレームの判定結果に基づいて血管抽出に用いるフレームを選択する。なお、血管抽出においては、血球移動による輝度変化が明瞭に観察される画像を可能な限り多数枚選択して抽出処理することにより、毛細血管の細部まで正確に抽出することができる。そこで、血管抽出においては画像処理対象として非例外フレームが全て選択される。

＜ステップＳ７２０＞ 計測部１４３は、ステップＳ７１０で選択したフレーム上の各ｘ−ｙ位置（画素）におけるフレーム方向の輝度値の分散が一定値以上の領域を血管領域として抽出する。これは、血管領域内では白血球が通過する際に高輝度となり、それ以外では低輝度になる性質を利用している。結果として、血管領域が血球の移動軌跡の集合として特定される。なお、上述の処理では、例外フレームを血管領域の抽出に用いていないが、これに限られるものではない。例外フレームについて取得されている例外の程度に応じて、上記分散と比較される「一定値」を変更するようにしてもよい。

＜ステップＳ７３０＞ 画像処理パラメータ設定部１４２２は、血管位置を横軸、時間を縦軸とする時空間画像を生成し、該時空間画像における血球移動軌跡を直線として検出する場合の、直線候補の式を構成するパラメータを変化させる。なお、血管位置とは、図５（ａ）のＰｔに沿った経路上の位置である。本実施形態では、時空間画像においてハフ変換を用いて直線検出を行うので、座標（ｘ,ｙ）を通る直線候補は、以下の（１）式を用いて表される（θ及びρを変化させる）。
ｘｃｏｓθ＋ｙｓｉｎθ＝ρ …（１）
この（１）式で表される直線候補が例外フレームを通過しうる（時空間画像上で線分が例外フレームに近接している）場合にはステップＳ７４０に処理を進める。直線候補が例外フレームを通過しない（時空間画像上で線分が例外フレームに近接していない）場合にはステップＳ７５０に処理を進める。なお、時空間画像上で例外フレームに近接しているフレームとは、例外フレームの時刻から所定の時間範囲に存在するフレームである。ここで、所定の時間範囲としては、経路Ｐｔを血球が通過するのに要すると推定される時間を用いることができる。なお、そのような時間範囲は、一般的な血球の移動速度から推定可能である。

＜ステップＳ７４０＞ ハフ変換により時空間画像上の輝度値はθρ空間に変換され、θρ空間において最も評価値の高いθとρの組み合わせが直線として検出される。ここで、θとρの組み合せで規定される直線候補が例外フレームを通過しうる場合（例外フレームの時刻から所定の時間範囲に存在するフレームである場合）には、θρ空間における投票値に重みｗ（＞１．０）を乗算する。なお、近接する例外フレームの例外の程度に応じて、処理パラメータである重みｗを変更するようにしてもよい。これにより、例外フレームの影響で血球の移動軌跡の一部が欠損している場合でも、ロバストに直線として検出することができる。

＜ステップＳ７５０＞ 計測部１４３は、ステップＳ７４０で変更された画像処理パラメータを用いて血球移動軌跡の検出を行う。任意の線検出法を用いることができるが、本実施形態ではハフ変換を用いて血球移動軌跡を検出する。

なお、血球の移動軌跡の検出法は上記に限定されるものではなく、任意の手法を用いて良い。例えば、血球軌跡を可変形状モデルにより曲線として検出しても良い。この場合、例外フレームにおける例外の種類が「低ＳＮ」で、かつＳＮ比の値が閾値ＴｘからＴｙの範囲内である場合（例外フレーム内に計測対象の情報が残存している場合）に、存在する制御点における画像エネルギーの重みを増やす。このように、例外フレームの例外の程度に応じて画像処理パラメータを変更して血球軌跡を検出してもよい。

＜ステップＳ７６０＞ 計測部１４３は、Ｓ７７０で検出した血球移動軌跡の時空間画像上の角度に基づいて血球移動速度（血流速度）を測定する。実際には、ＳＬＯ動画像Ｄ上で視認される白血球の数が少ない（血液中の約１％）ため、時空間画像上で検出できる白血球の移動軌跡を示す直線の本数は限られてしまう。そのため、拍動周期内の血流速度変化を詳細に分析したい場合に、血流速度グラフにおける構成点数が不足する。

そこで本実施形態では、ＳＬＯ動画像の撮影とともに取得された、生体信号に基づく時相データＰに基づいて移動軌跡もしくは移動速度を測定したフレーム集合に対応する時相を特定する。そして、時相データＰを用いてフレーム集合の各フレームが心拍周期中のどの位相に対応するか求め、該位相に移動速度を対応付けることにより複数の心拍周期分の血流速度データを図５（ｇ）に示すような１心拍周期分の血流速波形にまとめて表示する。実際には位相を小区間に分割し、各小区間内での血流速度値の平均値を求める。なお、血流速度の計測法はこれに限らず、例えば時相データが極小値を示すタイミング（拡張末期）における血流速度の平均値として算出しても良い。

＜ステップＳ７７０＞ 信頼度判定部１４３１は、上述したような動画像の処理（血管抽出や血球の移動軌跡の検出など）の結果に関する信頼度を、処理に用いられたフレーム集合における例外フレームの数に基づいて算出する。例えば、信頼度判定部１４３１は、ステップＳ７２０において検出した血管領域や、Ｓ７６０において算出した血球の移動速度に関する信頼度を判定する。本実施形態では、血管領域の抽出の信頼度や血球移動軌跡の信頼度を、使用したフレーム集合における例外フレームの存在（たとえば、例外フレームの数など）に基づいて算出する。たとえば、血管領域については、
（血管領域を抽出するために用いた非例外フレームの枚数）／（フレーム総数）
を信頼度として設定する。但し、信頼度の算出法はこれに限定されるものではなく、任意の指標を用いて良い。

また、血球移動軌跡については、
（実際に検出された血球軌跡の長さ）／（例外フレームを通過する直線の式の長さ＋実際に検出された血球軌跡の長さ）
を信頼度として設定する。但し、信頼度の算出法はこれに限らず、任意の指標を用いて良い。例えば、ステップＳ７４０において加えた重みｗに反比例するような値として信頼度を求めても良い。

以上説明したように、第１実施形態によれば、画像処理装置１０は、ＳＬＯ動画像Ｄから検出した例外フレームの種類や程度に応じて例外フレームにおける画像特徴や計測値を推定し、例外フレーム周辺における画像処理パラメータを変更する。これにより、眼部の動画像に血管形状や血球動態を計測するのに適さない例外フレームが含まれている場合でも、ロバストに血管を抽出したり血球動態を計測したりできる。

［第２実施形態］
第１実施形態では、位置合わせ済のＳＬＯ動画像Ｄに対して例外フレームの判定を行なった。第２実施形態では、位置合わせ部１４５（図８）を設け、その位置合わせ時に取得された画像特徴を用いてＳＬＯ動画像Ｄから例外フレームを判定する。これにより、より正確に、且つ、効率的に基準フレームに対する変位量を算出して例外フレームを判定できる。

第２実施形態に係る画像処理装置１０の機能構成例を図８に示す。第１実施形態の機能構成（図１）と比べて、位置合わせ部１４５が設けられ、位置合わせ部１４５に例外フレーム判定部１４１が設けられた点が異なっている。また、第２実施形態による画像処理は、図９のフローチャートに示す通りであり、ステップＳ９２０以外は第１実施形態と同様である（図９のステップＳ９１０、Ｓ９３０〜Ｓ９７０は、図４のＳ４１０、Ｓ４３０〜Ｓ４７０と同様）。以下、ステップＳ９２０における処理を説明する。

＜ステップＳ９２０＞ 位置合わせ部１４５は、記憶部１３０からＳＬＯ動画像Ｄを読み込んでＳＬＯ動画像Ｄにおけるフレーム間位置合わせと例外判定を行う。図１０に示すフローチャートを参照してステップＳ９２０で実行される処理について説明する。

＜ステップＳ１０１０＞ ＳＬＯ動画像Ｄの各フレームｉについて、単独フレームでの例外フレーム判定（単独のフレームの画像特徴を用いた例外フレームの判定）を行う。本実施形態においては、例外フレーム判定部１４１が各フレームｉの平均輝度値Ａｉ及びＳＮ比ＳＮｉを算出し、Ａｉが閾値Ｔ２以下であれば輝度異常、ＳＮ比ＳＮｉがＴ４以下であれば低画質であるとみなして例外フレームと判定する。但し、単独のフレームにおける例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。

＜ステップＳ１０２０＞ 位置合わせ部１４５は、位置合わせの基準となる基準フレームを設定する。本実施形態では、ステップＳ１０１０において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１５０から取得して、指定された基準フレーム番号に対応するフレームを基準フレームに設定するようにしてもよい。あるいは、各フレームから特定の画像特徴を取得し、その画像特徴に基づいて基準フレームを自動的に設定するようにしてもよい。

＜ステップＳ１０３０＞ 位置合わせ部１４５は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を用いることができるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。

＜ステップＳ１０４０＞ 位置合わせ部１４５は、ステップＳ１０３０で得られたフレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。本実施形態ではステップＳ１０３０で得られた粗位置合わせ済みの動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Free Form Deformation）法を用いてフレーム間の精密位置合わせを行う。こうして、例外フレームを除く全てのフレームが基準フレームに対して位置合わせされる。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。

＜ステップＳ１０５０＞ ステップＳ１０４０の精密位置合わせによって得られた精密位置合わせ済みの動画像の各フレームに対して例外フレーム判定を行う。本実施形態では、例外フレーム判定部１４１の画像特徴取得部１４１１が基準フレームと（基準フレーム以外の）各フレームとの差分演算を行って該差分画像のヒストグラムを求める。例外フレーム判定部１４１は、該ヒストグラムの平均値及び分散が閾値Ｔ６以上かつ閾値Ｔ７以上であれば固視微動により一時的に眼底上の異なる位置が撮影されたとみなして例外フレームと判定する。

なお、例外フレームの判定法はこれに限らず任意の判定法を用いて良い。例えば精密位置合わせ済動画像の各フレームに対して、第１実施形態の場合と同様に血管抽出及び血管交差部Ｃｉｎの検出を行う。そして、各フレームにおいて血管交差部Ｃｉｎ間の距離の二乗和を求めて該距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば画像歪みが発生したとみなして例外フレームと判定するようにしても良い。

また、本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄのフレーム全体が基準フレームに最も類似する位置合わせパラメータの組み合わせを求めたが、これに限定されるものではない。例えば、ＳＬＯ動画像Ｄの各フレームにおいて観察対象の画像特徴（病変や中心窩などの部位、血管の分岐などの特徴点）を検出し、該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄのフレーム間で位置合わせを行っても良い。

また、本実施形態では単独のＳＬＯ動画像におけるフレーム間位置合わせについて説明したが、これに限定されない。例えば、略同一撮影位置で繰り返し複数回にわたって撮影することによって得られる複数のＳＬＯ動画像Ｄｊにおけるフレーム間位置合わせを行う構成としてもよい。その場合、複数のＳＬＯ動画像の中の特定のＳＬＯ動画像における基準フレームを全てのＳＬＯ動画像Ｄｊの位置合わせのための基準フレームとして設定し、フレーム間位置合わせを行えばよい。

以上の構成よれば、画像処理装置１０は、位置合わせ部１４５が位置合わせ時に取得した画像特徴を用いてＳＬＯ動画像Ｄから例外フレームを判定することができる。これにより、より正確かつ効率的に基準フレームに対する変位量を算出して例外フレームを判定できる。また、眼部の動画像に血管形状や血球動態を計測するのに適さない例外フレームが含まれている場合でも、ロバストに血管を抽出したり血球動態を計測したりできる。

なお、画像処理装置１０の表示部１４４で表示される内容はこれまで説明した内容に限らない。ここでは、図１１Ａ，図１１Ｂ及び図１２を参照しながら表示部１４４で表示される表示内容の一例について説明する。

まず、個々のＳＬＯ動画像に対する計測結果に関する表示画面１１００の一例を図１１Ａに示す。表示画面１１００には、広画角画像Ｌ、貼り合わせされたＳＬＯ画像Ｎ、ＳＬＯ動画像Ｉ、血管画像Ｖ、血流計測位置で生成された時空間画像ＳＴ、血流動態に関する統計値テーブルＴ、血流速度グラフＧ１、時相グラフＧ２が表示されている。

広画角画像Ｌ上ではＳＬＯ動画像Ｉの撮影位置Ｈが重畳され、眼部組織Ａとの位置関係を把握できる。また、現在選択されているＳＬＯ動画像Ｉの撮影位置Ｈには他の撮影位置とは異なる色が付けられる。

また、画面上部中央のＳＬＯ動画像Ｉはフレーム間位置合わせ済みの動画像であり、血球ｐｔの流れを観察できる。画像の物理サイズを示す物差しＲがＳＬＯ動画像Ｉの隅に表示される。ＳＬＯ動画像Ｉの下部には操作ボタン１１０１（左より停止、一時停止、再生、コマ逆送り、コマ順送り）と再生速度調整バー（非図示）があり、該操作ボタンや再生速度調整バーを操作することで、動画像の再生方法を制御できる。また、ＳＬＯ動画像Ｉで例外フレームと判定されたフレームにおける画素値は全て０（すなわち、黒いフレーム）として表示することで例外フレームであることを知らせる。また、ＳＬＯ動画像Ｉの上部には再生しているフレームにおける時相データ値の大きさを灰色のバーの長さで表すバーＳが表示される。

血管画像ＶにはＳＬＯ動画像Ｉから抽出された毛細血管（白色領域）が表示されており、該毛細血管領域上に設定された血球の移動速度の計測位置（Ｌ１、Ｌ２、Ｌ３）を表示する。なお、各計測位置を示す線Ｌ１、Ｌ２、Ｌ３には互いに異なる色が割り当てられており、血流速度グラフＧ１上の血流速度値を示す線との対応付けが容易になるよう、計測位置に対応する速度値グラフには同じ色が割り当てられる。なお、指示取得部１５０より入力される操作者からの指示に基づいて、計測位置を修正もしくは削除したり、血管画像Ｖのコントラストを調整したりできる。

時空間画像ＳＴは、血管画像Ｖ上の計測位置で位置合わせ済みＳＬＯ動画像Ｉを切り出して生成される曲断面画像であり、左上を原点とし、横軸が計測位置、縦軸が走査時刻を表す。該計測位置を血球が通過すると高輝度な線状の軌跡として時空間画像上に現れる。第１実施形態におけるＳ７３０〜Ｓ７５０のような手法を用いて血球の移動軌跡を検出し、検出された線を色付きで表示する。時空間画像ＳＴ上での軌跡の角度に基づいて血球の移動速度を算出することができる。指示取得部１５０より入力される操作者からの指示に基づいて軌跡の修正及び削除ができ、修正もしくは削除内容に応じて対応する速度グラフの値も修正もしくは削除される。

また、時空間画像上の走査時刻（縦軸）と時相データの位相との対応関係を把握しやすくするために、時空間画像の側に時相データ情報Ｂ１を表示する。本実施形態では時相データ情報Ｂ１はバーであり、縦方向が時間を表し、時相データ値が大きいほど高輝度に表示される。但し、時相データ情報の表示法はこれに限らず、例えば横軸に時相データの大きさを取り、縦軸に時間を取った時相データグラフを時空間画像の側に表示してもよい。また、時空間画像における例外フレームの範囲Ｂ３を示すバーＪを表示してもよい。該例外フレーム範囲バーＪにおいて、非例外フレーム範囲Ｂ２は例外フレーム範囲Ｂ３とは異なる色で表示される。

血流動態に関する統計値・指標テーブルＴは、各計測位置（Ｌ１、Ｌ２、Ｌ３）において計測された血流速度値の統計値もしくは指標を表す。統計値としては、平均値（ave）・最小値（min）・最大値（max）、指標としては、拍動係数（PI : Pulsatility Index），抵抗係数（RI : ResistanceIndex），血流量（Flow）を表示する。なお、血流量の算出にあたっては血管径が必要であるため、血管抽出処理（Ｓ７２０）後、画像特徴取得部１４１１が血管領域に対して細線化処理を行うことで血管の中心線を設定するか、ユーザが指定した血管の中心線の位置を指示取得部１５０より入力しておく。該中心線の設定後、中心線に直交する方向における高輝度範囲の長さとして血管径を算出した上で血流量を求める。また、血流速度には正負が生じ得るが、血球が流れる方向（順方向・逆方向）を区別せず血流速度の絶対値を評価したい場合には、不図示のボタンを切り替えることにより、血流速度値の絶対値に関する統計量や指標も表示できるようにすることが好ましい。

血流速度グラフＧ１は、血管画像Ｖ上の各計測位置Ｌ１、Ｌ２、Ｌ３における血球の移動速度値（血流速度）の時間変化をグラフ表示する。不図示のチェックボックスのＯｎ／Ｏｆｆを切り替えることにより、各速度値を示す線の表示・非表示を線単位（計測位置単位）で切り替える。各線の色は計測位置の色と対応しており、時空間画像上の血球の移動軌跡の検出結果の修正・削除に伴って該グラフ上の速度値を示す点も修正・削除される。また、血流動態に関する統計値・指標デーブルＴの場合と同様に、図示のボタンを切り替えることにより、血流速度値の絶対値に関する血流速度を表示させることができる。時相データグラフＧ２は横軸に時間、縦軸に時相データ値をとったグラフであり、血流速度グラフＧ１との関連性を把握しやすくなるために、血流速度グラフＧ１と並置して表示される。一方、図１１Ｂは、横軸に位相（心周期を１とした場合の相対値（Relative cardiac Cycle））、縦軸に位相を小区間に分割した場合の各小区間内の平均血流速度値がプロットされた血流速度グラフＧ３である。不図示のボタンを押下することで、横軸に時間をとった場合の血流速度グラフＧ１及び時相データグラフＧ２の組と、横軸に相対心周期をとった場合の血流速度グラフＧ３とが切り替えて表示される。図１１Ｂでは小区間は０．２ごとに設定され、小区間ごとの平均速度値が表示されている。

また、図１２に同一眼を撮影した複数のＳＬＯ動画像に対する計測結果に関する表示画面の一例を示す。図１２（ａ）は血流速度マップであり、貼り合わせられた血管画像の上に、計測位置における血流速度値を、マップの右側に表示されたカラーテーブルに対応する色で重畳表示する。血流速度マップによって、ユーザは被検眼の眼循環機能を把握できる。

本実施形態では、血流速度値として時相データ上の拡張末期において計測された速度値を表示する。但し、血流速度に関するマップの表示法はこれに限らず、例えば血流速度の統計値（平均値、最小値、最大値）を表示してもよい。あるいは、血流に関するマップとして血流動態に関する指標（拍動係数（Pulsatility Index）もしくは抵抗係数（Resistance Index））のマップ、あるいは血流量マップを表示してもよい。さらに、血流速度・血流速度の統計値・血流動態に関する指標・血流量に関して、正常値範囲に対する差異、たとえば偏差（deviation）もしくは統計的有意性（significance）をカラーマップとして表示してもよい。また、本実施形態では血管画像の上に血流速度の計測値をカラー表示しているが、血管画像に限定されない。例えばＳＬＯ動画像、あるいは該ＳＬＯ動画像の特定のフレームもしくは重ね合わせ画像を用いてもよい。カラーテーブルの色の割り当ては任意の割り当てをしてよい。また、計測位置の近傍に計測値を表示するようにしてもよい。

また、表示部１４４で表示される該複数のＳＬＯ動画像に関する計測値マップは眼循環機能に関する計測値マップに限定されない。例えば、血管形状もしくは分布に関する計測値マップとして図１２（ｃ）のように、血管画像の貼り合わせ表示の上に無血管野（内側の閉曲線内の領域）の面積や、無血管野の近傍領域（２つの閉曲線で囲まれる領域）における血管密度を表示してもよい。血管密度は、単位面積あたりの血管の長さで定義される。あるいは、画像特徴取得部１４１１が血管領域に対して細線化処理を行うことで血管の中心線を設定するか、ユーザが指定した血管の中心線の位置を指示取得部１５０より入力することで、血管の中心線に直交する方向における血管径を算出して表示してもよい。

また、図１２（ａ）や同図（ｃ）のような計測値のマップを表示する際には、血球の動態との比較がしやすいように、ＳＬＯ動画像の貼り合わせ表示（図１２（ｂ））を並置して表示してよい。ここで、貼り合せたＳＬＯ動画像の下部には操作ボタン１２０１（左より停止、一時停止、再生、コマ逆送り、コマ順送り）と再生速度調整バー１２０２が配置され、該ボタンやバーを操作することで、動画像の再生方法を制御できる。あるいは、図１２（ａ）、（ｂ）、（ｃ）の表示を切り替えて表示するようにしてもよい。また、図１２（ａ）、（ｂ）、（ｃ）の並置もしくは切り替え表示は、専用の画面として独立して表示されてもよいし、図１１Ａの貼り合わせされたＳＬＯ画像を表示させるための領域（Ｎ）に表示されてもよい。ＳＬＯ画像を表示させるための領域Ｎに表示させた場合には、単一のＳＬＯ動画像領域における詳しい血流解析結果と、その他のＳＬＯ動画像領域における血流解析結果の概要とを同時に確認できる。

［その他の実施形態］
上述の実施形態では、ＡＯ−ＳＬＯ画像から例外フレームを判定することとしているが、例えば瞬きに起因する例外フレームについては、ＳＬＯ装置２０に付属または取り付け可能な前眼部モニタを用いることによっても判定可能である。前眼部モニタは前眼部の平面画像を動画像として撮影する。得られた動画像を画像処理装置１０で継続的に監視し、前眼部の画像特徴や輝度値から瞬きが合ったことを検知し、係る検知結果を画像処理装置１０にフィードバックする。例外フレーム判定部１４１は検知されたタイミングで得られるＡＯ−ＳＬＯ画像を瞬きに起因する例外フレームと判定することができる。同様の方法で、固視ずれに起因する例外フレームについても判定可能である。

さらに収差補正異常に起因する例外フレームについてもＡＯ−ＳＬＯ動画像によらずとも判定可能である。収差補正リアルタイムで測定、補正するＡＯ−ＳＬＯ装置において、収差測定デバイスで測定された収差と収差補正デバイスで補正される収差との差を画像処理装置１０で継続的にモニタリングする。当該差はデバイスで補正しきれない収差の値を示すこととなる。例外フレーム判定部１４１はかかる差の値が閾値より大きいか否かを判定し、閾値より大きいと判定されたタイミングで得られるＡＯ−ＳＬＯ画像を例外フレームと判定することができる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：画像表示装置、１１０：画像取得部、１２０：時相データ取得部、１３０：記憶部、１４０：画像処理部、１５０：指示取得部、１４１：例外フレーム判定部、１４２：画像処理法変更部、１４３：計測部、１４４：表示部

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
収差補正デバイスを有する眼科撮影装置により撮影された動画像を構成する複数のフレームから例外フレームを判定する判定手段と、
前記複数のフレームのうち前記例外フレームと判定されなかったフレームに基づいて、血管領域を抽出する抽出手段と、
前記例外フレームを含む前記複数のフレームに基づいて、前記血管領域の血流速情報を測定する測定手段と、を備える。

Claims (16)

1. 収差補正デバイスを有する眼科撮影装置により撮影された動画像を構成する複数のフレームから例外フレームを判定する判定手段と、
   前記複数のフレームのうち前記例外フレームと判定されなかったフレームについて血管領域に関する画像処理を適用する処理手段と、を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記動画像を構成する複数のフレームから、各フレームの画像特徴に基づいて例外フレームを判定し、
   前記処理手段は、前記複数のフレームのうちの、前記例外フレーム以外の非例外フレームと、前記例外フレームとで異なる画像処理を適用して前記動画像を処理することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像特徴は、輝度値、特徴点間の距離の変動量、信号雑音比、設定された基準フレームからの変動量の少なくともいずれかであることを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、特定の部位もしくは組織、細胞、病変がフレームに含まれていないか、もしくは一定の割合未満しか含まれていないフレームを前記例外フレームと判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、複数回にわたって取得された動画像のうちの特定の動画像において設定された基準フレームからの変位量に基づいて、該特定の動画像の他のフレームと、他の動画像を構成する複数のフレームとから例外フレームを判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記動画像の前記複数のフレームについてフレーム間位置合わせを行なう位置合わせ手段をさらに備え、
   前記判定手段は、前記フレーム間位置合わせの前の各フレームについて単独フレームから得られる画像特徴を用いて前記例外フレームを判定し、前記フレーム間位置合わせの後の各フレームについてはフレーム間の差に基づく画像特徴を用いて例外フレームを判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記処理手段は、前記複数のフレームのうちの前記例外フレーム以外の非例外フレームのみを用いて血管抽出処理を行なうことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記判定手段は、前記例外フレームの各々について更に例外の程度を判定し、
   前記処理手段は前記複数のフレームを用いて血管抽出処理を行ない、前記例外フレーム以外の非例外フレームと前記例外フレームとで適用する処理パラメータを変えるとともに、前記例外フレームについては前記例外の程度に応じて前記処理パラメータを変えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記処理手段は、特定の血球の移動軌跡を検出することにより該特定の血球の移動速度を測定し、前記例外フレームから所定の時間範囲にあるフレームに対する前記検出のための処理パラメータを変更することを特徴とする請求項１乃至６ならびに８のいずれか１項に記載の画像処理装置。
10. 前記処理手段は、
    前記動画像の撮影とともに取得された、生体信号に基づく時相データに基づいて、前記移動速度を測定するのに用いたフレームの集合に対応する時相を特定し、
    複数のフレームの集合について得られた移動速度を、各集合について特定された時相にしたがって拍動周期の位相に対応させることにより、該拍動周期における血球の速度変化を取得することを特徴とする請求項９に記載の画像処理装置。
11. 前記動画像の処理の結果に関する信頼度を、該処理に用いられたフレーム集合における例外フレームの存在に基づいて算出する算出手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 表示手段をさらに備え、前記処理手段によって計測された血球もしくは血管に関する計測値、前記計測値に関する統計量、前記計測値もしくは前記統計量と正常値データとの差異、の少なくとも一つに関する分布を表示することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記表示手段は、前記動画像に基づく画像、前記血球もしくは血管に関する計測値、の少なくとも一つと、対応する時相データとの関連性を表示することを特徴とする請求項１２に記載の画像処理装置。
14. 前記表示手段は、前記動画像に基づく画像、前記血球もしくは血管に関する計測値の少なくとも一つと、前記判定手段によって判定された例外フレームとの関連性を表示することを特徴とする請求項１２または１３に記載の画像処理装置。
15. 画像処理装置による画像処理方法であって、
    判定手段が、動画像を構成する複数のフレームから、各フレームの画像特徴に基づいて例外フレームを判定する工程と、
    処理手段が、前記複数のフレームのうちの、前記例外フレーム以外の非例外フレームと、前記例外フレームとで異なる画像処理を適用して前記動画像を処理する工程と、を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。