JP2017104343A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被検眼の眼底における経時比較を効率良く行える仕組みを提供する。【解決手段】被検眼の眼底における所定の大きさの領域を撮影して得られた第１の画像と、前記所定の大きさの領域よりも狭い領域を撮影して得られた第２の画像とを、撮影時期に基づくセット毎に対応付けて取得する画像取得部１１０と、同一のセットを構成する第１の画像と第２の画像との位置合わせである第１の位置合わせと、異なる複数のセットに含まれる第１の画像の夫々の位置合わせである第２の位置合わせとを行って、これらの位置合わせに係る位置情報を生成する位置合わせ部１４１と、位置合わせ部１４１で生成された位置情報に基づいて、第１のセットに含まれる第２の画像と第１のセットよりも後に取得された第２のセットに含まれる第２の画像とを、第１のセットに含まれる第１の画像又は第２のセットに含まれる第１の画像に重畳させて、重畳画像を生成する重畳部１４２を備える。【選択図】図１

Description

本発明は、被検眼の眼底を経時的に撮影した画像を処理する画像処理装置及び画像処理方法、並びに、当該画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

人の五感の中でも重要な機能とされる視機能には、被検眼の眼底に位置する網膜の視細胞が重要な役割を果たしている。近年、収差補正技術を応用することで、眼底網膜を高精細に描出する技術が構築され、視機能に関する新たな知見の発見や診断価値の構築が期待されている。

補償光学適用眼底走査型レーザー検眼鏡（Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ：以下、「ＡＯ−ＳＬＯ」と称する）装置は、大気のゆらぎを補償することで鮮明な星の画像を取得する望遠鏡の技術を、眼に応用した検眼鏡である。このＡＯ−ＳＬＯ装置の技術により、被検眼の網膜の視細胞１つ１つを解像することができるようになった。視細胞は、最も高密度である中心窩付近では約２μｍ間隔で存在するといわれている。現在も、この中心窩の視細胞まで描出することを目的として、解像度向上のための開発が続けられている。

描出された視細胞を臨床価値に繋げるためには、同一領域の視細胞を経時的に観察し、その変化を定量的に分析できる技術が求められている。ＡＯ−ＳＬＯ装置で撮影した画像（以下、「ＡＯ−ＳＬＯ画像」と称する）は、解像度が大きいために画角が小さく（撮影範囲が狭く）なる場合が多い。そのため、経時的な比較を行うためには、まず同一位置が撮影されている複数のＡＯ−ＳＬＯ画像を取得し、さらに取得された画像間で詳細な位置合わせを行う必要がある。これに関する従来の技術として、例えば特許文献１の技術がある。

具体的に、特許文献１には、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）による網膜の断層画像同士の経時比較を行うために、断層画像と同時に眼底の表面画像（眼底画像）を取得し、まず表面画像同士を位置合わせし、その後に各表面画像に対応付けられている断層画像同士を対応付けて経時比較を行う技術が記載されている。

特開２００７−２５２６９２号公報

しかしながら、特許文献１に記載の技術では、位置合わせをする表面画像同士を最初に特定する必要があるため、被検眼の眼底における経時比較を効率良く行えないという問題があった。

本発明は、このような問題点に鑑みてなされたものであり、被検眼の眼底における経時比較を効率良く行える仕組みを提供することを目的とする。

本発明の画像処理装置は、被検眼の眼底における所定の大きさの領域を撮影することにより得られた第１の画像と、前記被検眼の眼底における領域であって前記所定の大きさの領域よりも狭い領域を撮影することにより得られた第２の画像とを、撮影時期に基づくセットごとに対応付けて取得する画像取得手段と、同一の前記セットを構成する前記第１の画像と前記第２の画像との位置合わせである第１の位置合わせと、異なる複数の前記セットに含まれる前記第１の画像のそれぞれの位置合わせである第２の位置合わせとを行って、前記第１の位置合わせ及び前記第２の位置合わせに係る位置情報を生成する位置合わせ手段と、前記位置合わせ手段で生成された位置情報に基づいて、先に取得された前記セットである第１のセットに含まれる前記第２の画像と前記第１のセットよりも後に取得された前記セットである第２のセットに含まれる前記第２の画像とを、前記第１のセットに含まれる前記第１の画像または前記第２のセットに含まれる前記第１の画像に重畳させて、重畳画像を生成する重畳手段と、を有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、被検眼の眼底における経時比較を効率良く行うことができる。

本発明の第１の実施形態に係る画像処理装置を含む眼科装置の概略構成の一例を示すブロック図である。 本発明の第１の実施形態を示し、図１の撮影装置で生成された複数のＡＯ−ＳＬＯ画像とＷＦ−ＳＬＯ画像を模式的に示す図である。 本発明の第１の実施形態を示し、図１の撮影装置における固視灯の点灯位置を操作するための固視灯マップを示す図である。 本発明の第１の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。 図４のステップＳ４３０におけるセット内位置合わせ処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図４のステップＳ４５０で生成される重畳画像の一例を模式的に示す図である。 本発明の第１の実施形態を示し、位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群等の表示例を模式的に示す図である。 本発明の第２の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

第１の実施形態では、撮影装置によって被検眼の眼底に位置する網膜を経時的に撮影した画像を取得した後、同一位置を撮影している２つ以上の画像間の位置合わせを行う手法について説明する。具体的には、各ＡＯ−ＳＬＯ画像を、同一のセットとして取得された（例えば同一日に撮影された）広画角のＳＬＯ画像（以下、「ＷＦ−ＳＬＯ画像」と称する）と位置合わせをする。さらに、異なる複数のセット（例えば異なる日に取得されたセット）に含まれる画像のそれぞれの位置合わせをする。そして、これらの画像の位置情報に基づいて、異なるセットとして取得された（例えば異なる日に撮影された）複数のＡＯ−ＳＬＯ画像を、異なるセットとして取得された複数のＷＦ−ＳＬＯ画像のうちの１つのＷＦ−ＳＬＯ画像に重畳させて、重畳画像を生成する。

そして、第１の実施形態では、重畳画像の中から解析を行う領域として経時評価領域が選択されると、当該経時評価領域を含む全てのＡＯ−ＳＬＯ画像が表示される。そして、表示されたＡＯ−ＳＬＯ画像群の中から詳細に比較を行う画像群が選択されると、当該選択された画像間でより精度の高い詳細位置合わせを行う。

このように、第１の実施形態では、異なるセットとして取得された（異なる時期に取得された）ＡＯ−ＳＬＯ画像群を１つのＷＦ−ＳＬＯ画像上に重畳して重畳画像を生成することにより、被検眼の眼底における経時比較を効率良く行うことができる。また、重畳画像の中から経時評価領域を選択することが可能となり、それに伴って比較したい画像を効率良く選択することができる。さらに、経時評価領域を含む画像群のみを対象として詳細位置合わせを行うことにより、位置合わせ処理時の間違いを減らすことができる。

［眼科装置の概略構成］
図１は、本発明の第１の実施形態に係る画像処理装置１００を含む眼科装置１０の概略構成の一例を示すブロック図である。
本実施形態に係る眼科装置１０は、図１に示すように、画像処理装置１００、撮影装置（例えばＡＯ−ＳＬＯ装置）２００、情報入力装置３００、表示装置４００、及び、データベース５００を有して構成されている。

撮影装置２００は、被検眼の眼底に位置する網膜を撮影して、ＡＯ−ＳＬＯ画像や広画角のＷＦ−ＳＬＯ画像等の平面画像を生成する装置である。ここで、ＷＦ−ＳＬＯ画像は、被検眼の眼底における所定の大きさの領域を撮影することにより得られた第１の画像に相当する。また、ＡＯ−ＳＬＯ画像は、被検眼の眼底における領域であって前記所定の大きさの領域よりも狭い領域を撮影することにより得られた第２の画像に相当する。

情報入力装置３００は、画像処理装置１００に対して各種の情報を入力する装置である。

画像処理装置１００は、撮影装置２００によって被検眼の眼底に位置する網膜を撮影することにより得られたＡＯ−ＳＬＯ画像やＷＦ−ＳＬＯ画像等の平面画像を画像処理する装置である。この画像処理装置１００は、図１に示すように、画像取得部１１０、情報取得部１２０、制御部１３０、画像処理部１４０、記憶部１５０、及び、出力部１６０を有して構成されている。

画像取得部１１０は、撮影装置２００によって被検眼の眼底に位置する網膜を撮影することにより得られたＡＯ−ＳＬＯ画像やＷＦ−ＳＬＯ画像等の平面画像を取得する処理を行う。ここでは、撮影装置２００から直接平面画像を取得する場合の他、以前に撮影装置２００で得られ、画像処理を行った後にデータベース５００に保存されている平面画像を、データベース５００から取得する場合も含む。例えば、画像取得部１１０は、被検眼の眼底における所定の大きさの領域を撮影することにより得られたＷＦ−ＳＬＯ画像（第１の画像）と、前記被検眼の眼底における領域であって前記所定の大きさの領域よりも狭い領域を撮影することにより得られたＡＯ−ＳＬＯ画像（第２の画像）とを、撮影時期に基づくセットごとに対応付けて取得する。

情報取得部１２０は、撮影装置２００や情報入力装置３００から、各種の情報を取得する処理を行う。例えば、情報取得部１２０は、撮影装置２００から被検眼に関する情報を取得したり、情報入力装置３００から検者の入力情報を取得したりする。さらに、情報取得部１２０は、後述の重畳部１４２で生成された重畳画像の中から、経時評価を行う領域である経時評価領域を取得する処理を行う。この経時評価領域を取得する処理を行う情報取得部１２０は、領域取得手段を構成する。

制御部１３０は、画像処理装置１００における動作を統括的に制御する。

画像処理部１４０は、制御部１３０の制御に基づいて、画像取得部１１０によって取得されたＡＯ−ＳＬＯ画像やＷＦ−ＳＬＯ画像等の平面画像を処理する。画像処理部１４０は、図１に示すように、位置合わせ部１４１、重畳部１４２、画像選択部１４３、領域抽出部１４４、及び、解析部１４５を有して構成されている。

位置合わせ部１４１は、画像取得部１１０で取得されたＡＯ−ＳＬＯ画像やＷＦ−ＳＬＯ画像の各フレーム間の位置合わせや、ＡＯ−ＳＬＯ画像とＷＦ−ＳＬＯ画像、及び経時的に取得されたＷＦ−ＳＬＯ画像同士やＡＯ−ＳＬＯ画像同士の位置合わせ処理を行う。この各種の位置合わせ処理を行った際、位置合わせ部１４１は、当該各種の位置合わせに係る位置情報を生成する。例えば、位置合わせ部１４１は、同一のセットを構成するＷＦ−ＳＬＯ画像とＡＯ−ＳＬＯ画像との位置合わせである第１の位置合わせと、異なる複数のセットに含まれるＷＦ−ＳＬＯ画像のそれぞれの位置合わせである第２の位置合わせとを行う。そして、位置合わせ部１４１は、第１の位置合わせ及び第２の位置合わせに係る位置情報を生成する。さらに、位置合わせ部１４１は、後述の画像選択部１４３で選択されたＡＯ−ＳＬＯ画像の群における詳細な位置合わせである第３の位置合わせを更に行い、第３の位置合わせに係る位置情報を生成する。

重畳部１４２は、位置合わせ部１４１により対応付けられた複数のＡＯ−ＳＬＯ画像を基準となるＷＦ−ＳＬＯ画像上に重畳させて、重畳画像を生成する処理を行う。例えば、重畳部１４２は、位置合わせ部１４１で生成された位置情報に基づいて、先に取得されたセットである第１のセットに含まれるＡＯ−ＳＬＯ画像と第１のセットよりも後に取得されたセットである第２のセットに含まれるＡＯ−ＳＬＯ画像とを、第１のセットに含まれるＷＦ−ＳＬＯ画像または第２のセットに含まれるＷＦ−ＳＬＯ画像に重畳させて、重畳画像を生成する。

画像選択部１４３は、情報取得部１２０において重畳画像の中から取得された経時評価領域を含むＡＯ−ＳＬＯ画像の群の中から、詳細な位置合わせ（詳細な経時解析）を行うＡＯ−ＳＬＯ画像の群を選択する処理を行う。

領域抽出部１４４は、位置合わせ部１４１で詳細な位置合わせである第３の位置合わせが行われたＡＯ−ＳＬＯ画像の群において共通に含まれる領域（重なりのある領域）である共通領域を抽出する処理を行う。

解析部１４５は、ＡＯ−ＳＬＯ画像に対して、被検眼の視細胞抽出等の解析処理を行う。さらに、解析部１４５は、領域抽出部１４４で抽出された共通領域について被検眼の視細胞抽出や経時比較等の解析処理を行う。

記憶部１５０は、制御部１３０が処理を行う際に必要なプログラムや各種の情報等を記憶している。さらに、記憶部１５０は、制御部１３０の制御に基づいて、画像取得部１１０で取得した平面画像や、情報取得部１２０で取得した各種の情報、更には、画像処理部１４０の処理の結果得られた各種の情報等を記憶する。

出力部１６０は、制御部１３０の制御に基づいて、画像取得部１１０で取得した平面画像や、情報取得部１２０で取得した各種の情報、更には、画像処理部１４０の処理の結果得られた各種の情報等を、表示装置４００に出力して表示させる他、データベース５００に出力して保存させる。

表示装置４００は、出力部１６０から出力された平面画像や各種の情報等を表示する処理を行う。

データベース５００は、出力部１６０から出力された平面画像や各種の情報等を保存する処理を行う。

［平面画像］
図２は、本発明の第１の実施形態を示し、図１の撮影装置２００で生成された複数のＡＯ−ＳＬＯ画像とＷＦ−ＳＬＯ画像を模式的に示す図である。撮影装置２００では、固視灯の点灯位置を変えることで、被検眼が異なる位置を凝視した状態として撮影することにより、被検眼の眼底に位置する網膜の異なる位置を撮影することができる。

ここで、図２には、撮影装置２００で生成された広画角のＷＦ−ＳＬＯ画像２１０と、複数のＡＯ−ＳＬＯ画像２２０とが示されている。一度の撮影により、図２に示すようなＷＦ−ＳＬＯ画像２１０とＡＯ−ＳＬＯ画像２２０のセットが取得される。本実施形態では、同一の被検眼を経時的に観察することにより、図２に示すようなセットが複数回取得されることになる。

図３は、本発明の第１の実施形態を示し、図１の撮影装置２００における固視灯の点灯位置を操作するための固視灯マップを示す図である。
最初に、撮影装置２００は、図３に示す固視灯マップの中心の位置を選択した状態で固視灯を点灯する。このとき、提示される固視灯を凝視した被検眼を撮影すると、被検眼の黄斑付近の撮影を行うことができる。

ここで、図２に示すＷＦ−ＳＬＯ画像２１０は、撮影装置２００においてＡＯ−ＳＬＯ画像を取得する場合とは異なる光学系で、補償光学系を用いずに取得された低解像度で画角の広い画像である。このＷＦ−ＳＬＯ画像２１０は、被検眼の眼底に位置する網膜の広い所定の大きさの領域を撮影することで当該網膜の全体イメージを得るための画像である。

図２に示すように、画角の狭いＡＯ−ＳＬＯ画像２２０をＷＦ−ＳＬＯ画像２１０と位置合わせをして対応付けることにより、画角の狭いＡＯ−ＳＬＯ画像２２０が被検眼の網膜全体のどの位置にあるかが示される。以下、本実施形態では、ＷＦ−ＳＬＯ画像２１０は、画像サイズが８ｍｍ×６ｍｍ、ピクセルサイズが５３３ピクセル×４００ピクセルであるものとする。また、ＡＯ−ＳＬＯ画像２２０は、撮影領域のサイズが、１．７ｍｍ×１．７ｍｍ、０．８２ｍｍ×０．８２ｍｍ、０．３４ｍｍ×０．３４ｍｍの３種類あり、そのピクセルサイズが全て共通で４００ピクセル×４００ピクセルである３種類の解像度が存在している。ここで、撮影領域のサイズが１．７ｍｍ×１．７ｍｍのＡＯ−ＳＬＯ画像をＬ画角のＡＯ−ＳＬＯ画像２２０−Ｌとする。また、撮影領域のサイズが０．８２ｍｍ×０．８２ｍｍのＡＯ−ＳＬＯ画像をＭ画角のＡＯ−ＳＬＯ画像２２０−Ｍとする。また、撮影領域のサイズが０．３４ｍｍ×０．３４ｍｍのＡＯ−ＳＬＯ画像をＳ画角のＡＯ−ＳＬＯ画像２２０−Ｓとする。

また、ここで説明しているＷＦ−ＳＬＯ画像２１０及びＡＯ−ＳＬＯ画像２２０は、複数のフレームより構成される動画像として取得され、フレームレート及び撮影時間により構成されるフレーム数が変化する。本実施形態では、ＡＯ−ＳＬＯ画像２２０は、フレームレートが毎秒３２フレーム、撮影時間が１秒で、３２枚のフレームより構成されるものとする。また、ＷＦ−ＳＬＯ画像２１０は、フレームレートが毎秒１４フレーム、撮影時間が１秒で、１４枚のフレームより構成されるものとする。また、以下に説明する視細胞解析では、Ｓ画角のＡＯ−ＳＬＯ画像２２０−Ｓを解析対象とするものとする。また、ＷＦ−ＳＬＯ画像２１０とＡＯ−ＳＬＯ画像２２０を平面画像と称する。

［撮影プロトコル］
被検眼の撮影プロトコルは、被検眼の着目したい疾病等によって異なるが、標準プロトコルとしては、最初に黄斑を中心としたＷＦ−ＳＬＯ画像２１０を撮影し、その後、網膜の複数の位置を解像度の異なるＡＯ−ＳＬＯ画像２２０を組み合わせながら撮影を行う。また、経時的に同一の被検眼を観察する場合には、同一のプロトコルで撮影することが一般的であるが、着目する疾病部位の周辺のみを少しずつ位置を変えながら、複数撮影するような場合もある。

［画像処理装置１００の処理手順］
図４は、本発明の第１の実施形態に係る画像処理装置１００による画像処理方法の処理手順の一例を示すフローチャートである。

＜ステップＳ４１０＞
まず、ステップＳ４１０において、情報取得部１２０は、情報入力装置３００から入力される、患者情報として被検眼の情報を取得する。そして、情報取得部１２０は、取得した被検眼の情報を、制御部１３０を介して、記憶部１５０に記憶する。ここで、被検眼の情報には、被検者のＩＤや生年月日等の被検者情報や、被検眼の眼軸長等の計測データの情報、更には、過去に撮影された画像等の情報が含まれる。

＜ステップＳ４２０＞
続いて、ステップＳ４２０において、画像取得部１１０は、撮影装置２００またはデータベース５００から、経時的に取得された、被検眼の眼底に位置する網膜の平面画像（ＷＦ−ＳＬＯ画像２１０及びＡＯ−ＳＬＯ画像２２０）における複数のセットを取得する。そして、画像取得部１１０は、取得した平面画像における複数のセットを、制御部１３０を介して、記憶部１５０に記憶する。ここで、本実施形態においては、平面画像のセットとは、同一の被検眼に対して経時的に撮影が行われた場合に、例えば同一日に撮影されたＷＦ−ＳＬＯ画像２１０及びＡＯ−ＳＬＯ画像２２０で構成される画像群のことを指すものとする。但し、例えば、治療の前後で撮影を行って比較する場合等では、同一日の撮影であっても治療の前と後でそれぞれ異なるセットとして扱われる場合もあるものとする。

＜ステップＳ４３０＞
続いて、ステップＳ４３０において、位置合わせ部１４１は、ステップＳ４２０で取得された平面画像における複数のセットの各セットに対して、同一のセットに含まれるＷＦ−ＳＬＯ画像２１０とＡＯ−ＳＬＯ画像２２０との位置合わせを行う。この際、位置合わせ部１４１は、各セットにおける位置合わせに係る位置情報を生成する。このステップＳ４３０におけるセット内位置合わせは第１の位置合わせに相当し、また、このステップＳ４３０の詳細な処理を図５を用いて以下に説明する。

図５は、図４のステップＳ４３０におけるセット内位置合わせ処理の詳細な処理手順の一例を示すフローチャートである。

≪ステップＳ４３１≫
まず、ステップＳ４３１において、位置合わせ部１４１は、ＡＯ−ＳＬＯ画像もしくはＷＦ−ＳＬＯ画像のフレーム間位置合わせを行う。上述したように、ＡＯ−ＳＬＯ画像は３２枚、ＷＦ−ＳＬＯ画像は１４枚の画像により構成されている。これらの画像は被検眼の網膜上の同一の位置を撮影しているが、被検眼の固視微動のために位置ずれや画像内歪みが生じている。このため、フレーム間の位置合わせを行い、歪みや位置ズレを補正する必要がある。このようなフレーム内の位置ズレや歪みは、広い範囲を撮影しているＷＦ−ＳＬＯ画像に比べて、撮影範囲の狭いＡＯ−ＳＬＯ画像により大きな影響がある。このため、ＡＯ−ＳＬＯ画像の場合についての処理手順を説明する。

まず、３２フレームの中から最も歪みの少ないフレームを選択して基準フレームとし、その後、基準フレームに対してそれ以外のフレームの位置合わせを行う。この基準フレームの選択は、ユーザが行うこともできるし、画質指標等を用いて自動で行うこともできる。基準フレームに、それ以外のフレームの位置合わせをする方法としては複数の方法が知られているが、ここでは位相限定相関法を用いた位置合わせを用いる。網膜を撮影したＡＯ−ＳＬＯ画像には、ランドマークとなるような特徴物を画像内に含まない場合が多いため、視細胞の配置情報からでも精度の高い位置合わせが可能な手法を用いる必要があるためである。

具体的には、位置合わせ部１４１は、基準フレーム以外のフレームを１枚選択し（以下、選択したフレームを「現フレーム」と称する）、基準フレームと現フレームの全体で位相限定相関法を用いて並行移動量を算出する。次いで、位置合わせ部１４１は、並行移動した状態で基準フレームと現フレームの重なる領域を求め、その領域内に複数の小領域を設定する。ここでは、位置合わせ部１４１は、６４ピクセル×６４ピクセルの小領域を縦横６個ずつ、合計３６個設定する。そして、位置合わせ部１４１は、それぞれの小領域に対応する基準フレーム、現フレームに含まれる画像に対して、再び位相限定相関法を用いて、小領域間の位置ズレ（並行移動量）を求める。そして、位置合わせ部１４１は、３６箇所の並行移動を最適化するアフィン変換を求めて、現フレームに適応する。さらに、位置合わせ部１４１は、アフィン変換で求められた各小領域の変形と、上記で求めた並行移動量に差異がある場合にはその微修正も行い、得られた情報に基づき位置を修正した画像を生成する。そして、位置合わせ部１４１は、上述した処理を基準フレーム以外の全３１フレームに対して行うことにより、基準フレームに位置合わせされたＡＯ−ＳＬＯ画像（以下、「位置合わせ済みＡＯ−ＳＬＯ画像」と称する）を取得する。さらに、位置合わせ部１４１は、ＷＦ−ＳＬＯ画像に関しても、ＡＯ−ＳＬＯと同様の手法により、位置合わせ済みＷＦ−ＳＬＯ画像を取得する。

≪ステップＳ４３２≫
続いて、ステップＳ４３２において、位置合わせ部１４１は、位置合わせ済みＡＯ−ＳＬＯ画像を用いた重ね合わせ画像（以下、「重ね合わせＡＯ−ＳＬＯ画像」と称する）を生成する。具体的に、位置合わせ部１４１は、基準フレームの各画素（４００ピクセル×４００ピクセル）に対して、対応する各フレームの画素値を積算して平均値を取得する。ここで、位置合わせ部１４１は、あるピクセルに対しては、位置ずれにより対応する画素が存在しないフレームも存在するため、対応する画素値をもつ画素のみで平均値を求める。また、位置合わせ部１４１は、ＷＦ−ＳＬＯ画像に関しても、ＡＯ−ＳＬＯ画像と同様の手法により、重ね合わせＷＦ−ＳＬＯ画像を生成する。

≪ステップＳ４３３≫
続いて、ステップＳ４３３において、位置合わせ部１４１は、ステップＳ４３２で取得した同一のセットの重ね合わせＷＦ−ＳＬＯ画像と重ね合わせＡＯ−ＳＬＯ画像との間で位置合わせを行う。そして、位置合わせ部１４１は、それぞれのＡＯ−ＳＬＯ画像のＷＦ−ＳＬＯ画像上での位置に係る位置情報を取得する。

ステップＳ４３１のフレーム間位置合わせと異なり、ここでは、解像度の異なる画像間での位置合わせが必要となる。この場合、位置合わせは、解像度が近い画像同士の方が高精度となるため、まずは重ね合わせＷＦ−ＳＬＯ画像と、最も解像度の低いＬ画角の重ね合わせＡＯ−ＳＬＯ画像との位置合わせを行い、Ｌ画角のＡＯ−ＳＬＯ画像のＷＦ−ＳＬＯ画像に対応する位置情報を取得する。その後、重ね合わせＷＦ−ＳＬＯ画像の対応する位置にＬ画角の重ね合わせＡＯ−ＳＬＯ画像をはめ込んだ合成画像を生成する。

同一のセット内に複数のＷＦ−ＳＬＯ画像が存在する場合には、位置合わせ部１４１は、基準となるＷＦ−ＳＬＯ画像（以下、「基準ＷＦ−ＳＬＯ画像」と称する）を決め、その重ね合わせＷＦ−ＳＬＯ画像に対して、Ｌ画角の重ね合わせＡＯ−ＳＬＯ画像の位置合わせを行う。そして、位置合わせ部１４１は、全てのＬ画角の重ね合わせＡＯ−ＳＬＯ画像を、前のステップで生成した合成画像に対して位置合わせをし、対応する位置にはめ込んで合成画像を更新する。Ｌ画角の重ね合わせＡＯ−ＳＬＯ画像の対応付けが終了したら、次に解像度の低いＭ画角の重ね合わせＡＯ−ＳＬＯ画像を、Ｌ画角の場合と同様に処理して合成画像を更新する。その後、Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の位置合わせも同様に行う。

位置合わせには複数の手法があるが、このステップＳ４３３でも、ステップＳ４３１と同様、位相限定相関法を用いて位置合わせを行う。但し、解像度の異なる画像間での位置合わせに対応するために、全ての平面画像（重ね合わせＷＦ−ＳＬＯ画像及びＬ画角，Ｍ画角，Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像）をＬ画角と同じ４．２５μ／ピクセルの解像度に揃える。具体的には、Ｍ画角，Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の場合は、それぞれ２．０７倍、５倍にダウンサンプリングし、重ね合わせＷＦ−ＳＬＯ画像の場合は約３．５倍にアップサンプリングする。さらに、画角によるコントラストの違いを調整するために、ローパス・フィルタやハイパス・フィルタによる前処理を行う。

以上のステップＳ４３１〜Ｓ４３３の処理を、ステップＳ４２０で取得した全てのセットに対して行うことで各セット内での位置合わせを行い、図７のステップＳ４３０の処理が終了する。

ここでは、経時比較を行う際に平面画像の複数のセットを取得し、それぞれのセット内での位置合わせを行う場合について説明した。しかしながら、実際には、各セットを取得した際に、同一のセット内で画像の閲覧や解析を行う目的で、画像間の位置合わせを行う場合がある。その場合には、ステップＳ４３３の処理が完了した状態でその情報がデータベース５００に保存されているため、ステップＳ４２０で平面画像のセットを取得する際に同時にステップＳ４３０で行う位置合わせの情報も取得し、ステップＳ４３０の処理は行わない。

＜ステップＳ４４０＞
続いて、ステップＳ４４０において、位置合わせ部１４１は、ステップＳ４２０で取得された平面画像における複数のセット間の位置合わせを行うために、各セットの基準ＷＦ−ＳＬＯ画像同士の位置合わせを行う。この際、位置合わせ部１４１は、各セットの基準ＷＦ−ＳＬＯ画像同士の位置合わせに係る位置情報を生成する。このステップＳ４４０におけるセット間位置合わせは第２の位置合わせに相当する。

ここで、位置合わせ部１４１は、同一の被検眼に対して経時的に取得された複数のセットの中で、基準となるセットを選択する（以下、選択したセットを「ベースライン・セット」と称する）。このベースライン・セットは、経時比較の基準となるセットであり、同一の被検眼に対して取得された平面画像のセットのうちの最も新しいセットを選択する場合もあれば、最も古いセットを選択する場合もある。或いは、ユーザが疾病等の進行に合わせて選択することも可能である。

上述した基準ＷＦ−ＳＬＯ画像同士の位置合わせは、ベースライン・セットに含まれる基準ＷＦ−ＳＬＯ画像（以下、「ベースラインＷＦ−ＳＬＯ画像」と称する）に対し、各平面画像セットの基準ＷＦ−ＳＬＯ画像の位置関係を取得することにより行われる。具体的に、位置合わせ部１４１は、ベースラインＷＦ−ＳＬＯ画像と、１つのセットの基準ＷＦ−ＳＬＯ画像のそれぞれから４００ピクセル×４００ピクセルの領域を切り出し、それぞれの画像の輝度ヒストグラムの平均値・分散が同じとなるようにコントラスト調整した後、位相限定相関法を用いて並行移動量を取得する。そして、位置合わせ部１４１は、同様の処理を全ての平面画像セットの基準ＷＦ−ＳＬＯ画像に対して行い、ベースライン・セットに対する、各セットの相対位置（並行移動量）を取得する。そして、位置合わせ部１４１は、取得した複数のセットの相対位置を、制御部１３０を介して、記憶部１５０に記憶する。

＜ステップＳ４５０＞
続いて、ステップＳ４５０において、重畳部１４２は、ステップＳ４３０における同一のセット内の位置合わせ（第１の位置合わせ）の結果と、ステップＳ４４０における複数のセット間の位置合わせ（第２の位置合わせ）の結果に基づき、全てのＡＯ−ＳＬＯ画像をベースラインＷＦ−ＳＬＯ上に重畳させて、重畳画像を生成する。その後、制御部１３０は、重畳部１４２で生成された重畳画像を、出力部１６０を介して、表示装置に表示させる制御を行う。

ここで、重畳画像は、視細胞解析の対象となる画角の画像のみを用いて生成するものとする。本実施形態においては、解析対象となるのはＳ画角のみであるため、Ｓ画角のみを用いた重畳画像を生成する場合について説明する。

まず、重畳部１４２は、ステップＳ４２０で取得された平面画像の複数のセットのうちのベースライン・セットに含まれるＳ画角のＡＯ−ＳＬＯ画像について、ステップＳ４３３で求めた各重ね合わせＡＯ−ＳＬＯ画像の、ベースラインＷＦ−ＳＬＯ画像に対する相対位置情報を取得する。ここで、ベースライン・セットでは、ステップＳ４３３の基準ＷＦ−ＳＬＯ画像がベースラインＷＦ−ＳＬＯ画像と一致するため、ステップＳ４３３で取得した位置情報をそのまま用いることができる。

次いで、重畳部１４２は、ステップＳ４２０で取得された平面画像の複数のセットのうちのベースライン・セット以外のセットに含まれるＳ画角のＡＯ−ＳＬＯ画像について、ステップＳ４４０で取得した相対位置情報と、ステップＳ４３３で取得した相対位置情報を取得する。具体的に、重畳部１４２は、ベースラインＷＦ−ＳＬＯ画像と各セットの基準ＷＦ−ＳＬＯ画像との相対位置情報をステップＳ４４０で取得し、基準ＷＦ−ＳＬＯ画像と各重ね合わせＡＯ−ＳＬＯ画像との相対位置情報をステップＳ４４３で取得する。そして、重畳部１４２は、これらの相対位置情報を用いて、ベースラインＷＦ−ＳＬＯ画像と各重ね合わせＡＯ−ＳＬＯ画像との相対位置情報を取得する。本実施形態では、ベースラインＷＦ−ＳＬＯ画像と各セットの基準ＷＦ−ＳＬＯ画像との相対位置としては並行移動位置のみを取得し、アフィン変換から取得した回転やせん断等のパラメータは考慮していないが、これらを考慮しても良い。

次いで、重畳部１４２は、対象とする全Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の、ベースラインＷＦ−ＳＬＯ画像に対する位置情報に基づき、例えば画像の重なり枚数の量を反映して画素値を変化させた重畳画像を生成する。具体的に、重畳部１４２は、重畳画像を生成する際に、まず、Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の位置情報からその画像が存在するベースラインＷＦ−ＳＬＯ画像上の領域を求め、各画素に対してその上に重畳されるＡＯ−ＳＬＯ画像の枚数を取得する。次に、ベースラインＷＦ−ＳＬＯ画像の輝度値を表示用に変換する。変換の方法は複数存在するが、ここではベースラインＷＦ−ＳＬＯ画像の最大輝度値と最低輝度値を取得し、その差を２５５分割して画素の深度（ｄｅｐｔｈ）を８ビットとする。このような変換を行った場合、ベースラインＷＦ−ＳＬＯ画像の最低輝度値は０、最大輝度値は２５５となる。その後、重畳部１４２は、画素値が０の場合（重畳されるＡＯ−ＳＬＯ画像は無し）にはベースラインＷＦ−ＳＬＯ画像の対応する画素の変換された輝度値を設定し、画素値が０以外の場合には重畳枚数を反映した輝度値を設定する。例えば、重畳部１４２は、全Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の枚数がＮ枚の場合、ある画素に存在するＳ画角の重ね合わせＡＯ−ＳＬＯ画像の枚数がＭであったとき、その輝度値Ｉを以下の（１）式のように設定する。

ここで、Ｉの値の決め方には様々な方法が考えられる。例えば、Ｎを全Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の枚数ではなく、画素上で重畳されるＡＯ−ＳＬＯ画像の枚数の最大値とすることもができる。また，Ｎをあらかじめ決められた枚数（例えば３０枚）とし、ＭがＮよりも大きくなる場合には、Ｉをｄｅｐｔｈとする方法も考えられる。

図６は、本発明の第１の実施形態を示し、図４のステップＳ４５０で生成される重畳画像６００の一例を模式的に示す図である。この図６に示す重畳画像６００では、グレースケールで重ね合わせＡＯ−ＳＬＯ画像の枚数のみを反映する例を示したが、この方法以外にも様々な方法が考えられる。例えば、重ね合わせＡＯ−ＳＬＯ画像の枚数の多さをカラー表示することも可能である。さらに、例えば、重ね合わせＡＯ−ＳＬＯ画像が含まれるセットごとに色をかえて重畳画像を生成することも可能である。

そして、制御部１３０は、重畳部１４２で生成された重畳画像を、記憶部１５０に記憶する制御を行うとともに、出力部１６０を通じて外部の表示装置４００に表示する制御を行う。

＜ステップＳ４６０＞
続いて、ステップＳ４６０において、情報取得部１２０は、情報入力装置３００からユーザが選択した経時評価領域を取得する処理を行う。そして、情報取得部１２０は、取得した経時評価領域を、制御部１３０を介して、記憶部１５０に記憶する。ここで、経時評価領域とは、例えば、ステップＳ４５０において表示装置４００に表示された重畳画像上で、ユーザがマウス等を用いて経時評価を行う領域として選択した領域のことである。より具体的には、ユーザが、表示装置４００に表示された重畳画像上の１点をクリックすることで、その座標として取得することも可能であるし、もしくは重畳画像上で領域を指定し選択することも可能である。さらに、ユーザの入力によらずとも、重畳画像の中から自動的に経時評価領域を取得することも可能である。例えば、情報取得部１２０は、重畳画像上で重畳枚数が最も多い領域を経時評価領域として取得したり、異なる平面画像のセットに属する画像の重畳枚数が最も多い領域を経時評価領域として取得したりすることも可能である。さらに、情報取得部１２０は、そのように枚数を数える場合に、各画像のコントラスト等の画質で重みをつけて、画質が所定の閾値よりも高い画像の枚数が多い領域を経時評価領域として取得することも可能である。

＜ステップＳ４７０＞
続いて、ステップＳ４７０において、画像選択部１４３は、ステップＳ４３２で生成された全Ｓ画角の重ね合わせＡＯ−ＳＬＯ画像の中から、ステップＳ４６０で取得された経時評価領域を含む重ね合わせＡＯ−ＳＬＯ画像を選択する。その後、制御部１３０は、画像選択部１４３で選択された重ね合わせＡＯ−ＳＬＯ画像の群の一覧を、出力部１６０を通じて外部の表示装置４００に表示する制御を行う。

さらに、画像選択部１４３は、ステップＳ４６０で取得された経時評価領域を含む重ね合わせＡＯ−ＳＬＯ画像の群の中から、経時解析のための詳細位置合わせを行う画像群（以下、「経時解析対象ＡＯ−ＳＬＯ画像群」と称する）を選択する。この選択は、ユーザが選択することもできるし、アルゴリズムによって画像選択部１４３が自動選択することも可能である。例えば、ユーザが選択する場合、表示された経時評価領域を含む全重ね合わせＡＯ−ＳＬＯ画像の群の一覧から、ユーザが撮影日や画質等を考慮して経時解析対象ＡＯ−ＳＬＯ画像群を選択する態様を採る。また、画像選択部１４３が自動選択する場合、各撮影日ごとに最も画質の高い画像を選択したり、各撮影日ごとに、ステップＳ４６０で取得された経時評価領域をより中心に含む画像を基準画像として選択したりする態様を採る。そして、画像選択部１４３は、選択した経時解析対象ＡＯ−ＳＬＯ画像群を、制御部１３０を介して、記憶部１５０に記憶する。

＜ステップＳ４８０＞
続いて、ステップＳ４８０において、位置合わせ部１４１は、ステップＳ４７０で選択された経時解析対象ＡＯ−ＳＬＯ画像群間の詳細な位置合わせを行う。この際、位置合わせ部１４１は、経時解析対象ＡＯ−ＳＬＯ画像群の位置合わせに係る位置情報を生成する。このステップＳ４８０における詳細位置合わせは第３の位置合わせに相当する。

ここでは、詳細な位置合わせの手法として、ステップＳ４３０におけるセット内位置合わせと同様の位相限定相関法を用いた場合について説明する。但し、位置合わせには複数の手法があり、この手法に限定されるものではない。

具体的に、ステップＳ４８０では、位置合わせ部１４１は、まず、経時解析対象ＡＯ−ＳＬＯ画像群の中から、基準となる画像（以下、「基準ＡＯ−ＳＬＯ画像」と称する）を選択する。この基準ＡＯ−ＳＬＯ画像の選択は、ユーザが観察したい対象に応じて選択する構成でも良いし、ソフトウェアにより自動で選択する構成としても良い。自動選択の具体例としては、コントラストが高い等、画質が所定の閾値よりも高い画像を選択し、ステップＳ４６０で取得された経時評価領域をより中心に含む画像を選択する。

次いで、位置合わせ部１４１は、経時解析対象ＡＯ−ＳＬＯ画像群に含まれる基準ＡＯ−ＳＬＯ画像以外の画像を、基準ＡＯ−ＳＬＯ画像に対して位置合わせする。ここでは、ステップＳ４３１のフレーム間位置合わせと同様の方法を用いるが、経時解析対象ＡＯ−ＳＬＯ画像間の画像を調整するための前処理を行う。その理由は、フレーム間位置合わせの場合は１秒間に取得された３２フレーム同士の位置合わせのために画像の性質が似ているのに対して、経時解析対象ＡＯ−ＳＬＯ画像群は経時的に取得された重ね合わせ画像であるために画質にばらつきがあるという特徴による。

ここでの前処理としては、視細胞観察によく用いられるＬＯＧによるコントラスト調整を行う。より具体的に、各画像の輝度のヒストグラムを求め、その上下０．５％の輝度値をカットした輝度の最高値及び最低値をそれぞれＩｍａｘ及びＩｍｉｎとする。そして、ＬＯＧによるコントラスト調整では、各画素の輝度値Ｉを以下の（２）式のように変更する。

ここで、（２）式に示すＩｐｒｏｃｅｓｓｅｄは、調整後の画素値である。また、（２）式に示すＩｎｏｒｍは、輝度の最大値が画素の深さ（１６ｂｉｔもしくは８ｂｉｔ等）で許される最大値となるように規格化する定数であり、（３）式のように示されるものである。また、（２）式及び（３）式に示すａは、ＬＯＧによるコントラスト調整で用いるパラメータであり、値が小さいほど調整が大きくなる。本実施形態では、ａの範囲として適した１００〜５０００の範囲の中から、５０００を選択する。

このような前処理を施した後、位置合わせ部１４１は、ステップＳ４３１と同様の方法で位置合わせを行い、経時解析対象ＡＯ−ＳＬＯ画像群に対して、位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群を生成する。また、位置合わせ部１４１は、詳細位置合わせがうまくいかなかった場合（例えば位相限定相関の相関ピークが閾値以下となる場合等）に、どの段階で失敗したかをエラーフラッグ情報として取得する。そして、位置合わせ部１４１は、こうして生成した位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群及び位置合わせ結果の情報を、制御部１３０を介して、記憶部１５０に記憶する。

＜ステップＳ４９０−１＞
続いて、ステップＳ４９０−１において、領域抽出部１４４は、ステップＳ４８０における詳細な位置合わせの結果得られた位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群において共通に含まれる領域である共通領域を抽出する。

＜ステップＳ４９０−２＞
続いて、ステップＳ４９０−２において、制御部１３０は、ステップＳ４８０で得られた位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群及びその位置合わせ結果の情報とともにステップＳ４９０−２で抽出された共通領域を表示装置４００に表示する制御を行う。

図７は、本発明の第１の実施形態を示し、位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群等の表示例を模式的に示す図である。この図７には、位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群７１１〜７１４を並べて表示すると同時に、共通領域７２０が示されている。

さらに、詳細位置合わせの段階で取得したエラーフラッグ情報等を表示する領域７３０が、各画像に付加されている。具体的に、図７には、当該画像が基準ＡＯ−ＳＬＯ画像の場合（「ｒｅｆｅｒｅｎｃｅ」と表示）、詳細位置合わせはできたが基準ＡＯ−ＳＬＯ画像に対して移動量が大きい画像の場合（「ｌａｒｇｅ ｄｉｓｐｌａｃｅｍｅｎｔ」と表示）が記載される例を示している。

ここで、移動量が大きい画像の場合を解析対象から除く理由は、これらの画像を含めると、共通領域７２０の大きさが極端に小さくなってしまうからである。本実施形態では、画像の中心位置が基準ＡＯ−ＳＬＯ画像の中心から４０％以上離れた場合には解析対象外とする。また、ステップＳ４８０で取得されたエラーフラッグ情報の中で、画像全体での並行移動までは処理が進むが、それ以降のアフィン変換等の歪み補正部分でエラーとなった画像の場合には、並行移動のみという表示（「ｓｈｉｆｔ」と表示）を行っている。これは、この画像は概略の位置はあっているが、視細胞１つ１つのレベルでの位置合わせはできておらず、選択領域内の視細胞密度の比較等は可能であるが、個別の視細胞が回復もしくは消失したか否かを判断するレベルではないことを示している。

制御部１３０は、こうして得られた位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群及びその位置合わせ結果の情報並びに共通領域７２０を、記憶部１５０に記憶する制御を行うとともに、出力部１６０を通じて外部の表示装置４００に表示する制御を行う。同時に、出力部１６０は、取得した情報等をデータベース５００に出力して保存する。なお、不図示ではあるが、表示された各ＡＯ−ＳＬＯ画像の近傍には、それぞれの撮影日時等に関する情報が共に表示されている。

ステップＳ４９０の処理が終了すると、図４に示すフローチャートの処理が終了する。

第１の実施形態に係る画像処理装置１００では、経時的に取得したＡＯ−ＳＬＯ画像を相互に位置合わせして基準となるＷＦ−ＳＬＯ画像上に重畳させて重畳画像を生成するようにしている。
かかる構成によれば、例えばＡＯ−ＳＬＯ画像が経時的に繰り返し撮影されている領域を把握することができるため、被検眼の眼底における経時比較を効率良く行うことができる。さらに、例えば、ＡＯ−ＳＬＯ画像が繰り返し撮影されている領域周辺から画像を選択して詳細な位置合わせを行うことにより、多くの画像について経時比較を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第１の実施形態では、経時的に取得したＡＯ−ＳＬＯ画像を相互に位置合わせして基準となるＷＦ−ＳＬＯ画像上に重畳させて重畳画像を生成して表示し、当該重畳画像に基づき撮影されている枚数が多い領域を経時評価領域として取得する方法について説明した。さらに、第１の実施形態では、複数のＡＯ−ＳＬＯ画像から、経時評価領域を含むＡＯ−ＳＬＯ画像を選択し、それらの詳細な位置合わせを行って実際に重なる共通領域を抽出して表示する方法についても説明した。

第２の実施形態では、第１の実施形態においてステップＳ４８０の詳細な位置合わせが行われた経時解析対象ＡＯ−ＳＬＯ画像群に対し、各画像の共通領域を抽出して、周期構造の評価及び視細胞検出等の解析を行う方法について説明する。

第２の実施形態に係る眼科装置の概略構成は、図１に示す第１の実施形態に係る眼科装置１０の概略構成と同様であるため、その説明は省略する。

［画像処理装置１００の処理手順］
図８は、本発明の第２の実施形態に係る画像処理装置１００による画像処理方法の処理手順の一例を示すフローチャートである。ここで、図８に示すフローチャートの「開始」の段階で、図４に示すステップＳ４１０〜Ｓ４９０−１までの処理が終了しているものとする。

＜ステップＳ８１０＞
図４に示すステップＳ４１０〜Ｓ４９０−１の処理を経た後、ステップＳ８１０において、解析部１４５は、まず、ステップＳ４８０で得られた位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像群と、ステップＳ４９０−１で抽出された共通領域の情報をデータベース５００から取得する。そして、解析部１４５は、各位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像から、共通領域として抽出された領域の空間周波数変換画像を生成する。

具体的には、まず、共通領域の幅及び高さよりも大きく、２のＮ乗となる整数を画像サイズとする正方形の画像領域を設定し、その中心に上記抽出領域を置く。これを空間周波数変換用抽出画像と呼び、ここではその大きさを５１２ピクセル×５１２ピクセルとする。このとき、共通領域の全画素値の平均値を求め、その平均値を共通領域の各画素値から引き算し、共通領域に相当しない画素値は０とする。さらに、共通領域の境界部分の不連続性による影響を防ぐため、窓関数による処理を行う。ここでは、大きさ８ピクセルのＨａｎｎ窓を用いる。こうして生成した各周波数変換用抽出画像にＦＦＴ処理（高速フーリエ変換）を行い、各画素値をＦＦＴの振幅の大きさとしたパワースペクトル画像を生成する。ここで、パワースペクトル画像は、視細胞の周期を反映したリング状の構造をもつことが知られているため、パワースペクトル画像からリングの半径を求め、そこから視細胞の周期を概算する。リングの半径を求める手法は複数存在するが、ここではパワースペクトル画像の画像中心を原点とし、角度方向にパワースペクトル画像の画素値を積算し、動径方向で前記積算値が最も大きな値となる箇所を、リングの半径とする。

パワースペクトル画像の各画素値の値は、対応する方向の視細胞の周期の構造がどの程度の強度で存在するかを示しているが、ここでは視細胞の配置に関して特定の方向を考慮しないため、方向に関する角度成分を積算し、周期構造の大きさのみに着眼している。上述した方法により求めたパワースペクトル画像上のリング半径をｒとすると、このときの視細胞間距離Ｌは、以下の（４）式に示すように概算できる。

ここで、パワースペクトル画像のサイズ（ｉｍａｇｅ＿ｓｉｚｅ）は上述したように５１２ピクセル×５１２ピクセルであり、ピクセルのサイズ（ｐｉｘｅｌ＿ｓｉｚｅ）はＳ画角のＡＯ−ＳＬＯ画像の場合に０．８５μ／ピクセルである。

そして、全ての位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像の共通領域が同じ画像である場合には、視細胞間距離Ｌは全てのパワースペクトル画像で同じとなるが、実際には画像ごとに視細胞間距離Ｌの値は異なるものとなる。これは、疾病の進行により視細胞密度が変化した等の臨床的変化が正しく反映されている場合と、位置合わせの失敗により等しい領域が選択されていない場合や、画質の劣化やフォーカス位置のずれにより正しい画像が取得できていない場合に分けられる。但し、疾病の進行により視細胞の消失が起こった場合でも、視細胞間距離Ｌが均一に大きくなるように再配置されるのではなく、影響を受けた視細胞のみが消失しそれ以外の視細胞には大きな変化はみられない場合が多いことが知られている。そのため、視細胞間距離Ｌの値が大きく変化している画像にはなんらかの課題（位置合わせ失敗や撮影時の失敗等）を示唆する場合が多い。よって、視細胞間距離Ｌの値、もしくは視細胞間距離Ｌの値を用いて算出した指標等をユーザに提示することで、解析結果の妥当性をユーザに示すことが可能となる。

そして、制御部１３０は、解析部１４５でこのようにして取得した共通領域の視細胞間距離Ｌの情報を、記憶部１５０に記憶する制御を行うとともに、出力部１６０を通じて外部の表示装置４００に表示する制御を行う。同時に、出力部１６０は、視細胞間距離Ｌの情報をデータベース５００に出力して保存する。ここで、視細胞間距離Ｌもしくは視細胞間距離Ｌに基づく指標のユーザへの提示の仕方は複数考えられるが、例えば図７のコメント領域（図７の７３０）への提示等が適切である。

＜ステップＳ８２０＞
続いて、ステップＳ８２０において、解析部１４５は、ステップＳ８１０で取得した、各位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像の共通領域に対応する視細胞間距離Ｌのうち、基準ＡＯ−ＳＬＯ画像に対応する視細胞間距離に基づき、視細胞検出を行う。ここで、視細胞検出の方法は複数知られているが、例えば画像の輝度値の局所的最大値を検出する方法が知られている。この方法では、視細胞間距離に相当する大きさよりも近い距離に検出された２点は融合処理によって合体させられる。このときのパラメータとして、視細胞間距離Ｌを用いることが考えられる。但し、視細胞の配置にはゆらぎがあるため、視細胞間距離Ｌ以下の距離の２点全てを融合するとほとんどの検出点が融合してしまうため、本実施形態では０．６Ｌ以下の２点を融合するものとする。そして、制御部１３０は、解析部１４５においてこのようにして取得された、各位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像の共通領域で検出された検出点の座標情報を、記憶部１５０に記憶する制御を行う。

＜ステップＳ８３０＞
続いて、ステップＳ８３０において、解析部１４５は、ステップＳ８２０で取得した検出点の座標情報に基づき、ボロノイ解析等を行い、視細胞の配置に関する指標を抽出する。そして、制御部１３０は、解析部１４５においてこのようにして取得された視細胞の配置に関する指標情報を、記憶部１５０に記憶する制御を行う。

＜ステップＳ８４０＞
続いて、ステップＳ８４０において、制御部１３０は、ステップＳ８２０で取得した視細胞の検出結果や、ステップＳ８３０で取得した解析結果を、出力部１６０を通じて外部の表示装置４００に表示する制御を行う。この際、制御部１３０は、各位置合わせ済み経時解析対象ＡＯ−ＳＬＯ画像の共通領域間で、経時的な解析結果の差を比較可能となるように比較表示する制御を行う。

ここで、解析結果の比較表示は、共通領域全域での比較結果を表示することもできるし、共通領域内でユーザが選択した選択領域においてのみ比較表示することも可能である。具体的には、選択された領域内で算出した視細胞密度やボロノイの六角形率等の指標の経時的変化を、一覧表もしくはグラフ等でユーザに比較表示することができる。また、選択領域内の検出点が、異なる日時に取得された画像内での検出点と一致するか否かを、表示する検出点の色を変えることで示すこともできる。

さらに、ボロノイ解析の結果取得された指標を比較することで表示を変えることもできる。例えば、最近接距離（ＮＮＤ）の値の変化率に応じて検出点の色やボロノイ領域の色を変えて比較表示したり、ボロノイ領域の面積の差や頂点数の差、偏心率等の形状を示す指標の差の変化に応じて比較表示したりすることが可能となる。また、密度の等高線表示に替えて、密度の差やボロノイ領域のヘキサゴン率等の差を等高線表示することもできる。この場合に、変化の少ない領域と変化の大きな領域を明示することで、疾病がどの領域で進行しているかを直観的に把握することが可能となる。

ステップＳ８４０の処理が終了すると、図８に示すフローチャートの処理が終了する。

第２の実施形態によれば、上述した第１の実施形態における効果に加えて、以下の効果を奏する。即ち、経時的に取得した画像を用いて疾病の進行等の状態を比較したい場合に、詳細に位置合わせを行った同一撮影領域間で、視細胞の状態を反映する解析指標を取得して比較し、その比較結果が一覧できるように表示することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 眼科装置、１００ 画像処理装置、１１０ 画像取得部、１２０ 情報取得部、１３０ 制御部、１４０ 画像処理部、１４１ 位置合わせ部、１４２ 重畳部、１４３ 画像選択部、１４４ 領域抽出部、１４５ 解析部、１５０ 記憶部、１６０ 出力部、２００ 撮影装置、３００ 情報入力装置、４００ 表示装置、５００ データベース

Claims (17)

1. 被検眼の眼底における所定の大きさの領域を撮影することにより得られた第１の画像と、前記被検眼の眼底における領域であって前記所定の大きさの領域よりも狭い領域を撮影することにより得られた第２の画像とを、撮影時期に基づくセットごとに対応付けて取得する画像取得手段と、
   同一の前記セットを構成する前記第１の画像と前記第２の画像との位置合わせである第１の位置合わせと、異なる複数の前記セットに含まれる前記第１の画像のそれぞれの位置合わせである第２の位置合わせとを行って、前記第１の位置合わせ及び前記第２の位置合わせに係る位置情報を生成する位置合わせ手段と、
   前記位置合わせ手段で生成された位置情報に基づいて、先に取得された前記セットである第１のセットに含まれる前記第２の画像と前記第１のセットよりも後に取得された前記セットである第２のセットに含まれる前記第２の画像とを、前記第１のセットに含まれる前記第１の画像または前記第２のセットに含まれる前記第１の画像に重畳させて、重畳画像を生成する重畳手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像取得手段は、前記セットごとに複数の前記第２の画像を取得するものであり、
   前記重畳画像は、前記第１のセットに含まれる前記第２の画像と前記第２のセットに含まれる前記第２の画像との重なり枚数を反映した画素値を持つことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得手段は、前記セットごとに複数の前記第２の画像を取得するものであり、
   前記重畳画像は、前記第１のセットに含まれる前記第２の画像と前記第２のセットに含まれる前記第２の画像との、各セットごとの重なり枚数を反映した画素値を持つことを特徴とする請求項１に記載の画像処理装置。
4. 前記重畳画像の中から、経時評価を行う領域である経時評価領域を取得する領域取得手段と、
   前記経時評価領域を含む前記第２の画像の群の中から、詳細な位置合わせを行う前記第２の画像の群を選択する画像選択手段と、
   前記位置合わせ手段は、前記画像選択手段で選択された前記第２の画像の群における詳細な位置合わせである第３の位置合わせを更に行うものであり、前記第３の位置合わせが行われた前記第２の画像の群において共通に含まれる領域である共通領域を抽出する領域抽出手段と、
   前記第３の位置合わせが行われた前記第２の画像の群とともに、前記共通領域と前記第３の位置合わせの結果とを表示装置に表示する制御を行う制御手段と、
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記領域取得手段は、前記重畳画像において、前記第２の画像の重なり枚数が最も多い領域を前記経時評価領域として取得することを特徴とする請求項４に記載の画像処理装置。
6. 前記領域取得手段は、前記重畳画像において、異なる前記セットに含まれる前記第２の画像の重なり枚数が最も多い領域を前記経時評価領域として取得することを特徴とする請求項４に記載の画像処理装置。
7. 前記領域取得手段は、前記重畳画像において、画質を考慮した前記第２の画像の重なり枚数が最も多い領域を前記経時評価領域として取得することを特徴とする請求項４に記載の画像処理装置。
8. 前記位置合わせ手段は、前記第３の位置合わせを行う際に、前記画像選択手段で選択された前記第２の画像の群の中から、前記経時評価領域をより中心に含む第２の画像を基準画像として選択することを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記重畳画像の中から、経時評価を行う領域である経時評価領域を取得する領域取得手段と、
   前記経時評価領域を含む前記第２の画像の群の中から、詳細な位置合わせを行う前記第２の画像の群を選択する画像選択手段と、
   前記位置合わせ手段は、前記画像選択手段で選択された前記第２の画像の群における詳細な位置合わせである第３の位置合わせを更に行うものであり、前記第３の位置合わせが行われた前記第２の画像の群において共通に含まれる領域である共通領域を抽出する領域抽出手段と、
   前記共通領域について前記被検眼の視細胞を解析する解析手段と、
   前記解析手段による解析の結果を表示装置に表示する制御を行う制御手段と、
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
10. 前記解析手段は、前記視細胞を解析する際に、前記共通領域について前記視細胞の周期構造に基づく指標を取得し、前記指標に基づいて前記視細胞の検出と前記視細胞の配置を解析することを特徴とする請求項９に記載の画像処理装置。
11. 前記制御手段は、前記第３の位置合わせが行われた前記第２の画像の群における各第２の画像の前記共通領域の間で、前記解析手段による解析の結果を前記表示装置に比較表示する制御を行うことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記制御手段は、前記解析手段による前記視細胞の検出結果の差を前記比較表示する制御を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記解析手段は、ボロノイ解析を用いて前記視細胞の配置を解析するものであり、
    前記制御手段は、前記ボロノイ解析の結果の差を前記比較表示する制御を行うことを特徴とする請求項１１に記載の画像処理装置。
14. 前記ボロノイ解析の結果の差は、前記ボロノイ解析による各検出点における最近接距離の差、前記ボロノイ解析によるボロノイ領域の頂点数の差、前記ボロノイ領域の面積の差、及び、前記ボロノイ領域の形状の差のうちの少なくともいずれかであることを特徴とする請求項１３に記載の画像処理装置。
15. 前記制御手段は、前記解析手段による密度の差またはヘキサゴン率の差を前記表示装置に等高線表示させることにより前記比較表示する制御を行うことを特徴とする請求項１１に記載の画像処理装置。
16. 被検眼の眼底における所定の大きさの領域を撮影することにより得られた第１の画像と、前記被検眼の眼底における領域であって前記所定の大きさの領域よりも狭い領域を撮影することにより得られた第２の画像とを、撮影時期に基づくセットごとに対応付けて取得する画像取得ステップと、
    同一の前記セットを構成する前記第１の画像と前記第２の画像との位置合わせである第１の位置合わせと、異なる複数の前記セットに含まれる前記第１の画像のそれぞれの位置合わせである第２の位置合わせとを行って、前記第１の位置合わせ及び前記第２の位置合わせに係る位置情報を生成する位置合わせステップと、
    前記位置合わせステップで生成された位置情報に基づいて、先に取得された前記セットである第１のセットに含まれる前記第２の画像と前記第１のセットよりも後に取得された前記セットである第２のセットに含まれる前記第２の画像とを、前記第１のセットに含まれる前記第１の画像または前記第２のセットに含まれる前記第１の画像に重畳させて、重畳画像を生成する重畳ステップと、
    を有することを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法における各ステップをコンピュータに実行させるためのプログラム。