JP6470604B2 - 画像処理装置及び画像処理方法及びプログラム - Google Patents

Description

本発明は眼科診療に用いられる画像処理装置、画像処理方法及びプログラムに関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。眼部検査に用いられる眼科装置として、共焦点レーザー顕微鏡の原理を利用した走査型レーザー検眼鏡（ＳＬＯ；Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）がある。該走査型レーザー検眼鏡は、測定光であるレーザーを眼底に対してラスター走査してその戻り光の強度から平面画像を得る装置であり、高分解能にて高速で画像が得られる。また、該走査型レーザー検眼鏡では、戻り光において開口部（ピンホール）内を通過した光のみを検出してこれにより平面画像を生成している。これにより、特定の深度位置の戻り光のみを画像化でき、眼底カメラ等に比べてコントラストの高い画像を取得できる。
以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能が低下する。この分解能の低下には、被検眼の収差を波面センサでリアルタイムに測定し、波面補正デバイスにて被検眼にて発生する測定光やその戻り光の収差を補正して対処している。このような波面補正デバイス等の補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像の取得を可能にしている。

補償光学ＳＬＯ装置にて得られるＳＬＯ画像は動画像として取得することができる。このため、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などの計測に該ＳＬＯ画像が用いられる。また、該ＳＬＯ画像を用いて視機能との関連を評価するために、視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測も行われている。図６（ｂ）に、補償光学ＳＬＯ装置により得られた高横分解能なＳＬＯ画像の例を示す。当該画像においては、視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。

このようなＳＬＯ画像において視細胞Ｐを観察する場合には、フォーカス位置を網膜外層（例えば図６（ａ）の層境界Ｂ５）付近に設定して、図６（ｂ）のようなＳＬＯ画像を撮影する。一方、網膜内層（図６（ａ）の層境界Ｂ２から層境界Ｂ４）には網膜血管や分岐した毛細血管が走行している。フォーカス位置をこの網膜内層に設定して補償光学ＳＬＯ画像を取得すると、例えば網膜血管壁を直接観察できる。

しかし、網膜内層を撮影した共焦点画像では神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。そこで、近年は受光部手前にあるピンホールの径や形状、位置を変えることにより散乱光を取得して得られた非共焦点画像を観察する方法が用いられるようになってきている（非特許文献１）。非共焦点画像ではフォーカス深度が大きいために、血管のように深度方向に凹凸のある物体の観察がしやすい。また、神経線維層からの反射光を直接受光しにくくなるため、ノイズが低減される。

一方、網膜動脈は血管径が約１０〜１００μｍ程度の細動脈であり、その壁は内膜・中膜・外膜から構成されている。さらに中膜は平滑筋細胞で構成されており、血管の周囲方向へコイル状に走行している。高血圧症などを背景として網膜動脈壁にかかる圧力が増大すると、平滑筋が収縮して壁厚が増加する。この時点では降圧剤を服用するなどして血圧を下げれば、網膜動脈壁の形状は元に戻る。しかし高血圧のまま長期間放置すると、中膜を構成する平滑筋細胞が壊死するとともに中外膜の繊維性肥厚が生じて壁厚が増加していく。この時点では既に網膜動脈壁に器質的（非可逆）な障害が生じており、細動脈障害がさらに悪化しないように継続的に治療を行う必要がある。

これまで、補償光学ＳＬＯ装置を用いて網膜血管の非共焦点画像を取得し、網膜血管壁細胞を描出する技術が非特許文献１に開示されている。さらに、補償光学眼底カメラ画像上の網膜血管壁境界を可変形状モデルにより半自動抽出する技術が非特許文献２に開示されている。

Chui et al.;"Imaging of Vascular Wall Fine Structure in the Human Retina Using Adaptive Optics Scanning Laser Ophthalmoscopy",IOVS, Vol.54, No.10, pp.7115-7124, 2013. Koch et al.;" Morphometric analysis of small arteries in the human retina using adaptive optics imaging: relationship with blood pressure and focal vascular changes", Journal of Hypertension, Vol.32, No.4, pp.890-898, 2014.

高血圧や糖尿病などの有病者の体内において、細動脈の器質的変化の有無や程度を推定する必要がある。このために、全身の細動脈のうち直接観察可能な唯一の組織である網膜動脈の壁や膜、細胞に関する形状や分布を、簡便かつ正確に計測することが望まれている。しかし、実際には、補償光学技術を適用したＳＬＯ装置を用いて撮影された画像に対して、網膜動脈壁厚や膜厚、壁細胞の分布は手動で計測されている。このために計測が煩雑であり、しかも操作者による計測誤差が含まれるために再現性が低いという課題がある。

非特許文献１に記載の技術では、ピンホール制御に基づく非共焦点撮影機能を持つＡＯＳＬＯ画像から網膜血管壁や膜境界、壁細胞を描出して膜厚及び細胞密度を手動で計測している。しかし、網膜血管壁厚や膜厚、壁を構成する細胞の密度を自動計測する技術については開示していない。

非特許文献２に記載の技術は、補償光学眼底カメラ画像に対して可変形状モデルを用いて網膜血管壁境界を検出して網膜動脈壁厚を半自動計測している。しかし、補償光学眼底カメラ画像では静脈壁や、動静脈壁を構成する膜や細胞を描出できない。即ち、静脈壁厚や動静脈の膜厚、壁細胞の分布計測技術については当該非特許文献２にも開示されていない。

よって、眼部の血管壁やそれを構成する膜及び細胞が描出された画像から、壁厚や膜厚、壁を構成する細胞の分布を自動で計測する技術が求められる。

本発明は上記の課題に鑑みてなされたものであり、眼部の血管壁を構成する細胞の分布を自動計測することを可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の目的を達成するために、本発明に係る画像処理装置は、
眼部の画像を取得する画像取得手段と、
前記取得された画像に基づいて血管における任意の壁を構成する膜候補点を取得する血管特徴取得手段と、
前記膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定手段と、
を備えることを特徴とする。

また、本発明の一態様に係る画像処理方法は、
眼部の画像を取得する画像取得工程と、
前記取得された画像に基づいて血管における任意の壁を構成する膜候補点を取得する血管特徴取得工程と、
前記膜候補点に基づいて血管壁を構成する細胞を特定する細胞特定工程と、
を備えることを特徴とする。

本発明によれば、眼部の血管壁を構成する細胞の分布を簡便かつ正確に計測できる。

本発明の第一の実施形態に係る画像処理装置の機能構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置を含むシステムの構成例を示すブロック図である。 本発明の実施形態に係るＳＬＯ像撮像装置の全体の構成について説明する図である。 記憶部及び画像処理部に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置が実行する処理のフローチャートである。 本発明の実施形態での画像処理内容を説明する図である。 図５に示す処理において細胞特定で実行される処理の詳細を示すフローチャートである。 図５に示す処理において表示される測定結果等の内容を説明する図である。

以下、添付図面に従って本発明に係る画像処理装置、及び画像処理方法の好ましい実施形態について詳説する。ただし、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１の実施形態］
本実施形態に係る画像処理装置では、共焦点画像と非共焦点画像を同時に取得するＳＬＯ装置を用いて網膜血管壁を撮影した画像を用いる。当該画像に対し、該壁の走行方向、即ち血管走行方向に沿った輝度分布或いは輝度プロファイルにおける極値を検出する。そして、得られた極値に基づいて壁細胞を検出して、その分布を自動計測している。

具体的には、共焦点画像と非共焦点画像を同時に取得するＳＬＯ装置を用いて網膜血管壁を撮影する。得られた非共焦点画像から、モルフォロジーフィルタ処理により、網膜血管の中心線を取得する。該血管中心線に基づいてさらに網膜血管壁を構成する膜候補領域を取得する。そして、該膜候補領域に基づいて血管壁の走行に沿った輝度プロファイルを生成する。該輝度プロファイルにおける輝度値に対してフーリエ変換を行う。該フーリエ変換を経た画像から高周波成分を除去した後、該輝度プロファイルにおけるピーク位置を壁細胞の位置として検出する。検出されたピーク位置等に基づき、壁細胞密度を計測する。以上、このような操作を実行する場合の実施形態について説明する。

（全体構成）
図２は、本実施形態に係る画像処理装置１０を含むシステムの全体構成図である。図２に示すように画像処理装置１０は、ＳＬＯ像撮像装置２０やデータサーバ４０及び時相データ取得装置５０と、ローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。ＬＡＮ３０は、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成される。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。あるいは、画像処理装置１０と直接接続されている構成であってもよい。

ＳＬＯ像撮像装置２０は、眼部の広画角画像Ｄｌや高倍率画像である共焦点画像Ｄｃと非共焦点画像Ｄｎを撮像する装置である。ＳＬＯ像撮像装置２０は、広画角画像Ｄｌや共焦点画像Ｄｃ、非共焦点画像Ｄｎ、及びそれらの撮影時に用いた固視標位置Ｆｌ、Ｆｃｎの情報を画像処理装置１０及びデータサーバ４０へ送信する。なお、ＳＬＯ像撮像装置２０は、本実施形態で眼部の画像を取得する画像取得手段を構成する。

時相データ取得装置５０は、自律的に変化する生体信号データ（時相データ）を取得する装置であり、例えば脈波計もしくは心電計からなる。時相データ取得装置５０は不図示の操作者による操作に応じ、広画角画像Ｄｌ、共焦点画像Ｄｃ、及び非共焦点画像Ｄｎの取得と同時に、時相データＰｉを取得する。得られた時相データＰｉは、画像処理装置１０及びデータサーバ４０へ送信される。なお、時相データ取得装置５０は、ＳＬＯ像撮像装置２０に直接接続されている構成であってもよい。

なお、各画像を異なる撮影位置で取得する場合には、複数の画像の各々をＤｌｉ，Ｄｃｊ，Ｄｎｋのように表す。即ち、ｉ，ｊ，ｋは各々撮影位置番号を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘ、ｋ＝１，２，．．．，ｋｍａｘとする。また、共焦点画像Ｄｃ（非共焦点画像Ｄｎ）を異なる倍率で取得する場合には、最も倍率の高い画像から順にＤｃ１ｍ，Ｄｃ２ｏ，．．．（Ｄｎ１ｍ，Ｄｎ２ｏ，．．．）のように表記する。また、Ｄｃ１ｍ（Ｄｎ１ｍ）のことを高倍率共焦点（非共焦点）画像、Ｄｃ２ｏ，．．．（Ｄｎ２ｏ，．．．）を中間倍率共焦点（非共焦点）画像と表記する。

ＳＬＯ像撮像装置２０は、広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、撮影時に用いた固視標位置Ｆｌ、Ｆｃｎ、時相データＰｉ、等をデータサーバ４０に送る。該データサーバ４０は、画像処理装置１０が出力する眼部の画像特徴と共に、これら情報を保存する。固視標位置Ｆｌ、Ｆｃｎは撮影時に用いた固視標位置であり、これらと共に他の撮像条件も保存されることが好ましい。画像特徴には、網膜血管、網膜血管壁、壁細胞に関する特徴が例示される。また画像処理装置１０からの要求に応じ、広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、時相データＰｉ、及び眼部の画像特徴は画像処理装置１０に送信される。

次に、図１を用いて本実施形態に係る画像処理装置１０の機能構成を説明する。図１は画像処理装置１０の機能構成を示すブロック図であり、画像処理装置１０は、画像取得部１１０、記憶部１２０、画像処理部１３０、及び指示取得部１４０を有する。また、画像取得部１１０は、共焦点データ取得部１１１、非共焦点データ取得部１１２、及び時相データ取得部１１３を備える。画像処理部１３０は、位置合わせ部１３１、血管特徴取得部１３２、細胞特定部１３３、計測部１３４、及び表示制御部１３５を有する。これら各部の実際の機能に関しては後述する。

次に、図３（ａ）及び３（ｂ）を用いて、本実施形態において用いる補償光学を適用したＳＬＯ撮像装置２０を説明する。ＳＬＯ撮像装置２０は、ＳＬＤ２０１、シャックハルトマン波面センサ２０６、補償光学系２０４、第一のビームスプリッタ２０２、第二のビームスプリッタ２０３、Ｘ−Ｙ走査ミラー２０５、フォーカスレンズ２０９、開口部２１０、光センサ２１１、画像形成部２１２、及び出力部２１３を有する。ＳＬＤ２０１から被検眼に向けて、第一のビームスプリッタ２０２、第二のビームスプリッタ２０３、補償光学系２０４、及びＸ−Ｙ走査ミラー２０５の順で配置される。第一のビームスプリッタ２０２の分岐方向には、フォーカスレンズ２０９、開口部２１０及び光センサ２１１がこの順で配置される。光センサ２１１には画像形成部２１２が、該画像形成部２１２には出力部２１３が接続される。第二のビームスプリッタ２０３の分岐方向には、シャックハルトマン波面センサ２０６が配置される。

光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）２０１から照射された測定光は、各光学部材が配置される光路を経て被検眼眼底に至り、該眼底で反射されて戻り光として光路を逆にたどる。戻り光の一部は、第二のビームスプリッタ２０３によりシャックハルトマン波面センサ２０６へ分離される。戻り光のそれ以外は、更に第一のビームスプリッタ２０２によって分離されて光センサ２１１へ入力される。

シャックハルトマン波面センサ２０６は眼の収差を測定するためのデバイスであり、レンズアレイ２０７にＣＣＤ２０８が接続されている。分離された戻り光の一部は入射光としてレンズアレイ２０７を透過する。該レンズアレイ２０７を透過した入射光はＣＣＤ２０８に輝点群として現れ、該投影された輝点の位置ずれに基づき戻り光の波面収差が測定される。

補償光学系２０４はシャックハルトマン波面センサ２０６で測定された波面収差に基づき、収差補正デバイス２０４を駆動して収差を補正する。収差補正デバイス２０４は、可変形状ミラーもしくは空間光位相変調器により構成される。収差補正されて第一のビームスプリッタ２０２により分離された戻り光は、フォーカスレンズ２０９及び開口部２１０を経由して光センサ２１１にて受光される。

Ｘ−Ｙ走査ミラー２０５を動かすことで、眼底上の測定光の走査位置を制御できる。操作者は、このＸ−Ｙ走査ミラー２０５の制御によって予め指定した撮影対象領域のデータを、指定したフレームレートで指定したフレーム数分取得する。該データは画像形成部２１２へ伝送され、走査速度のばらつきに起因する画像歪みの補正や輝度値の補正が施されて画像データ（動画像もしくは静止画像）が形成される。出力部２１３は、画像形成部２１２が形成した画像データを画像処理装置１０等に出力する。

ここで、ＳＬＯ像撮像装置２０において、共焦点画像Ｄｃと非共焦点画像Ｄｎとを取得可能な構成であれば、図３（ａ）における開口部２１０及び光センサ２１１の部分は任意の構成にしてよい。本実施形態では、これらを遮光部２１０−１（図３（ｂ）及び図３（ｅ）参照）及び光センサ２１１−１、２１１−２、２１１−３（図３（ｂ）参照）で構成する。図３（ｂ）において、戻り光は、結像面に配置された遮光部２１０−１に入射し、その一部光は該遮光部２１０−１にて反射されて光センサ２１１−１へ入射する。

ここで、図３（ｅ）を用いて遮光部２１０−１の説明を行う。遮光部２１０−１は透過領域２１０−１−２及び２１０−１−３、遮光領域（不図示）、及び反射領域２１０−１−１で形成される。反射領域２１０−１−１が配される中心は、戻り光の光軸中心に位置するように配置される。また、遮光部２１０−１は戻り光の光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを持っている。

遮光部２１０−１における反射領域２１０−１−１での反射により分割された光は、光センサ２１１−１に入射する。遮光部２１０−１の透過領域２１０−１−２及び２１０−１−３を通過した光は、結像面に配置された２分割プリズム２１０−２によってさらに分割される。分割後の光は、図３（ｂ）に示すように、光センサ２１１−２、２１１−３へそれぞれ入射する。

各光センサで得られた電圧信号は、画像形成部２１２内のＡＤボードにてデジタル値に変換された後に２次元画像に変換される。光センサ２１１−１に入射された光に基づいて生成された画像は、特定の狭い範囲に焦点を合わせた共焦点画像となる。また、光センサ２１１−２及び２１１−３に入力される光に基づいて生成された画像は、広い範囲に焦点を合わせた非共焦点画像となる。

なお、非共焦点信号を抽出するための戻り光の分割法はこれに限られるものではない。例えば、図３（ｆ）のように透過領域を４つ（２１０−１−２、２１０−１−３、２１０−１−４、２１０−１−５）に分割して４つの非共焦点信号を得る構成してもよい。また、共焦点信号及び非共焦点信号の受信方法はこれに限定されるものではなく、例えば開口部２１０の径や位置を可変とし、図３（ｃ）の開口径の状態で共焦点信号として受信し、図３（ｄ）の開口径の状態非共焦点信号を受信するよう調節してもよい。開口部の径や移動量は任意に設定して良く、例えば図３（ｃ）では開口部の径を１ＡＤＤ（Ａｉｒｙ Ｄｉｓｃ Ｄｉａｍｅｔｅｒ）に設定し、図３（ｄ）では開口部の径を１０ＡＤＤ程度、移動量を６ＡＤＤ程度に設定できる。あるいは、図３（ｇ）の如く２分割した開口部２１０−１−８や図３（ｈ）の如く４分割した開口部２１０−１−９のように、複数の非共焦点信号を略同時に受信するよう、遮光部２１０−１を構成してもよい。なお開口部を４分割する場合は、結像面には２分割プリズムの代わりに４分割プリズムを配置し、光センサも４つ配置する。

本実施形態では非共焦点信号が２種類あることから、片側をＲチャンネル画像の意味でＤｎｒ、もう一方をＬチャンネル画像の意味でＤｎｌと表記する。
非共焦点画像Ｄｎと標記する場合は、Ｒチャンネル画像Ｄｎｒ及びＬチャンネル画像Ｄｎｌの両方を指している。

なお、本実施形態におけるＳＬＯ像撮像装置２０は、図３（ａ）の構成で走査光学系の振り角を大きくして補償光学系２０４が収差補正を行わないよう指示することもできる。このような指示をすることによって、該ＳＬＯ像撮像装置２０は通常のＳＬＯ装置としても動作し、広画角画像を取得できる。

なお、以下では高倍率画像Ｄｃ、Ｄｎよりも低倍率で、画像取得手部１１０が取得した画像の中で最も低倍率な画像のことを広画角画像Ｄｌ（Ｄｌｃ、Ｄｌｎ）と呼ぶ。従って、広画角画像Ｄｌは補償光学が適用されたＳＬＯ画像の場合もあるし、単なるＳＬＯ画像の場合も含まれる。なお、共焦点の広画角画像と非共焦点の広画角画像を区別する場合は、各々Ｄｌｃ、Ｄｌｎと表記する。

次に、図４を用いて、本実施形態に係る画像処理装置１０のハードウェア構成について説明する。図４に示すように、画像処理装置１０は、中央演算処理装置（ＣＰＵ）３０１、メモリ（ＲＡＭ）３０２、制御メモリ（ＲＯＭ）３０３、外部記憶装置３０４、モニタ３０５、キーボード３０６、マウス３０７、及びインターフェース３０８を有する。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。

画像処理装置１０を構成する各ブロックの機能については、図５のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。図５は、画像処理装置１０により被検眼眼底の画像を処理する際の操作に関するフローチャートである。

＜ステップ５１０＞
画像取得部１１０は、ＳＬＯ像撮像装置２０に対して、低倍率画像及び高倍率画像の取得を要求する。低倍率画像としては図６（ｇ）に示すような広画角画像Ｄｌを、高倍率画像としては同図中の領域Ｐｔ１に示すような視神経乳頭部の円環領域での共焦点画像Ｄｃｊ、及び２つの非共焦点画像Ｄｎｒｋ及びＤｎｌｋが対応する。また、これらの画像に対応する固視標位置Ｆｌ及びＦｃｎの取得も要求する。

ＳＬＯ像撮像装置２０は、該取得要求に応じて広画角画像Ｄｌ、共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｒｋ、Ｄｎｌｋ、対応する属性データ、及び固視標位置Ｆｌ、Ｆｃｎを取得する。取得後、これらデータは画像取得部１１０に送信される。画像取得部１１０はＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該広画角画像Ｄｌ、共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｒｋ、Ｄｎｌｋ、固視標位置Ｆｌ、Ｆｃｎ等のデータを受信し、記憶部１２０にこれらを格納する。

また、時相データ取得部１１３は、時相データ取得装置５０に対し生体信号に関する時相データＰｉの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被検者の耳垂（耳たぶ）から脈波データＰｉを取得する。ここで脈波データＰｉは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。時相データ取得装置５０は該取得要求に応じて対応する時相データＰｉを取得してこれを送信する。時相データ取得部１１３は、時相データ取得装置５０からＬＡＮ３０を介して当該脈波データＰｉを受信する。時相データ取得部１１３は、受信した時相データＰｉを記憶部１２０に格納する。

時相データ取得装置５０が取得する時相データＰｉに応じて、共焦点データ取得部１１１もしくは非共焦点データ取得部１１２が画像を取得開始する。その態様として、時相データＰｉのある位相に合わせて画像の取得を開始する場合と、画像の取得要求後直ちに脈波データＰｉと画像取得とを同時に開始する場合が考えられる。本実施形態では、画像取得要求後直ちに時相データＰｉと画像取得とを開始する。

時相データ取得部１１３より各画像の時相データＰｉを取得し、各々の時相データＰｉの極値を検出して心拍動の周期及び心時相の相対値（ｒｅｌａｔｉｖｅ ｃａｒｄｉａｃ ｃｙｃｌｅ）を算出する。なお、心時相の相対値は、心拍動の周期を１とした場合に０から１までの浮動小数点数で表わされる相対値である。

ここで、網膜血管を撮影した場合の共焦点画像Ｄｃ及び非共焦点画像Ｄｎｒの例を、各々図６（ｃ）及び図６（ｄ）に示す。図６（ｃ）に示すように、共焦点画像Ｄｃでは背景の神経線維層の反射が強く、背景部分のノイズにより位置合わせが難しくなりやすい。また、図６（ｄ）に示すように、Ｒチャンネルの非共焦点画像Ｄｎｒでは、右側の血管壁のコントラストが高くなる。一方、Ｌチャンネルの非共焦点画像Ｄｎｌでは、例えば図６（ｅ）に示すように、左側の血管壁のコントラストが高くなる。

なお、非共焦点画像としては、Ｒチャンネル画像とＬチャンネル画像との演算処理によって得られる画像として、加算平均画像Ｄｎｒ＋ｌ（図６（ｈ））及びＳｐｌｉｔ Ｄｅｔｅｃｔｏｒ画像Ｄｎｓ（図６（ｆ））何れかも使用可能である。これらを用いて、血管壁の観察や、血管壁に関する計測処理を行ってもよい。加算平均画像Ｄｎｒ＋ｌは、
Ｒチャンネル画像とＬチャンネル画像の加算平均により得られる画像である。また、Ｓｐｌｉｔ Ｄｅｔｅｃｔｏｒ画像Ｄｎｓは、非共焦点画像に関する差分強調処理（（Ｌ−Ｒ）／（Ｒ＋Ｌ））を行って得られる画像である。

なお、高倍率画像の取得位置はこれに限られるものではなく、任意の取得位置の画像を用いてよい。例えば黄斑部で取得された画像や、網膜血管アーケードに沿って取得された画像を用いる場合も本発明に含まれる。

＜ステップ５２０＞
位置合わせ手段として機能する位置合わせ部１３１は、取得された画像のフレーム間位置合わせを行う。次に、位置合わせ部１３１は、各フレームの輝度値やノイズ、基準フレームとの間の変位量に基づいて例外フレームを判定する。具体的には、まず広画角画像Ｄｌ及び共焦点画像Ｄｃにおけるフレーム間位置合わせを行う。その後、該フレーム間位置合わせのパラメータ値を、各々非共焦点画像Ｄｎｒ及びＤｎｌに対しても適用する。

具体的には位置合わせ部１３１によって、以下の手順でフレーム間位置合わせが実行される。
ｉ） 位置合わせ部１３１は、まず位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。

ｉｉ） 位置合わせ部１３１は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。

ｉｉｉ）位置合わせ部１３１は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。その際、本実施形態では段階ｉｉ）で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。

なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。また、本実施形態では共焦点画像Ｄｃに対してフレーム間位置合わせを行うことによって得られる位置合わせパラメータを非共焦点画像Ｄｎのフレーム間位置合わせパラメータとしても用いた。しかし、位置合わせの実行順序等はこれに限定されない。例えば、非共焦点画像Ｄｎのフレーム間位置合わせによって得られる位置合わせパラメータを共焦点画像Ｄｃのフレーム間位置合わせパラメータとして用いる場合も本発明に含まれる。この場合、非共焦点画像Ｄｎには、前述したＤｎｒやＤｎｌだけでなく、ＤｎｒとＤｎｌとの演算処理により得られる画像も含むことが好ましい。

次に、位置合わせ部１３１は広画角画像Ｄｌと高倍率共焦点画像Ｄｃｊとの位置合わせ（いわゆる画像の貼り合わせ）を行い、広画角画像Ｄｌ上の共焦点画像Ｄｃｊの相対位置を求める。本実施形態では、各動画像の重ね合わせ画像を用いて該貼り合わせ処理を行う。これに限らず、例えば各動画像の基準フレームを用いて貼り合せ処理を行ってもよい。位置合わせ部１３１は、記憶部１２０から共焦点画像Ｄｃｊの撮影時に用いた固視標位置Ｆｃｎを取得し、広画角画像Ｄｌと共焦点画像Ｄｃｊとの位置合わせにおける位置合わせパラメータの探索初期点とする。以降、該パラメータ値の組み合わせを変化させながら広画角画像Ｄｌと共焦点画像Ｄｃｊとの位置合わせを行う。

広画角画像Ｄｌと共焦点画像Ｄｃｊとの類似度が最も高い位置合わせパラメータ値の組み合わせを広画角画像Ｄｌに対する共焦点画像Ｄｃｊの相対位置として決定する。なお、位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いて良い。

また、Ｓ５１０において中間倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば高倍率共焦点画像Ｄｃ１ｍと中間倍率共焦点画像Ｄｃ２ｏが取得されている場合にはまず広画角画像Ｄｌと中間倍率画像Ｄｃ２ｏとの間で位置合わせを最初に行うことが好ましい。この場合、この位置合わせの終了後、中間倍率画像Ｄｃ２ｏと高倍率画像Ｄｃ１ｍとの間で位置合わせを行うことが好ましい。

さらに、広画角画像Ｄｌと共焦点画像Ｄｃｊに対して決定された画像貼り合わせパラメータ値を非共焦点画像（Ｄｎｒｋ、Ｄｎｌｋ）の貼り合わせに対しても適用する。これにより、広画角画像Ｄｌ上の高倍率非共焦点画像Ｄｎｒｋ及びＤｎｌｋの相対位置が各々決定される。

＜ステップ５３０＞
血管特徴取得手段として機能する血管特徴取得部１３２、及び細胞特定手段として機能する細胞特定部１３３が、以下の手順で血管壁を構成する細胞を特定する。即ち、該細胞特定手段は、血管特徴取得部１３２によって取得された血管における任意の壁を構成する膜候補点に基づいて、該血管壁を構成する細胞を特定する。

ｉ） Ｓ５２０でフレーム間位置合わせ済みの非共焦点画像を平滑化する。
ｉｉ） モルフォロジーフィルタを適用して網膜動脈の中心線を検出する。該動脈中心線上の各位置で、該動脈中心線に垂直な線分上での輝度プロファイルを生成する。次に、該輝度プロファイルに関して、該線分の中心から左側及び右側に向かって極大値を３点ずつ検出して血管中心線に近い方から順に血管壁の内膜・中膜・外膜候補とする。ただし、検出された極大点が３点よりも少ない場合には、該輝度プロファイルでは膜候補点は取得しないものとする。さらに、該中膜候補点を壁の走行方向に補間することで、血管壁走行に沿った曲線を生成する。
ｉｉｉ） 段階ｉｉ）で生成した曲線に沿って輝度プロファイルを生成し、フーリエ変換して周波数領域で低域通過フィルタを適用することにより高周波ノイズを除去する。
ｉｖ） 段階ｉｉｉ）で生成した、血管壁の走行に沿って生成された輝度プロファイル上で極大値検出を行い、細胞位置を特定する。即ち、取得した膜候補点の列に沿って生成した輝度プロファイルに基づいて細胞の特定を行う。この輝度プロファイルは、血管壁領域内に配置した血管の中心線に並行な曲線に沿って生成することも可能である。
なお、具体的な細胞特定処理については図７のフローチャートに示すＳ７１０〜Ｓ７４０で詳述する。

＜ステップ５４０＞
計測部１３４は、Ｓ５３０で特定された血管壁を構成する細胞の位置に基づいて該細胞の分布を計測する。

具体的には、検出された血管壁を構成する細胞の存在する密度、隣接する細胞の間の距離、及び血管壁を構成する細胞が占める面積に関して、各々平均値と標準偏差、最大値と最小値を算出する。本実施形態では中膜の細胞の位置を特定して細胞密度や細胞間距離、細胞の面積を計測するが、本発明はこれに限定されない。例えば内膜・中膜・外膜に対して各々細胞位置を特定し、膜ごとに細胞密度や細胞間の距離、細胞が占める面積を算出してよい。なお、血管壁を構成する細胞の密度は単位距離あたりの、所定の膜内に存在する細胞の数として算出する。これらの指標は画像全体に対してだけでなく、血管枝単位で算出したり、血管枝内の片側（血管走行方向に対して右側もしくは左側）単位で算出したり、小領域ごとに算出する。

なお、血管壁を構成する細胞の分布に関する指標としてはこれに限定されず、複数の膜で算出した細胞密度同士の演算によって指標を算出してもよい。例えば、以下のａ）或いはｂ）の方法が例示できる。
ａ） （中膜における細胞密度）／（内膜における細胞密度）を指標とする。即ち、変性・死滅しやすい中膜の細胞密度を相対的に変化しにくい内膜における細胞密度で規格化する。
ｂ） 血管走行方向に対して左側の璧、右側の壁の所定の膜内における細胞密度比を指標とする。

壁細胞はコイル状に走行していて細胞分布異常が生じる場合は両側に生じやすいと考えられる。このため、細胞の検出結果に関する信頼性の指標として用いる。

また、細胞の分布に関する計測は上記で説明した内容（細胞密度、細胞間距離、及び細胞の面積）に限定されるものではない。例えば各細胞は死滅していないものの細胞の占める面積のばらつきが大きいような場合には、細胞の配列が乱れる（細胞中心同士を結んで得られる線が折れ線になる）と考えられる。このような場合、図６（ｋ）に示すように互いに隣接する壁細胞Ｃｎ−１、Ｃｎ、Ｃｎ＋１が直線状に並ばずに位置している。この場合、中心位置同士を結んで得られる線分（Ｃｎ−１とＣｎを結ぶ線分と、ＣｎとＣｎ＋１とを結ぶ線分）がなす角度θｍｉの分布、すなわち細胞の配列を計測してもよい。この場合も、例えば血管走行方向との相対角度（図６（ｋ）のような、壁上の隣接する細胞中心間角度（θｍｉ）から、血管の中心線上の制御点間の線分のなす角（θｃｉ）を減算もしくは除算した値）を求めてもよい。

あるいは、異なる膜間の相対角度として各々の膜で算出した細胞中心間角度を、異なる膜同士で減算もしくは除算した角度（例えば図６（ｌ）の中膜における細胞中心間角度θｍｉから内膜における細胞中心間角度θｅｉを減算もしくは除算した値）を算出してもよい。

即ち、計測手段として機能する計測部１３４が計測する少なくとも一つの項目として、血管の壁を構成する細胞の面積、細胞の間の距離、及び細胞の存在する密度、に加えて細胞の配列を加えることが好ましい。また、上述したように、計測部１３４は、異なる膜に対して計測した細胞の分布に関する指標同士を演算することにより得られる規格値を算出する。

＜ステップ５５０＞
表示制御部１３５が、取得された画像や検出された壁細胞の位置、計測結果（壁細胞密度や細胞間距離、及び細胞の面積）をモニタ３０５に表示する。本実施形態では、以下の項目ｉ）乃至ｉｖ）の各項目を表示している。即ち、
ｉ）・非共焦点動画像（図８（ａ）のＩ１）
・脈波の特定の位相に対応するフレームを選択して重ね合わせ処理した画像（図８（ａ）のＩ２）
・血管の内腔を抽出した画像の並置表示（図８（ａ）のＩ３）
ｉｉ）壁を構成する細胞の検出位置のマップ
ｉｉｉ）血管壁の走行に沿って計測された細胞密度や壁厚、膜厚を示すグラフ（図８（ａ）のＧ１）
ｉｖ）小領域ごとに算出した壁細胞分布（壁細胞密度や細胞面積）を示すマップ（図８（ｂ））をモニタ３０５に表示している。なお、項目ｉｖ）については算出した値とカラーバーを対応付けた上で、カラー表示することが好ましい。

＜ステップ５６０＞
指示取得部１４０は、Ｓ５１０で取得した画像やＳ５４０で計測した結果のデータ、すなわち非共焦点画像Ｄｎｋにおける壁細胞位置や壁細胞密度等の値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ５７０へ、保存が指示されなかった場合はＳ５８０へと処理を進める。

＜ステップ５７０＞
画像処理部１３０は検査日時、披検眼を同定する情報と、Ｓ５６０で決定した保存対象の画像や計測結果に関するデータとを関連付けてデータサーバ４０へ送信する。

＜ステップ５８０＞
指示取得部１４０は、画像処理装置１０による高倍率非共焦点画像Ｄｎｋに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は、処理を終了する。一方、処理継続の指示を取得した場合にはＳ５１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

さらに、図７に示すフローチャートを参照しながら、Ｓ５３０で実行される処理の詳細について説明する。

＜ステップ７１０＞
細胞特定部１３３が血管壁を構成する細胞を特定するために、まず非共焦点画像に対してエッジ保存平滑化処理を行う。任意の公知のエッジ保存平滑化処理を適用可能であるが、本実施形態では非共焦点画像Ｄｎｒ＋Ｄｎｌに対して中央値フィルタを適用する。

＜ステップ７２０＞
細胞特定部１３３がＳ７１０で生成した平滑化画像に対し、モルフォロジーフィルタを適用して網膜動脈の中心線を検出する。本実施形態ではトップハットフィルタを適用し、血柱反射に相当する幅の狭い高輝度領域を検出する。さらに該高輝度領域を細線化処理して血管中心線を検出する。なお、血管中心線の検出方法はこれに限らず任意の公知の検出方法を用いてよい。

次に細胞特定部１３３は、該血管中心線上の各位置で該血管中心線に垂直な線分（図６（ｈ）における線分Ｐｒ１）に沿った輝度プロファイルＣｒ（図６（ｉ））を生成する。次に、該線分の中心から左側及び右側に向かって、輝度プロファイルＣｒにおける極大点を探索する。該極大点のうち、中心線上の輝度値との比または差が所定範囲内の輝度値を持つ最初の極大点Ｌｍｉを内膜候補点、２番目の極大点Ｌｍｍを中膜候補点、最後の極大点Ｌｍｏを外膜候補点とする。ただし、検出された極大点が３点よりも少ない場合には該輝度プロファイルでは膜候補点は取得しないものとする。さらに、血管中心線上の各位置で得られた（該血管中心線に垂直な線分に沿った）輝度プロファイルで検出された該中膜の極大点Ｌｍｍを、血管走行方向に補間処理する。得られた血管中心線の延在方向に並ぶ複数の極大点Ｌｍｍ及び補間値を用いることで、中膜候補点列を生成する。

なお、膜候補点列の取得法はこれに限らず任意の公知の取得方法を用いてよい。例えば、血管中心線に平行な２本の曲線を可変形状モデルとして血管内腔側及び神経線維側に各々配置する。該モデルを構成する点列上での輝度値や形状に関する評価関数値を最小化することで該モデルを血管壁の境界に一致するよう変形させ、検出された血管壁境界を膜候補点列として取得してもよい。

＜ステップ７３０＞
細胞特定部１３３は、Ｓ７２０で生成した膜候補点列を補間して曲線を生成し、該曲線（図６（ｈ）のＰｒ２）に沿った輝度プロファイル（図６（ｊ））を生成する。

次に、該プロファイルにおける壁を構成する細胞以外のピーク成分（ノイズや壁を構成する細胞以外の眼底組織からの反射光）を除去するために、高周波成分の除去を行う。本実施形態では、フーリエ変換を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済信号を逆フーリエ変換することで空間領域に戻し、高周波成分が除去された補正済輝度プロファイルを生成する。

＜ステップ７４０＞
細胞特定部１３３が、Ｓ７３０において生成した補正済輝度プロファイル上の輝度値を探索して極大値（図６（ｊ）ではＬｍｍ１、Ｌｍｍ２、Ｌｍｍ３）を検出する。得られた極大値に基づいて、血管走行方向に沿った細胞位置を特定する。

以上述べた構成によれば、画像処理装置１０は共焦点画像と非共焦点画像を同時に取得するＳＬＯ装置を用いて網膜血管壁を撮影した画像に対し、該壁の走行に沿った輝度プロファイルにおける極値を検出することにより血管壁を構成する細胞を検出し該細胞の分布を自動計測する。

これにより、眼部の血管壁を構成する細胞の分布を簡便かつ正確に計測する。

［その他の実施形態］
上述の実施形態では画像取得部１１０に共焦点データ取得部１１１と非共焦点データ取得部１１２を両方とも含む場合について説明した。しかし、非共焦点データを２種以上取得可能な構成であれば、画像取得部１１０に共焦点データ取得部１１１を含まなくてもよい。

また上述の実施形態では本発明を画像処理装置として実現したが、本発明の実施形態は画像処理装置のみに限定されない。例えばコンピュータのＣＰＵにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

１１０ 画像取得部
１３２ 血管特徴取得部
１３３ 細胞特定部

Claims (9)

1. 眼部の画像を取得する画像取得手段と、
   前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得手段と、
   前記取得された膜候補点に基づいて前記血管の壁を構成する細胞を特定する細胞特定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記細胞特定手段は、前記取得された膜候補点の列に沿って生成した輝度プロファイルに基づいて前記細胞の特定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定された細胞に基づいて、前記血管の壁を構成する前記細胞の面積、前記細胞の間の距離、前記細胞の存在する密度、及び前記細胞の配列、の少なくとも一つに関する計測を行う計測手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記計測手段は、異なる膜に対して計測した前記細胞の分布に関する指標同士を演算することにより得られる規格値を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像取得手段が取得した前記眼部の広画角画像と複数の高倍率画像との位置合わせを行う位置合わせ手段を更に備え、
   前記血管特徴取得手段は前記位置合わせされた複数の高倍率画像に基づいて前記膜候補点を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記複数の高倍率画像は共焦点画像と非共焦点画像とを含み、
   前記位置合わせ手段は、前記広画角画像と前記共焦点画像との位置合わせを行った際に用いたパラメータ値を用いて前記広画角画像と前記非共焦点画像との位置合わせを行うことを特徴とする請求項５に記載の画像処理装置。
7. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として動作させることを特徴とするプログラム。
8. 眼部の画像を取得する画像取得工程と、
   前記取得された画像に基づいて血管の壁を構成する膜候補点を取得する血管特徴取得工程と、
   前記取得された膜候補点に基づいて血管壁を構成する細胞を特定する細胞特定工程と、
   を含むことを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。