JP2015029865A - 画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法 - Google Patents

Abstract

【課題】より高品質な画像を得ることができるようにする。
【解決手段】眼底画像撮影装置は、眼底領域の視神経乳頭部とは異なる周囲の領域に対して適切な露光条件で広角眼底画像を撮影するとともに、広角眼底画像から視神経乳頭部を検出する。また、眼底画像撮影装置は、視神経乳頭部の検出結果に基づいて、視神経乳頭部の領域に対して適切な露光条件で、視神経乳頭部の領域を被写体とした狭角眼底画像を撮影する。そして、眼底画像撮影装置は、広角眼底画像と狭角眼底画像とを合成して、高ダイナミックレンジの合成眼底画像を生成する。本技術は、眼底画像撮影装置に適用することができる。
【選択図】図１

Description

本技術は画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法に関し、特に、より高品質な画像を得ることができるようにした画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法に関する。

例えば、健康診断や眼科診察において患者の眼底像を撮影する眼底カメラでは、安定して高品質な眼底画像を得るために高ダイナミックレンジでの撮影機能が望まれている。

人の眼底を被写体とする眼底画像において、網膜の神経が束になって出ていく視神経乳頭部では光源の反射が強くなって白飛びしやすく、中心窩に相当する黄斑部では反射強度が弱いため黒潰れしやすくなる。

視神経乳頭部で白飛びしないように撮影するためには、撮影時の露出設定を最適にする必要があり、撮影者のスキルが要求される。また、視神経乳頭部での白飛びが生じないように撮影を行ったとしても、黄班部や周辺部が黒くつぶれて診断しにくくなることもある。このような状況から、眼底カメラには高ダイナミックレンジでの撮影機能が望まれている。

そこで、高ダイナミックレンジの眼底画像を得るための技術として、１回目の撮影結果に基づいて領域ごとに適切な光量を定める方法が提案されている（例えば、許文献１参照）。

この方法では、まず１回目の撮影により視神経乳頭部とその周辺との光量が取得され、２回目の撮影では、１回目の撮影により定められた、視神経乳頭部の領域に対して好適な光量で撮影が行われ、得られた画像から視神経乳頭部の領域が抽出される。

そして、３回目の撮影では、１回目の撮影により定められた、視神経乳頭部の周辺にある周辺領域に対して好適な光量で撮影が行われ、得られた画像から周辺領域が抽出される。さらに、このようにして得られた視神経乳頭部の領域と周辺領域とが合成されて、１つの高ダイナミックレンジの眼底画像が得られる。

特開２０１１−３１０２７号公報

しかしながら、上述した技術では高品質な眼底画像を得ることが困難であった。

例えば、無散瞳カメラで眼底画像を撮影しようとする場合、３回の撮影の間に縮瞳が起きることが考えられる。特に上述した技術では、３回目の撮影で周辺領域を撮影するため、縮瞳が起きてしまうと、その影響によって周辺領域の画像の画質が劣化してしまう。

本技術は、このような状況に鑑みてなされたものであり、より高品質な画像を得ることができるようにするものである。

本技術の第１の側面の画像処理装置は、特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出する検出部と、前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定する制御部と、前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部とを備える。

前記画像合成部には、連続して撮影された複数の前記狭角画像と、前記広角画像とを合成して前記合成画像を生成させることができる。

前記画像合成部には、前記複数の前記狭角画像に対して動き補償を行わせ、前記動き補償により得られた前記狭角画像と前記広角画像とを合成させることができる。

前記制御部には、前記特定領域の検出結果に基づいて、前記狭角画像を撮影する撮影部の画素領域における前記狭角画像の撮影に用いる領域を決定させることができる。

前記制御部には、前記特定領域に対して適切な露光条件に基づいて、前記狭角画像を撮影する撮影部または前記被写体に照射される照明光を出力する光源を制御させることができる。

前記制御部には、前記広角画像の撮影時および前記狭角画像の撮影時において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源を制御させることができる。

前記特定領域に対して適切な露光条件を、前記狭角画像における前記特定領域の画素が飽和しない条件とすることができる。

本技術の第１の側面においては、特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域が検出され、前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件が決定され、前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とが合成されて合成画像が生成される。

本技術の第２の側面の眼底画像処理装置は、眼底の特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、前記眼底の特定領域を被写体とし、前記眼底の特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部とを備える。

前記眼底の特定領域を、視神経乳頭の領域とすることができる。

本技術の第２の側面においては、眼底の特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記眼底の特定領域が検出され、前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件が決定され、前記眼底の特定領域を被写体とし、前記眼底の特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とが合成されて合成画像が生成される。

本技術の第３の側面の画像処理方法は、特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出し、前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定し、前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成するステップを含む。

本技術の第３の側面においては、特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域が検出され、前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件が決定され、前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とが合成されて合成画像が生成される。

本技術の第４の側面の画像撮影方法は、特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、前記広角画像に基づいて前記特定領域に対して適切な露光条件を決定し、前記特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記特定領域に対して適切な露光条件で撮影する第２の撮影を行うステップを含む。

前記画像撮影方法では、前記広角画像に基づいて、前記広角画像から前記特定領域を検出し、前記特定領域に対して適切な露光条件を、前記特定領域の検出結果に基づいて決定させることができる。

前記第２の撮影において、複数の前記狭角画像が連続して撮影されるようにすることができる。

前記第２の撮影において、前記特定領域の検出結果に基づいて決定された、撮影部の画素領域における所定範囲の領域が用いられて前記狭角画像が撮影されるようにすることができる。

前記第１の撮影および前記第２の撮において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源が制御されるようにすることができる。

前記特定領域に対して適切な露光条件を、前記狭角画像における前記特定領域の画素が飽和しない条件とすることができる。

本技術の第４の側面においては、特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影が行われ、前記広角画像に基づいて前記特定領域に対して適切な露光条件が決定され、前記特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記特定領域に対して適切な露光条件で撮影する第２の撮影が行われる。

本技術の第５の側面の眼底画像撮影方法は、眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、前記広角画像に基づいて前記眼底の特定領域に対して適切な露光条件を決定し、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記眼底の特定領域に対して適切な露光条件で撮影する第２の撮影を行うステップを含む。

前記眼底の特定領域を、視神経乳頭の領域とすることができる。

本技術の第５の側面においては、眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影が行われ、前記広角画像に基づいて前記眼底の特定領域に対して適切な露光条件が決定され、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記眼底の特定領域に対して適切な露光条件で撮影する第２の撮影が行われる。

本技術の第６の側面の眼底画像撮影装置は、眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影するとともに、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を前記眼底の特定領域に対して適切な露光条件で撮影する撮影部と、前記広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、前記狭角画像と前記広角画像とを合成して合成画像を生成する画像合成部とを備える。

本技術の第６の側面においては、眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像が撮影されるとともに、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像が前記眼底の特定領域に対して適切な露光条件で撮影され、前記広角画像に基づいて、前記広角画像から前記眼底の特定領域が検出され、前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件が決定され、前記狭角画像と前記広角画像とが合成されて合成画像が生成される。

本技術の第１の側面乃至第６の側面によれば、より高品質な画像を得ることができる。

本技術の概要について説明する図である。 眼底画像撮影装置の構成例を示す図である。 画像生成処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術の概要〉
まず、本技術の概要について説明する。

本技術は、高照度下で撮影した眼底全体の画像と、低照度下で撮影した眼底の視神経乳頭部の画像とを合成することで、ダイナミックレンジの広い高品質な眼底画像を得ることができるようにするものである。

具体的には、本技術を適用した眼底画像撮影装置では、例えば図１に示すように１回目の撮影処理として、高照度下で被写体となる眼底領域の撮影が行われ、その結果として広角眼底画像ＷＰ１１が得られる。

広角眼底画像ＷＰ１１は、広い画角で撮影された眼底画像である。この例では、広角眼底画像ＷＰ１１には、視神経乳頭部Ｖ１１と黄斑部Ｖ１２とが含まれている。一般的に視神経乳頭部Ｖ１１では白飛びが生じやすく、黄斑部Ｖ１２では黒潰れが生じやすいことが知られている。

１回目の撮影処理では、視神経乳頭部Ｖ１１以外の黄斑部Ｖ１２等の領域、つまり視神経乳頭部Ｖ１１の周囲の領域（以下、周辺領域とも称する）において白飛びも黒潰れも生じないような露光条件で撮影が行われる。つまり、周辺領域に対して適切な露光条件で撮影が行われる。これにより、周辺領域のＳＮ比（Signal to noise ratio）が高く、周辺領域を十分に観察可能な広角眼底画像ＷＰ１１が得られる。

また、広角眼底画像ＷＰ１１が得られると、眼底画像撮影装置では広角眼底画像ＷＰ１１から視神経乳頭部Ｖ１１の領域の検出が行われ、その検出結果に基づいて、２回目の撮影処理における露光条件が決定される。

例えば広角眼底画像ＷＰ１１は、周辺領域に対して適切な露光条件で撮影されているので、視神経乳頭部Ｖ１１の領域では白飛びが生じているはずである。そこで、眼底画像撮影装置では、広角眼底画像ＷＰ１１上の高輝度領域を検出することにより視神経乳頭部Ｖ１１の領域が検出される。

また、２回目の撮影処理における露光条件は、視神経乳頭部Ｖ１１において白飛びも黒潰れも生じないような、視神経乳頭部Ｖ１１の領域に対して適切な露光条件とされる。つまり、視神経乳頭部Ｖ１１の領域が十分に観察できるような露光条件とされる。

露光条件が決定されると、２回目の撮影処理として低照度下で視神経乳頭部Ｖ１１を含む領域の撮影が行われる。この例では、広角眼底画像ＷＰ１１上の領域Ｒ１１に対応する眼底領域が、決定された露光条件により高フレームレートで連続撮影される。

これにより、４枚の狭角眼底画像ＮＰ１１−１乃至狭角眼底画像ＮＰ１１−４が得られる。なお、以下、狭角眼底画像ＮＰ１１−１乃至狭角眼底画像ＮＰ１１−４を特に区別する必要のない場合、単に狭角眼底画像ＮＰ１１とも称する。

狭角眼底画像ＮＰ１１は、広角眼底画像ＷＰ１１よりも画角の狭い画像である。例えば広角眼底画像ＷＰ１１の撮影では、イメージセンサの全有効画素が用いられ、狭角眼底画像ＮＰ１１の撮影では、イメージセンサの全有効画素のうちの一部の画素が用いられる。このように眼底領域のうちの視神経乳頭部近傍の領域に撮影範囲を限定して、有効画素領域のうちの一部のみを用いて撮影を行えば、処理されるデータの量が減るので高フレームレートで撮影を行うことができる。

このようにして広角眼底画像ＷＰ１１と狭角眼底画像ＮＰ１１が得られると、眼底画像撮影装置は、得られた広角眼底画像ＷＰ１１と狭角眼底画像ＮＰ１１を合成して、１枚の合成眼底画像ＨＰ１１を生成する。この合成眼底画像ＨＰ１１は、広角眼底画像ＷＰ１１と同じ画角の画像であり、広角眼底画像ＷＰ１１上に狭角眼底画像ＮＰ１１を合成することで得られる高ダイナミックレンジ画像である。

合成眼底画像ＨＰ１１では、視神経乳頭部Ｖ１１の領域と、黄斑部Ｖ１２を含む周辺領域との両方の領域を十分に観察することができる。すなわち、合成眼底画像ＨＰ１１の各領域において白飛びも黒潰れも生じていない。

以上のように本技術では、１回目の撮影処理で広角眼底画像ＷＰ１１を撮影し、２回目の撮影処理で狭角眼底画像ＮＰ１１を撮影して、それらの画像を合成することで、２回の撮影で合成眼底画像ＨＰ１１を得ることができる。したがって、従来のように３回以上の撮影を行う場合と比較して、縮瞳による画質の劣化を抑制することができ、より高品質な眼底画像を得ることができる。

特に、無散瞳撮影時には縮瞳が起こると視野端部においてけられが発生し、画像端の領域で画質の劣化が生じる。しかし、本技術を適用した眼底画像撮影装置による２回目の撮影処理では、視野中心近傍に位置する視神経乳頭部を主な被写体として、より画角の狭い狭角眼底画像の撮影が行われるため、縮瞳による画質劣化をさらに抑制することができる。

〈眼底画像撮影装置の構成例〉
次に、本技術を適用した眼底画像撮影装置について、より具体的に説明する。

図２は、本技術を適用した眼底画像撮影装置の構成例を示す図である。

眼底画像撮影装置１１は、光源２１、光学系２２、イメージセンサ２３、視神経乳頭検出部２４、制御部２５、画像合成部２６、フレームメモリ２７、および画像出力部２８から構成される。

光源２１は、制御部２５の制御に従って、撮影対象となる人の目ＥＹ１１の眼底を照明する照明光を射出する。光源２１から射出された照明光は、光学系２２を介して目ＥＹ１１の眼底に照射される。

光学系２２は１または複数のレンズやハーフミラーなどからなり、光源２１から入射した照明光を目ＥＹ１１の眼底に照射するとともに、目ＥＹ１１の眼底から入射した光を集光してイメージセンサ２３の受光面に導く。

イメージセンサ２３は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、制御部２５の制御に従って光学系２２から入射した光を受光して光電変換することで、眼底の画像として広角眼底画像または狭角眼底画像を撮影する。イメージセンサ２３は、光電変換により得られた電気信号を、撮影された画像の画像信号として視神経乳頭検出部２４および画像合成部２６に供給する。

視神経乳頭検出部２４は、イメージセンサ２３から供給された広角眼底画像から視神経乳頭部を検出し、その検出結果と広角眼底画像を制御部２５に供給する。制御部２５は、視神経乳頭検出部２４から供給された検出結果と広角眼底画像に基づいて、被写体となる眼底に対する露光条件を決定したり、狭角眼底画像の撮影範囲を決定したりする。また、制御部２５は、決定した露光条件や狭角眼底画像の撮影範囲に応じて、光源２１やイメージセンサ２３を制御する。

画像合成部２６は、イメージセンサ２３から供給された広角眼底画像や狭角眼底画像を適宜、フレームメモリ２７に供給して記録させ、広角眼底画像および狭角眼底画像を合成して合成眼底画像を生成し、得られた合成眼底画像を画像出力部２８に供給する。フレームメモリ２７は、画像合成部２６から供給された画像を一時的に記録し、記録している画像を必要に応じて画像合成部２６に供給する。

画像出力部２８は、画像合成部２６から供給された合成眼底画像を外部に出力する。例えば画像出力部２８は、合成眼底画像を外部のディスプレイに供給し、ディスプレイに合成眼底画像を表示させる。

〈画像生成処理の説明〉
次に、図２に示した眼底画像撮影装置１１の動作について説明する。

眼底画像撮影装置１１は、被験者の眼底検診等を行う医師等の操作を受け、眼底画像の撮影が指示されると、被写体となる目ＥＹ１１の眼底を撮影して合成眼底画像を出力する処理である画像生成処理を開始する。以下、図３のフローチャートを参照して、眼底画像撮影装置１１による画像生成処理について説明する。

ステップＳ１１において、イメージセンサ２３は広角眼底画像を撮影する。

例えば、広角眼底画像の撮影時における露光条件は、医師等のユーザによる眼底画像撮影装置１１への入力操作や、眼底画像撮影装置１１による赤外光を用いた露出制御などにより定められる。制御部２５は、定められた露光条件での撮影が行われるように、イメージセンサ２３における露光時間や光源２１からの照明光の光量を制御する。

ここで、広角眼底画像の撮影時の露光条件は、上述したように眼底における視神経乳頭部以外の周辺領域が飽和せず、周辺領域を十分に観察できる露光条件とされる。従来の眼底カメラによる露光条件は、視神経乳頭部Ｖ１１においてできるだけ白飛びが発生しないような条件に設定されるが、ステップＳ１１における撮影での露光条件では、周辺領域においてより高画質な画像を得るために従来よりも明るい条件に設定される。また、広角眼底画像の撮影時には、イメージセンサ２３の受光面に設けられた全有効画素が用いられて撮影が行われる。

光源２１は、制御部２５の制御に従って照明光を射出して、光学系２２を介して照明光を被写体となる眼底領域に照射する。また、光学系２２は眼底領域から入射した光を集光し、イメージセンサ２３の受光面上に結像させる。

イメージセンサ２３は、制御部２５の制御に従って光学系２２から入射した光を光電変換することで広角眼底画像を撮影し、視神経乳頭検出部２４および画像合成部２６に供給する。すなわち、イメージセンサ２３は、受光面に設けられた全有効画素から出力された画素信号からなる信号を、広角眼底画像の画像信号として出力する。

これにより、例えば図１に示した広角眼底画像ＷＰ１１が得られる。広角眼底画像は、被写体として黄斑部や視神経乳頭部が写っている多画素の静止画像などとされる。

さらに、画像合成部２６は、イメージセンサ２３から供給された広角眼底画像をフレームメモリ２７に供給し、一時的に記録させる。

このように、眼底領域のうちの黄斑部など、視神経乳頭部以外の周辺領域に対して適切な露光条件で広角眼底画像を撮影すれば、反射率の低い黄斑部等の周辺領域の診断が十分可能となる画像を広角眼底画像として得ることができる。このような高照度下の撮影では広角眼底画像上の反射率の高い視神経乳頭部の領域が飽和して白飛びが生じてしまうが、周辺領域の画像としてノイズの少ない高品質な画像を得ることができる。

ステップＳ１２において、視神経乳頭検出部２４は、広角眼底画像の各画素の輝度値と広角眼底画像の構図とに基づいて、イメージセンサ２３から供給された広角眼底画像から視神経乳頭部を検出する。

例えば、眼底画像を撮影する場合、その構図は図１に示したように、広角眼底画像ＷＰ１１中央のやや右側の領域に視神経乳頭部Ｖ１１が位置し、広角眼底画像ＷＰ１１中央のやや左側の領域に黄斑部Ｖ１２が位置する構図とされることが多い。また、上述したように視神経乳頭部は周辺領域と比べて反射率が高いので、広角眼底画像上における視神経乳頭部の領域は周囲の領域と比べて輝度が高いはずである。

そこで、視神経乳頭検出部２４は、例えば広角眼底画像の中央からやや右側の領域に視神経乳頭部が存在するものとして、広角眼底画像中央からやや右側の領域内にあり、かつ輝度値が所定の閾値以上である画素からなる特定面積以上の大きさの領域を視神経乳頭部とする。視神経乳頭検出部２４は、検出の結果得られた広角眼底画像上における視神経乳頭部の領域の位置と、広角眼底画像とを制御部２５に供給する。

ステップＳ１３において、制御部２５は、視神経乳頭検出部２４から供給された視神経乳頭部の領域の位置および広角眼底画像に基づいて、狭角眼底画像の露光条件を決定する。

例えば、イメージセンサ２３の横方向に並ぶ画素からなるラインごとに画素信号の読み出しが行われる場合、制御部２５は広角眼底画像上の検出された視神経乳頭部を含む領域を狭角眼底画像の撮影範囲として決定する。そして制御部２５は、決定した撮影範囲の領域に対応するイメージセンサ２３のラインを構成する画素のみから画素信号が読み出されるように、イメージセンサ２３の駆動を制御する。

このように、イメージセンサ２３の受光面を構成する一部のラインのみから画素信号を読み出すようにすることで、低照度下で高フレームレートでの撮影が可能となる。高フレームレートで狭角眼底画像を撮影すれば、眼球の大きな動きの影響を受けにくくすることができ、ぼけのない高品質な狭角眼底画像を得ることができる。

また、制御部２５は、広角眼底画像上の周辺領域の輝度値等に基づいて、狭角眼底画像における視神経乳頭部の領域の画素が飽和せず、視神経乳頭部を十分に観察できる露光条件を決定し、その露光条件に応じて光源２１およびイメージセンサ２３を制御する。実際には、広角眼底画像では視神経乳頭部の領域の輝度は飽和していて測定できないため、周辺領域の輝度値分布から視神経乳頭部で白飛びが起きないような十分に暗い露光条件を設定すればよい。

具体的には、制御部２５は決定された露光条件としての露光時間（シャッタスピード）で狭角眼底画像の撮影が行われるようにイメージセンサ２３を駆動させるとともに、決定された露光条件としての光量で眼底が照明されるように光源２１を制御する。

広角眼底画像を用いて狭角眼底画像の露光条件を定めれば、ユーザに操作をさせることなく最適な露光条件で狭角眼底画像を撮影することができる。これにより、狭角眼底画像の被写体となる視神経乳頭部の白飛び（飽和）を防止することができるとともに、周辺領域のノイズも抑制することができる。また、露光条件を定める情報を得るためだけに撮影を行わなくてもよいので、より少ない撮影回数で迅速に必要な眼底画像を得ることができるようになる。

ステップＳ１４において、イメージセンサ２３は高フレームレートで狭角眼底画像を撮影する。

例えば、光源２１は制御部２５の制御に従って、露光条件として定められた光量で照明光を射出し、光学系２２を介して被写体となる眼底領域に照明光を照射する。また、光学系２２は眼底領域から入射した光を集光し、イメージセンサ２３の受光面上に結像させる。

イメージセンサ２３は、制御部２５の制御に従って、露光条件として定められた露光時間で光学系２２から入射した光を光電変換して狭角眼底画像を撮影し、画像合成部２６に供給する。すなわち、イメージセンサ２３は、受光面に設けられた全ラインのうち、狭角眼底画像の撮影範囲として定められた範囲内にあるラインを構成する画素から出力された画素信号からなる信号を、狭角眼底画像の画像信号として出力する。

これにより、例えば図１に示した狭角眼底画像ＮＰ１１が得られる。狭角眼底画像は、被写体として視神経乳頭部近傍の領域が写っている動画像の各フレームや、連写された静止画像などとされる。

さらに、画像合成部２６は、イメージセンサ２３から供給された狭角眼底画像をフレームメモリ２７に供給し、一時的に記録させる。

このように、眼底領域のうちの視神経乳頭部の領域に対して適切な露光条件で狭角眼底画像を撮影すれば、反射率の高い視神経乳頭部の領域の診断が十分可能となる画像を狭角眼底画像として得ることができる。

なお、ここでは広角眼底画像撮影時における被写体の照明のための光源２１と、狭角眼底画像撮影時における被写体の照明のための光源２１とは、同じ光源が用いられる例について説明した。このように同じ光源２１を用いる場合には、広角眼底画像撮影時と狭角眼底画像撮影時とで照明光の色温度が同じであるので、合成眼底画像の色味が変化してしまうことを抑制し、高品質な画像を得ることができる。しかし、広角眼底画像撮影時と狭角眼底画像撮影時とで異なる光源が用いられるようにしてもよい。

ステップＳ１５において、画像合成部２６は、フレームメモリ２７に記録されている広角眼底画像と狭角眼底画像とを合成して合成眼底画像を生成する。

例えば、画像合成部２６は狭角眼底画像と広角眼底画像の照度の違いが補償されるように、狭角眼底画像のゲイン調整を行い、狭角眼底画像と広角眼底画像の輝度が一致するように画像変換を行う。このとき、狭角眼底画像をゲイン調整により増幅すると視神経乳頭部の画素の輝度値が飽和してしまうため、画像合成部２６はゲイン調整した狭角眼底画像を十分にビット幅の大きいバッファに記録する必要がある。次に、画像合成部２６は狭角眼底画像と広角眼底画像との間の動きを検出する。そして、画像合成部２６は、動きの検出結果に応じて狭角眼底画像に対して動き補償を行うことで、広角眼底画像上の視神経乳頭部の領域と、狭角眼底画像上の視神経乳頭部の領域とが重なるように狭角眼底画像をシフトさせ、被験者の眼球の動きを補償した後、狭角眼底画像を広角眼底画像に合成する。

例えばゲイン調整では、狭角眼底画像の撮影時の露光条件と広角眼底画像の撮影時の露光条件の比から広角眼底画像が狭角眼底画像の何倍の明るさで撮影しているかを求め、この比を基に狭角眼底画像のゲインが調整される。ここで、さらに、狭角眼底画像における視神経乳頭部の周辺画素の輝度値平均と、広角眼底画像における視神経乳頭部の周辺の前記の狭角眼底画像における周辺画素に相当する領域の輝度値平均を求め、これらの輝度値平均が一致するようにゲインを微調整するようにしてもよい。

また、例えば狭角眼底画像の広角眼底画像への合成は、アルファブレンディング処理などの画像の重み付け加算により行われる。そのような場合、視神経乳頭部の領域では狭角眼底画像の重み、つまり合成眼底画像への寄与率が大きくされ、視神経乳頭部とは異なる領域では広角眼底画像の重みが大きくされるなど、各領域の輝度値に応じた重みで狭角眼底画像と広角眼底画像の画素値が加算される。

このようにして、動き補償と照度の補償を行いながら各狭角眼底画像を広角眼底画像に合成していくことで、１枚の合成眼底画像が得られる。ここで、合成眼底画像は高ダイナミックレンジ画像であるため、ビット幅が大きくなっている。画像合成部２６は、ビット幅の大きい合成眼底画像を標準的なビデオ信号に合わせたビット幅に変換する。このとき合成眼底画像に対して階調補正等の処理が施されるようにしてもよいし、図示しないキーボードや設定ボタンなどの外部入力機器から与えられるパラメータにより、ビット幅の大きい画像から任意の輝度範囲を切り出すようにしてもよい。画像合成部２６は、得られた合成眼底画像を画像出力部２８に供給する。

このように狭角眼底画像を低照度下において高フレームレートで複数撮影し、得られた各狭角眼底画像を動き補償して広角眼底画像に合成することで、超解像効果により解像度の高い合成眼底画像を得ることができる。

一般に、サンプリング位置の異なる複数の画像を合成すると画像の高解像度化が実現されることが知られている。換言すれば、同じ被写体を撮影して得られた、互いに異なるサンプリング位置で撮影された複数の画像を合成すると、より解像度の高い画像が得られることが超解像効果として知られている。狭角眼底画像の撮影時に被験者の眼球が動いている場合には、撮影時刻の異なる各狭角眼底画像は、互いに異なるサンプリング位置で撮影されるので、これらの狭角眼底画像を動き補償して広角眼底画像に合成すれば、超解像効果によって、より解像度の高い合成眼底画像を得ることができる。

また、高照度下で撮影された広角眼底画像と、低照度下で撮影された狭角眼底画像を合成して合成眼底画像とすることで、眼底の各領域を十分に観察できる高ダイナミックレンジの画像を得ることができる。

ステップＳ１６において、画像出力部２８は、画像合成部２６から供給された合成眼底画像を外部に出力し、画像生成処理は終了する。画像出力部２８から出力された合成眼底画像は、例えばディスプレイに供給されて表示される。

以上のようにして眼底画像撮影装置１１は、周辺領域に対して適切な露光条件で広角眼底画像を撮影した後、広角眼底画像に基づいて定めた、視神経乳頭部の領域に対して適切な露光条件で狭角眼底画像を撮影して、広角眼底画像と狭角眼底画像を合成する。

このように、反射率の異なる領域ごとに適切な露光条件で撮影した複数の画像を合成することで、高品質な合成眼底画像を得ることができる。しかも、複数の狭角眼底画像に対して動き補償を行って、その結果得られた各狭角眼底画像を広角眼底画像に合成することで、超解像効果によりさらに高品質な合成眼底画像を得ることができる。

また、無散瞳撮影時に被験者の目に照明光として強い光を照射すると縮瞳が生じるが、眼底画像撮影装置１１では広角撮影、つまり広角眼底画像の撮影は１回目の撮影のみであり、それ以降の撮影では、より撮影範囲が狭く縮瞳の影響を受けにくい狭角眼底画像が撮影される。したがって、眼底画像撮影装置１１によれば、無散瞳撮影時においても高品質な合成眼底画像を得ることができる。

なお、以上においては狭角眼底画像に対する動き補償を行う例について説明したが、撮影された狭角眼底画像に基づいて、イメージセンサ２３の撮影範囲が補正されるようにしてもよい。そのような場合、視神経乳頭検出部２４は、撮影された狭角眼底画像から視神経乳頭部を検出し、制御部２５はその検出結果に基づいて狭角眼底画像の撮影範囲を定め、その撮影範囲内にあるラインから画素信号が読み出されるようにイメージセンサ２３を制御する。そして、イメージセンサ２３は制御部２５の制御に従って次の狭角眼底画像を撮影する。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ２０１，ＲＯＭ２０２，ＲＡＭ２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、イメージセンサなどよりなる。出力部２０７は、ディスプレイ、スピーカ、光源などよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出する検出部と、
前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定する制御部と、
前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部と
を備える画像処理装置。
［２］
前記画像合成部は、連続して撮影された複数の前記狭角画像と、前記広角画像とを合成して前記合成画像を生成する
［１］に記載の画像処理装置。
［３］
前記画像合成部は、前記複数の前記狭角画像に対して動き補償を行い、前記動き補償により得られた前記狭角画像と前記広角画像とを合成する
［２］に記載の画像処理装置。
［４］
前記制御部は、前記特定領域の検出結果に基づいて、前記狭角画像を撮影する撮影部の画素領域における前記狭角画像の撮影に用いる領域を決定する
［２］または［３］に記載の画像処理装置。
［５］
前記制御部は、前記特定領域に対して適切な露光条件に基づいて、前記狭角画像を撮影する撮影部または前記被写体に照射される照明光を出力する光源を制御する
［１］乃至［４］の何れか一項に記載の画像処理装置。
［６］
前記制御部は、前記広角画像の撮影時および前記狭角画像の撮影時において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源を制御する
［１］乃至［５］の何れか一項に記載の画像処理装置。
［７］
前記特定領域に対して適切な露光条件は、前記狭角画像における前記特定領域の画素が飽和しない条件とされる
［１］乃至［６］の何れか一項に記載の画像処理装置。
［８］
眼底の特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、
前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、
前記眼底の特定領域を被写体とし、前記眼底の特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部と
を備える眼底画像処理装置。
［９］
前記眼底の特定領域は、視神経乳頭の領域とされる
［８］に記載の眼底画像処理装置。
［１０］
特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出し、
前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定し、
前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する
ステップを含む画像処理方法。
［１１］
特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、
前記広角画像に基づいて前記特定領域に対して適切な露光条件を決定し、
前記特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記特定領域に対して適切な露光条件で撮影する第２の撮影を行う
ステップを含む画像撮影方法。
［１２］
前記広角画像に基づいて、前記広角画像から前記特定領域を検出し、
前記特定領域に対して適切な露光条件が、前記特定領域の検出結果に基づいて決定される
［１１］に記載の画像撮影方法。
［１３］
前記第２の撮影において、複数の前記狭角画像が連続して撮影される
［１１］または［１２］に記載の画像撮影方法。
［１４］
前記第２の撮影において、前記特定領域の検出結果に基づいて決定された、撮影部の画素領域における所定範囲の領域が用いられて前記狭角画像が撮影される
［１２］に記載の画像撮影方法。
［１５］
前記第１の撮影および前記第２の撮影において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源が制御される
［１１］乃至［１４］の何れか一項に記載の画像撮影方法。
［１６］
前記特定領域に対して適切な露光条件は、前記狭角画像における前記特定領域の画素が飽和しない条件とされる
［１１］乃至［１５］の何れか一項に記載の画像撮影方法。
［１７］
眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、
前記広角画像に基づいて前記眼底の特定領域に対して適切な露光条件を決定し、
前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記眼底の特定領域に対して適切な露光条件で撮影する第２の撮影を行う
ステップを含む眼底画像撮影方法。
［１８］
前記眼底の特定領域は、視神経乳頭の領域とされる
［１７］に記載の眼底画像撮影方法。
［１９］
眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影するとともに、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を前記眼底の特定領域に対して適切な露光条件で撮影する撮影部と、
前記広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、
前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、
前記狭角画像と前記広角画像とを合成して合成画像を生成する画像合成部と
を備える眼底画像撮影装置。

１１ 眼底画像撮影装置， ２１ 光源， ２２ 光学系， ２３ イメージセンサ， ２４ 視神経乳頭検出部， ２５ 制御部， ２６ 画像合成部

Claims (19)

1. 特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出する検出部と、
   前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定する制御部と、
   前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部と
   を備える画像処理装置。
2. 前記画像合成部は、連続して撮影された複数の前記狭角画像と、前記広角画像とを合成して前記合成画像を生成する
   請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記複数の前記狭角画像に対して動き補償を行い、前記動き補償により得られた前記狭角画像と前記広角画像とを合成する
   請求項２に記載の画像処理装置。
4. 前記制御部は、前記特定領域の検出結果に基づいて、前記狭角画像を撮影する撮影部の画素領域における前記狭角画像の撮影に用いる領域を決定する
   請求項２に記載の画像処理装置。
5. 前記制御部は、前記特定領域に対して適切な露光条件に基づいて、前記狭角画像を撮影する撮影部または前記被写体に照射される照明光を出力する光源を制御する
   請求項１に記載の画像処理装置。
6. 前記制御部は、前記広角画像の撮影時および前記狭角画像の撮影時において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源を制御する
   請求項１に記載の画像処理装置。
7. 前記特定領域に対して適切な露光条件は、前記狭角画像における前記特定領域の画素が飽和しない条件とされる
   請求項１に記載の画像処理装置。
8. 眼底の特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、
   前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、
   前記眼底の特定領域を被写体とし、前記眼底の特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する画像合成部と
   を備える眼底画像処理装置。
9. 前記眼底の特定領域は、視神経乳頭の領域とされる
   請求項８に記載の眼底画像処理装置。
10. 特定領域とは異なる領域に対して適切な露光条件で撮影された広角画像に基づいて、前記広角画像から前記特定領域を検出し、
    前記特定領域の検出結果に基づいて、前記特定領域に対して適切な露光条件を決定し、
    前記特定領域を被写体とし、前記特定領域に対して適切な露光条件で撮影された、前記広角画像よりも画角の狭い狭角画像と、前記広角画像とを合成して合成画像を生成する
    ステップを含む画像処理方法。
11. 特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、
    前記広角画像に基づいて前記特定領域に対して適切な露光条件を決定し、
    前記特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記特定領域に対して適切な露光条件で撮影する第２の撮影を行う
    ステップを含む画像撮影方法。
12. 前記広角画像に基づいて、前記広角画像から前記特定領域を検出し、
    前記特定領域に対して適切な露光条件が、前記特定領域の検出結果に基づいて決定される
    請求項１１に記載の画像撮影方法。
13. 前記第２の撮影において、複数の前記狭角画像が連続して撮影される
    請求項１１に記載の画像撮影方法。
14. 前記第２の撮影において、前記特定領域の検出結果に基づいて決定された、撮影部の画素領域における所定範囲の領域が用いられて前記狭角画像が撮影される
    請求項１２に記載の画像撮影方法。
15. 前記第１の撮影および前記第２の撮影において、同一の光源から出力された照明光により前記被写体が照明されるように前記光源が制御される
    請求項１１に記載の画像撮影方法。
16. 前記特定領域に対して適切な露光条件は、前記狭角画像における前記特定領域の画素が飽和しない条件とされる
    請求項１１に記載の画像撮影方法。
17. 眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影する第１の撮影を行い、
    前記広角画像に基づいて前記眼底の特定領域に対して適切な露光条件を決定し、
    前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を、前記眼底の特定領域に対して適切な露光条件で撮影する第２の撮影を行う
    ステップを含む眼底画像撮影方法。
18. 前記眼底の特定領域は、視神経乳頭の領域とされる
    請求項１７に記載の眼底画像撮影方法。
19. 眼底の特定領域とは異なる領域に対して適切な露光条件で広角画像を撮影するとともに、前記眼底の特定領域を被写体とし、前記広角画像よりも画角の狭い狭角画像を前記眼底の特定領域に対して適切な露光条件で撮影する撮影部と、
    前記広角画像に基づいて、前記広角画像から前記眼底の特定領域を検出する検出部と、
    前記眼底の特定領域の検出結果に基づいて、前記眼底の特定領域に対して適切な露光条件を決定する制御部と、
    前記狭角画像と前記広角画像とを合成して合成画像を生成する画像合成部と
    を備える眼底画像撮影装置。

Images