JP2017176716A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2017176716A JP2017176716A JP2016072599A JP2016072599A JP2017176716A JP 2017176716 A JP2017176716 A JP 2017176716A JP 2016072599 A JP2016072599 A JP 2016072599A JP 2016072599 A JP2016072599 A JP 2016072599A JP 2017176716 A JP2017176716 A JP 2017176716A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- unit
- processing apparatus
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】 眼底の複数の画像から眼科診断等に適した動画像を生成可能にする。
【解決手段】 本発明による画像処理装置は、被検眼の眼底画像の類似性を評価する基準となる基準画像および対象画像を選択する画像選択部と、前記基準画像と前記対象画像の類似性を算出する領域を設定する領域設定部と、前記基準画像と前記対象画像との類似性評価値を異なる評価方法で算出する算出部と、前記算出部の算出の結果に基づいて、補正処理を選択する選択部と、前記選択部にて選択された補正処理を行う処理部とを有する。
【選択図】 図2
【解決手段】 本発明による画像処理装置は、被検眼の眼底画像の類似性を評価する基準となる基準画像および対象画像を選択する画像選択部と、前記基準画像と前記対象画像の類似性を算出する領域を設定する領域設定部と、前記基準画像と前記対象画像との類似性評価値を異なる評価方法で算出する算出部と、前記算出部の算出の結果に基づいて、補正処理を選択する選択部と、前記選択部にて選択された補正処理を行う処理部とを有する。
【選択図】 図2
Description
本発明は画像処理装置および画像処理方法に関し、特に、眼科診療に用いられる画像処理装置及び画像処理方法に関する。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広くおこなわれている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)は、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から眼底(網膜)の平面画像を高分解能かつ高速に得る装置である。
近年、被検眼の収差を波面センサーでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学走査型レーザー検眼鏡(AO−SLO:Adaptive Optics SLO)が開発され、高分解能な画像(以下、AO−SLO画像)の取得を可能にしている。
さらに、取得した網膜のAO−SLO画像を用いて、網膜における視細胞の形態や密度の解析、血球動態や血管形状の解析から疾病の診断や薬剤応答の評価が試みられている。
しかしながら、AO−SLO画像において、視細胞の形態や密度、血球動態や血管形状を観察や計測する場合に、眼球や眼瞼運動の影響もしくは撮像装置に起因する画像特性の違いが起きる。その違いによる影響によって、対象組織、細胞、病変の視認や計測が困難な画像(以下、例外画像)が生じることがある。
例えば、固視微動によって画像のぶれが発生したり、瞬目によって低輝度、低コントラストの画像が発生したりする場合がある。あるいは、収差補正不良等の装置に起因する分解能の低下やS/Nの低下した画像が含まれる場合がある。特に、患眼を撮像したAO−SLO画像は健常眼のそれに比べ、瞬目の頻度や固視微動の影響を大きく受け、視細胞の形態や密度、血球動態や血管形状の観察や計測に必要なAO−SLO画像を十分得られない場合があった。
このような課題を解決するために、特許文献1では、眼底の動画像を構成する複数のフレームから各フレームの画像特徴に基づいて例外フレームを判定する手法と、判定した例外フレームを含まない複数のフレームで新たな動画像を生成する技術が開示されている。
しかしながら、特許文献1は各フレームを複数の画像領域に分割評価することにより例外フレームを除外して新たな動画像を生成することが主眼の技術である。例外フレームを除外する際の評価値としては、単に画像の輝度、歪み量、信号雑音比の少なくともひとつの評価指標を独立に用いており、画像の類似性を悪化させる要因(以下、類似性阻害要因)を特定する技術を開示するものではない。
例えば、輝度の特徴を変化させる要因は、撮像時の固視微動の影響による画像のぶれや画像のぼけや画像の位置ずれ、瞬目による画像の輝度の低下やコントラストの低下など複数の要因が存在する。しかしながら、特許文献1は、例外フレームを判定して除外するばかりであり、何らかの補正により使用できるフレームに対して、適切な画像補正を選択・適用し再利用する可能性を考慮していなかった。
本願発明は上述の課題に対してなされたものであり、補正により使用可能となるフレームを得ることを目的とする。
本発明の目的を達成するために、本発明による画像処理装置は、被検眼の眼底画像の類似性を評価する基準となる基準画像および対象画像を選択する画像選択部と、前記基準画像と前記対象画像の類似性を算出する領域を設定する領域設定部と、前記基準画像と前記対象画像との類似性評価値を異なる評価方法で算出する算出部と、前記算出部の算出の結果に基づいて、補正処理を選択する選択部と、前記選択部にて選択された補正処理を行う処理部とを有する。
本発明によれば、補正により使用可能となるフレームを得ることができる。
以下、添付図面に従って本発明に係る画像処理装置および画像処理方法の好ましい実施形態について詳説する。但し、本発明は以下の実施形態に限定されるものではない。
[全体構成]
まず、図1および図2を用いて、実施形態の画像撮像装置および画像処理装置を備える装置の全体構成について説明する。
まず、図1および図2を用いて、実施形態の画像撮像装置および画像処理装置を備える装置の全体構成について説明する。
本実施形態では、画像撮像装置として走査型レーザ検眼鏡について、図1の構成を示す模式図を用いて、画像撮像装置100の構成について説明する。
まず、高分解能な眼底画像を撮像するAO−SLO120の構成について説明する。
光源101は、波長840nmのSLD(Super Luminescent Diode)光源を用いる。光源101の波長は特に制限されるものではないが、眼底撮像用としては被検者の眩しさの軽減と分解能の維持のために、800〜1500nm程度が好適に用いられる。本実施形態においてはSLD光源を用いたが、その他の光源を用いる事も可能である。光源101から照射された光は、単一モード光ファイバー102を通って、コリメータレンズ103により、平行光線(測定光105)として照射される。照射された測定光105はビームスプリッターからなる光分割部104を透過し、補償光学の光学系に導光される。
補償光学系は、光分割部106、波面測定装置115、波面補正装置108および、それらに導光するための反射ミラー107−1〜4から構成される。ここで、反射ミラー107−1〜4は、少なくとも眼111の瞳と波面測定装置115、波面補正装置108とが光学的に共役関係になるように設置されている。また、光分割部106として、本実施形態ではビームスプリッターを用いている。光分割部106を透過した測定光105は、反射ミラー107−1と107−2で反射されて波面補正装置108に入射する。波面補正装置108で反射された測定光105は、反射ミラー107−3に出射される。本実施形態では、波面補正手段である波面補正装置108として液晶素子を用いた反射型液晶空間位相変調器を用いる。波面補正装置としては、可変形状ミラー(デフォーマブルミラー)でも良く、波面が補正できるものであれば、いずれの物でも良い。
反射ミラー107−3、4で反射された測定光105は、走査光学系109−1〜2によって、眼111の眼底上を1次元もしくは2次元に走査される。走査光学系109−1〜2は制御部118によって制御される。本実施形態では2次元眼底画像の撮像を目的として、主走査用の走査光学系109−1として共振スキャナと、副走査用の走査光学系109−2としてチップチルトミラーを用いる。またチップチルトミラー109−2は、追尾を目的とした測定光の走査中心の向きを変更して撮像位置を固定・安定化する手段を兼ねている。本実施形態では、共振スキャナとチップチルトミラーの組み合わせを用いているが、ガルバノミラーなどその他の走査光学用のミラーを組み合わせて用いてもよい。さらに走査光学系109−1〜2の各スキャナを光学的な共役状態にするために、各スキャナの間にミラーやレンズといった光学素子を用いる構成の場合もある。
走査光学系109−1〜2で走査された測定光105は、接眼レンズ110−1および110−2を通して眼111に照射される。眼111に照射された測定光105は、眼底で反射や散乱される。接眼レンズ110−1および110−2の位置を調整することによって、眼111の視度にあわせて最適な照射をおこなうことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
眼111の眼底の網膜から反射もしくは散乱された反射光は、入射した時の経路を逆向きに進行し、光分割部106によって一部が波面測定装置115へ反射され、反射光の波面分布を測定するために用いられる。
本実施形態では、波面測定手段である波面測定装置115としてシャックハルトマンセンサーを用いた。本実施形態では波面測定装置115にシャックハルトマンセンサーを用いたが、それに限定されるものではなく、曲率センサーのような他の波面測定手段や、結像させた点像から逆計算で求めるような方法を用いても良い。
光分割部106を透過した反射光は光分割部104によって一部が反射され、コリメータ112、光ファイバー113を通して光強度センサー114に導光される。光強度センサー114で光は電気信号に変換され、制御部117によって、光の強度を配列化して画像に構成される。この画像は眼底画像(AO−SLO画像)として画像処理装置200に転送される。
波面測定装置115は補償光学制御部116に接続され、受光した波面分布を補償光学制御部116に伝える。波面補正装置108も補償光学制御部116に接続されており、補償光学制御部116から指示された制御情報に基づいて空間的な位相変調をおこなう。補償光学制御部116は波面測定装置115で測定された波面分布を基に、収差のない波面分布へと補正するような補正量を計算し、波面補正装置108に適切な補正状態とするための制御情報を指令する。光学系の一部に被検眼が含まれていることで光学系が不確定な状態であるため、一般的に1回の波面分布の測定及び補正では、小さな収差の波面分布に到達することは困難で、波面分布の測定と補正を繰り返して撮像可能な収差まで収束させながら補正する。これによって、測定光が眼底に至るまでの光路の収差を小さくでき、眼底に集光するスポットの大きさを小さくでき、空間的な分解能が高い画像を得る事が可能となっている。
次に、眼球運動の時々刻々の位置を検知して、眼球運動を補償するように撮像位置を固定・安定化する追尾機能を有するWF−SLO121および追尾制御部122について説明する。
WF−SLO121の構成は、これまで説明してきたAO−SLO120と基本的に同じ構成である。WF−SLO121がAO−SLOと異なる点は、波面測定装置115や波面補正装置108や補償光学制御部116が無い構成となっている。また、WF−SLO121で撮像する画像の画角は、AO−SLOのそれよりも画角が広くなっている。つまり、WF−SLO画像は広画角、AO−SLO画像は狭画角である。
WF−SLO121の構成の詳細な図示は省略するが、その構成を簡単に説明すると次の通りである。WF−SLO121は900nmの波長の光源を使用する。WF−SLO121の光源から照射された測定光123は、ダイクロイックミラー119によって測定光105と合波され、接眼レンズ110−1および110−2を通して眼111に照射される。眼111に照射された測定光123は眼底で反射や散乱される。眼111の眼底の網膜から反射もしくは散乱された反射光は、入射した時の経路を逆向きに進行し、ダイクロイックミラー119によって測定光123と測定光105に分離され、WF−SLO121の光強度センサーに導光される。光強度センサーは光を電気信号に変換し、WF−SLO121によって、光の強度を配列化して画像(WF−SLO画像)に構成される。
追尾制御部122は、WF−SLO121によって撮像される広角なWF−SLO画像を取得する。次に、追尾制御部122は、制御部117より狭角なAO−SLO画像を順次取得する。AO−SLO画像はWF−SLO画像の一部の領域を撮像している。追尾制御部122は、AO−SLO画像がWF−SLO画像のどの領域に位置するかを順次比較し、位置ずれを検出する。検出結果はチップチルトミラー109−2の位置として制御部118に指令し、眼球運動に追尾して眼底の撮像位置が動かないように制御部118はチップチルトミラー109−2を制御する。追尾制御部122はこの動作を繰り返し、AO−SLO画像の撮像位置を眼の運動に対して追尾する。また、追尾制御部122および制御部118は、スキャン方向とチップチルトミラー109−2の位置を変更したスキャン位置変更タイミングを示す情報を、制御部117を介して画像処理装置200に転送する。
以上の追尾機能によって、眼の動きに追従しているため画質が良好なAO−SLO画像が連続して得られる。
次に、本実施形態では、画像撮像装置と接続される画像処理装置について、図2の構成を示す模式図を用いて、画像処理装置200の構成について説明する。
データ取得部202は、画像撮像装置100からAO−SLO画像およびAO−SLO画像に関連する画像を識別するためのIDや撮像日時等の情報、画素数等の情報、スキャン方向やスキャン位置変更タイミング等に関する情報を取得する。取得した各情報は、バス213を介して記憶部(RAM)203もしくは外部記憶装置205に格納される。記憶部(RAM)203もしくは外部記憶装置205に格納した連続する複数のAO−SLO画像は、画像補正部214によって、それぞれのAO−SLO画像の同画素が被写体の同位置を撮像しているよう位置合わせ(レジストレーション)処理を行われる。それにより、固視微動の影響による歪み、位置ずれを補正する。位置合わせ(レジストレーション)処理は公知であるため、本実施形態では詳細を記載しない。
本実施形態に係る画像処理機能を実現するためのプログラムや当該プログラムが実行される際に用いられるデータは、ROM204もしくは外部記憶装置205に格納する。これらのプログラムやデータは、CPU(中央演算処理装置)201による制御のもと、バス213を介して、適宜RAM203に取り込まれ、CPU(中央演算処理装置)201によって実行され、後に説明する各部として機能する。
また、入力I/F206はキーボードやポインティングデバイス(たとえば、マウス)等の入力装置209と接続し、キーボードやポインティングデバイスから指示情報を受け取り、バス213を介してCPU(中央演算処理装置)201に通知する。出力I/F207は、LCDディスプレイ等の表示装置210と接続し、生成画像や当該情報を表示する。LANI/F208はLANと接続するためのI/Fであり、LANを介してデータサーバー212と接続する。
データサーバー212はAO−SLO画像や撮像日時や固視標位置等の撮像条件データ、眼部の画像特徴などの当該情報を保持する。すなわち、画像撮像装置100が撮像したAO−SLO画像および当該情報は、画像処理装置200によって処理され、データサーバー212に保存され管理される。データサーバー212は、LANを介してネットワークで接続する複数のデータサーバーであっても構わない。また、画像撮像装置100が撮像したAO−SLO画像および当該情報は、画像処理装置200の外部記憶装置205に保存し管理してもよい。
次に、CPU(中央演算処理装置)201においておこなわれる実施形態による類似性の乏しい画像領域の検出と補正処理方法の各実施形態について説明する。
[実施形態1]
実施形態1は、画像撮像装置によって撮像された連続する複数のAO−SLO画像の類似性(一致度)を、複数のAO−SLO画像から選択された基準画像と比較して評価するものである。即ち、類似性の乏しい(低い)画像領域の検出方法と補正処理方法を示す実施形態である。実施形態1に係る図2のCPU(中央演算処理装置)201の機能構成を説明する。
実施形態1は、画像撮像装置によって撮像された連続する複数のAO−SLO画像の類似性(一致度)を、複数のAO−SLO画像から選択された基準画像と比較して評価するものである。即ち、類似性の乏しい(低い)画像領域の検出方法と補正処理方法を示す実施形態である。実施形態1に係る図2のCPU(中央演算処理装置)201の機能構成を説明する。
図2は画像処理装置200の機能構成を示す模式図である。CPU(中央演算処理装置)201は、画像選択部201−1、LPF処理部201−2、検出領域設定部201−3、画質類似性算出部201−4、周波数類似性算出部201−5、構造類似性算出部201−6、類似性阻害要因推定部201−7、例外画像領域判定部201−8、補正処理部201−9として機能する。
以下、CPU(中央演算処理装置)201を構成する各ブロックの機能について、図3Aの実施形態1に係る処理のフローチャートに示す具体的な実行手順と関連付けて説明する。
<ステップS301>
ステップS301において、画像選択部201−1は、AO−SLO画像から類似性の評価の基準となる基準画像を選択する。具体的には、画像撮像装置100からデータ取得部202により取得された画像を、画像補正部214によるレジストレーション処理を施した後にRAM203もしくは外部記憶装置205に格納した連続する複数のAO−SLO画像から基準画像を選択する。
ステップS301において、画像選択部201−1は、AO−SLO画像から類似性の評価の基準となる基準画像を選択する。具体的には、画像撮像装置100からデータ取得部202により取得された画像を、画像補正部214によるレジストレーション処理を施した後にRAM203もしくは外部記憶装置205に格納した連続する複数のAO−SLO画像から基準画像を選択する。
基準画像は、画像補正部214によって最も補正されなかったAO−SLO画像を選択する。つまり、固視微動や瞬目などの影響が少ない、最も撮像条件の良いAO−SLO画像を選択する。但し、ステップS301の実施形態は基準画像の選択方法を限定するものではない。そのため、ユーザーが入力装置209によって、入力I/F205およびバス213を介して画像選択部201−1に指示し、基準画像を選択しても構わない。
<ステップS302>
ステップS302において、画像選択部201−1によって、RAM203もしくは外部記憶装置205に格納した連続する複数のAO−SLO画像を類似性の評価をおこなう対象画像とする。又、画像撮像装置100およびに画像処理装置200よって撮像し、データサーバー212に格納する連続する複数のAO−SLO画像を対象画像としても構わない。対象画像の選択は、ユーザーが入力装置209および入力I/F205、バス213を介して画像選択部201−1に指示し、選択するようにしても構わない。
ステップS302において、画像選択部201−1によって、RAM203もしくは外部記憶装置205に格納した連続する複数のAO−SLO画像を類似性の評価をおこなう対象画像とする。又、画像撮像装置100およびに画像処理装置200よって撮像し、データサーバー212に格納する連続する複数のAO−SLO画像を対象画像としても構わない。対象画像の選択は、ユーザーが入力装置209および入力I/F205、バス213を介して画像選択部201−1に指示し、選択するようにしても構わない。
<ステップS303>
ステップS303において、LPF処理部201−2は類似性の評価に不要なランダムノイズを除去するためにLPF(Low−Pass Filter)処理を施す。また、LPF処理ではなく画像縮小処理を施し、縮小率に応じた周波数カットをおこない、ノイズ除去の代わりとしても構わない。
ステップS303において、LPF処理部201−2は類似性の評価に不要なランダムノイズを除去するためにLPF(Low−Pass Filter)処理を施す。また、LPF処理ではなく画像縮小処理を施し、縮小率に応じた周波数カットをおこない、ノイズ除去の代わりとしても構わない。
<ステップS304>
ステップS304において、検出領域設定部201−3はステップS301で取得した基準画像とステップS302で取得した対象画像における被写体の同一位置を撮像している共通領域を算出する。
ステップS304において、検出領域設定部201−3はステップS301で取得した基準画像とステップS302で取得した対象画像における被写体の同一位置を撮像している共通領域を算出する。
<ステップS305>
ステップS305において、検出領域設定部201−3は、ステップS304で算出した共通領域内に検出領域を設定する。検出領域は複数の領域を設定してもよく、それぞれの検出領域が重なり合って(オーバーラップして)いても構わない。
ステップS305において、検出領域設定部201−3は、ステップS304で算出した共通領域内に検出領域を設定する。検出領域は複数の領域を設定してもよく、それぞれの検出領域が重なり合って(オーバーラップして)いても構わない。
図4(a)は基準画像および対象画像の共通領域400内に検出領域を設定する一例を示している。例えば、検出領域401−1と検出領域401−2のように、それぞれの検出領域が重なり合って(オーバーラップして)いても構わない。また、図4(a)は共通領域400内に複数の検出領域を設定しているが、共通領域内400にひとつの検出領域を設定しても構わない。なお、設定する検出領域のサイズ(画素数)は、後述するFFT処理を実行するため2のべき乗である方が望ましく、2のべき乗であれば任意のサイズで設定される。
<ステップS306>
ステップS306において、検出領域設定部201−3は、ステップS303でLPF処理を施した基準画像と、ステップS303でLPF処理を施した対象画像からステップS305で設定した検出領域に相当する画像を取得する。
ステップS306において、検出領域設定部201−3は、ステップS303でLPF処理を施した基準画像と、ステップS303でLPF処理を施した対象画像からステップS305で設定した検出領域に相当する画像を取得する。
<ステップS307>
ステップS307において、画質類似性算出部201−4は、ステップS306で取得した検出領域の画像に対して画質の類似性を解析する。ステップS307の詳細は図3B(a)を用いて説明する。
ステップS307において、画質類似性算出部201−4は、ステップS306で取得した検出領域の画像に対して画質の類似性を解析する。ステップS307の詳細は図3B(a)を用いて説明する。
<ステップS307−1>
ステップS307−1において、基準画像および対象画像それぞれの検出領域画像に対して、次に示す計算をおこない画質類似値SSIM (Structural Similarity)算出する。
ステップS307−1において、基準画像および対象画像それぞれの検出領域画像に対して、次に示す計算をおこない画質類似値SSIM (Structural Similarity)算出する。
Irefは基準画像、Itarは対象画像、Wは窓関数、K1およびK2は定数である。窓関数Wはガウシアン窓、ハン窓等の任意の窓関数を使用して構わない。定数K1、K2は任意に調整可能なパラメータである。
<ステップS307−2>
ステップS307−2において、算出した画質類似度SSIMの値を予め決められた評価値化テーブルの対応した値に変換し、評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、画質類似度SSIMの値をそのまま評価値と使用しても構わない。
ステップS307−2において、算出した画質類似度SSIMの値を予め決められた評価値化テーブルの対応した値に変換し、評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、画質類似度SSIMの値をそのまま評価値と使用しても構わない。
また、ステップS307は、輝度レベル(信号レベル)、コントラスト、S/N等の画質に係る類似度を算出するものであり、アルゴリズムは他の如何なる方法でも構わない。
<ステップS308>
ステップS308において、周波数類似性算出部201−5は、ステップS306で取得した検出領域の画像に対して空間周波数の類似性(相違)を解析する。ステップS308の詳細は図3B(b)を用いて説明する。
ステップS308において、周波数類似性算出部201−5は、ステップS306で取得した検出領域の画像に対して空間周波数の類似性(相違)を解析する。ステップS308の詳細は図3B(b)を用いて説明する。
<ステップS308−1>
ステップS308−1においえ、基準画像および対象画像それぞれの検出領域の画像に対して、次に示す計算をおこないFFT(Fast Fourier Transform)処理を施し、空間周波数情報に変換する。
ステップS308−1においえ、基準画像および対象画像それぞれの検出領域の画像に対して、次に示す計算をおこないFFT(Fast Fourier Transform)処理を施し、空間周波数情報に変換する。
Irefは基準画像、Itarは対象画像、FrefはFFT処理を施した基準画像、FtarはFFT処理を施した対象画像である。
<ステップS308−2>
ステップS308−2において、次に示す計算をおこないパワースペクトル類似値PSSV(Power Spectral Similarity Value)を算出する。
ステップS308−2において、次に示す計算をおこないパワースペクトル類似値PSSV(Power Spectral Similarity Value)を算出する。
Wは窓関数、K1およびK2は定数である。窓関数Wはガウシアン窓、ハン窓等の任意の窓関数を使用して構わない。定数K1、K2は任意に調整可能なパラメータである。
<ステップS308−3>
ステップS308−2において、算出したパワースペクトル類似度PSSVの値を予め決められた評価値化テーブルの対応した値に変換し、評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、パワースペクトル類似度PSSVの値をそのまま評価値と使用しても構わない。
ステップS308−2において、算出したパワースペクトル類似度PSSVの値を予め決められた評価値化テーブルの対応した値に変換し、評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、パワースペクトル類似度PSSVの値をそのまま評価値と使用しても構わない。
また、ステップS308は、画像のぼけ、ぶれ等の周波数に係る周波数類似度(相違)を算出するものであり、アルゴリズムは他の如何なる方法でも構わない。
<ステップS309>
ステップS309において、構造類似性算出部201−6は、ステップS306で取得した検出領域の画像に対して構造の類似性を解析する。ステップS308の詳細は図3B(c)を用いて説明する。
ステップS309において、構造類似性算出部201−6は、ステップS306で取得した検出領域の画像に対して構造の類似性を解析する。ステップS308の詳細は図3B(c)を用いて説明する。
<ステップS309−1>
ステップS309−1において、基準画像および対象画像それぞれの検出領域の画像に対して、次に示す計算をおこないFFT(Fast Fourier Transform)処理を施し、空間周波数情報に変換する。
ステップS309−1において、基準画像および対象画像それぞれの検出領域の画像に対して、次に示す計算をおこないFFT(Fast Fourier Transform)処理を施し、空間周波数情報に変換する。
Irefは基準画像、Itarは対象画像、FrefはFFT処理を施した基準画像、FtarはFFT処理を施した対象画像である。
<ステップS309−2>
ステップS309−2において、次に示す位相限定相関関数rを算出する。
ステップS309−2において、次に示す位相限定相関関数rを算出する。
<ステップS309−3>
ステップ309−3において、位相限定相関関数rの相関ピーク値を取得する。
ステップ309−3において、位相限定相関関数rの相関ピーク値を取得する。
<ステップS309−4>
ステップ309−4において、位相限定相関関数rの分散平均値とステップ309−3で取得したピーク値の分散値との比率(相関ピーク値分散比率)が、予め決められた閾値以上であるかを判定する。
ステップ309−4において、位相限定相関関数rの分散平均値とステップ309−3で取得したピーク値の分散値との比率(相関ピーク値分散比率)が、予め決められた閾値以上であるかを判定する。
<ステップS309−5>
ステップ309−5において、相関ピーク値分散比率が閾値以上である場合は、相関検出の信頼性が確保できていると判断し、ステップ309−6を実施する。相関ピーク値分散比率が閾値未満の場合は、相関検出の信頼性が確保できていないと判断し、処理を終了する。
ステップ309−5において、相関ピーク値分散比率が閾値以上である場合は、相関検出の信頼性が確保できていると判断し、ステップ309−6を実施する。相関ピーク値分散比率が閾値未満の場合は、相関検出の信頼性が確保できていないと判断し、処理を終了する。
<ステップS309−6>
ステップ309−6において、ステップ309−3にて取得した相関ピーク値の座標とベクトルスカラー値を算出する。
ステップ309−6において、ステップ309−3にて取得した相関ピーク値の座標とベクトルスカラー値を算出する。
<ステップS309−7>
ステップS309−7において、ステップ309−6にて算出した相関ピーク値のベクトルスカラー値を予め決められた評価値化テーブルの対応した値に変換し評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、相関ピーク値のベクトルスカラー値をそのまま評価値と使用しても構わない。
ステップS309−7において、ステップ309−6にて算出した相関ピーク値のベクトルスカラー値を予め決められた評価値化テーブルの対応した値に変換し評価値化する。但し、評価値化はその他の類似性評価値とスケールを合わせることを目的としているため、評価値化の方法は評価値化テーブルを使用した方法に限定しない。また、相関ピーク値のベクトルスカラー値をそのまま評価値と使用しても構わない。
また、ステップS309は、画像の歪み、位置ずれに係る類似度を算出するものであり、アルゴリズムは他の如何なる方法でも構わない。
<ステップS310>
ステップS310において、類似性阻害要因推定部201−7は、ステップ307にて算出された画質類似性評価値が予め決められた画質類似判定のための閾値を満たしているかを判断する。また、ステップ308にて算出された周波数類似性評価値が予め決められた周波数類似判定のための閾値を満たしているかを判断する。更に、ステップ309にて算出された構造似性評価値が予め決められた構造類似判定のための閾値を満たしているかを判断する。次に、それぞれの類似判定に基づいて類似性阻害要因を推定する。
ステップS310において、類似性阻害要因推定部201−7は、ステップ307にて算出された画質類似性評価値が予め決められた画質類似判定のための閾値を満たしているかを判断する。また、ステップ308にて算出された周波数類似性評価値が予め決められた周波数類似判定のための閾値を満たしているかを判断する。更に、ステップ309にて算出された構造似性評価値が予め決められた構造類似判定のための閾値を満たしているかを判断する。次に、それぞれの類似判定に基づいて類似性阻害要因を推定する。
図5は類似性阻害要因を推定に係るテーブルの一例を示している。それぞれが閾値を満たしている場合は「○」で、満たしていない場合は「×」で示している。本実施形態では、図5のように予め決められたテーブルを基に類似性阻害要因を推定する。例えば、画質類似性評価値は閾値を満たさず、周波数類似性評価値は閾値を満たし、構造似性評価値は閾値を満たさない場合は、類似性阻害要因は位置ずれであると推定する。また、例えば、画質類似性評価値は閾値を満たし、周波数類似性評価値は閾値を満たし、構造似性評価値は閾値を満たさない場合は、類似性阻害要因の推定はできないと判断する。また、類似性阻害要因を推定するテーブルは、画質類似性評価値と周波数類似性評価値と構造類似性評価値の少なくともふたつ以上の類似性評価値が閾値を満たしていない場合に類似性阻害要因を推定する。
図9は画質類似性評価値と周波数類似性評価値と構造類似性評価値のそれぞれの類似性評価値が閾値を満たしていない領域を表した概念図の例である。構造類似性評価値が閾値を満たさない領域901と画質類似性評価値が閾値を満たさない領域902が重なり合う領域904は図5の類似性阻害要因の位置ずれの領域を示している。画質類似性評価値が閾値を満たさない領域902と周波数類似性評価値が閾値を満たさない領域903が重なり合う領域905は図5の類似性阻害要因のコントラスト低下の領域を示している。構造類似性評価値が閾値を満たさない領域901と周波数類似性評価値が閾値を満たさない領域903が重なり合う領域906は図5の類似性阻害要因の画像ぼけ、画像ぶれの領域を示している。構造類似性評価値が閾値を満たさない領域901と画質類似性評価値が閾値を満たさない領域902と周波数類似性評価値が閾値を満たさない領域903が重なり合う領域907は図5の類似性阻害要因のS/N悪化の領域を示す。
つまり、それぞれの類似性評価値が閾値を満たさない領域の一部は重なり合っており、本実施形態はそれぞれの類似性評価値が閾値を満たさない領域の重なり合う領域を検出することで、類似性阻害要因の推定を実現する。
<ステップS311>
ステップS311において、CPU201はステップS305にて設定したすべての検出領域の処理を完了したかを判断する。すべての検出領域の処理を完了していない場合は、処理を完了していないそれぞれの検出領域に対してステップS306〜ステップS310の処理を実行する。
ステップS311において、CPU201はステップS305にて設定したすべての検出領域の処理を完了したかを判断する。すべての検出領域の処理を完了していない場合は、処理を完了していないそれぞれの検出領域に対してステップS306〜ステップS310の処理を実行する。
すべての検出領域の処理を完了した場合は、ステップS312へ進む。
<ステップS312>
ステップS312において、類似性阻害要因推定部201−7は、ステップS310にて推定されたそれぞれの検出領域の類似性阻害要因を周辺の検出領域の類似性阻害要因と比較して再検出を行うか判断する。
ステップS312において、類似性阻害要因推定部201−7は、ステップS310にて推定されたそれぞれの検出領域の類似性阻害要因を周辺の検出領域の類似性阻害要因と比較して再検出を行うか判断する。
図4(b)は、基準画像および対象画像の共通領域400内に設定したそれぞれの検出領域ごとの推定された類似性阻害要因の一例を示している。例えば、検出領域401−1の推定された類似性阻害要因は、検出領域401−2を含む検出領域401−1周辺の検出領域の推定された類似性阻害要因と異なる類似性阻害要因を示しているため、信頼性が低いと判断する。加えて、検出領域401−2を含む検出領域401−1周辺の類似性阻害要因は複数の異なる要因と推定されており、の検出領域401−1との関係を判断できないため、再検出と判断してもよい。
再検出と判断された場合は、ステップS305に戻り再検出を実施する。再検出時は、ステップS305における検出領域のサイズを前回の設定した検出領域のサイズより大きくする。前回の設定した検出領域のサイズより大きくすることで、再検出結果を安定化させる。
再検出を繰り返す場合は、検出領域が画像全体になった時点で再検出を終了し、ステップS313を実施する。また、任意の回数で再検出を終了し、ステップS313を実施しても構わない。
<ステップS313>
ステップS313において、例外画像領域判定部201−8は、ステップS310にて推定されたそれぞれの検出領域の類似性阻害要因を周辺の検出領域の類似性阻害要因と比較して検出領域の類似性阻害要因を決定し、例外画像領域を判断する。
ステップS313において、例外画像領域判定部201−8は、ステップS310にて推定されたそれぞれの検出領域の類似性阻害要因を周辺の検出領域の類似性阻害要因と比較して検出領域の類似性阻害要因を決定し、例外画像領域を判断する。
図4(c)は、基準画像および対象画像の共通領域400内に設定したそれぞれの検出領域ごとの推定された類似性阻害要因の一例を示している。例えば、検出領域402−1の推定された類似性阻害要因は、検出領域402−2を含む検出領域402−1周辺の検出領域の推定された多数の類似性阻害要因と異なる類似性阻害要因を示しているため、信頼性が低いと判断する。類似性阻害要因推定の信頼性が低いと判断した場合、信頼性の低い類似性阻害要因を周辺の多数の類似性阻害要因と置き換えてもよい。図4(c)の場合は、検出領域402−2を含む検出領域402−1周辺の多数の類似性阻害要因は位置ずれであるため、検出領域402−1の類似性阻害要因を位置ずれと置き換えてもよい。
図5は類似性阻害要因に対する例外画像および再補正画像の判定に係るテーブルの一例を示している。類似性阻害要因が位置ずれ、コントラストの低下、S/N悪化の場合は、例外画像領域とせず補正処理を選択し、類似性阻害要因が画像ぼけ、画像ぶれの場合は例外画像領域と判断する。
<ステップS314>
ステップS314において、補正処理部201−9は、ステップ313により決定された類似性阻害要因を除去する補正処理を選択し、基準画像の相当する領域に一致するもしくは近づける補正処理を施す。また、例外画像と判断された領域に対して、画像除去もしくは画像マスク処理を施す、もしくは補正不可とし、画像または検出領域に利用対象外というフラグを立て、画像と関連付けて外部記憶装置205等に保存する。
ステップS314において、補正処理部201−9は、ステップ313により決定された類似性阻害要因を除去する補正処理を選択し、基準画像の相当する領域に一致するもしくは近づける補正処理を施す。また、例外画像と判断された領域に対して、画像除去もしくは画像マスク処理を施す、もしくは補正不可とし、画像または検出領域に利用対象外というフラグを立て、画像と関連付けて外部記憶装置205等に保存する。
図5は類似性阻害要因に対する補正処理の選択に係るテーブルの一例を示している。本実施形態では、図5のように予め決められたテーブルを基に補正処理の選択を行う。例えば、類似性阻害要因が位置ずれの領域は再補正領域と判断し、基準画像の相当する領域と位置および歪みが一致するようレジストレーション処理による補正を実施する。また、類似性阻害要因がコントラスト低下の場合は再補正領域と判断し、基準画像の相当する領域にコントラストが近づくようヒストグラム等を用いた比較をおこないコントラスト補正を実施する。類似性阻害要因がS/N悪化の場合も再補正領域と判断し、S/Nが近づくようSNR等の比較をおこないNR処理を施す。また、例外画像領域と判定された類似性阻害要因が画像ぼけや画像ぶれの領域は、画像除去もしくは画像マスク処理を選択する。例外画像領域と判定された類似性阻害要因が画像ぼけや画像ぶれの以外の領域は、類似性阻害要因は無しと決定され、当該領域には補正処理を行わない。
また、再補正処理は補正する領域と隣り合う補正しない領域とにずれが生じないよう、補正する領域の中心に補正率の重みをおき補正する。それによって、補正する領域と隣り合う補正しない領域とのつなぎ目は補正処理が施されず画像の連続性を保持される。
以上から、AO−SLO画像において、視細胞の形態や密度、血球動態や血管形状を観察、計測する場合に、眼球、眼瞼運動の影響もしくは撮像装置に起因する画像特性の違いによる影響によって、対象組織、細胞、病変の視認や計測が困難な例外画像を抑制することができる。
<ステップS315>
ステップS315は、連続する複数のAO−SLO画像において、未処理のAO−SLO画像の有無を判断する。未処理のAO−SLO画像が有る場合は、ステップS302にてAO−SLO画像を順に選択し、ステップS302〜ステップS315の処理をそれぞれのAO−SLO画像で繰り返し実施する。AO−SLO画像が無い場合は、処理を終了する。
ステップS315は、連続する複数のAO−SLO画像において、未処理のAO−SLO画像の有無を判断する。未処理のAO−SLO画像が有る場合は、ステップS302にてAO−SLO画像を順に選択し、ステップS302〜ステップS315の処理をそれぞれのAO−SLO画像で繰り返し実施する。AO−SLO画像が無い場合は、処理を終了する。
以上のように本実施形態によれば、例外画像領域を最小限に抑えこと、即ち、撮影成功率を高めることができ、血流解析や視細胞解析の解析精度の向上に貢献する。
[実施形態2]
実施形態2は、画像撮像装置によって撮像された連続する複数のAO−SLO画像の類似性を、過去に撮像したAO−SLO画像から選択された基準画像と比較して評価するものであり、類似性の乏しい画像領域の検出方法と補正処理方法を示す実施形態である。
実施形態2は、画像撮像装置によって撮像された連続する複数のAO−SLO画像の類似性を、過去に撮像したAO−SLO画像から選択された基準画像と比較して評価するものであり、類似性の乏しい画像領域の検出方法と補正処理方法を示す実施形態である。
以下、CPU(中央演算処理装置)201を構成する各ブロックの機能について、図3Aの実施形態2に係る処理のフローチャートに示す具体的な実行手順と関連付けて説明する。
<ステップS301>
ステップS301において、画像選択部201−1は、バス213およびLANI/F208を介してデータサーバー212に格納されている複数のAO−SLO画像から類似性の評価の基準となる基準画像を取得する。しかしながら、実施形態1の場合と異なり基準画像は、撮像日時等のAO−SLO画像に付随する情報を基に、前回の撮像日時のAO−SLO画像から自動的に選択する。取得した基準画像はRAM203もしくは外部記憶装置205に一時的に保持する。
ステップS301において、画像選択部201−1は、バス213およびLANI/F208を介してデータサーバー212に格納されている複数のAO−SLO画像から類似性の評価の基準となる基準画像を取得する。しかしながら、実施形態1の場合と異なり基準画像は、撮像日時等のAO−SLO画像に付随する情報を基に、前回の撮像日時のAO−SLO画像から自動的に選択する。取得した基準画像はRAM203もしくは外部記憶装置205に一時的に保持する。
但し、この基準画像の自動選択はこれに限定するものではなく、ユーザーが入力装置209によって、入力I/F205およびバス213を介して画像選択部201−1に指示し、前回の撮像日時のAO−SLO画像から選択しても構わない。
<ステップS302〜ステップS315>
ステップS302〜ステップS315は、実施形態1におけるステップS302〜ステップS315と同処理であり、重複するため詳細な説明を省略する。
ステップS302〜ステップS315は、実施形態1におけるステップS302〜ステップS315と同処理であり、重複するため詳細な説明を省略する。
以上説明の様に本実施形態によれば、過去に撮影した画像(データベース上の画像)と撮影する画像の類似性を評価することで、日時の異なる同部位の撮影精度を高めることができる。
[実施形態3]
実施形態3は、画像撮像装置によって撮像された複数のAO−SLO画像の類似性を画像撮像装置によって撮像された複数のAO−SLO画像から選択された基準画像と、スキャンタイミングに応じた検出領域で比較して評価するものである。即ち、類似性の乏しい画像領域の検出方法と補正処理方法を示す実施形態である。実施形態3に係る図6のCPU(中央演算処理装置)601の機能構成を説明する。
実施形態3は、画像撮像装置によって撮像された複数のAO−SLO画像の類似性を画像撮像装置によって撮像された複数のAO−SLO画像から選択された基準画像と、スキャンタイミングに応じた検出領域で比較して評価するものである。即ち、類似性の乏しい画像領域の検出方法と補正処理方法を示す実施形態である。実施形態3に係る図6のCPU(中央演算処理装置)601の機能構成を説明する。
図6は画像処理装置200の機能構成を示す模式図である。図において、CPU(中央演算処理装置)601は、画像選択部601−1、LPF処理部601−2、検出領域設定部601−3、スキャン情報取得部601−4、画質類似性算出部601−5、周波数類似性算出部601−6、構造類似性算出部601−7、類似性阻害要因推定部601−8、例外画像領域判定部601−9、補正処理部601−10の各部の機能を有する。
以下、CPU(中央演算処理装置)601を構成する各ブロックの機能について、図7の実施形態3に係る処理のフローチャートに示す具体的な実行手順と関連付けて説明する。
<ステップS701>
ステップS701において、画像選択部601−1は、画像撮像装置100からデータ取得部202により取得した連続する複数のAO−SLO画像から、類似性の評価の基準となる基準画像を選択する。
ステップS701において、画像選択部601−1は、画像撮像装置100からデータ取得部202により取得した連続する複数のAO−SLO画像から、類似性の評価の基準となる基準画像を選択する。
ステップS701は、実施形態1のステップ301における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS702>
ステップS702において、画像選択部601−1は、連続する複数のAO−SLO画像から類似性の評価をおこなう対象画像を選択する。
ステップS702において、画像選択部601−1は、連続する複数のAO−SLO画像から類似性の評価をおこなう対象画像を選択する。
ステップS702は、実施形態1のステップ302における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS703>
ステップS703において、LPF処理部601−2は、類似性の評価に不要なランダムノイズを除去するためにLPF(Low−Pass Filter)処理を施す。
ステップS703は、実施形態1のステップ303およびLPF処理部601−2における処理と同処理であり、重複するため詳細な説明を省略する。
ステップS703において、LPF処理部601−2は、類似性の評価に不要なランダムノイズを除去するためにLPF(Low−Pass Filter)処理を施す。
ステップS703は、実施形態1のステップ303およびLPF処理部601−2における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS704>
ステップS704において、検出領域設定部601−3は、ステップS701で取得した基準画像とステップS702で取得した対象画像の被写体の同一位置を撮像している共通領域を算出する。
ステップS704において、検出領域設定部601−3は、ステップS701で取得した基準画像とステップS702で取得した対象画像の被写体の同一位置を撮像している共通領域を算出する。
ステップS704は、実施形態1のステップ304および検出領域設定部201−3における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS705>
ステップS705において、スキャン情報取得部601−4は、ステップS702取得した対象画像に対応するAO−SLO画像撮像時のスキャン方向およびスキャン位置変更タイミング情報を取得する。
ステップS705において、スキャン情報取得部601−4は、ステップS702取得した対象画像に対応するAO−SLO画像撮像時のスキャン方向およびスキャン位置変更タイミング情報を取得する。
<ステップS706>
ステップS706において、検出領域設定部601−3は、ステップS704で算出した共通領域内に検出領域を設定する。検出領域は、ステップS705にて取得したスキャン位置変更タイミング情報を基に設定する。
ステップS706において、検出領域設定部601−3は、ステップS704で算出した共通領域内に検出領域を設定する。検出領域は、ステップS705にて取得したスキャン位置変更タイミング情報を基に設定する。
図8(a)は、ステップS705にて取得したスキャン位置変更タイミング情報の一例を示している。基準画像および対象画像の共通領域800は水平方向にスキャンされており、スキャン位置変更間隔801−1〜801−5毎に追尾のためにスキャン位置変更を変更している。検出領域設定部601−3はそれぞれのスキャン位置変更間隔801−1〜801−5の中心に検出領域の中心が配置されるように検出領域を設定する。
図8(b)は、スキャン位置変更間隔801−1〜801−5の中心に検出領域の中心が配置されるように検出領域を設定する一例を示している。例えば、図8(b)において、検出領域802−1はスキャン位置変更間隔801−3の縦方向の中心803と検出領域802−1の縦方向の中心が一致するようを配置する。図8(b)はスキャン位置変更間隔801−3を水平方向に分割するよう検出領域を設定しているが、ひとつの検出領域を設定しても構わない。
また、それぞれの検出領域のサイズは、スキャン位置変更間隔801−1〜801−5に関係なく設定してもよく、それぞれの検出領域が重なり合って(オーバーラップして)いても構わない。例えば、図8(b)における、検出領域802−1と検出領域802−2のように重なり合って(オーバーラップして)いても構わない。
<ステップS707>
ステップS707において、ステップS703でLPF処理を施した基準画像とステップS703でLPF処理を施した対象画像からステップS706で設定した検出領域に相当する画像を取得する。
ステップS707において、ステップS703でLPF処理を施した基準画像とステップS703でLPF処理を施した対象画像からステップS706で設定した検出領域に相当する画像を取得する。
<ステップS708>
ステップS708において、画質類似性算出部601−5は、ステップS707で取得した検出領域画像に対して画質の類似性を解析する。
ステップS708において、画質類似性算出部601−5は、ステップS707で取得した検出領域画像に対して画質の類似性を解析する。
ステップS708は、実施形態1のステップ307および画質類似性算出部201−4における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS709>
ステップS709において、周波数類似性算出部601−6は、ステップS707で取得した検出領域画像に対して周波数の類似性を解析する。
ステップS709において、周波数類似性算出部601−6は、ステップS707で取得した検出領域画像に対して周波数の類似性を解析する。
ステップS709は、実施形態1のステップ308および周波数類似性算出部201−5における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS710>
ステップS710において、構造類似性算出部601−7は、ステップS707で取得した検出領域画像に対して構造の類似性を解析する。
ステップS710において、構造類似性算出部601−7は、ステップS707で取得した検出領域画像に対して構造の類似性を解析する。
ステップS710は、実施形態1のステップ309および構造類似性算出部201−6における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS711>
ステップS711において、類似性阻害要因推定部601−8は、ステップ708にて算出された画質類似性評価値が予め決められた画質類似判定のための閾値を満たしているかを判断する。また、ステップ709にて算出された周波数類似性評価値が予め決められた周波数類似判定のための閾値を満たしているかを判断する。更に、ステップ710にて算出された構造似性評価値が予め決められた構造類似判定のための閾値を満たしているかを判断する。次に、それぞれの類似性判定に基づいて類似性要因を推定する。
ステップS711において、類似性阻害要因推定部601−8は、ステップ708にて算出された画質類似性評価値が予め決められた画質類似判定のための閾値を満たしているかを判断する。また、ステップ709にて算出された周波数類似性評価値が予め決められた周波数類似判定のための閾値を満たしているかを判断する。更に、ステップ710にて算出された構造似性評価値が予め決められた構造類似判定のための閾値を満たしているかを判断する。次に、それぞれの類似性判定に基づいて類似性要因を推定する。
ステップ711は、実施形態1のステップ310および類似性阻害要因推定部201−7における処理と同処理であり、重複するため詳細な説明を省略する。
<ステップS712>
ステップS712において、CPU601はステップS706にて設定したすべての検出領域の処理を完了したかを判断する。
ステップS712において、CPU601はステップS706にて設定したすべての検出領域の処理を完了したかを判断する。
ステップS712は、実施形態1のステップ311と同処理であり、重複するため詳細な説明を省略する。
<ステップS713>
ステップS713において、類似性阻害要因推定部601−8は、ステップS711にて推定されたそれぞれの検出領域の類似性阻害要因をステップS705にて取得したスキャン方向に基づき、同スキャン方向の検出領域の類似性阻害要因と比較して再検出を判断する。
ステップS713において、類似性阻害要因推定部601−8は、ステップS711にて推定されたそれぞれの検出領域の類似性阻害要因をステップS705にて取得したスキャン方向に基づき、同スキャン方向の検出領域の類似性阻害要因と比較して再検出を判断する。
図8(c)は、基準画像および対象画像の共通領域800内に設定したそれぞれの検出領域ごとの推定された類似性阻害要因の一例を示している。例えば、検出領域802−1の推定された類似性阻害要因は、検出領域802−2を含む検出領域802−1と同スキャン方向の類似性阻害要因と異なる類似性阻害要因を示しているため、検出領域802−1の類似性阻害要因推定の信頼性が低いと判断する。加えて、検出領域802−2を含む検出領域802−1と同スキャン方向の類似性阻害要因は複数の異なる要因と推定されており、の検出領域802−1との関係を判断できないため、再検出と判断してもよい。
再検出と判断された場合は、ステップS806に戻り再検出を実施する。再検出時は、実施形態1のステップ312と同様に検出領域変更し、再検出を実施する。
再検出を繰り返す場合は、実施形態1のステップ312と同条件において再検出を終了し、ステップS714を実施する。
<ステップS714>
ステップS714において、例外画像領域判定部601−9は、ステップS711にて推定されたそれぞれの検出領域の類似性阻害要因に対して、ステップS705にて取得したスキャン方向に基づき、同スキャン方向の検出領域の類似性阻害要因と比較して類似性阻害要因を決定し、例外画像領域を判断する。
ステップS714において、例外画像領域判定部601−9は、ステップS711にて推定されたそれぞれの検出領域の類似性阻害要因に対して、ステップS705にて取得したスキャン方向に基づき、同スキャン方向の検出領域の類似性阻害要因と比較して類似性阻害要因を決定し、例外画像領域を判断する。
図8(d)は、基準画像および対象画像の共通領域800内に設定したそれぞれの検出領域ごとの推定された類似性阻害要因の一例を示している。例えば、検出領域803−1の推定された類似性阻害要因は、検出領域803−2を含む検出領域803−1と同スキャン方向の推定された類似性阻害要因と異なる類似性阻害要因を示している。そのため、検出領域803−1の類似性阻害要因推定の信頼性が低いと判断する。類似性阻害要因推定の信頼性が低いと判断した場合、信頼性の低い類似性要因を同スキャン方向の多数の類似性阻害要因と置き換えてもよい。図8(d)の場合は、検出領域803−2を含む検出領域803−1と同スキャン方向の多数の類似性阻害要因は位置ずれであるため、検出領域803−1の類似性阻害要因を位置ずれと置き換えてもよい。
図5は類似性阻害要因に対する例外画像および再補正画像の判定に係るテーブルの一例を示している。例外画像および再補正画像の判定は、実施形態1のステップ313および例外画像領域判定部201−8と同処理であり、重複するため詳細な説明を省略する。
<ステップS715>
ステップS715において、補正処理部601−10は、ステップS713により再補正画像と判断された領域に対して、類似性阻害要因を除去する補正処理を選択し、基準画像の相当する画像領域に一致するもしくは近づける補正処理を施す。また、例外画像と判断された領域に対しては、画像除去もしくは画像マスク処理を施す、もしくは補正不可とし、画像または検出領域に利用対象外というフラグを立て、画像と関連付けて外部記憶装置205等に保存する。
ステップS715において、補正処理部601−10は、ステップS713により再補正画像と判断された領域に対して、類似性阻害要因を除去する補正処理を選択し、基準画像の相当する画像領域に一致するもしくは近づける補正処理を施す。また、例外画像と判断された領域に対しては、画像除去もしくは画像マスク処理を施す、もしくは補正不可とし、画像または検出領域に利用対象外というフラグを立て、画像と関連付けて外部記憶装置205等に保存する。
ステップS715は、実施形態1のステップ314および補正処理部201−9と同処理であり、重複するため詳細な説明を省略する。
<ステップS716>
ステップS716において、連続する複数のAO−SLO画像において、未処理AO−SLO画像の有無を判断する。未処理のAO−SLO画像が有る場合は、ステップS702にてAO−SLO画像を順に選択し、ステップS702〜ステップ7316の処理をそれぞれのAO−SLO画像で繰り返し実施する。未処理のAO−SLO画像が無い場合は、処理を終了する。
ステップS716において、連続する複数のAO−SLO画像において、未処理AO−SLO画像の有無を判断する。未処理のAO−SLO画像が有る場合は、ステップS702にてAO−SLO画像を順に選択し、ステップS702〜ステップ7316の処理をそれぞれのAO−SLO画像で繰り返し実施する。未処理のAO−SLO画像が無い場合は、処理を終了する。
以上説明のように本実施形態によれば、トラッキング機能を有する撮影装置を用いる際、トラッキングタイミングに検出領域を合わせることで、本実施形態のトラッキングによる影響を抑制することができる。これによって、実施形態1同様の類似性阻害要因の検出を達成し、撮影成功率を高め、血流解析や視細胞解析の解析精度の向上に貢献する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (11)
- 被検眼の眼底画像の類似性を評価する基準となる基準画像および対象画像を選択する画像選択部と、
前記基準画像と前記対象画像の類似性を算出する領域を設定する領域設定部と、
前記基準画像と前記対象画像との類似性評価値を異なる評価方法で算出する算出部と、
前記算出部の算出の結果に基づいて、補正処理を選択する選択部と、
前記選択部にて選択された補正処理を行う処理部とを有することを特徴とする画像処理装置。 - 前記対象画像は連続して撮像された前記被検眼の眼底画像であることを特徴とする請求項1に記載の画像処理装置。
- 前記基準画像は連続して撮像された前記被検眼の眼底画像から選択された眼底画像であることを特徴とする請求項1又は請求項2に記載の画像処理装置。
- 前記算出部は、画質に係る類似性、周波数に係る類似性、構造に係る類似性のうち、複数の類似性を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記画質に係る類似性は、前記基準画像と前記対象画像の輝度レベル、コントラスト、S/Nの少なくともひとつに係る画質から算出されることを特徴とする請求項4に記載の画像処理装置。
- 前記周波数に係る類似性は、前記基準画像と前記対象画像のぼけ、ぶれの相違の少なくともひとつに起因するそれぞれの画像に含まれる周波数ごとの強度の相違から算出されることを特徴とする請求項4又は請求項5に記載の画像処理装置。
- 前記構造に係る類似性は、前記基準画像と前記対象画像の歪み、位置ずれの少なくともひとつに起因するそれぞれの画像の相関の相違から算出されることを特徴とする請求項4乃至請求項6のいずれか1項に記載の画像処理装置。
- 前記選択部は、前記対象画像又は対象画像の検出領域の補正が不要又は不可も判定することを特徴とする請求項1に記載の画像処理装置。
- 前記処理部が補正した画像または前記領域に施した補正処理を、当該画像と関連付けて保存する記憶部を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記不可の画像または検出領域を示すフラグを、当該画像と関連付けて保存する記憶部を更に有することを特徴とする請求項8記載の画像処理装置。
- 被検眼の眼底画像の類似性を評価する基準となる基準画像および対象画像を選択する画像選択工程と、
前記基準画像と前記対象画像の類似性を算出する領域を設定する領域設定工程と、
前記基準画像と前記対象画像との類似性評価値を異なる評価方法で算出する算出工程と、
前記算出工程の算出の結果に基づいて、補正処理を選択する選択工程と、
前記選択工程で選択された補正処理を行う処理工程とを有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016072599A JP2017176716A (ja) | 2016-03-31 | 2016-03-31 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016072599A JP2017176716A (ja) | 2016-03-31 | 2016-03-31 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017176716A true JP2017176716A (ja) | 2017-10-05 |
Family
ID=60003117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016072599A Pending JP2017176716A (ja) | 2016-03-31 | 2016-03-31 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017176716A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041531A (zh) * | 2023-09-04 | 2023-11-10 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
-
2016
- 2016-03-31 JP JP2016072599A patent/JP2017176716A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041531A (zh) * | 2023-09-04 | 2023-11-10 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
CN117041531B (zh) * | 2023-09-04 | 2024-03-15 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11058293B2 (en) | Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium | |
JP5818458B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム | |
JP5539089B2 (ja) | 眼科装置、眼科装置の制御方法及びプログラム | |
US9875541B2 (en) | Enhanced algorithm for the detection of eye motion from fundus images | |
US9613419B2 (en) | Image generating device and image generating method | |
US10939817B2 (en) | Fundus imaging apparatus and imaging method | |
US9082010B2 (en) | Apparatus and a method for processing an image of photoreceptor cells of a fundus of an eye | |
JP7348374B2 (ja) | 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム | |
JP6637743B2 (ja) | 眼科装置 | |
JP6611593B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6995504B2 (ja) | 検査装置の制御方法、制御装置及びプログラム | |
JP7182855B2 (ja) | 光学撮像装置を制御する方法、これを記憶する記憶媒体、コントローラー、及び光学撮像装置 | |
JP2017176716A (ja) | 画像処理装置および画像処理方法 | |
JP6021394B2 (ja) | 撮像方法および撮像装置 | |
US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
US10470652B2 (en) | Information processing apparatus and information processing method | |
JP6001149B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム | |
JP2019018039A (ja) | 眼科装置およびその制御方法 | |
JP2024004792A (ja) | 画像処理方法、画像処理装置、プログラム、及び記録媒体 | |
JP2020171664A (ja) | 画像解析方法及び画像解析装置 |