JP2013154121A - 眼科画像処理装置及びプログラム - Google Patents

眼科画像処理装置及びプログラム Download PDF

Info

Publication number
JP2013154121A
JP2013154121A JP2012019308A JP2012019308A JP2013154121A JP 2013154121 A JP2013154121 A JP 2013154121A JP 2012019308 A JP2012019308 A JP 2012019308A JP 2012019308 A JP2012019308 A JP 2012019308A JP 2013154121 A JP2013154121 A JP 2013154121A
Authority
JP
Japan
Prior art keywords
image
image data
front image
acquired
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012019308A
Other languages
English (en)
Other versions
JP6115007B2 (ja
JP2013154121A5 (ja
Inventor
Tetsuya Kano
徹哉 加納
Norimasa Satake
倫全 佐竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2012019308A priority Critical patent/JP6115007B2/ja
Publication of JP2013154121A publication Critical patent/JP2013154121A/ja
Publication of JP2013154121A5 publication Critical patent/JP2013154121A5/ja
Application granted granted Critical
Publication of JP6115007B2 publication Critical patent/JP6115007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 容易に精度良く撮影画像の位置合わせを行う。
【解決手段】 眼科撮影装置によって取得された第1正面画像の画像データと,第1正面画像と同一の撮影領域に関して第1正面画像と異なるタイミングで取得された第2正面画像の画像データと,を記憶部から取得し、第1正面画像における一部の画像データである第1画像データを第1正面画像の画像データから抽出し、第1正面画像から抽出した第1画像データとは異なる部分の第2画像データを第2正面画像の画像データから抽出し、抽出した各画像データを合成処理することによって、第1正面画像と第2正面画像との位置ずれを確認するための合成正面画像を作成する画像処理部と、画像処理部によって作成された合成正面画像をモニタ上に表示する表示制御部と、を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う。
【選択図】 図2

Description

本発明は、眼科撮影装置によって取得された正面画像を用いて被検眼を観察する眼科観察システム及びプログラムに関する。
眼科用光干渉断層計(OCT:optical coherence tomography)、眼底カメラ、レーザ走査検眼鏡(SLO:scanning laser ophthalmoscope)、等の眼科撮影装置において、異なる日時において同一部位における画像を取得し、撮影画像間の位置合わせを行い、撮影画像間の比較を行う場合がある(特許文献1)。
撮影画像の位置合わせは、例えば、CPUが一方の撮影画像中より血管抽出や部位の分岐点等の特徴部分を検出するとともに、もう一方の撮影画像中で同様の特徴部分を検出する。そして、それらの特徴部分をマッチングすることによって、画像の位置合わせを行っている。
また、撮影画像の位置合わせ後、位置合わせの精度が悪い場合には、撮影画像のずれがどの程度発生しているか確認する場合がある。例えば、撮影画像のずれを確認するために、評価用画像を作成する。従来、評価用画像は、撮影画像全体同士をオーバーレイ(重ね合わせ表示)することや差分表示(一方の撮影画像からもう一方の撮影画像を差し引く)することによって、作成が行われることが多い。そして、検者は作成された評価用画像を目視によって確認することによって、撮影画像のずれを確認する。例えば、オーバーレイすることによって取得された評価用画像を用いる場合、検者は、操作部を操作し、評価画像のいずれかの撮影画像の透明度を変更し、血管等の特徴が撮影画像間で一致しているか確認をすることによって撮影画像のずれを確認する。また、検者によって透明度等を変更しながら、ずれを確認していた。
また、眼科分野では、例えば、緑内障の場合、数年間に亘って経過観察を行う必要があり、長い場合には数十年に亘る場合もありうる。そして、複数年が経過していると、装置の仕様や撮像方式が大きく変更されている場合がありうる。また、共通の装置であっても、バージョンアップされた場合や後継機においては、装置に搭載される機能や所定の画像の取得手段が変更されている場合がありうる。
特開2010−246904号公報
しかしながら、従来では、撮影画像間のずれを確認することが困難であった。例えば、従来では、濃度分布やコントラストが大きく異なる撮影画像が重ね合わされた場合に、互いの濃度分布にて濃度を打ち消し合うことによって、血管の走行状態をぼやけさせてしまい、ずれが発生しているのか確認しづらい場合があった。このため、取得される画像の濃度分布やコントラストが異なっている場合があり、撮影画像間のずれを確認することが困難であった。
本発明は、上記問題点を鑑み、容易に撮影画像間の位置合わせをずれを確認することができる眼科観察システムに関する。
上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。
(1) 眼科撮影装置によって取得された第1正面画像の画像データと,該第1正面画像と同一の撮影領域に関して該第1正面画像と異なるタイミングで取得された第2正面画像の画像データと,を記憶部から取得し、該第1正面画像における一部の画像データである第1画像データを該第1正面画像の画像データから抽出し、該第1正面画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2正面画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1正面画像と該第2正面画像との位置ずれを確認するための合成正面画像を作成する画像処理部と、前記画像処理部によって作成された前記合成正面画像をモニタ上に表示する表示制御部と、を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う。
(2) (1)の眼科画像処理装置において、前記第1画像データと前記第2画像データが静止画データであって、前記画像合成部は、前記合成正面画像中において、前記第1画像データと前記第2画像データが交互に繰り返して配置されるように、該第1画像データと該第2画像データを抽出し、合成処理を行う。
(3) (2)の眼科画像処理装置において、前記画像合成部は、1フレームの前記合成正面画像中において、前記第1画像データと前記第2画像データがチェック柄パターンの表示形式で交互に繰り返して配置されるように、該第1画像データと該第2画像データを抽出し、合成処理を行う。
(4) (1)〜(3)のいずれかの眼科画像処理装置において、画像処理部は、前記第1正面画像の画像データと,前記第2正面画像の画像データとの位置合わせを画像処理により行った後、位置合わせが行われた後の状態における該第1正面画像と該第2正面画像とから前記第1画像データ及び前記第2画像データを抽出し、前記合成正面画像を作成する。
(5) (1)〜(4)のいずれかの眼科画像処理装置において、前記第2正面画像は、前記第1正面画像を取得した眼科撮影装置とは光学系が異なる眼科撮影装置によって取得される。
(6) (1)〜(5)のいずれかの眼科画像処理装置において、前記眼科撮影装置は、被検眼上でレーザ光を走査し、眼からの反射光を共焦点開口を介して受光して正面画像を得るレーザ走査型検眼装置(SLO)、被検眼でOCT測定光を走査し、眼からの反射光と参照光とが合成された光を受光して正面画像を得るOCT撮影装置、被検眼に対して照明光を一体的に照射し、眼からの反射光を二次元撮像素子で受光して正面画像を得る眼底カメラ、のいずれかである。
(7) (1)〜(5)のいずれかの眼科画像処理装置において、眼科撮影装置は、眼底撮影装置であって、前記第1正面画像及び前記第2正面画像の画像データは、眼底撮影装置によって取得された画像データである。
(8) 眼科撮影装置によって取得された第1三次元画像の画像データと,該第1三次元断層画像と同一の撮影領域に関して該第1三次元画像と異なるタイミングで取得された第2三次元画像の画像データと,を記憶部から取得し、該第1三次元画像における一部の画像データである第1画像データを該第1三次元画像の画像データから抽出し、該第1三次元画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2三次元画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1三次元画像と該第2三次元画像との位置ずれを確認するための合成三次元画像を作成する画像処理部と、前記画像処理部によって作成された前記合成三次元画像をモニタ上に表示する表示制御部と、を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う。
(9) 眼科撮影装置によって取得された第1画像の画像データと,該第1画像と同一の撮影領域に関して該第1画像と異なるタイミングで取得された第2画像の画像データと,を記憶部から取得し、該第1画像における一部の画像データである第1画像データを該第1画像の画像データから抽出し、該第1画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1画像と該第2画像との位置ずれを確認するための合成画像を作成する画像処理部と、前記画像処理部によって作成された前記合成画像をモニタ上に表示する表示制御部と、を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う。
(10) 眼科撮影装置によって取得された第1正面画像の画像データと,該第1正面画像と同一の撮影領域に関して該第1正面画像と異なるタイミングで取得された第2正面画像の画像データと,を記憶部から取得し、該第1正面画像における一部の画像データである第1画像データを該第1正面画像の画像データから抽出し、該第1正面画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2正面画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1正面画像と該第2正面画像との位置ずれを確認するための合成正面画像を作成する画像処理工程と、前記画像処理部によって作成された前記合成正面画像をモニタ上に表示する表示制御工程と、をコンピュータに実行させることを特徴とする。
本発明によれば、容易に撮影画像間の位置合わせずれを確認することができる。
本発明に係る装置を実施するための形態を図面に基づいて説明する。図1は、本実施例の眼科画像処理装置に係るシステムの一例について説明する図であり、図2は、眼科画像処理装置の構成について説明するブロック図である。
<概要>
本発明の実施形態に係る眼科画像処理装置の概要について説明する。本実施形態において、眼科画像処理装置1は、操作入力部(操作部)90、モニタ75、表示制御部、画像処理部を有する。制御部(CPU)70は、例えば、表示制御部、画像処理部として用いられる。
制御部70は、眼科撮影装置によって取得された基準正面画像の画像データと,基準正面画像と異なるタイミングで取得された他の正面画像の画像データと,を記憶部(メモリ)72から取得する。
制御部70は、例えば、表示制御部として、基準正面画像と、操作入力部90から入力される操作信号に基づいて基準正面画像上で移動可能なポインタ60をモニタ75上に表示する。
制御部70は、例えば、画像処理部として、基準正面画像20における特徴部分(例えば、基準点a)を基準正面画像20上におけるポインタ60の位置情報に基づいて、検者が選択可能とする。制御部70は、基準正面画像20において選択された特徴部分に対応する特徴部分(例えば、対応点a')を他の正面画像30において画像処理により探索する。制御部70は、基準正面画像における特徴部分の位置座標と、他の正面画像において探索された特徴部分の位置座標とに基づいて、該基準正面画像と該他の正面画像とのマッチング処理を画像処理により行う。マッチング処理では、例えば、基準正面画像と他の正面画像との位置合わせ、位置ずれ方向及び位置ずれ量の検出などが行われる。
これにより、基準正面画像における画像的特徴部分が検者によって確実に選択されると共に、基準正面画像において選択された特徴部分に対応する特徴部分を他の正面画像において制御部70による画像処理により探索し特定される。このため、自動位置合わせが不十分な場合であっても、検者によって選択された基準正面画像での特徴部分を利用して良好な画像間のマッチングをスムーズに行うことができる。
操作部90は、検者によって操作される。操作部90には、例えば、マウス、トラックボール、タッチパネルなどのユーザーインターフェースが用いられる。
モニタ75には複数の正面画像が表示される。モニタ75には、例えば、PCに設けられたディスプレイ、眼科撮影装置に設けられたディスプレイが用いられる。モニタ75は、タッチパネルであってもよい。
なお、操作部90を用いた、基準正面画像上における特徴部分の選択は、ポインタ60による方法に限定されない。基準正面画像上の特徴部分を操作部90から入力される操作信号に基づいて、検者が選択可能としてもよい。例えば、モニタ75がタッチパネルである場合に、検者がモニタ上の特徴部分をタッチすることによって、特徴部分の選択が行われることが考えられる。
記憶部(メモリ)72は、眼科撮影装置によって取得された基準正面画像の画像データと,基準正面画像と異なるタイミングで取得された他の正面画像の画像データと,を記憶する。記憶部(メモリ)72としては、例えば、PCに設けられたハードディスク、外部サーバー、USBメモリ等が用いられる。メモリ72には、例えば、少なくとも1つ以上の眼科撮影装置によって取得された複数の正面画像の画像データが記憶される。複数の正面画像は、例えば、各正面画像が異なるタイミングで取得されている。
眼科撮影装置としては、例えば、レーザ走査型検眼装置(SLO)、光干渉断層計(OCT撮影装置)、眼底カメラ等が考えられる。レーザ走査型検眼装置は、被検眼上でレーザ光を走査し、眼からの反射光を共焦点開口を介して受光して正面画像を得る装置である。OCT撮影装置は、被検眼でOCT測定光を走査し、眼からの反射光と参照光とが合成された光を受光して正面画像を得る装置である。眼底カメラは、被検眼に対して照明光を一体的に照射し、眼からの反射光を二次元撮像素子で受光して正面画像を得る装置である。
検者は、操作部90を操作し、メモリ72に記憶された複数の正面画像の比較を行う。例えば、メモリ72に記憶された複数の正面画像がモニタ75上に表示される。検者は、操作部90を操作し、モニタ75上に表示された複数の正面画像から、位置合わせを行う正面画像を選択する。例えば、検者が2つの正面画像を選択すると、モニタ75上には、2つの正面画像が表示される。このとき、例えば、一方の正面画像を基準正面画像とし、もう一方の正面画像を他の正面画像とする。なお、基準正面画像と他の正面画像を撮影する眼科撮影装置は異なってもよい。
初めに、制御部70は、メモリ72に記憶された複数の正面画像(基準正面画像と他の正面画像)をモニタ75上に表示する。検者は、モニタ75上に表示された基準正面画像20上において、操作部90を操作し、正面画像上の特徴部分(例えば、血管の分岐等に基づく特徴点、乳頭部分を含む画像領域)を指定する。検者によって、特徴部分が選択されると、制御部70は、モニタ75上に表示された基準正面画像20上における特徴部分において、操作部90から入力される操作信号に基づいて、基準正面画像における特徴部分(例えば、基準点a)選択する(図4参照)。
例えば、制御部70は、基準正面画像20上で選択された特徴部分の位置座標と,他の正面画像30上において探索された特徴部分の位置座標とに基づいて、基準正面画像20と他の正面画像30における特徴部分を画像処理によって一致させることにより、基準正面画像20と他の正面画像30との位置合わせを行う。
例えば、制御部70は、基準点aの位置座標と対応点a'の位置座標に基づいて、アフィン変換処理を行い、正面画像間の位置合わせを行う。もちろん、画像処理としては、剛体変換であるアフィン変換ではなく、非剛体変換を用いてもよい。なお、位置合わせの画像処理としては、例えば、正面画像のコントラストを同期させる処理を行ってもよい。
なお、位置合わせを行う際に、より多くの基準点を設定し、位置合わせを行うとより好ましい。制御部70は、基準正面画像20上で選択された複数の特徴部分の位置座標と,他の正面画像30上において探索された複数の特徴部分の位置座標と,に基づいて、基準正面画像20と他の正面画像30とのマッチングを画像処理によって行う。これにより、正面画像間の位置関係(平行移動量、回転角度、倍率等)を算出することが可能となるため、精度良く位置合わせを行うことができる。
特徴部分として、特徴点を用いる場合、制御部70は、例えば、基準正面画像上で指定された複数の基準点の位置座標と,他の正面画像上で複数の基準点に対応する複数の対応点の位置座標と,に基づいて、基準点と対応点が一致又は誤差が最小となるように、基準正面画像と他の正面画像との位置合わせを画像処理によって行う。
特徴部分を探索する場合、制御部70は、基準正面画像20上で選択された特徴部分の位置座標に基づいて、他の正面画像30上において対応する特徴部分をマッチング法にて探索(検出)する。マッチング法としては、例えば、テンプレートマッチングや位相限定相関法が考えられる。
なお、位置合わせを行う正面画像は、複数の正面画像であってもよい。例えば、3枚以上の正面画像の位置合わせを行う場合、基準となる基準正面画像が選択されるとともに、基準正面画像上で基準点が設定されると、その他の複数の正面画像上で基準点に対応する対応点がそれぞれ設定される。そして、それらの情報に基づいて、複数の正面画像の位置合わせを行う。
なお、本実施形態におけるシステムは、自動的に位置合わせを行った後に行うとより好ましい。例えば、制御部70は、検者によって特徴部分が選択される前段階において、基準正面画像20と他の正面画像30との第1のマッチング処理を画像処理によって行う。
制御部70は、第1のマッチング処理後、基準正面画像20における特徴部分を基準正面画像20上におけるポインタ60の位置情報に基づいて選択可能とすると共に、基準正面画像20において選択された特徴部分に対応する特徴部分を他の正面画像30において画像処理により探索し、基準正面画像20における特徴部分の位置座標と、他の正面画像30において探索された特徴部分の位置座標とに基づいて、基準正面画像20と他の正面画像30との第2のマッチング処理を画像処理により行う。
上記手法は、自動的に位置合わせを行った際に位置合わせに失敗した場合(位置合わせ精度が良くない場合、位置合わせができなった場合)に有利である。このように、自動的な位置合わせに失敗したときにのみ、本実施形態のセミオート位置合わせを用いることによって、効率よく位置合わせを行うことができ、また、位置合わせの失敗を少なくすることができる。
以上のようにして、容易に精度良く位置合わせを行うことができる。そして、正面画像間の位置合わせを精度良く行うことによって、異なるタイミングで取得された画像データ間の比較(例えば、経過観察)を精度良く行うことができる。
制御部70は、正面画像同士を直接比較してもよいし、各正面画像に対応するOCT画像データを比較するようにしてもよい。
OCT画像データ間の比較処理は、例えば、解析マップ等を作成し、それを用いることによって行われる。例えば、異なるタイミングで取得された各OCT画像データにおける眼底の層情報に基づいて、層厚に関する二次元分布を示す各層厚マップが作成され、層厚マップ間の差分結果である差分マップが作成される。
なお、マップ(グラフ)化される眼底の層厚の情報としては、深さ方向(Z方向)における眼底の層の厚さに関する情報であればよく、例えば、各層の厚みの他、複数の層の厚さを足し合わせたときの層の厚さであってもよい。例えば、神経線維層の厚み、網膜表面から脈絡膜までの厚み、等が考えられる。
なお、解析マップとしては差分マップに限定されない。眼底上の異常部位の位置を二次元的に示すマップが考えられる。例えば、各位置の層厚を計測し、計測結果が正常眼データベースにおける所定範囲(例えば、正常眼の計測値に対応する正常範囲)内であるかを判定する。すなわち、各層の層厚判定、形状判定、所定部位(例えば、乳頭、黄斑)のサイズ判定等を行い、眼底の眼底の正常/異常等の判定を行う。そして、眼底の眼底の正常/異常部位に関する二次元分布データを検出する構成としてもよい。
層情報の取得は、光干渉断層計によって取得される三次元断層画像から検出を行う必要がある。このため、各正面画像の取得とともに、光干渉断層計によって取得される三次元断層画像を取得しておく必要がある。すなわち、各正面画像の層情報の取得は、各正面画像と対応付けされた三次元断層像を解析することによって行われる。なお、正面画像と三次元断層画像の対応付けは、解析に用いた三次元断層像からOCT正面画像を生成し、生成されたOCT正面画像と正面画像とを重畳させることによって、両データを対応付けして、行われる。
そして、各正面画像間の位置合わせによって、各層情報の比較を行うことができ、解析マップを作成することができる。例えば、基準正面画像は、光干渉断層計によって取得された第1の三次元断層画像に対応付けされている。また、他の正面画像は、光干渉断層計によって取得された第2の三次元断層画像に対応付けされている。制御部70は、基準正面画像と他の正面画像との位置合わせ結果に基づいて、第1の三次元断層画像と第2の三次元断層画像とを対応付ける。これによって、各光干渉断層計の三次元断層画像と正面画像がマッチングされているため、各正面画像と層情報との関連付けが可能となり、各正面画像間の位置合わせによって、各層情報の比較を行うことができる。
以上のようにして、精度良く位置合わせを行った状態で、解析データを取得することによって、誤った解析マップの取得や解析マップの取得失敗を低減させることができる。
なお、本発明は、正面画像間において、一部でも共通の部位が取得されていれば、適用することができる。例えば、複数の正面画像を並べることによって広範囲の正面画像を取得するパノラマ画像に用いることができる。この場合、正面画像のパノラマ合成処理を手動にて行う際の補助ツールとして用いることができる。
なお、位置合わせ終了後、位置合わせ結果確認画面を確認することによって、検者は、正面画像間の位置合わせが精度良く行われたか否かを確認することができる。例えば、検者によって操作部90が操作されることによって、制御部70は、モニタ75上の表示を位置合わせ結果確認画面に移行させる。
位置合わせ結果確認画面において、制御部70は、眼科撮影装置によって取得された基準正面画像(第1正面画像)20の画像データと基準正面画像20と同一の撮影領域に関して基準正面画像20と異なるタイミングで取得された他の正面画像(第2正面画像)の画像データとをメモリ72から取得する。そして、制御部70は、位置合わせを行った基準正面画像20における一部の画像データである第1画像データを基準正面画像の画像データから抽出し、基準正面画像から抽出した画像データとは異なる部分の第2画像データを他の正面画像30の画像データから抽出する。制御部70は、抽出した各画像データを合成処理することによって、基準正面画像20と他の正面画像30との位置ずれを確認するための合成正面画像を作成し、作成した合成正面画像25をモニタ75上に表示する。すなわち、制御部70は、画像処理部として画像の合成処理を行い、表示制御部として合成正面画像25をモニタ75上に表示する(図5参照)。なお、第1画像データ及び第2画像データとしては、例えば、静止画データが用いられる。もちろん、各画像データとしては、動画データ等が用いられてもよい。
なお、合成正面画像25としては、例えば、制御部70は、第1画像データと第2画像データが交互に繰り返して配置されるように、第1画像データと第2画像データを抽出し、合成処理することによって、合成正面画像25を作成することが考えられる。例えば、制御部70は、1フレームの合成正面画像25中において、第1画像データと第2画像データが交互に繰り返して配置されるパターンとして、第1画像データと第2画像データがチェック柄パターンの表示形式で交互に繰り返して配置されるように、第1画像データと第2画像データを抽出し、合成処理を行うことが考えられる。また、第1画像データと第2画像データがボーダーパターン等の表示形式で交互に繰り返して配置されたものが考えられる。チェック柄パターンの表示形式の場合、第1画像データと第2画像データが5×5の分割領域で構成される(図5参照)。なお、分割領域は、その分割数を変更が可能である(例えば、3×4や6×6等)。また、検者が任意に分割数を設定できる構成でもよい。
なお、位置合わせ結果確認画面において、基準正面画像20の画像データと他の正面画像30の画像データとの位置合わせを画像処理により行った後、制御部70は、画像処理によって位置合わせが行われた後の状態における基準正面画像20と他の正面画像30とから第1画像データ及び第2画像データを抽出し、合成正面画像を作成するようにしたがこれに限定されない。位置合わせ終了前の正面画像間を合成して合成正面画像を作成してもよい。この場合、合成正面画像の各画素位置に対応する位置の画像データが各正面画像から抽出され、合成正面画像が作成される。
なお、合成正面画像において、カラー正面画像とグレースケールの正面画像を合成処理する際、どちらか一方の正面画像のカラーを変更して、もう一方のカラーへ変更するようにすると比較が行いやすくなる。例えば、カラーの正面画像をグレースケールの正面画像に変更し、合成処理を行う。
なお、合成正面画像においては、複数の正面画像の合成処理によって作成されてもよい。例えば、3枚以上の正面画像の合成処理を行う場合、3枚以上の正面画像が順に配置されるようにすることが挙げられる。
なお、合成正面画像を形成している複数の正面画像でそれぞれ異なる色にて、色付けを行い、合成正面画像上に表示するようにしてもよい。例えば、合成正面画像において、基準正面画像の画像データの部分には、色付けをしない。また、合成正面画像において、他の正面画像の画像データの部分には、色付けを行う。そして、それぞれの画像データを異なる色にて表示させる。これによって、各画像データのずれが少ない場合等の画像データ間の境界がわかりづらい場合に、各画像データの境界がはっきりと認識できるため、位置合わせの確認が行いやすくなる。
なお、合成画像として、正面画像の合成画像を表示する構成としたがこれに限定されない。三次元断層画像と三次元断層画像とを合成処理して合成三次元断層画像を表示するようにしてもよい。この場合、第1の三次元断層画像の画像データ(斜線部)と第2の三次元断層画像の画像データ(白紙部)が交互に並べて配置される(図7参照)。
<実施例>
図1は、本実施例に係る眼科画像処理装置の一例について説明する図である。本実施例では、眼科画像処理装置1よって、経過観察を行う場合を例に挙げて説明をする。
眼科画像処理装置1は、例えば、画像処理装置10、第1の眼科撮影装置A(撮影装置A)、第2の眼科撮影装置B(撮影装置B)、で構成されている。なお、各装置は、各部はネットワーク(バス、LAN等)を介して接続されており、相互に画像データ等を送受信することが可能である。なお、眼科画像処理装置1は、撮影装置A、撮影装置Bを同時に備える必要は必ずしもなく、長期的な経過観察において、断層像撮影装置が、ある撮影装置から別の撮影装置に変更される構成も含まれる。
撮影装置A、撮影装置Bは、それぞれ断層像撮像光学系(例えば、光断層干渉計(Optical Coherence Tomography:OCT)を有するOCTデバイスである。各OCTデバイスは、光源から出射された光束を測定光と参照光に分割し、測定光束を被検眼眼底に導き、参照光を参照光学系に導いた後、前記眼底から反射された測定光と参照光との干渉状態を検出器により検出する。そして、検出器から出力される受光信号に基づいて画像処理により三次元断層画像を取得する。
なお、本実施形態において、各撮影装置A、Bは、互いに異なる正面撮像光学系を有する。
例えば、撮影装置Aは、光源から発せられた測定光(例えば、赤外光)を眼底上で二次元的に走査させる光スキャナと、眼底と略共役位置に配置された共焦点開口を介して眼底反射光を受光する受光素子を備え、いわゆるレーザ走査型検眼装置(Scanning Laser Opthalmoscope:SLO)の装置構成を持つ。そして、眼底正面像を取得する際、SLOの受光素子から出力される受光信号に基づいて眼底正面像(SLO画像)を取得する。なお、OCTの走査位置とSLO画像取得の際の走査位置は、予め、共通の領域を走査するように設定されている。これにより、SLO画像に対応する位置における、三次元断層画像がOCTによって取得されており、眼底正面像と三次元断層画像がマッチングされている。
撮影装置Bは、眼底正面像を取得する際、OCT正面像撮像光学系を用いて、OCTの干渉信号に基づいて眼底正面像を取得する。例えば、本装置は、測定光を二次元的に走査させ、XY各点について受光素子からの干渉信号のスペクトル強度を積算することによりOCT正面像を得る。なお、眼底正面像は、断層像に基づいて取得されているため、眼底正面像の各位置とOCTによって取得された断層像は対応づけされている。
また、OCTによって取得された3次元データを解析することによって、眼底の所定組織に関する分布状態を含む画像データ(例えば、血管、乳頭、黄斑、等)を画像処理により作成し、作成された画像データを正面像として用いるようにしてもよい。例えば、取得タイミングの異なる層厚マップを取得し、それらの層厚マップの血管に対応する部分を用いて、位置合わせを行うような構成であっても、本実施形態の技術が適用される。
画像処理装置10は、例えば、各撮影装置によって撮影された画像データをネットワークを介して取得し、各画像データ(例えば、三次元断層画像データ、正面画像データ)等)を記憶し、管理する。そして、画像処理装置10は、各装置において、異なる画像取得方法にて、取得された画像の解析を行い、画像の解析結果を表示する(詳細は後述する)。
なお、各撮影装置は、それぞれが取得した画像データをネットワークによって自動的又は手動で転送する。
図2は、画像処理装置10の構成について説明するブロック図である。
図2に示すように、画像処理装置10は、画像処理部(制御部)70、操作部90、表示部(モニタ等)75、記憶部(メモリ)72から構成されている。
制御部70は、各装置から取得される画像データのデータ管理において、制御部70、モニタ75、メモリ72の動作を統括的に制御する。各装置によって取得された画像データは、メモリ72に記憶される(詳細は後述する)。
また、制御部70は、画像解析機能を備えており、メモリ72に記憶された第1画像データと第2画像データとに基づいて演算処理を行う。各画像データが解析され、各画像データの解析後、経過観察のために、画像データ間の比較解析が行われる。比較解析の際には、画像データにおける各正面画像に基づいて各画像データ間の位置合わせが行われ、解析結果が比較される。制御部70は、例えば、眼底上の各位置における層情報を二次元的に示すマップ(以下、層厚マップと記載)等を作成する。
操作部90は、検者によって操作が行われた場合に、検者からの各種指示を取り込むための各種スイッチ、マウス等によって構成されている。
モニタ75は、解析の行われた画像データを表示可能なものである。
メモリ72には、画像データや、各部の動作を制御するための、各種制御プログラム等が記憶されている。メモリ72には、眼科撮影装置によって、取得された正面画像と関連付けられた三次元断層画像とを含む画像データが記憶される。
<制御動作>
図3は、眼科画像処理装置1の制御動作を示すフローチャートである。以下、フローチャートを用いて、より具体的に眼科画像処理装置1の制御動作について説明する。
本実施形態においては、過去に、撮影装置Aによって、眼底撮影が行われ、その眼底正面像が取得されていた場合に、その後、他の装置にて眼底の経過観察をしていく場合を例として、説明していく。
<画像の取得>
初めに、撮影装置A及び撮影装置Bによって、正面画像及び三次元断層画像を含む画像データが取得され、画像処理装置10へ転送される。例えば、撮影装置Aによって、SLOを用いて撮影された被検眼の第1正面画像と、光干渉技術を用いて撮影された被検眼の三次元断層画像であって第1正面画像と関連付けられた第1の三次元断層画像と、を含む第1画像データが取得され、画像処理装置10へ転送される。また、撮影装置Bによって、OCT正面像撮像光学系を用いて撮影された被検眼の第2正面画像と、光干渉技術を用いて撮影された被検眼の三次元断層画像であって第2正面画像と関連付けられた第2の三次元断層画像と、を含む第2画像データが取得され、画像処理装置10へ転送される。画像処理装置10へ転送された各画像データは、メモリ72に記憶される。
<自動による位置合わせ>
次いで、画像処理装置10によって、自動的に正面画像間の位置合わせを行う。画像処理装置10の制御部70は、メモリ72に記憶されている画像データを用いて、撮影画像間の位置合わせ処理を行う。例えば、メモリ72に複数の画像データが記憶されている場合、検者は、操作部90を操作し、複数の画像データから経過観察を行う画像データを選択する。本実施例においては、上記記載の第1画像データと第2画像データが取得されたものとする。
制御部70は、検者によって選択された画像データをメモリ72から呼び出し、位置合わせを行う。位置合わせには、画像データの正面画像が用いられる。制御部70は、検者によって選択された画像データの内、基準となる正面画像を設定し、基準正面画像に対する他の正面画像の位置ずれ量を検出する。なお、本実施例において、第1画像データと第2画像データの内、第1画像データの第1正面画像を基準正面画像とする。
制御部70は、第1正面画像(基準正面画像)と第2正面画像(他の正面画像)との位置ずれ量を検出し、基準正面画像に対して他の正面画像の位置合わせを行う。すなわち、基準正面画像と他の正面画像を比較して、基準正面画像に対する他の正面画像の位置ずれ方向及び位置ずれ量を画像処理により検出する。
ずれ量の検出方法としては、種々の画像処理手法(各種相関関数を用いる方法、フーリエ変換を利用する方法、特徴点のマッチングに基づく方法)を用いることが可能である。
例えば、基準正面画像又は他の正面画像を1画素ずつ位置ずれさせ、基準正面画像と他の正面画像を比較し、両データが最も一致したとき(相関が最も高くなるとき)の両データ間の位置ずれ方向及び位置ずれ量を検出する手法が考えられる。また、所定の基準正面画像及び他の正面画像から共通する特徴点を抽出し、抽出された特徴点の位置ずれ方向及び位置ずれ量を検出する手法が考えられる。
本実施例においては、基準正面画像に対する他の正面画像を1画素単位でずらしながら、相関値(値が大きいほど画像間の相関が高くなる(最大1))を逐次算出する。そして、制御部70は、相関値が最大となるときの画素の偏位量(ずらした画素数)を位置ずれ量とし、また、ずらした方向を位置ずれ方向として検出する。
制御部70は、検出した位置ずれ量及び位置ずれ方向に基づいて、基準正面画像と他の正面画像の位置合わせを行う。正面画像間の位置合わせ終了後、制御部70は、正面画像間の比較を行い、解析マップの取得を行う。
例えば、制御部70は、撮影装置Aと撮影装置Bによって取得された三次元断層画像を解析し、眼底上における層厚を二次元的に示す層厚マップをそれぞれ作成する(詳細は後述する)。このとき、各装置の三次元断層画像と正面画像は、マッチングされているため、正面画像と層厚マップとの関連付けが可能である。これにより、各撮影装置によって取得された層厚マップの位置合わせを行うことができる。制御部70は、撮影装置Aと撮影装置Bにて取得した正面画像において共通の領域において、層厚マップ間の差分結果を示す解析マップ(差分マップ)を作成する。
ここで、正面画像間の撮影位置が極端に異なる場合や正面画像の画質が悪い場合には、位置合わせの精度が悪くなることや位置合わせに失敗することがある。そして、正面画像の比較を行った場合に、解析マップが取得できない場合や異常な結果の解析マップを取得してしまう場合がある。
<セミオート位置合わせ>
以下、上記の自動位置合わせが失敗した場合の位置合わせ処理について説明する。例えば、検者は、取得した解析マップを観察し、解析マップを取得できなかった場合や解析マップの結果が異常であった場合に操作部90を操作することによって、セミオート位置合わせモードにモード切換えを行う。もちろん、制御部70によってモード切換に関する制御動作が行われてもよい。例えば、制御部70は、解析マップが取得できなかった場合又は解析マップが異常な結果を示した場合に、セミオート位置合わせモードにモード切換を行う。また、制御部70は、モード切換を行った方がよい旨をモニタ75上に表示してもよい。
以下、セミオート位置合わせについて説明する。セミオート位置合わせモードにモード切換が行われると、制御部70は、セミオートによって位置合わせを行うためのセミオート位置合わせ画面を表示させる。図4は、モニタ75上に表示されるセミオート位置合わせ画面の一例を示す図である。
モニタ75には、第1正面画像(基準正面画像)20、第2正面画像(他の正面画像)30、ポインタ60が表示される。制御部70は、操作部90の操作信号に基づいて、モニタ75上でポインタ60を移動させる。ポインタ60は、例えば、十字マークやペンマーク等で表示される。
初めに、検者は、操作部90を操作して、基準正面画像20上でポインタ60を移動させ、眼底部位の特徴点(特徴的な部分)を指定する。特徴点としては、血管数が多い部位や血管の分岐地点等が好ましい。検者によって、特徴点が指定されると、制御部70は、特徴点を位置合わせの基準点aして設定する。そして、制御部70は、基準点aに対応する対応点a'を他の正面画像上から探索する。
制御部70は、対応点a'を探索するために、基準正面画像20上に対応点a'を探索するためのテンプレート画像Tを設定する。テンプレート画像Tは、基準点aの位置座標に基づいて、基準点aを中心に所定領域が抽出されることによって設定される。所定領域としては、例えば、予め、画像サイズの5%等に設定される。そして、例えば、制御部70は、他の正面画像上で、設定されたテンプレート画像を1画素単位でずらしながら、相関値(値が大きいほど画像間の相関が高くなる(最大1))を探索する。そして、制御部70は、相関値が最大となるときの位置を判定し、判定結果から対応点a'を設定する。なお、基準点aの位置座標に基づいて、他の正面画像上においても、所定の探索領域を設定し、設定した探索領域内でテンプレート画像の相関値を検出し、対応点a'の設定を行ってもよい。
なお、設定された対応点a'を変更することも可能である。検者は、操作部90を操作し、ポインタ60を他の正面画像上に移動させ、ポインタ60を設定された対応点a'の位置合わせる。そして、検者は、対応点a'の位置でドラックし、移動させることによって、対応点a'を移動させ、調整を対応点a'の位置を調整することができる。
以上にようにして、基準点a及び対応点a'が設定される。検者は、同様にして、複数の基準点を指定する。本実施例においては、3つの基準点が指定されたものとする。基準点及び対応点が設定されると、制御部70は、各基準点の位置座標と各対応点の位置座標に基づいて、各基準点と各対応点が一致又は誤差が最小となるように、他の正面画像30のアフィン変換(平行移動、回転移動、相対倍率変更)が行われる。もちろん、アフィン変換の内いずれかの移動又は変換のみが行われる構成としてもよい。これによって、正面画像間の位置合わせを行うことができる。
なお、位置合わせを開始する設定を設けてもよい。例えば、基準点が所定数設定された場合に、制御部70が位置合わせを開始するようにする。所定数は、例えば、変換処理を行うための、情報が算出できる数にて設定される。本実施例の場合、少なくとも3つ以上の基準点を設定して、位置合わせ処理を行う。
以上のように、セミオート位置合わせによって、特徴量の大きな部位を選択して指定できるため、対応点を設定する際に、誤った対応点を設定する可能性を減少させることができる。また、容易に、基準点として設定された位置と同一の位置を対応点として設定することができ、検者による対応点の選択失敗や検者の手間を省くことができる。このため、容易に精度良く画像間の位置合わせを行うことができる。
<位置合わせ結果の確認>
なお、本実施例において、位置合わせが精度良く行われたか否かを確認する位置合わせ確認モードがある。検者は、操作部90を操作することによって、位置合わせ確認モードにモード切換えを行う。
以下、位置合わせ確認モードについて説明する。位置合わせ確認モードにモード切換が行われると、制御部70は、位置合わせが精度良く行われたか否かを確認するための位置合わせ確認画面を表示させる。図5は、モニタ75上に表示される位置合わせ確認画面の一例を示す図である。
モニタ75には、基準正面画像20、他の正面画像30、ポインタ60、合成正面画像25が表示される。基準正面画像20と他の正面画像30上には、位置合わせの基準として用いられた基準点a1〜a3と対応点a'1〜a'3が表示される。合成正面画像25は、基準正面画像20と他の正面画像30から少なくとも一部の画像データを抽出し、合成処理し作成された画像である。
以下、合成正面画像の作成について説明する。制御部70は、位置合わせが行われた基準正面画像の静止画データと他の正面画像の静止画データが交互に繰り返して配置されるように、基準正面画像と他の正面画像を合成処理する。例えば、交互に繰り返す配置のパターンとしては、基準正面画像20と他の正面画像30が格子状の領域で抽出され、交互に配置されたチェック柄パターンの表示形式がある。
図6は、チェック柄パターンの表示形式である合成正面画像を作成する際の画像データの配置について説明する図である。図6に示されるように、例えば、制御部70は、画像間の位置合わせが完了した正面画像F1と正面画像F2が合成処理され、チェック柄パターンの表示形式である合成正面画像Cを作成する。制御部70は、正面画像F1の静止画データから一部の画像データを抽出し、配置する。また、制御部70は、正面画像F2の静止画データから一部の画像データを抽出し、配置する。このとき、正面画像F1と正面画像F2から抽出される画像データに重複する部分がないように画像データを抽出する。例えば、図6に示されるように、合成正面画像Cを構成する画像データは、正面画像F1の画像データ(斜線部)と正面画像F2の画像データ(白紙部)がチェック柄パターンの表示形式上に交互に並べて配置される。以上のようにして、合成正面画像が作成される。
合成正面画像は、2つの画像データが交互に配置されているため、各正面画像間の位置合わせにずれが生じている場合には、隣り合う画像間で血管の走行位置等がずれて表示される。このため、検者は、合成正面画像25内の隣り合う画像を比較して、血管等の走行状態のずれを観察することによって、合成正面画像25から血位置合わせを行った正面画像間のずれを確認することができる。
なお、画像間のずれを定量的に表示するようにしてもよい。制御部70は、合成正面画像より画像類似度情報を取得し、モニタ75上に表示する。例えば、画像類似度情報は、正規化相互相関や相互情報量等が挙げられる。このようにすることによって、検者は、合成正面画像の目視による観察と定量的な判断を行うことができるため、正面画像間のずれの把握を行いやすくなる。
なお、画像データの配置位置においては、変更が可能である。検者は、操作部90を操作し、スライダーバー35を移動させることによって、チェック柄パターンの表示状態を変更できる。例えば、検者によって、スライダーバー35が左右方向に移動されるに伴って、チェック柄パターンが反転する。この場合、正面画像F1と正面画像F2の画像データの配置位置が逆となる。
なお、画像データを配置した場合には、位置合わせや画像サイズによっては、画像が表示されない部位(スペース)が生じる。この場合、表示されない状態を維持してもよいし、スペースに画像データが補間されるように、相対倍率を変更して、画像データのサイズを調整してもよい。
以下、位置合わせ確認画面上における制御動作について説明する。位置合わせ確認モードにモード切換が行われると、制御部70は、位置合わせに用いた各正面画像から合成正面画像25を作成し、モニタ75上に表示させる。検者は、作成された合成正面画像25を観察し、位置合わせ結果を確認する。このとき、位置合わせ結果が好ましくない場合には、基準正面画像20、他の正面画像30、合成正面画像25のいずれかの画像上でポインタ60を操作して、位置合わせの調整を行う。
例えば、検者が操作部90を操作し、他の正面画像30中の対応点a'1を移動させることによって、制御部70に操作信号が入力される。制御部70は、モニタ75に表示信号を出力することによって、対応点a'1の位置を変更させる。制御部70は、対応点a'1の位置を移動させるとともに、モニタ75に表示されている合成正面画像25上において、他の正面画像30から抽出した画像データに対応する部分の画像を変更する。
他の正面画像30から抽出した画像データに対応する部分の画像を変更について、より具体的に説明する。制御部70は、移動後の対応点a'1と基準点a1との位置座標の関係から、位置合わせをやり直す。すなわち、対応点が変更されると、制御部70は、各基準点の位置座標と各対応点(変更された対応点とその他の対応点)の位置座標に基づいて、他の正面画像のアフィン変換を行い、静止画データをメモリ72に記憶させる。そして、制御部70は、新たに位置合わせ行った後の他の正面画像と基準正面画像とによって、新たな合成正面画像25を作成し、モニタ75上に表示する。これによって、対応点を変更することによって、合成正面画像25中における他の正面画像部分の画像データが変更される。
なお、上記説明においては、対応点の変更によって、合成正面画像の変更を行う構成としたがこれに限定されない。例えば、基準点を変更してもよい。基準点を変更した場合、基準点と対応点の位置情報に基づいて、他の正面画像がアフィン変換され、合成正面画像上での他の正面画像の部分が変更される。もちろん、基準正面画像がアフィン変換される構成としてもよい。また、合成正面画像中の領域をドラックし、移動させることによって、他の正面画像又は基準正面画像を移動させる構成としてもよい。
検者は、合成正面画像を観察しながら、対応点を移動させ、合成正面画像中の画像が一致するように、位置合わせの調整をする。例えば、検者は、合成正面画像中の血管部分等のずれが少なくなるように位置合わせを行う。
以上のように、位置合わせ確認モードによって、位置合わせの確認及び調整を行うことによって、精度良く位置合わせを行うことができる。また、合成正面画像によって、血管等のずれから正面画像間のずれが容易に観察であるため、精度良く位置合わせを行うことができる。
<位置合わせ終了後>
正面画像間の位置合わせ終了後、制御部70は、正面画像間の比較を行い、解析マップの取得を行う。制御部70は、撮影装置Aと撮影装置Bによって取得された三次元断層画像を解析し、眼底上における層厚を二次元的に示す層厚マップをそれぞれ作成する。なお、本実施形態において、位置合わせ終了後に、解析マップを作成する構成としたがこれに限定されない。位置合わせ中に解析マップを作成するようにしてもよい。
以下、層厚マップの作成について説明する。制御部70は、取得された眼底正面画像における眼底の層情報を画像処理により検出する。そして、検出結果は、メモリ72に画像データと共に記憶される。
層を検出する場合、例えば、三次元断層画像の画像データ中のXY平面における断層画像が用いられる。そして、断層画像の輝度レベルが検出され、所定の網膜層(例えば、網膜表面と網膜色素上皮層)に相当する層境界が画像処理により抽出される。そして、層境界の間隔が計測されることにより、層厚が計測される。
そして、制御部70は、各断層画像に関して網膜各層(例えば、網膜表層、網膜色素上皮層)の厚みを算出する。本実施例において、制御部70は、取得された解析結果に基づいて、各断層像の解析結果をグラフィックにて示す層厚マップを作成する。層厚マップは、例えば、眼底の層厚に関する二次元分布データを示す。制御部70は、層厚マップを作成した後、メモリ72に層厚マップを記憶させる。制御部70は、各正面画像の層厚マップを作成する。
以上のようにして、層厚マップが作成されると、制御部70は、層厚マップ間の比較結果を示す差分マップを作成する。もちろん、制御部70は、差分マップを作成することなく、各装置における層厚マップのデータをモニタ75に送信し、表示してもよい。
ここで、各装置の三次元断層画像と正面画像は、マッチングされているため、正面画像と層厚マップとの関連付けが可能である。これにより、各撮影装置によって取得された正面画像の位置合わせを行うことで、層厚マップの位置合わせを行うことができる。制御部70は、撮影装置Aと撮影装置Bにて取得した正面画像において共通の領域において、層厚マップ間の差分結果を示す差分マップを作成する。
以上のように、撮影装置Aと撮影装置Bで、眼底正面画像の取得手段が異なった場合においても、眼底正面像の差分マップを取得することができ、撮影装置間での観察を行うことができる。これによって、前回の観察から複数年経過しており、装置の仕様や測定原理が大きく変更されている場合があっても、眼底の変化を検出することが可能となり、経過観察を行うことができる。
なお、上記のようにして正面画像として利用されたデータは、異なる撮影装置間における走査位置の調整に用いるようにしてもよい。例えば、撮影装置Bは、撮影装置Aで取得されたSLO画像と、三次元断層画像に対応する走査位置情報をメモリ(データベース)から取得する。そして、撮影装置Bによって取得されるOCT正面像とSLO画像との位置ずれを画像処理により検出する。そして、メモリから取得された走査位置情報を,検出された位置ずれによって補正するように光スキャナを制御することにより、同一部位に対する位置合わせを行う。
なお、本実施形態においては、眼科画像処理装置1について、断層像の取得手段においては、各装置とも共通の手段にて取得おり、眼底正面画像の取得手段においては、それぞれ異なった手段にて取得を行っている撮影装置を用いて説明したが、これに限定されない。画像の種類が共通のものを取得する装置であれば適用可能である。例えば、本実施形態で用いたスペクトルメータを用いたスペクトルドメインOCT間だけでの適用でなく、波長可変光源を備えるSwept-source OCT(SS−OCT)やTime-domain OCT(TD−OCT)であってもよい。
この場合、例えば、各三次元断層画像を形成する単位ピクセル当たりの実寸法データ(深さ方向及び横方向)を用いて、第1三次元断層画像と第2三次元断層画像の実寸が同じ大きさになるように、深さ方向に関して倍率が調整されると共に、深さ方向に垂直なXY二次元方向に関して倍率が調整される。
なお、本実施形態においては、眼底正面画像及び眼底断層画像を撮像する眼底撮影装置を例として挙げたがこれに限定されない。例えば、前眼部正面画像及び前眼部断層画像を撮像する前眼部撮影装置においても、本発明は適用可能である。この場合、SLOは、被検眼前眼部上でレーザ光を走査し、前眼部からの反射光を共焦点開口を介して受光して前眼部正面画像を得る。また、OCT正面像撮像光学系では、被検眼前眼部上でOCT測定光を走査し、前眼部からの反射光と参照光とが合成された光を受光して前眼部正面画像を得る。また、眼底カメラ光学系では、被検眼前眼部に対して照明光を一体的に照射し、前眼部からの反射光を二次元撮像素子で受光して前眼部正面画像を得る。
なお、本発明においては、本実施形態に記載した装置に限定されない。例えば、上記実施形態の機能を行う眼科画像処理ソフトウェア(プログラム)をネットワークや各種記憶媒体を介して、システムあるいは装置に供給する。そして、システムあるいは装置のコンピュータ(例えば、CPU等)がプログラムを読み出し、実行することも可能である。
本実施形態に係る眼科画像処理装置の一例について説明する図である。 画像処理装置の構成について説明するブロック図である。 眼科画像処理装置の制御動作を示すフローチャートである。 モニタ上に表示されるセミオート位置合わせ画面の一例を示す図である。 モニタ上に表示される位置合わせ確認画面の一例を示す図である。 チェック柄パターンの表示形式である合成正面画像を作成する際の画像データの配置について説明する図である。 合成三次元断層画像の一例を示す図である。
1 眼科画像処理装置
10 画像処理装置
25 合成正面画像
70 制御部
72 記憶部(メモリ)
75 モニタ
90 操作入力部

Claims (10)

  1. 眼科撮影装置によって取得された第1正面画像の画像データと,該第1正面画像と同一の撮影領域に関して該第1正面画像と異なるタイミングで取得された第2正面画像の画像データと,を記憶部から取得し、
    該第1正面画像における一部の画像データである第1画像データを該第1正面画像の画像データから抽出し、該第1正面画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2正面画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1正面画像と該第2正面画像との位置ずれを確認するための合成正面画像を作成する画像処理部と、
    前記画像処理部によって作成された前記合成正面画像をモニタ上に表示する表示制御部と、
    を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う眼科画像処理装置。
  2. 請求項1の眼科画像処理装置において、
    前記第1画像データと前記第2画像データが静止画データであって、
    前記画像合成部は、前記合成正面画像中において、前記第1画像データと前記第2画像データが交互に繰り返して配置されるように、該第1画像データと該第2画像データを抽出し、合成処理を行う眼科画像処理装置。
  3. 請求項2の眼科画像処理装置において、
    前記画像合成部は、1フレームの前記合成正面画像中において、前記第1画像データと前記第2画像データがチェック柄パターンの表示形式で交互に繰り返して配置されるように、該第1画像データと該第2画像データを抽出し、合成処理を行う眼科画像処理装置。
  4. 請求項1〜3のいずれかの眼科画像処理装置において、
    画像処理部は、前記第1正面画像の画像データと,前記第2正面画像の画像データとの位置合わせを画像処理により行った後、
    位置合わせが行われた後の状態における該第1正面画像と該第2正面画像とから前記第1画像データ及び前記第2画像データを抽出し、前記合成正面画像を作成する眼科画像処理装置。
  5. 請求項1〜4のいずれかの眼科画像処理装置において、
    前記第2正面画像は、前記第1正面画像を取得した眼科撮影装置とは光学系が異なる眼科撮影装置によって取得される眼科画像処理装置。
  6. 請求項1〜5のいずれかの眼科画像処理装置において、
    前記眼科撮影装置は、被検眼上でレーザ光を走査し、眼からの反射光を共焦点開口を介して受光して正面画像を得るレーザ走査型検眼装置(SLO)、被検眼でOCT測定光を走査し、眼からの反射光と参照光とが合成された光を受光して正面画像を得るOCT撮影装置、被検眼に対して照明光を一体的に照射し、眼からの反射光を二次元撮像素子で受光して正面画像を得る眼底カメラ、のいずれかである眼科画像処理装置。
  7. 請求項1〜5のいずれかの眼科画像処理装置において、
    眼科撮影装置は、眼底撮影装置であって、前記第1正面画像及び前記第2正面画像の画像データは、眼底撮影装置によって取得された画像データである眼科画像処理装置。
  8. 眼科撮影装置によって取得された第1三次元画像の画像データと,該第1三次元断層画像と同一の撮影領域に関して該第1三次元画像と異なるタイミングで取得された第2三次元画像の画像データと,を記憶部から取得し、
    該第1三次元画像における一部の画像データである第1画像データを該第1三次元画像の画像データから抽出し、該第1三次元画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2三次元画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1三次元画像と該第2三次元画像との位置ずれを確認するための合成三次元画像を作成する画像処理部と、
    前記画像処理部によって作成された前記合成三次元画像をモニタ上に表示する表示制御部と、
    を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う眼科画像処理装置。
  9. 眼科撮影装置によって取得された第1画像の画像データと,該第1画像と同一の撮影領域に関して該第1画像と異なるタイミングで取得された第2画像の画像データと,を記憶部から取得し、
    該第1画像における一部の画像データである第1画像データを該第1画像の画像データから抽出し、該第1画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1画像と該第2画像との位置ずれを確認するための合成画像を作成する画像処理部と、
    前記画像処理部によって作成された前記合成画像をモニタ上に表示する表示制御部と、
    を有し、眼科撮影装置によって取得された異なる画像データ間の位置合わせを行う眼科画像処理装置。
  10. 眼科撮影装置によって取得された第1正面画像の画像データと,該第1正面画像と同一の撮影領域に関して該第1正面画像と異なるタイミングで取得された第2正面画像の画像データと,を記憶部から取得し、
    該第1正面画像における一部の画像データである第1画像データを該第1正面画像の画像データから抽出し、該第1正面画像から抽出した該第1画像データとは異なる部分の第2画像データを該第2正面画像の画像データから抽出し、抽出した各画像データを合成処理することによって、該第1正面画像と該第2正面画像との位置ずれを確認するための合成正面画像を作成する画像処理工程と、
    前記画像処理部によって作成された前記合成正面画像をモニタ上に表示する表示制御工程と、
    をコンピュータに実行させることを特徴とする眼科画像処理プログラム。
JP2012019308A 2012-01-31 2012-01-31 眼科画像処理装置及びプログラム Active JP6115007B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012019308A JP6115007B2 (ja) 2012-01-31 2012-01-31 眼科画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012019308A JP6115007B2 (ja) 2012-01-31 2012-01-31 眼科画像処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2013154121A true JP2013154121A (ja) 2013-08-15
JP2013154121A5 JP2013154121A5 (ja) 2015-03-12
JP6115007B2 JP6115007B2 (ja) 2017-04-19

Family

ID=49049910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012019308A Active JP6115007B2 (ja) 2012-01-31 2012-01-31 眼科画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6115007B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015029675A1 (ja) * 2013-08-28 2015-03-05 株式会社トプコン 眼科装置
JP2016010658A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム
JP2016010657A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム
EP3001943A1 (en) * 2014-09-30 2016-04-06 Nidek Co., Ltd Ophtalmic apparatus and ophtalmic apparatus control program
JP2016106651A (ja) * 2014-12-02 2016-06-20 株式会社ニデック 光コヒーレンストモグラフィ装置、および速度測定用プログラム
JP2017047127A (ja) * 2015-09-04 2017-03-09 株式会社ニデック Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
JP2017104535A (ja) * 2015-12-02 2017-06-15 株式会社ニデック 眼科情報処理装置、および眼科情報処理プログラムに関する。
JP2017153825A (ja) * 2016-03-03 2017-09-07 株式会社ニデック 眼科画像処理装置、眼科画像処理プログラム
JP2018075444A (ja) * 2018-01-12 2018-05-17 株式会社トプコン 眼科装置
JP2018075443A (ja) * 2018-01-12 2018-05-17 株式会社トプコン 眼科装置
JP2018075229A (ja) * 2016-11-10 2018-05-17 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2019042304A (ja) * 2017-09-05 2019-03-22 株式会社ニデック 眼科用画像処理プログラム
JP2019195636A (ja) * 2018-05-11 2019-11-14 オプトス ピーエルシー Oct網膜画像データレンダリング方法、oct網膜画像データレンダリングプログラムを記憶した記憶媒体、oct網膜画像データレンダリングプログラム及びoct網膜画像データレンダリング装置
JP2021007665A (ja) * 2019-07-02 2021-01-28 株式会社トプコン 光コヒーレンストモグラフィ(oct)データ処理方法、oct装置、その制御方法、octデータ処理装置、その制御方法、プログラム、及び、記録媒体
US11071452B2 (en) 2014-06-30 2021-07-27 Nidek Co., Ltd. Optical coherence tomography device, optical coherence tomography calculation method, and optical coherence tomography calculation program
US11849996B2 (en) 2019-07-02 2023-12-26 Topcon Corporation Method of processing optical coherence tomography (OCT) data, method of OCT imaging, and OCT data processing apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357081A (ja) * 1989-07-26 1991-03-12 Canon Inc 画像処理装置
JPH04327831A (ja) * 1991-04-30 1992-11-17 Topcon Corp 眼科用画像処理装置
JP2001307065A (ja) * 2000-04-21 2001-11-02 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2010110392A (ja) * 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
JP2011087672A (ja) * 2009-10-21 2011-05-06 Topcon Corp 眼底画像処理装置及び眼底観察装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357081A (ja) * 1989-07-26 1991-03-12 Canon Inc 画像処理装置
JPH04327831A (ja) * 1991-04-30 1992-11-17 Topcon Corp 眼科用画像処理装置
JP2001307065A (ja) * 2000-04-21 2001-11-02 Mitsubishi Electric Corp 画像処理装置及び画像処理方法
JP2010110392A (ja) * 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
JP2011087672A (ja) * 2009-10-21 2011-05-06 Topcon Corp 眼底画像処理装置及び眼底観察装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9498116B2 (en) 2013-08-28 2016-11-22 Kabushiki Kaisha Topcon Ophthalmologic apparatus
JP2015043898A (ja) * 2013-08-28 2015-03-12 株式会社トプコン 眼科装置
WO2015029675A1 (ja) * 2013-08-28 2015-03-05 株式会社トプコン 眼科装置
JP2016010657A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム
JP2016010658A (ja) * 2014-06-30 2016-01-21 株式会社ニデック 光コヒーレンストモグラフィ装置、光コヒーレンストモグラフィ演算方法及び光コヒーレンストモグラフィ演算プログラム
US11071452B2 (en) 2014-06-30 2021-07-27 Nidek Co., Ltd. Optical coherence tomography device, optical coherence tomography calculation method, and optical coherence tomography calculation program
EP3001943A1 (en) * 2014-09-30 2016-04-06 Nidek Co., Ltd Ophtalmic apparatus and ophtalmic apparatus control program
JP2016106651A (ja) * 2014-12-02 2016-06-20 株式会社ニデック 光コヒーレンストモグラフィ装置、および速度測定用プログラム
JP2017047127A (ja) * 2015-09-04 2017-03-09 株式会社ニデック Octモーションコントラストデータ解析装置、octモーションコントラストデータ解析プログラム。
JP2017104535A (ja) * 2015-12-02 2017-06-15 株式会社ニデック 眼科情報処理装置、および眼科情報処理プログラムに関する。
JP2017153825A (ja) * 2016-03-03 2017-09-07 株式会社ニデック 眼科画像処理装置、眼科画像処理プログラム
JP2018075229A (ja) * 2016-11-10 2018-05-17 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2019042304A (ja) * 2017-09-05 2019-03-22 株式会社ニデック 眼科用画像処理プログラム
JP2018075444A (ja) * 2018-01-12 2018-05-17 株式会社トプコン 眼科装置
JP2018075443A (ja) * 2018-01-12 2018-05-17 株式会社トプコン 眼科装置
JP2019195636A (ja) * 2018-05-11 2019-11-14 オプトス ピーエルシー Oct網膜画像データレンダリング方法、oct網膜画像データレンダリングプログラムを記憶した記憶媒体、oct網膜画像データレンダリングプログラム及びoct網膜画像データレンダリング装置
US10929963B2 (en) 2018-05-11 2021-02-23 Optos Plc OCT image processing
JP2022033344A (ja) * 2018-05-11 2022-02-28 オプトス ピーエルシー Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置
JP2021007665A (ja) * 2019-07-02 2021-01-28 株式会社トプコン 光コヒーレンストモグラフィ(oct)データ処理方法、oct装置、その制御方法、octデータ処理装置、その制御方法、プログラム、及び、記録媒体
US11849996B2 (en) 2019-07-02 2023-12-26 Topcon Corporation Method of processing optical coherence tomography (OCT) data, method of OCT imaging, and OCT data processing apparatus

Also Published As

Publication number Publication date
JP6115007B2 (ja) 2017-04-19

Similar Documents

Publication Publication Date Title
JP6115007B2 (ja) 眼科画像処理装置及びプログラム
JP5975126B2 (ja) 眼底観察装置及び眼底観察プログラム
US9687148B2 (en) Photographing apparatus and photographing method
JP5998493B2 (ja) 眼科画像処理装置及びプログラム
JP5735790B2 (ja) 眼科撮影装置
JP6217185B2 (ja) 眼科撮影装置及び眼科画像処理プログラム
JP5601609B2 (ja) 眼科観察プログラム及び眼科観察装置
JP6115073B2 (ja) 眼科撮影装置及び眼科撮影プログラム
EP2786698A1 (en) Ophthalmologic apparatus
US9615734B2 (en) Ophthalmologic apparatus
EP2420181A1 (en) Eyeground observation device
JP5767014B2 (ja) 眼科観察システム及び画像処理方法
JP6184232B2 (ja) 画像処理装置及び画像処理方法
JP6572615B2 (ja) 眼底画像処理装置、および眼底画像処理プログラム
JP6202924B2 (ja) 撮影装置及び撮影方法
JP5242472B2 (ja) 眼科観察装置
US9486134B2 (en) Ophthalmologic imaging apparatus and ophthalmologic image processing apparatus
JP6471593B2 (ja) Oct信号処理装置、およびoct信号処理プログラム
JP2013180127A (ja) 眼科撮影装置
US10679343B2 (en) Ophthalmic image processing apparatus and ophthalmic image processing program
JP2019042376A (ja) 画像処理装置、画像処理方法およびプログラム
JP6260733B2 (ja) 眼科撮影装置及び眼科撮影プログラム
JP6437055B2 (ja) 画像処理装置及び画像処理方法
JP6766378B2 (ja) 眼科画像処理装置、眼科画像処理プログラム
JP7086708B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170306

R150 Certificate of patent or registration of utility model

Ref document number: 6115007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250