JP2019000728A - 眼底画像処理装置及び眼底画像処理方法、撮影システム - Google Patents
眼底画像処理装置及び眼底画像処理方法、撮影システム Download PDFInfo
- Publication number
- JP2019000728A JP2019000728A JP2018192807A JP2018192807A JP2019000728A JP 2019000728 A JP2019000728 A JP 2019000728A JP 2018192807 A JP2018192807 A JP 2018192807A JP 2018192807 A JP2018192807 A JP 2018192807A JP 2019000728 A JP2019000728 A JP 2019000728A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- moving images
- wide
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
眼底の複数の撮影範囲を撮影して得られた複数の動画像を取得する画像取得手段と、
前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データを取得する時相データ取得手段と、
前記複数の動画像それぞれの少なくとも1フレームを表示する表示手段と、
前記表示手段による前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる同期手段と、
前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する判定手段と、を備え、
前記同期手段は、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択する。
第1実施形態に係る画像表示装置は、撮影位置の異なる複数のSLO動画像を、広画角画像上の撮影位置情報に基づいた位置に、脈波データに基づいて同期表示する。また、この同期表示は、複数のSLO動画像群において固視ずれや瞬目、収差補正不良による影響を略同一にした上で行われる。
・時相データ取得装置30が取得する時相データPiのある位相に合わせて画像取得部110がSLO動画像Diを取得開始する、或いは、
・SLO動画像Diの取得要求後直ちに脈波データPiとSLO動画像Diの取得を同時に開始する、などの手順が考えられる。本実施形態ではSLO動画像Diの取得要求後直ちに時相データPiとSLO動画像Diの取得を開始するものとする。
<ステップS470> 指示取得部150は画像表示装置10によるSLO動画像の表示処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やポインティングデバイス307を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはステップS410に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
<ステップS620> 同期部143は、例外フレーム判定部142がステップS420にて判定したSLO動画像Diの例外フレーム番号系列を取得する。
<ステップS630> 画像選択部1432はSLO動画像Diから、例外フレームができるだけ少なくなるように、表示部144において表示させるフレーム番号系列を選択する。
・Hi<Hrの場合には前後のフレームを補間処理することにより生成したフレームを内挿し、
・Hi>Hrの場合にはフレームを削減する、
処理を行なうことにより、拍動周期Hiが基準周期Hrと略同一となるように調整する。
第1実施形態では、SLO動画像Diを固視標位置Fiに基づいて広画角画像W上に配置した。第2実施形態では、位置合わせ部145(図8)により得られた位置合わせパラメータに基づいてSLO動画像を広画角画像W上により正確に配置する構成を説明する。
(i)SLO動画像Diにおけるフレーム間位置合わせ、
(ii)広画角画像WとSLO動画像Diとの位置合わせ、
を行う。以下、図10(a)に示すフローチャートを参照してステップS920で実行される処理についてより詳細に説明する。
<ステップS1011> 例外フレーム判定部142は、SLO動画像Diの各フレームについて単独フレームでの例外フレーム判定を行う。本実施形態においては、例外フレーム判定部142が各フレームの平均輝度値Aij及びS/N比SNjを算出し、Aijが閾値T2以下、もしくはS/N比SNjがT4以下であれば輝度異常もしくは低画質であるとみなして例外フレームと判定する。
<ステップS1021> 位置合わせ部145は、記憶部130からSLO動画像Diの撮影時に用いた固視標位置Fiを取得し、広画角画像WとSLO動画像Diとの位置合わせにおける位置合わせパラメータの探索初期点とする。本実施形態においては、位置合わせパラメータとして並進(x及びy)・回転θ・拡大率sを求める。該パラメータの初期値として、
(x0,y0,θ0,s0)
=(Fiのx成分、Fiのy成分、0、(広画角画像の画素サイズ/動画像Diの画素サイズ))
を設定する。
・SLO動画像Diの各フレームもしくは広画角画像Wにおいて観察対象の画像特徴(病変や中心窩などの部位、血管の分岐などの特徴点)を検出し、
・該画像特徴の位置が最も精密に合うようにSLO動画像Diのフレーム間もしくは広画角画像WとSLO動画像Diとの間で位置合わせを行う、ようにしても良い。
・ステップS920では、広画角画像Wを含めた全ての動画像のフレーム間位置合わせを行い、
・ステップS930では、第1実施形態で述べたような同期処理を行い、
・広画角画像WのフレームjとSLO動画像Diの対応するフレームDijとの間で画像間類似度が最大となる位置合わせパラメータの組み合わせを求め、これを広画角画像Wの各フレームについて行ない広画角画像W上の相対位置を決定する、ようにしても良い。
第3実施形態では、第2実施形態の構成に加えて、表示部144が撮影位置の異なるSLO動画像Di間、及び/または、広画角画像WとSLO動画像Diとの間、で輝度調整を行うように構成したものである。これにより、撮影位置の異なるSLO動画像Di間あるいはSLO動画像Diと広画角画像Wとの間で位置関係や表示タイミングだけでなく輝度特性も調整されるので、観察者はより血管形状変化や血球動態を比較観察しやすくなる。
・詳しく比較観察したい対象物の位置または範囲をユーザがポインティングデバイスを用いて(たとえば、マウスクリックにより)指定する、
・該指定した位置または範囲を、指示取得部150を通じて画像間表示調整部1441が取得し、両位置の近傍における輝度特性(輝度平均及び輝度分散)が一致するようにSLO動画像D1とSLO動画像D2の輝度値を調整する。
第4実施形態では、第3実施形態の機能構成(図11)に、更に背景画像生成部1442(図14)が追加されている。背景画像生成部1442は、動画として得られた広画角画像Wの重ね合わせを行って高画質な背景画像を生成したり、撮影位置の異なるSLO動画像Diと位置や輝度が合うように広画角画像Wから代表フレームを選択したりするように構成したものである。これにより、SLO動画像により適した広画角画像Wを生成することができ、撮影位置が異なるSLO動画像Di間の血管形状変化や血球動態をより比較観察しやすくすることができる。
・同期処理によって選択された広画角画像Wの各フレームWfと、各SLO動画像Diの同期処理によって選択された全フレームとの間で画像類似度(たとえば輝度特性の類似度)の総和Σfを求め、
・この総和Σfが最大となるフレーム番号の広画角画像フレームWfを背景画像(代表フレーム)として選択する。
・広画角画像Wの複数フレームの重ね合わせを行うことでより高画質な背景画像を生成して広画角画像として表示する、あるいは、
・広画角画像Wの複数フレームの中から、撮影位置の異なるSLO動画像Diと位置や輝度が合うように代表フレームを選択し、これを広画角画像として表示する。これにより、撮影位置が異なるSLO動画像Di間の血管形状変化や血球動態を比較観察しやすくする。
上述の実施形態では、複数の動画像を同期再生することとしたが、これに限らず各動画像から対応する1フレームをそれぞれ取得し表示することとしてもよい。ユーザの指示に応じてフレーム画像のコマ送りをさせるように画像処理装置10が表示部144を制御することとすれば、時相の合った各フレーム画像をユーザが比較しやすくなる。
すなわち、
眼底の広画角画像と、前記広画角画像の部分領域の画像であり前記広画角画像の解像度より高い解像度の高解像度画像を取得する画像取得手段と、
前記高解像度画像に対応する前記広画角画像の部分領域に前記高解像度画像を合成し、合成した合成画像を表示する表示制御手段とを有する。
Claims (14)
- 眼底の複数の撮影範囲を撮影して得られた複数の動画像を取得する画像取得手段と、
前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データを取得する時相データ取得手段と、
前記複数の動画像それぞれの少なくとも1フレームを表示する表示手段と、
前記表示手段による前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる同期手段と、
前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する判定手段と、を備え、
前記同期手段は、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択することを特徴とする画像表示装置。 - 前記複数の動画像間での輝度調整を行う調整手段を更に有し、
前記表示手段が、前記調整手段により輝度調整された前記複数の動画像を表示することを特徴とする請求項1に記載の画像表示装置。 - 前記同期手段は、前記複数の動画像にわたって前記時相データの時相が共通し、前記例外フレームの数が所定数以下である区間から、前記再生すべき区間を選択することを特徴とする請求項1または2に記載の画像表示装置。
- 前記画像特徴は、輝度、画像歪み量、信号対雑音比、フレーム間移動量の少なくとも何れかであることを特徴とする請求項1乃至3のいずれか1項に記載の画像表示装置。
- 前記複数の動画像の各々において、各フレームの画像特徴を用いてフレーム間の位置を合わせる位置合わせ手段をさらに備え、
前記判定手段は、前記位置合わせの前にはフレーム単独の画像特徴に基づいて前記例外フレームを判定し、前記位置合わせの後には他のフレームとの差異に関連した画像特徴に基づいて前記例外フレームを判定することを特徴とする請求項1乃至4のいずれか1項に記載の画像表示装置。 - 前記判定手段は、前記位置合わせに用いられた画像特徴を用いて前記例外フレームを判定することを特徴とする請求項5に記載の画像表示装置。
- 前記同期手段は、前記再生すべき区間において前記時相データの一周期あたりのフレーム数の差が前記複数の動画像間で所定の範囲に収まるように、フレームを内挿して追加する、もしくはフレームを削減することを特徴とする請求項1乃至6のいずれか1項に記載の画像表示装置。
- 画像取得手段が、前記眼底の前記複数の撮影範囲を含む範囲を撮影して得られた広画角画像を更に取得し、
前記表示手段が、前記複数の動画像それぞれの少なくとも1フレームを、前記広画角画像上の、前記複数の撮影範囲の位置に関する情報に基づいて決定される位置に重畳して表示することを特徴とする請求項2に記載の画像表示装置。 - 前記表示手段は、動画像である広画角画像の前記再生すべき区間のフレームの中から、前記複数の動画像との画像類似度が最も高いフレームを選択し、該選択されたフレームを前記複数の動画像が重畳される広画角画像として表示することを特徴とする請求項8に記載の画像表示装置。
- 前記表示手段は、前記複数の動画像から抽出した特定の領域のみを前記広画角画像上に重畳して表示することを特徴とする請求項8に記載の画像表示装置。
- 前記複数の動画像及び前記広画角画像は、収差補正デバイスを有する走査型レーザ検眼鏡により得られた眼底の画像であり、
前記複数の動画像は、前記収差補正デバイスにより収差補正をして得られた画像であり、前記広画角画像は前記収差補正デバイスによる収差補正をせずに得られた画像であることを特徴とする請求項8乃至10のいずれか1項に記載の画像表示装置。 - 請求項1乃至11のいずれか1項に記載の画像表示装置と、
前記複数の動画像を撮影するための、収差補正デバイスを有する走査型レーザ検眼鏡と、を備えることを特徴とする撮影システム。 - 画像表示装置による画像表示方法であって、
画像取得手段が、眼底の複数の撮影範囲を撮影して得られた複数の動画像と、前記複数の動画像のそれぞれの撮影時の生体信号に基づく時相データとを取得する工程と、
表示手段が、前記複数の動画像それぞれの少なくとも1フレームを表示する工程と、
同期手段が、前記表示する工程における前記複数の動画像の表示タイミングを前記時相データに基づいて同期させる工程と、
判定手段が、前記複数の動画像の各々において、複数のフレームのそれぞれの画像特徴に基づいて、前記複数のフレームから例外フレームを判定する工程と、を有し、
前記同期させる工程では、前記例外フレームの表示が制限されるように前記複数の動画像から同期して再生すべき区間を選択することを特徴とする画像表示方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の画像表示装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192807A JP2019000728A (ja) | 2018-10-11 | 2018-10-11 | 眼底画像処理装置及び眼底画像処理方法、撮影システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192807A JP2019000728A (ja) | 2018-10-11 | 2018-10-11 | 眼底画像処理装置及び眼底画像処理方法、撮影システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017053105A Division JP6420859B2 (ja) | 2017-03-17 | 2017-03-17 | 画像表示装置及び画像表示方法、撮影システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019000728A true JP2019000728A (ja) | 2019-01-10 |
Family
ID=65007245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192807A Pending JP2019000728A (ja) | 2018-10-11 | 2018-10-11 | 眼底画像処理装置及び眼底画像処理方法、撮影システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019000728A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084753A1 (ja) * | 2022-10-19 | 2024-04-25 | 株式会社ナノルクス | 眼観察装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11123178A (ja) * | 1997-08-06 | 1999-05-11 | Carl Zeiss Jena Gmbh | レーザ走査オフサルモスコープ |
JP2000023921A (ja) * | 1998-07-13 | 2000-01-25 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像合成方法および眼底画像合成装置ならびに記録媒体 |
JP2000244905A (ja) * | 1999-02-22 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像観察システム |
JP2003175004A (ja) * | 2001-12-10 | 2003-06-24 | Topcon Corp | 眼科撮影装置 |
JP2007275323A (ja) * | 2006-04-07 | 2007-10-25 | Topcon Corp | 眼科撮影装置 |
US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
JP2010259543A (ja) * | 2009-04-30 | 2010-11-18 | Nidek Co Ltd | 眼底撮影装置 |
-
2018
- 2018-10-11 JP JP2018192807A patent/JP2019000728A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11123178A (ja) * | 1997-08-06 | 1999-05-11 | Carl Zeiss Jena Gmbh | レーザ走査オフサルモスコープ |
JP2000023921A (ja) * | 1998-07-13 | 2000-01-25 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像合成方法および眼底画像合成装置ならびに記録媒体 |
JP2000244905A (ja) * | 1999-02-22 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像観察システム |
JP2003175004A (ja) * | 2001-12-10 | 2003-06-24 | Topcon Corp | 眼科撮影装置 |
JP2007275323A (ja) * | 2006-04-07 | 2007-10-25 | Topcon Corp | 眼科撮影装置 |
US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
JP2010259543A (ja) * | 2009-04-30 | 2010-11-18 | Nidek Co Ltd | 眼底撮影装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084753A1 (ja) * | 2022-10-19 | 2024-04-25 | 株式会社ナノルクス | 眼観察装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6114495B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
JP6101048B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5947561B2 (ja) | 画像形成装置及び画像形成方法 | |
JP6200168B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6198410B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6092659B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2013169296A (ja) | 画像処理装置及び画像処理方法 | |
JP2020089768A (ja) | 画像処理装置及び画像処理方法 | |
JP6516597B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2019000728A (ja) | 眼底画像処理装置及び眼底画像処理方法、撮影システム | |
JP6420859B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
JP6590513B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6602043B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP2017136205A (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP2018164814A (ja) | 画像処理装置及び画像処理装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200110 |