JP2023048318A - 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 - Google Patents
走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2023048318A JP2023048318A JP2021157561A JP2021157561A JP2023048318A JP 2023048318 A JP2023048318 A JP 2023048318A JP 2021157561 A JP2021157561 A JP 2021157561A JP 2021157561 A JP2021157561 A JP 2021157561A JP 2023048318 A JP2023048318 A JP 2023048318A
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- image
- unit
- correlation coefficient
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 128
- 230000010365 information processing Effects 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 145
- 238000012545 processing Methods 0.000 claims description 207
- 238000004364 calculation method Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 123
- 230000033001 locomotion Effects 0.000 description 67
- 238000012014 optical coherence tomography Methods 0.000 description 67
- 238000012937 correction Methods 0.000 description 56
- 239000002131 composite material Substances 0.000 description 31
- 238000005259 measurement Methods 0.000 description 30
- 238000010276 construction Methods 0.000 description 25
- 210000004220 fundus oculi Anatomy 0.000 description 22
- 239000000523 sample Substances 0.000 description 22
- 238000005314 correlation function Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 19
- 230000001276 controlling effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 14
- 239000013307 optical fiber Substances 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 8
- 238000002583 angiography Methods 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 230000002207 retinal effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013213 extrapolation Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004323 axial length Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000004330 high hyperopia Effects 0.000 description 1
- 208000010073 high hyperopia Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体に関する。
イメージング技術の1つに走査型イメージングがある。走査型イメージングとは、サンプルの複数の箇所に順次にビームを照射してデータを収集し、収集されたデータからサンプルの像を構築する技術である。走査型イメージングの手法には、例えば、投影像がスポット状のビームを用いるスポット型の走査手法、投影像がライン状のビームを用いるライン型の走査手法、及び、投影像がエリア状のビームを用いるエリア型の走査手法などがあり、これらの手法の代表的な例として、それぞれ、フーリエドメイン型の光コヒーレンストモグラフィ(OCT;光干渉断層撮影法)、ラインスキャンカメラ、及び、フルフィールド型のOCTがある。
光を利用した走査型イメージングモダリティの例としてOCTが知られている。OCTは、光散乱媒質をマイクロメートルレベル又はそれ以下の分解能で画像化することが可能な技術であり、医用イメージングや非破壊検査などに応用されている。
OCTは、低コヒーレンス干渉法に基づく技術である。医用イメージングでは、深達性や侵襲性を考慮し、近赤外領域のプローブ光(測定光)が利用されている。なお、近赤外光以外の波長帯の光(電磁波)や超音波や放射線を利用した走査型イメージングも知られている。
OCTの応用が最も進んでいる分野として眼科分野があり、フーリエドメインOCT機能を搭載した製品がクリニックにまで普及している。眼科画像診断では、2次元的なイメージングだけでなく、3次元的なイメージング・構造解析・機能解析なども実用化されており、診断の強力なツールとして広く利用されるに至っている。また、眼科分野では、走査型レーザー検眼鏡(SLO)、ラインスキャンカメラ、フルフィールドOCTなど、フーリエドメインOCT以外の走査型イメージングも利用されている。
OCTやSLOで利用される走査モードには様々なものがあるが、モーションアーティファクト補正などを目的とした所謂「リサジュー(Lissajous)スキャン」が近年注目を集めている(例えば、特許文献1~4、非特許文献1及び2を参照)。
リサジュースキャンは、互いに直交する2つの単振動を合成して得られるリサジュー曲線として生成される2次元パターンにしたがって実行されるスキャンである。リサジュースキャンでは、或る程度の大きさを持つ複数のループ(互いに交差する複数のサイクル)を描くように測定光を高速走査するため、1つのサイクルからのデータ取得時間の差を実質的に無視することができる。また、異なるサイクルの交差領域を参照してサイクル間の位置合わせを行えるため、サンプルの動きに起因するモーションアーティファクトを補正することが可能である。このようなリサジュースキャンの特徴に着目し、眼科分野では眼球運動に起因するモーションアーティファクトへの対処を図っている。
非特許文献1に記載された技術においては、リサジュースキャンで収集されたデータセットを比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。このような正面プロジェクション画像はストリップと呼ばれる。これらストリップの間のレジストレーションを行うことでモーションアーティファクトが補正された画像が得られる。
Yiwei Chen, Young-Joo Hong, Shuichi Makita, and Yoshiaki Yasuno, "Three-dimensional eye motion correction by Lissajous scan optical coherence tomography", Biomedical Optics EXPRESS, Vol. 8, No. 3, 1 Mar 2017, PP. 1783-1802
Yiwei Chen, Young-Joo Hong, Shuichi Makita, and Yoshiaki Yasuno, "Eye-motion-corrected optical coherence tomography angiography using Lissajous scanning", Biomedical Optics EXPRESS, Vol. 9, No. 3, 1 Mar 2018, PP. 1111-1129
この発明の1つの目的は、走査型イメージングで取得されたデータの新規な利用法を提供することにある。
実施形態の例示的な態様は、光走査を用いて画像データを構築する走査型イメージング装置である。この走査型イメージング装置は、データセット収集部と、相関係数算出部と、情報記録部とを含んでいる。データセット収集部は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集するように構成されている。相関係数算出部は、データセット収集部により収集されたデータセットに基づいてサイクル間の相関係数を算出するように構成されている。情報記録部は、データセット収集部により収集されたデータセットから相関係数算出部によって算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録するように構成されている。
実施形態の例示的な態様によれば、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。
実施形態の幾つかの例示的な態様について図面を参照しながら説明する。以下に説明される例示的な態様は、走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体に関するものであるが、実施形態はこれらの態様に限定されない。
また、以下に説明される例示的な態様では眼科分野への幾つかの応用を提供するが、実施形態はこれらの態様に限定されず、例えば、眼科以外の診療科への応用や、診断方法などの医学的方法への応用や、医療分野以外の分野(生物学、非破壊検査など)への応用など、任意の分野への応用であってもよい。
本明細書にて引用された文献に開示された事項や、他の任意の公知技術に関する事項を、例示的な態様に組み合わせることが可能である。また、特に言及しない限り、「画像データ」とそれに基づく「画像」とを区別せず、被検者(特に被検眼)の「部位」とその「画像」とを区別しないものとする。
以下に説明する例示的な態様に係る走査型イメージング装置は、眼科分野の検査に使用される装置(眼科検査装置と呼ぶ)であり、フーリエドメインOCT(特にスウェプトソースOCT)を利用して生体眼の眼底を計測及び画像化することが可能に構成されている。実施形態に採用可能なOCTのタイプは、スウェプトソースOCTに限定されず、例えばスペクトラルドメインOCT又はタイムドメインOCTであってもよい。また、以下に説明する例示的な態様に係る走査型イメージング装置は、スポット型の走査手法を用いているが、他のタイプの走査手法(例えば、ライン型の走査手法、エリア型の走査手法)を用いる走査型イメージング装置に対して本開示に係る任意の事項を適用できることは、当業者であれば理解できるであろう。
幾つかの例示的な態様に係る走査型イメージング装置は、OCT以外の走査型イメージングモダリティを利用可能であってよい。例えば、幾つかの例示的な態様は、SLOなどの任意の光走査型イメージングモダリティを採用することができる。幾つかの例示的な態様に適用可能な走査型イメージングモダリティは、光走査型イメージングモダリティでなくてもよく、例えば、光以外の電磁波を利用した走査型イメージングモダリティ、超音波を利用した走査型イメージングモダリティなどであってもよい。
幾つかの例示的な態様に係る眼科検査装置は、OCTスキャンで収集されたデータの処理及び/又はSLOで収集されたデータの処理に加え、他のイメージングモダリティで取得されたデータを処理可能であってよい。この他のイメージングモダリティは、例えば、眼底カメラ、スリットランプ顕微鏡、眼科手術用顕微鏡などの任意の眼科イメージングモダリティであってよい。幾つかの例示的な態様に係る眼科検査装置は、OCT及びSLO以外のイメージングモダリティの機能を有していてよい。また、幾つかの例示的な態様に係る眼科検査装置は、特開2013-248376号公報や特開2016-49243号公報に開示された、2以上の前眼部カメラを用いたステレオアライメント機能を有していてもよい。
走査型イメージングが適用される対象(サンプル)は任意であってよい。例示的な態様で説明される眼科応用では眼底に走査型イメージングが適用されるが、前眼部や硝子体など眼の任意の部位に適用してもよい。幾つかの例示的な態様に係る構成や機能を、眼以外の生体の部位(組織)の計測やイメージングに応用することが可能であり、また、生体以外の物体(例えば、動きを伴うもの)又はその部分の計測やイメージングに応用することが可能である。すなわち、幾つかの例示的な態様の産業上の利用分野は、眼科関連分野に限定されず、医療関連分野や獣医学関連分野や生物学関連分野を含んでもよく、より一般に、局所的運動及び/又は大域的運動を伴う任意の対象物(サンプル)に関連する分野を含んでいてもよい。なお、幾つかの例示的な態様の産業上の利用分野は、運動を伴わない対象物に関連する分野を含んでいてもよい。
以下に説明する実施形態の様々な態様はいずれも単なる例示であり、発明を限定することを意図したものではない。
実施形態の第1の態様は、光走査を用いて画像データを構築する走査型イメージング装置であって、互いに交差する一連のサイクルを含む2次元パターンに従う第1光走査をサンプルに適用して第1データセットを収集するデータセット収集部と、前記第1データセットに基づいてサイクル間の相関係数を算出する相関係数算出部と、前記相関係数算出部により前記第1データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する情報記録部とを含んでいる。
実施形態の第2の態様は、第1の態様の走査型イメージング装置であって、前記部分集合の要素は、所定の閾値以下の相関係数である。
実施形態の第3の態様は、第2の態様の走査型イメージング装置であって、前記情報記録部により記録された前記走査位置情報に対応する画素の値を1以上の近傍画素の値に基づいて決定する第1画素値決定部を更に含んでいる。
実施形態の第4の態様は、第2の態様の走査型イメージング装置であって、前記相関係数算出部により取得された前記相関係数の前記集合に基づいて、前記第1光走査の適用エリアにおける相関係数マップを作成するマップ作成部を更に含んでいる。
実施形態の第5の態様は、第4の態様の走査型イメージング装置であって、前記情報記録部により記録された前記走査位置情報に対応する画素の値を前記相関係数マップに基づいて決定する第2画素値決定部を更に含んでいる。
実施形態の第6の態様は、第2の態様の走査型イメージング装置であって、前記データセット収集部は、前記情報記録部により記録された前記走査位置情報に基づいて前記サンプルに第2光走査を適用する。
実施形態の第7の態様は、第6の態様の走査型イメージング装置であって、前記データセット収集部は、前記情報記録部により記録された前記走査位置情報に基づき設定されたエリアに前記第2光走査を適用する。
実施形態の第8の態様は、第7の態様の走査型イメージング装置であって、前記第1光走査で収集された前記第1データセットと前記第2光走査で収集された第2データセットとを処理して画像データを構築する処理部を更に含んでいる。
実施形態の第9の態様は、第8の態様の走査型イメージング装置であって、前記処理部は、前記第1データセットを処理して、前記情報記録部により記録された前記走査位置情報に対応するエリアの少なくとも一部を前記第1光走査の適用エリアから除いたエリアの第1画像データを構築し、前記第2データセットを処理して、前記走査位置情報に基づき設定された前記エリアの第2画像データを構築し、前記第1画像データと前記第2画像データとを合成する。
実施形態の第10の態様は、第1~9の態様のいずれかの走査型イメージング装置であって、前記データセット収集部は、光走査のための光を互いに異なる2つの方向に偏向可能な偏向器を含み、前記2つの方向のうちの一方の方向に沿った偏向方向の変化を第1周期で繰り返しつつ他方の方向に沿った偏向方向の変化を前記第1周期と異なる第2周期で繰り返すことによって前記第1光走査を前記サンプルに適用する。
実施形態の第11の態様は、情報処理装置であって、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを受け付ける受付部と、前記データセットに基づいてサイクル間の相関係数を算出する相関係数算出部と、前記相関係数算出部により前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する情報記録部とを含んでいる。
実施形態の第12の態様は、光走査を行うスキャナと前記光走査で収集されたデータから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法であって、前記スキャナを制御して、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集させ、前記プロセッサを制御して、前記データセットに基づいてサイクル間の相関係数を算出させ、前記プロセッサを制御して、前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させる。
実施形態の第13の態様は、プロセッサを含む情報処理装置を制御する方法であって、前記プロセッサを制御して、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを受け付けさせ、前記プロセッサを制御して、前記データセットに基づいてサイクル間の相関係数を算出させ、前記プロセッサを制御して、前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させる。
実施形態の第14の態様は、情報処理方法であって、互いに交差する一連のサイクルを含む2次元パターンに従う光走査でサンプルから収集されたデータセットを取得し、前記データセットに基づいてサイクル間の相関係数を算出し、前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する。
実施形態の第15の態様は、第12~第14の態様のいずれかの方法をコンピュータに実行させるプログラムである。
実施形態の第16の態様は、第15の態様のプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
実施形態の態様は上記した第1~第16の態様に限定されない。例えば、第1の態様に組み合わせることが可能な事項(例えば、第2~第10の態様に係る事項、後述の実施形態における任意の事項、任意の公知技術など)を、第11~第16の態様に組み合わせることが可能である。
<第1の実施形態>
第1の実施形態について説明する。
第1の実施形態について説明する。
<眼科検査装置の構成>
図1に示す眼科検査装置1は、実施形態に係る走査型イメージング装置の例示的な態様である。眼科検査装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eを正面から撮影するための要素群(光学要素、機構など)が設けられている。OCTユニット100には、被検眼EにOCTスキャンを適用するための要素群(光学要素、機構など)の一部が設けられている。OCTスキャンのための要素群の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、眼科検査装置1は、被検者の顔を支持するための要素や、OCTスキャンが適用される部位を切り替えるための要素を備えていてもよい。前者の要素の例として、顎受けや額当てがある。後者の要素の例として、OCTスキャン適用部位を眼底から前眼部に切り替えるために使用されるレンズユニットがある。
図1に示す眼科検査装置1は、実施形態に係る走査型イメージング装置の例示的な態様である。眼科検査装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eを正面から撮影するための要素群(光学要素、機構など)が設けられている。OCTユニット100には、被検眼EにOCTスキャンを適用するための要素群(光学要素、機構など)の一部が設けられている。OCTスキャンのための要素群の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、眼科検査装置1は、被検者の顔を支持するための要素や、OCTスキャンが適用される部位を切り替えるための要素を備えていてもよい。前者の要素の例として、顎受けや額当てがある。後者の要素の例として、OCTスキャン適用部位を眼底から前眼部に切り替えるために使用されるレンズユニットがある。
本明細書に開示された幾つかの要素の機能は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能を実行するハードウェア、又は、開示された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<眼底カメラユニット2>
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真などと呼ばれる)は、観察画像、撮影画像などの正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像である。
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真などと呼ばれる)は、観察画像、撮影画像などの正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像である。
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
照明光学系10の観察光源11から出力された光(観察照明光)は、凹面鏡12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ系17、リレーレンズ18、絞り19、及びリレーレンズ系20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef)を照明する。観察照明光の被検眼Eからの戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、結像レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカス(焦点位置)は、眼底Ef又は前眼部に合致するように調整される。
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、結像レンズ37によりイメージセンサ38の受光面に結像される。
液晶ディスプレイ(LCD)39は固視標(固視標画像)を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aに反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。LCD39における固視標画像の表示位置を変更することで、被検眼Eの視線を誘導する方向(固視方向、固視位置)が変更される。LCDなどの表示デバイスの代わりに、例えば、発光素子アレイ、又は、発光素子とこれを移動する機構との組み合わせを用いてもよい。
アライメント光学系50は、被検眼Eに対する光学系の位置合わせ(アライメント)に用いられるアライメント指標を生成する。発光ダイオード(LED)51から出力されたアライメント光は、絞り52、絞り53、及びリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。アライメント光の被検眼Eからの戻り光(角膜反射光など)は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
従来と同様に、本例のアライメント指標像は、アライメント状態により位置が変化する2つの輝点像からなる。被検眼Eと光学系との相対位置がxy方向(x座標とy座標とで表現される方向)に変化すると、2つの輝点像が一体的にxy方向に変位する。被検眼Eと光学系との相対位置がz方向(z座標で表現される方向)に変化すると、2つの輝点像の間の相対位置(距離)が変化する。z方向における被検眼Eと光学系との間の距離が既定のワーキングディスタンスに一致すると、2つの輝点像が重なり合う。xy方向において被検眼Eの位置と光学系の位置とが一致すると、所定のアライメントターゲット内又はその近傍に2つの輝点像が提示される。z方向における被検眼Eと光学系との間の距離がワーキングディスタンスに一致し、且つ、xy方向において被検眼Eの位置と光学系の位置とが一致すると、2つの輝点像が重なり合ってアライメントターゲット内に提示される。
オートアライメントでは、データ処理部230が、2つの輝点像の位置を検出し、主制御部211が、2つの輝点像とアライメントターゲットとの位置関係に基づいて後述の移動機構150を制御する。マニュアルアライメントでは、主制御部211が、被検眼Eの観察画像とともに2つの輝点像を表示部241に表示させ、ユーザーが、表示された2つの輝点像を参照しながら操作部242を用いて移動機構150を動作させる。
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、フォーカス光学系60は照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱される。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。フォーカス光の被検眼Eからの戻り光(眼底反射光など)は、アライメント光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカシングやオートフォーカシングを実行できる。
孔開きミラー21とダイクロイックミラー55との間の撮影光路に、視度補正レンズ70及び71を選択的に挿入することができる。視度補正レンズ70は、強度遠視を補正するためのプラスレンズ(凸レンズ)である。視度補正レンズ71は、強度近視を補正するためのマイナスレンズ(凹レンズ)である。
ダイクロイックミラー46は、眼底撮影用光路とOCT用光路(測定アーム)とを合成する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。測定アームには、OCTユニット100側から順に、コリメータレンズユニット40、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44、及びリレーレンズ45が設けられている。
リトロリフレクタ41は、図1に示す矢印の方向に移動可能とされ、それにより測定アームの長さが変更される。測定アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
分散補償部材42は、参照アームに配置された分散補償部材113(後述)とともに、測定光LSの分散特性と参照光LRの分散特性とを合わせるよう作用する。
OCT合焦レンズ43は、測定アームのフォーカス調整を行うために測定アームに沿って移動される。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
光スキャナ44は、実質的に、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナ44は、測定アームにより導かれる測定光LSを偏向する。光スキャナ44は、例えば、x方向のスキャンを行うためのガルバノミラーと、y方向のスキャンを行うためのガルバノミラーとを含む、2次元スキャンが可能なガルバノスキャナである。
<OCTユニット100>
図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、測定アームによって被検眼Eに導かれた測定光の戻り光と参照アームによって導かれた参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られたデータ(検出信号)は、干渉光のスペクトルを表す信号であり、演算制御ユニット200に送られる。
図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、測定アームによって被検眼Eに導かれた測定光の戻り光と参照アームによって導かれた参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られたデータ(検出信号)は、干渉光のスペクトルを表す信号であり、演算制御ユニット200に送られる。
光源ユニット101は、例えば、少なくとも近赤外波長帯において出射波長を高速で変化させる近赤外波長可変レーザーを含む。光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。更に、光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。測定光LSの光路は測定アームと呼ばれ、参照光LRの光路は参照アームと呼ばれる。
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、リトロリフレクタ114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、測定アームに配置された分散補償部材42とともに、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。リトロリフレクタ114は、これに入射する参照光LRの光路に沿って移動可能であり、それにより参照アームの長さが変更される。参照アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
リトロリフレクタ114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏光状態が調整され、光ファイバ119を通じてアッテネータ120に導かれてその光量が調整され、光ファイバ121を通じてファイバカプラ122に導かれる。
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40によって平行光束に変換され、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44及びリレーレンズ45を経由し、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに投射される。測定光LSは、被検眼Eの様々な深さ位置において散乱及び反射される。測定光LSの被検眼Eからの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを重ね合わせて干渉光を生成する。ファイバカプラ122は、生成された干渉光を所定の分岐比(例えば1:1)で分岐することで一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
検出器125は、例えばバランスドフォトダイオードを含む。バランスドフォトダイオードは、一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらにより得られた一対の検出結果の差分を出力する。検出器125は、この出力(検出信号)をデータ収集システム(DAS)130に送る。
データ収集システム130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長可変光源により所定の波長範囲内で掃引される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐して2つの分岐光を生成し、これら分岐光の一方を光学的に遅延させ、これら分岐光を合成し、得られた合成光を検出し、その検出結果に基づいてクロックKCを生成する。データ収集システム130は、検出器125から入力される検出信号のサンプリングをクロックKCに基づいて実行する。データ収集システム130は、このサンプリングの結果を演算制御ユニット200に送る。
本例では、測定アーム長を変更するための要素(例えば、リトロリフレクタ41)と、参照アーム長を変更するための要素(例えば、リトロリフレクタ114、又は参照ミラー)との双方が設けられているが、一方の要素のみが設けられていてもよい。また、測定アーム長と参照アーム長との間の差(光路長差)を変更するための要素はこれらに限定されず、任意の要素(光学部材、機構など)であってよい。
<制御系・処理系>
眼科検査装置1の制御系及び処理系の構成例を図3、図4A、及び図4Bに示す。制御部210、画像データ構築部220、及びデータ処理部230は、例えば演算制御ユニット200に設けられる。眼科検査装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科検査装置1は、記録媒体からのデータ読み出しと、記録媒体へのデータ書き込みとを行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
眼科検査装置1の制御系及び処理系の構成例を図3、図4A、及び図4Bに示す。制御部210、画像データ構築部220、及びデータ処理部230は、例えば演算制御ユニット200に設けられる。眼科検査装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科検査装置1は、記録媒体からのデータ読み出しと、記録媒体へのデータ書き込みとを行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
<制御部210>
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。また、図4Aに示すように、本実施形態において、主制御部211は走査制御部2111を含み、記憶部212は走査プロトコル2121を記憶している。
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。また、図4Aに示すように、本実施形態において、主制御部211は走査制御部2111を含み、記憶部212は走査プロトコル2121を記憶している。
<主制御部211>
主制御部211は、プロセッサを含み、眼科検査装置1の各要素(図1~図4Bに示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。走査制御部2111は、所定形状及び所定サイズの走査エリアに対するOCTスキャンの制御を行う。
主制御部211は、プロセッサを含み、眼科検査装置1の各要素(図1~図4Bに示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。走査制御部2111は、所定形状及び所定サイズの走査エリアに対するOCTスキャンの制御を行う。
撮影合焦駆動部31Aは、主制御部211の制御の下に、撮影光路に配置された撮影合焦レンズ31と照明光路に配置されたフォーカス光学系60とを移動する。リトロリフレクタ(RR)駆動部41Aは、主制御部211の制御の下に、測定アームに設けられたリトロリフレクタ41を移動する。OCT合焦駆動部43Aは、主制御部211の制御の下に、測定アームに配置されたOCT合焦レンズ43を移動する。リトロリフレクタ(RR)駆動部114Aは、主制御部211の制御の下に、参照アームに配置されたリトロリフレクタ114を移動する。各駆動部は、主制御部211の制御の下に動作するパルスモータなどのアクチュエータを含む。光スキャナ44は、主制御部211(走査制御部2111)の制御の下に動作する。
移動機構150は、典型的には、眼底カメラユニット2を3次元的に移動するように構成されている。そのような移動機構150は、例えば、±x方向(左右方向)に移動可能に構成されたxステージと、xステージを移動するように構成されたx移動機構と、±y方向(上下方向)に移動可能に構成されたyステージと、yステージを移動するように構成されたy移動機構と、±z方向(奥行き方向)に移動可能に構成されたzステージと、zステージを移動するように構成されたz移動機構とを含む。x移動機構、y移動機構、及びz移動機構のそれぞれは、主制御部211の制御の下に動作するパルスモータなどのアクチュエータを含む。
<記憶部212>
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報、制御情報などがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。制御情報は、特定の制御に関する情報である。本実施形態の制御情報は、走査プロトコル2121を含む。
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報、制御情報などがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。制御情報は、特定の制御に関する情報である。本実施形態の制御情報は、走査プロトコル2121を含む。
走査プロトコル2121は、所定形状及び所定サイズの走査エリアに関するOCTスキャンのための制御の内容に関する取り決めであり、各種制御パラメータ(走査制御パラメータ)の組を含む。走査プロトコル2121は、走査モード毎のプロトコルを含む。本実施形態の走査プロトコル2121は、リサジュースキャンのプロトコルを少なくとも含み、更に、例えば、Bスキャン(ラインスキャン)、クロススキャン、ラジアルスキャン、ラスタースキャンなどのプロトコルを含んでいてもよい。
本実施形態の走査制御パラメータは、光スキャナ44に対する制御の内容を示すパラメータを少なくとも含む。このパラメータは、例えば、スキャンパターンを示すパラメータ、スキャン速度を示すパラメータ、スキャン間隔を示すパラメータなどがある。スキャンパターンは、スキャンの経路の形状を示し、その例として、リサジューパターン、ラインパターン、クロスパターン、ラジアルパターン、ラスターパターンなどがある。スキャン速度は、例えば、Aスキャンの繰り返しレートとして定義される。スキャン間隔は、例えば、隣接するAスキャンの間隔として、つまりスキャン点の配列間隔として定義される。
なお、特許文献1~4並びに非特許文献1及び2に開示されているような従来技術と同様に、本実施形態の「リサジュースキャン」は、互いに直交する2つの単振動を順序対として得られる点の軌跡が描くパターン(リサジューパターン、リサジュー図形、リサジュー曲線、リサジュー関数、バウディッチ曲線)を経路とした「狭義の」リサジュースキャンだけでなく、一連のサイクルを含む所定の2次元パターンに従う「広義の」リサジュースキャンであってもよい。
本実施形態の光スキャナ44は、例えば、x方向に測定光LSを偏向する第1ガルバノミラーと、y方向に測定光LSを偏向する第2ガルバノミラーとを含む。リサジュースキャンは、x方向に沿った偏向方向の変化を第1周期で繰り返すように第1ガルバノミラーの制御を行いつつ、y方向に沿った偏向方向の変化を第2周期で繰り返すように第2ガルバノミラーの制御を行うことによって実現される。ここで、第1周期と第2周期とは互いに異なる。
例えば、本実施形態のリサジュースキャンは、2つの正弦波の組み合わせから得られる狭義のリサジューパターンのスキャンだけでなく、正弦波に特定項(例えば、奇数次の多項式)を加えて得られるパターンのスキャンや、三角波に基づくパターンのスキャンであってもよい。
「サイクル」は、一般に、或る長さを持つ複数のサンプリング点から構成されるオブジェクトを意味する。本実施形態のサイクルは、例えば、閉曲線又はほぼ閉曲線(実質的閉曲線、略閉曲線)であってよい。換言すると、本実施形態のサイクルは、その始点と終点とが一致又はほぼ一致していてよい。
典型的には、走査プロトコル2121はリサジュー関数に基づいて設定される。非特許文献1の式(9)に示すように、リサジュー関数は、例えば、次のパラメトリック方程式系で表現される:x(ti)=A・cos(2π・(fA/n)・ti)、y(ti)=A・cos(2π・(fA・(n-2)/n2)・ti)。
ここで、「x」はリサジュー曲線が定義される2次元座標系の横軸、「y」は縦軸、「ti」はリサジュースキャンにおける第i番目のAラインの収集時点、「A」はスキャン範囲(振幅)、「fA」はAラインの収集レート(スキャン速度、Aスキャンの繰り返しレート)、nはx方向(横軸方向)の各サイクルにおけるAラインの個数をそれぞれ示す。
このような例示的なリサジュースキャンにおけるスキャンラインの分布(スキャンパターン)の例を図5に示す。
(狭義又は広義の)リサジュースキャンに含まれる任意のサイクル対(サイクルのペア)は、少なくとも1点(特に2点以上)で互いに交差する。このような交差を利用することで、リサジュースキャンにおける任意のサイクル対から収集されたデータ対の間のレジストレーションを行うことが可能となり、非特許文献1(又は非特許文献2)に開示された画像構築手法及びモーションアーティファクト補正手法を実装することが可能となる。以下、特に言及しない限り、非特許文献1に記載された手法を適用する場合について説明するが、非特許文献2に記載された手法を適用することや、非特許文献1又は2に記載された手法と同等及び/又は類似の手法を適用することも可能である。
記憶部212に記憶される制御情報は上記の例に限定されない。例えば、制御情報はフォーカス制御を行うための情報(フォーカス制御パラメータ)を含んでいてよい。
フォーカス制御パラメータは、OCT合焦駆動部43Aに対する制御の内容を示すパラメータである。フォーカス制御パラメータの例として、測定アームの焦点位置を示すパラメータ、焦点位置の移動速度を示すパラメータ、焦点位置の移動加速度を示すパラメータなどがある。焦点位置を示すパラメータは、例えば、OCT合焦レンズ43の位置を示すパラメータである。焦点位置の移動速度を示すパラメータは、例えば、OCT合焦レンズ43の移動速度を示すパラメータである。焦点位置の移動加速度を示すパラメータは、例えば、OCT合焦レンズ43の移動加速度を示すパラメータである。移動速度は、一定であってもよいし、一定でなくてもよい。移動加速度についても同様である。
このようなフォーカス制御パラメータによれば、眼底Efの形状(典型的には、中心部が深く且つ周辺部が浅い凹形状)や収差分布に応じたフォーカス調整が可能になる。フォーカス制御は、例えば、走査制御(リサジュースキャンの繰り返し制御)と連係的に実行される。それにより、モーションアーティファクトが補正され、且つ、スキャン範囲の全体に亘ってピントが合った、高品質の画像が得られる。
<走査制御部2111>
走査制御部2111は、走査プロトコル2121に基づいて少なくとも光スキャナ44を制御する。走査制御部2111は、走査プロトコル2121に基づく光スキャナ44の制御と連係して光源ユニット101の制御を更に実行してもよい。走査制御部2111は、プロセッサを含むハードウェアと、走査プロトコル2121を含む走査制御ソフトウェアとの協働によって実現される。
走査制御部2111は、走査プロトコル2121に基づいて少なくとも光スキャナ44を制御する。走査制御部2111は、走査プロトコル2121に基づく光スキャナ44の制御と連係して光源ユニット101の制御を更に実行してもよい。走査制御部2111は、プロセッサを含むハードウェアと、走査プロトコル2121を含む走査制御ソフトウェアとの協働によって実現される。
<画像データ構築部220>
画像データ構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、眼底EfのOCT画像データを構築する。このOCT画像データ構築は、従来のフーリエドメインOCT(スウェプトソースOCT)と同様に、ノイズ除去(ノイズ低減)、フィルタリング、高速フーリエ変換(FFT)などを含む。他のタイプのOCT手法が採用される場合、画像データ構築部220は、そのOCTタイプに対応した公知の処理を実行することによってOCT画像データを構築する。
画像データ構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、眼底EfのOCT画像データを構築する。このOCT画像データ構築は、従来のフーリエドメインOCT(スウェプトソースOCT)と同様に、ノイズ除去(ノイズ低減)、フィルタリング、高速フーリエ変換(FFT)などを含む。他のタイプのOCT手法が採用される場合、画像データ構築部220は、そのOCTタイプに対応した公知の処理を実行することによってOCT画像データを構築する。
例えば、画像データ構築部220は、サンプリングデータから各スキャン点(各Aライン)に対応する画像データ(Aスキャン画像データ)を構築する処理を少なくとも実行するように構成されている。画像データ構築部220により構築される画像データは、画像化される前のデータであってもよく、例えば、深さ方向(z方向、光軸方向、Aライン方向)に沿った信号プロファイル(反射プロファイル、散乱プロファイル)であってもよい。
前述したように、本実施形態ではリサジュースキャンが眼底Efに適用される。画像データ構築部220は、データ処理部230とともに、リサジュースキャンによる収集とデータ収集システム130によるサンプリングとを介して取得されたデータセットに対し、例えば非特許文献1に開示された画像構築手法及びモーションアーティファクト補正手法を適用することによって、眼底Efの3次元画像データを構築することができる。
画像データ構築部220及び/又はデータ処理部230は、3次元画像データにレンダリングを適用して表示用画像を形成することができる。適用可能なレンダリング法の例として、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがある。
画像データ構築部220及び/又はデータ処理部230は、3次元画像データに基づいてOCT正面画像(en face OCT image)を構築することが可能である。例えば、画像データ構築部220及び/又はデータ処理部230は、3次元画像データをz方向(Aライン方向、光軸方向、深さ方向)に投影することでプロジェクションデータを構築することができる。また、画像データ構築部220及び/又はデータ処理部230は、3次元画像データの一部である部分的3次元画像データをz方向に投影することでシャドウグラムを構築することができる。この部分的3次元画像データは、例えば、任意のセグメンテーション手法を利用して設定されてよい。セグメンテーションは、画像中の部分領域を特定する処理である。本例では、眼底Efの1つ以上の組織(部位)に相当する画像領域を特定するためにセグメンテーションを行うことができる。
シャドウグラム構築処理に限らず、実施形態のセグメンテーションは、例えば、閾値処理、エッジ検出、フィルタリング、機械学習(例えば、セマンティックセグメンテーション)など、任意の公知の技術を利用可能である。
眼科検査装置1は、OCT血管造影(OCT-Angiography)を実行可能であってよい。OCT血管造影は、血管が強調された画像を構築するイメージング技術である(例えば、非特許文献2、特表2015-515894号公報などを参照)。一般に、眼底組織(構造)は短時間の間には変化しないが、血管内部の血流は短時間の間にも変化する。OCT血管造影では、このような時間的変化が存在する部分(血流信号)を強調して画像を生成する。なお、OCT血管造影は、OCTモーションコントラスト撮影(motion contrast imaging)などとも呼ばれる。また、OCT血管造影により取得される画像は、血管造影画像、アンジオグラム(angiogram)、モーションコントラスト画像などと呼ばれる。
OCT血管造影を実行可能である場合、眼科検査装置1は、眼底Efの同じ領域を所定回数だけ繰り返しスキャンする。例えば、眼科検査装置1は、前述した走査制御(リサジュースキャンの繰り返し制御)を所定回数だけ繰り返し実行する。それにより、リサジュースキャンの適用領域から複数の3次元データ(時系列な3次元データセット)がデータ収集システム130によって収集される。画像データ構築部220及び/又はデータ処理部230は、この3次元データセットからモーションコントラスト画像を構築することができる。このモーションコントラスト画像は、眼底Efの血流に起因する干渉信号の時間的変化が強調された血管造影画像である。この血管造影画像は、眼底Efの血管の3次元的な分布を表現した3次元血管造影画像データである。
画像データ構築部220及び/又はデータ処理部230は、この3次元血管造影画像データから、任意の2次元血管造影画像データ及び/又は任意の擬似的3次元血管造影画像データを構築することが可能である。例えば、画像データ構築部220及び/又はデータ処理部230は、3次元血管造影画像データに多断面再構成を適用することにより、眼底Efの任意の断面を表す2次元血管造影画像データを構築することができる。また、画像データ構築部220及び/又はデータ処理部230は、3次元血管造影画像データにプロジェクション画像化又はシャドウグラム化を適用することにより、眼底Efの正面血管造影画像データを構築することができる。
本実施形態において、画像データ構築部220及び/又はデータ処理部230は、データ収集システム130により収集されたデータから複数のストリップを構築する。非特許文献1に記載されているように、画像データ構築部220及び/又はデータ処理部230は、リサジュースキャンで収集されたボリューム(3次元データ)を比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。この正面プロジェクション画像がストリップである。このようにして得られた複数のストリップに対してレジストレーション及びマージ処理を適用することにより、モーションアーティファクトが補正された画像が得られる。後述するように、本例においては、レジストレーション及びマージ処理はデータ処理部230によって実行される。
画像データ構築部220は、プロセッサを含むハードウェアと、画像構築ソフトウェアとの協働によって実現される。なお、幾つかの例示的な態様において、画像データ構築部220とデータ処理部230とが一体的に構成されていてよい。
<データ処理部230>
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して各種のデータ処理を適用する。例えば、データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。データ処理部230に含まれる各機能要素も同様である。
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して各種のデータ処理を適用する。例えば、データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。データ処理部230に含まれる各機能要素も同様である。
データ処理部230は、眼底Efについて取得された2つの画像の間の位置合わせ(レジストレーション)を行うように構成されてよい。例えば、データ処理部230は、OCTで取得された3次元画像データと、眼底カメラユニット2により取得された正面画像との間のレジストレーションを行うように構成される。また、データ処理部230は、OCTで取得された2つのOCT画像の間のレジストレーションを行うように構成される。また、データ処理部230は、眼底カメラユニット2により取得された2つの正面画像の間のレジストレーションを行うように構成される。また、OCT画像の解析結果や、正面画像の解析結果に対してレジストレーションを適用するように構成されてもよい。これらのレジストレーションは、公知の手法によって実行可能であり、例えば特徴点抽出とアフィン変換とを含む。
更に、データ処理部230は、リサジュースキャンを用いて得られたデータセットを処理するように構成される。前述したように、画像データ構築部220は、例えば、リサジュースキャンで収集されたデータから複数のストリップを構築するように構成されている。データ処理部230は、これらストリップに対してレジストレーション及びマージ処理を適用することにより、モーションアーティファクトが補正された画像を構築するように構成されている。
リサジュースキャンの特性として、任意の2つのストリップはオーバーラップ領域を有する。非特許文献1に記載された手法と同様に、データ処理部230は、ストリップ間のオーバーラップを利用してストリップ間のレジストレーションを行うように構成される。データ処理部230は、まず、画像データ構築部220により構築された複数のストリップを大きさ(面積など)に従って順序付け(第1~第Nのストリップ)、最大のストリップである第1のストリップを初期基準ストリップに指定する。次に、データ処理部230は、第1のストリップを基準として第2のストリップのレジストレーションを行い、第1のストリップと第2のストリップとをマージする(合成する)。データ処理部230は、これにより得られたマージストリップを基準ストリップとして第3のストリップのレジストレーションを行い、このマージストリップと第3のストリップとをマージする。このようなレジストレーション及びマージ処理を上記順序に従って順次に実行することにより第1~第Nのストリップの位置合わせ及び貼り合わせがなされ、モーションアーティファクトが補正された画像が得られる。
このようなレジストレーションでは、基準ストリップと他のストリップとの間の相対位置を求めるために相互相関関数が利用されるが、ストリップは任意の形状を有するため、各ストリップを特定形状(例えば正方形状)の画像として扱うためのマスクを用いてストリップ間の相関演算が行われる(非特許文献1のAppendix Aを参照)。
前述したように、ストリップは所定階調の強度画像であり、マスク画像は二値画像であるため、ストリップの画素値の絶対値とマスクの画素値の絶対値との差が大きくなり、ストリップとマスクとを用いた相関演算におけるマスクの効果が無視されて正しい相関係数が得られないおそれがある。特に、コストなどの観点から、ストリップ間の相関係数を求めるために単精度浮動小数点型(フロート型)の演算を採用した場合、有効桁数の少なさに起因する丸め誤差の影響により、この問題が顕著に現れる。
<画像データ処理部231>
このような丸め誤差の問題への対処に加えて、所定の条件を満たす走査位置を表す情報(後述の走査位置情報)を記録する処理を実現するために、本実施形態では、図4Bに示す画像データ処理部231を備えたデータ処理部230が採用される。
このような丸め誤差の問題への対処に加えて、所定の条件を満たす走査位置を表す情報(後述の走査位置情報)を記録する処理を実現するために、本実施形態では、図4Bに示す画像データ処理部231を備えたデータ処理部230が採用される。
画像データ処理部231は、画像データ構築部220により構築された画像データを処理するように構成されている。図4Bに示すように、画像データ処理部231は、マスク画像生成部2311と、範囲調整部2312と、合成画像生成部2313と、相互相関関数算出部2314と、相関係数算出部2315と、xyシフト量算出部2316と、レジストレーション部2317と、マージ処理部2318と、zシフト量算出部232と、画像データ補正部233と、情報記録部234とを含んでいる。
以下に説明する例では、画像データ処理部231は、任意の2つのストリップの一方を基準ストリップ(reference strip)に指定するとともに、この基準ストリップに対して他方のストリップ(対象ストリップ;registering strip)をレジストレーションするように構成されている。
<マスク画像生成部2311>
マスク画像生成部2311は、基準ストリップに応じた基準マスク画像と、対象ストリップに応じた対象マスク画像とを生成する。マスク画像の幾つかの例を以下に説明するが、これらに限定されるものではない。
マスク画像生成部2311は、基準ストリップに応じた基準マスク画像と、対象ストリップに応じた対象マスク画像とを生成する。マスク画像の幾つかの例を以下に説明するが、これらに限定されるものではない。
マスク画像の輪郭形状は、例えば矩形であり、典型的には正方形である。基準マスク画像の形状と対象マスク画像の形状とは同じであってよい。また、基準マスク画像の寸法と対象マスク画像の寸法とは同じであってよい。
マスク画像の画素値の範囲は、例えば閉区間[0,1]に含まれるように設定される。典型的には、マスク画像は、画素値が0又は1の二値画像であってよい。具体例として、マスク画像は、ストリップの定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像である。換言すると、非特許文献1の式(20)に示すように、例示的なマスク画像の画素値は、対応するストリップの画像エリアにおける値が1であり、他のエリアにおける値が0である。
<範囲調整部2312>
範囲調整部2312は、基準マスク画像の画素値の範囲と、対象マスク画像の画素値の範囲とに基づいて、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲とを調整するように構成される。典型的には、範囲調整部2312は、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、基準ストリップの画素値の範囲及び対象ストリップの画素値の範囲の調整を行う。
範囲調整部2312は、基準マスク画像の画素値の範囲と、対象マスク画像の画素値の範囲とに基づいて、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲とを調整するように構成される。典型的には、範囲調整部2312は、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、基準ストリップの画素値の範囲及び対象ストリップの画素値の範囲の調整を行う。
一般に、範囲調整部2312は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、マスク画像の画素値の範囲とを相対的に調整する。典型的な例では、基準ストリップに適用される基準マスク画像と、対象ストリップに適用される対象マスク画像とは異なり、範囲調整部2312は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、基準マスク画像の画素値の範囲と、対象ストリップの画素値の範囲とを相対的に調整する。
範囲調整部2312は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを小さくするように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを小さくするように、対象ストリップの画素値の範囲と対象ストリップの画素値の範囲とを相対的に調整するように構成される。
範囲調整部2312は、ストリップ及びマスク画像の一方の画素値の範囲を他方の画素値の範囲に一致させるように、ストリップの画素値の範囲とマスク画像の画素値の範囲とを調整するように構成されてよい。例えば、範囲調整部2312は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを一致させるように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを一致させるように、対象ストリップの画素値の範囲と対象ストリップの画素値の範囲とを相対的に調整するように構成されてよい。
例えば、範囲調整部2312は、マスク画像の画素値の範囲に応じてストリップの画素値の範囲を正規化するように構成される。この正規化(規格化)の幾つかの例を以下に説明するが、これらに限定されるものではない。
正規化の第1の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2312は、ストリップの各画素の値を、このストリップにおける最大画素値で除算する。本例では、範囲調整部2312は、まず、ストリップの全ての画素の値を比較して最大値(最大画素値)を特定し、このストリップの各画素の値を最大画素値で除算する。これにより、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
正規化の第2の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2312は、ストリップの各画素の値を、このストリップの画素値の範囲の最大値で除算する。ストリップの画素値の範囲は予め設定されており、範囲調整部2312は、この範囲の上限値(最大値)でストリップの各画素の値を除算する。本例によっても、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
範囲調整部2312が実行する処理により、ストリップの画素値の絶対値とマスクの画素値の絶対値との差を小さくすることができ、ストリップとマスクとを用いた相関演算においてマスクの効果が無視されることが無くなり、相関係数の算出を正確に行うことが可能となる。特に、単精度浮動小数点型(フロート型)の演算を採用した場合であっても、有効桁数の少なさに起因する丸め誤差の影響を排除する(低減する)ことができる。
本明細書ではストリップの画素値の範囲のみを変更する例について主に説明するが、マスク画像の画素値の範囲のみを変更してもよいし、ストリップの画素値の範囲とマスク画像の画素値の範囲との双方を変更してもよい。
<合成画像生成部2313>
範囲調整部2312による画素値範囲調整が適用されたストリップ及びマスク画像について、合成画像生成部2313は、基準ストリップ及び対象ストリップのそれぞれにマスク画像を合成して2つの合成画像を生成する。典型的には、合成画像生成部2313は、基準ストリップに基準マスク画像を合成して基準合成画像を生成し、且つ、対象ストリップに対象マスク画像を合成して対象合成画像を生成する。
範囲調整部2312による画素値範囲調整が適用されたストリップ及びマスク画像について、合成画像生成部2313は、基準ストリップ及び対象ストリップのそれぞれにマスク画像を合成して2つの合成画像を生成する。典型的には、合成画像生成部2313は、基準ストリップに基準マスク画像を合成して基準合成画像を生成し、且つ、対象ストリップに対象マスク画像を合成して対象合成画像を生成する。
ストリップとマスク画像とを合成する処理は、非特許文献1と同じ要領で実行されてよい。ただし、非特許文献1の手法とは異なり、本実施形態では、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくなるように調整されている。典型的には、基準マスク画像及び対象マスク画像の画素値の範囲に一致するように、基準ストリップ及び対象ストリップの画素値の範囲が正規化されている。
例えば、非特許文献1の式(19)と同じ要領で、合成画像生成部2313は、画素値範囲が正規化されたストリップを、マスク画像と同じ寸法及び同じ形状の画像に埋め込むように構成されてよい。
更に、合成画像生成部2313は、ストリップの埋め込み画像とマスク画像との合成画像を生成する。この合成画像は、非特許文献1における「f´(r)mf(r)」(第1800頁の第2行目など)に相当するが、前述したように、ストリップの埋め込み画像の値が式(19)のそれとは異なっている。
<相互相関関数算出部2314>
相互相関関数算出部2314は、合成画像生成部2313により生成された2つの合成画像に基づいて複数の相互相関関数を求める。相互相関関数の算出は、非特許文献1と同じ要領で実行される。例えば、相互相関関数算出部2314は、基準ストリップ及び基準マスク画像から生成された基準合成画像と、対象ストリップ及び対象マスク画像から生成された対象合成画像とに基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数(画像相互相関、image cross-correlation)を算出する。
相互相関関数算出部2314は、合成画像生成部2313により生成された2つの合成画像に基づいて複数の相互相関関数を求める。相互相関関数の算出は、非特許文献1と同じ要領で実行される。例えば、相互相関関数算出部2314は、基準ストリップ及び基準マスク画像から生成された基準合成画像と、対象ストリップ及び対象マスク画像から生成された対象合成画像とに基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数(画像相互相関、image cross-correlation)を算出する。
<相関係数算出部2315>
相関係数算出部2315は、相互相関関数算出部2314により算出された複数の相互相関関数に基づいて相関係数を算出する。この演算は、非特許文献1の式(33)に従う。
相関係数算出部2315は、相互相関関数算出部2314により算出された複数の相互相関関数に基づいて相関係数を算出する。この演算は、非特許文献1の式(33)に従う。
<xyシフト量算出部2316>
xyシフト量算出部2316は、相関係数算出部2315により算出された相関係数に基づいて、基準ストリップと対象ストリップとの間のxy方向(ラテラル方向、横方向)のシフト量を算出する。
xyシフト量算出部2316は、相関係数算出部2315により算出された相関係数に基づいて、基準ストリップと対象ストリップとの間のxy方向(ラテラル方向、横方向)のシフト量を算出する。
例えば、xy方向シフト量を算出するための演算は、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する演算を含み、xyシフト量算出部2316は、相互相関関数の最大値を求めることによってxy方向シフト量を推定するように構成される。
更に、xyシフト量算出部2316は、スロードリフト(slow drift)やトレモア(tremor)などの眼球運動に起因するラテラル方向の小さなシフト量を算出するために、非特許文献1の「fine lateral motion correction」(第1789頁)に相当する演算を実行するように構成されてもよい。
<レジストレーション部2317>
レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量に基づいて、ラテラル方向のレジストレーションを実行する。例えば、このレジストレーションは、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する処理を含む。レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量を打ち消すように、基準ストリップと対象ストリップとの間のレジストレーションを実行することができる。
レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量に基づいて、ラテラル方向のレジストレーションを実行する。例えば、このレジストレーションは、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する処理を含む。レジストレーション部2317は、xyシフト量算出部2316により算出されたラテラル方向のシフト量を打ち消すように、基準ストリップと対象ストリップとの間のレジストレーションを実行することができる。
xyシフト量算出部2316が非特許文献1の「fine lateral motion correction」(第1789頁)に相当する演算を実行した場合、レジストレーション部2317は、非特許文献1の「fine lateral motion correction」(第1789頁)に相当するレジストレーションを実行することによって、基準ストリップと対象ストリップとの間のラテラル方向の小さなモーションアーティファクトを除去することができる。
<マージ処理部2318>
マージ処理部2318は、レジストレーション部2317により相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。この処理も非特許文献1に記載された手法と同じ要領で実行される。
マージ処理部2318は、レジストレーション部2317により相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。この処理も非特許文献1に記載された手法と同じ要領で実行される。
前述したように、画像データ処理部231は、画像データ構築部220により構築された複数のストリップを大きさに応じた順序付けに従って、上記した一連の処理を逐次に実行する。これにより、画像データ構築部220により構築された複数のストリップから、ラテラル方向のモーションアーティファクトが補正されたマージ画像が得られる。このマージ画像は、典型的には、リサジュースキャンが適用された範囲全体を表現した画像である。
なお、前述したように、複数のストリップは、リサジュースキャンで収集されたボリューム(3次元データ)を分割して得られた複数のサブボリュームに基づく複数の正面プロジェクション画像である。したがって、画像データ処理部231により複数のストリップから構築されるマージ画像は、ラテラル方向の位置調整がなされた複数のサブボリューム(及びそれらのマージ画像)を提供する。ラテラル方向に直交する深さ方向のレジストレーション及びマージ処理は、本例では、zシフト量算出部232及び画像データ補正部233によって実行される(後述)。
<zシフト量算出部232>
zシフト量算出部232は、リサジュースキャンで収集されたボリュームを分割して得られた複数のサブボリューム(つまり、複数のストリップの元になった複数のサブボリューム)の間のz方向(Aライン方向、光軸方向、深さ方向)のシフト量を算出する。
zシフト量算出部232は、リサジュースキャンで収集されたボリュームを分割して得られた複数のサブボリューム(つまり、複数のストリップの元になった複数のサブボリューム)の間のz方向(Aライン方向、光軸方向、深さ方向)のシフト量を算出する。
本例は、画像データ処理部231によってxy方向(ラテラル方向、横方向)の位置調整を実行した後に、zシフト量算出部232及び画像データ補正部233によってz方向の位置調整を実行するように構成されている。すなわち、本例のzシフト量算出部232は、画像データ処理部231によって得られたデータ(例えば、xy方向シフト量データ、マージ画像)を利用してz方向のシフト量を算出するように構成されている。
zシフト量算出部232が実行する処理の例を説明する。xy方向シフト量算出において考慮されるストリップのペア(基準ストリップ及び対象ストリップ)と同様に、z方向シフト量算出においてもサブボリュームのペアが考慮される。サブボリュームのペアは、xy方向シフト量算出において考慮された基準ストリップ及び対象ストリップに対応する2つのサブボリュームであってよく、これらサブボリュームをそれぞれ基準サブボリューム及び対象サブボリュームと呼ぶ。
対応する基準ストリップ及び対象ストリップの間のxy方向のレジストレーションの結果に基づいて、基準サブボリューム及び対象サブボリュームは、xy方向の位置調整がなされている。また、前述したように、リサジュースキャンにおける任意の2つのストリップは4箇所で重複(交差)しており、したがって、任意の2つのサブボリュームも4箇所で重複(交差)している。
zシフト量算出部232は、まず、xy方向の位置調整がなされた基準サブボリュームと対象サブボリュームとの交差領域(共通領域)を特定する。各交差領域は、3次元画像データである。
次に、zシフト量算出部232は、特定された交差領域に断面を設定する。この断面は、例えば、xy平面における任意の軸(例えば、x軸、y軸、又は、x軸及びy軸の双方に斜交する軸)とz軸とによって貼られた平面である。なお、断面は平面に限定されず、曲面などであってもよい。
次に、zシフト量算出部232は、設定された断面の画像を基準サブボリュームから構築し、且つ、同断面の画像を対象サブボリュームから構築する。基準サブボリュームから構築された断面画像を基準断面画像と呼び、対象サブボリュームから構築された断面画像を対象断面画像と呼ぶ。基準断面画像と対象断面画像とは、xy方向のレジストレーションがなされた基準サブボリュームと対象サブボリュームとの交差領域における同じ断面を表す画像である。
次に、zシフト量算出部232は、基準断面画像を解析して被検眼Eの所定部位の像を特定し、且つ、対象断面画像を解析して同部位の像を特定する。この部位は、任意の部位であってよく、例えば眼底Efの表面(網膜表面、内境界膜、網膜と硝子体との境界)であってよい。また、被検眼Eに人工物が移植されている場合、この人工物の像を特定してもよい。所定部位の像を特定するための解析は、例えば、セグメンテーションを含んでいてよい。
次に、zシフト量算出部232は、基準断面画像から特定された所定部位の像(基準像)のz座標を求め、且つ、対象断面画像から特定された所定部位の像(対象像)のz座標を求める。典型的には、所定部位の像は複数の画素からなり、これらの画素のz座標は一定ではない。例えば、一般に、網膜表面の大局的な形状は+z方向に凸な湾曲形状であり、その局所的箇所の像(基準像及び対象像の例)はz軸に対して少なくとも部分的に傾斜している。zシフト量算出部232は、所定部位の像を構成する画素群の少なくとも1つの画素に基づいて、この像のz座標を求めることができる。例えば、この画素群からz座標の統計量を求め、この統計量を当該像のz座標に採用することができる。この統計量は、任意の代表値(要約統計量)であってよく、その例として、最大値、最小値、平均値、中央値、最頻値、分位点などがある。一方、所定部位の像が単一の画素からなる場合には、この画素のz座標を所定部位のz座標として採用することができる。
次に、zシフト量算出部232は、基準像のz座標と対象像のz座標との差(z方向のシフト量)を求める。幾つかの例示的な態様では、z方向シフト量が閾値を超える場合に画像データ補正部233による補正処理を実行するように処理制御を行うことができる。この閾値は、例えば、ゼロ又は正値であり、予め設定された固定値又は可変値であってよい。
上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築してz方向シフト量を求めているが、幾つかの例示的な態様では、2次元画像データの構築を行うことなく3次元画像データからz方向シフト量を求めてもよい。この場合、基準断面画像及び対象断面画像のペアに対して実行されたものと同様の処理を基準サブボリューム及び対象サブボリュームのペアに対して実行することができる。
上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築し、この2次元画像データから所定部位の像を特定してz方向シフト量を求めているが、幾つかの例示的な態様では、3次元画像データから所定部位の像を特定し、この所定部位の像の2次元画像データを構築してz方向シフト量を求めてもよい。
また、zシフト量算出部232は、基準サブボリューム及び対象サブボリュームのペアに基づき算出される相関係数に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を求めるように構成されてもよい。サブボリューム間の相関係数を求める方法は、例えば、相関係数算出部2315により実行される相関係数演算方法と同様であってよい。
z方向シフト量を算出するための方法は以上に例示した方法には限定されず、基準サブボリューム及び対象サブボリュームのペアに対して適用可能な任意の方法であってよく、又は、サブボリュームと異なるオブジェクトのペアに対して適用可能な任意の方法であってもよい。サブボリュームと異なるオブジェクトの例として、サブボリュームのレンダリング画像(x方向又はy方向にプロジェクションした画像など、z方向の次元を有する画像)がある。
<画像データ補正部233>
画像データ補正部233は、画像データ処理部231によりxy方向の位置調整がなされた複数のサブボリュームに対して、zシフト量算出部232により取得されたz方向シフト量に基づくz方向の位置調整を実行するように構成されている。
画像データ補正部233は、画像データ処理部231によりxy方向の位置調整がなされた複数のサブボリュームに対して、zシフト量算出部232により取得されたz方向シフト量に基づくz方向の位置調整を実行するように構成されている。
xy方向シフト量に基づくレジストレーションを実行するレジストレーション部2317と同様に、画像データ補正部233は、zシフト量算出部232により取得された対応するz方向シフト量を打ち消すように、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行する。
前述したように、幾つかの例示的な態様では、画像データ補正部233は、対応するz方向シフト量が閾値を超える場合にのみ、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行するように制御されてよい。
画像データ補正部233による位置調整の結果として得られる画像データは、x方向、y方向、及びz方向の全てにおいてレジストレーションがなされたサブボリューム群、つまり、3次元的レジストレーションがなされたサブボリューム群である。このようなレジストレーションを適用する前のサブボリューム群は、リサジュースキャンで収集されたボリュームである。データ処理部230は、3次元的レジストレーションにより得られたサブボリューム群を再合成することによって、3次元的レジストレーションが適用されたボリュームが得られる。
3次元的レジストレーションが適用されたデータセットを、任意の処理(画像処理、後処理、解析、評価、可視化、レンダリングなど)に利用することができる。これにより、従来よりも高い正確度及び高い精度でモーションアーティファクトが補正された3次元データセットを用いて所望の処理を実行することが可能になる。
なお、zシフト量算出部232及び画像データ補正部233は、z方向のモーションアーティファクトを除去するために、非特許文献1の「axial motion correction (rough axial motion correction 及び/又は fine axial motion correction」(第1789頁~第1790頁)に相当するレジストレーションを実行するように構成されてもよい。
<情報記録部234>
まず、情報記録部234が実行する処理の前提について説明する。前述したように、相関係数算出部2315はストリップ間の相関係数の演算を実行し、zシフト量算出部232はサブボリューム間の相関係数の演算を実行している。ストリップ及びサブボリュームは、いずれも、サイクルに基づいて定義されている。よって、相関係数算出部2315により算出されるストリップ間の相関係数をサイクル間の相関係数とみなすことができ、zシフト量算出部232により算出されるサブボリューム間の相関係数をサイクル間の相関係数とみなすことができる。
まず、情報記録部234が実行する処理の前提について説明する。前述したように、相関係数算出部2315はストリップ間の相関係数の演算を実行し、zシフト量算出部232はサブボリューム間の相関係数の演算を実行している。ストリップ及びサブボリュームは、いずれも、サイクルに基づいて定義されている。よって、相関係数算出部2315により算出されるストリップ間の相関係数をサイクル間の相関係数とみなすことができ、zシフト量算出部232により算出されるサブボリューム間の相関係数をサイクル間の相関係数とみなすことができる。
このように、本開示において、サイクル間の相関係数は、ストリップ間の相関係数及び/又はサブボリューム間の相関係数を含む。すなわち、幾つかの例示的な態様はストリップ間の相関係数のみを扱ってもよく、幾つかの例示的な態様はサブボリューム間の相関係数のみを扱ってもよく、幾つかの例示的な態様はストリップ間の相関係数及びサブボリューム間の相関係数の双方を扱ってもよい。また、幾つかの例示的な態様は、ストリップ及びサブボリュームのどちらとも異なるオブジェクト間の相関係数を扱ってもよい。いずれの場合においても、本実施形態と同様の処理を実行することが可能である。
また、ストリップ間の相関係数は、2つのストリップの間の相関係数でもよいし、1つのストリップと2つ以上のストリップ(ストリップ群)との間の相関係数でもよいし、2つのストリップ群の間の相関係数であってもよい。ストリップ群は、例えば、2つ以上のストリップに基づくマージストリップ(前述)であってよい。本実施形態では、いずれの場合も相関係数算出部2315が演算を実行し、演算の内容は前述した処理と同様であってよい。
同様に、サブボリューム間の相関係数は、2つのサブボリュームの間の相関係数でもよいし、1つのサブボリュームと2つ以上のサブボリューム(サブボリューム群)との間の相関係数でもよいし、2つのサブボリューム群の間の相関係数であってもよい。いずれの場合もzシフト量算出部232が演算を実行し、演算の内容は前述した処理と同様であってよい。ストリップ及びサブボリュームのいずれとも異なるオブジェクトの間の相関係数が扱われる場合も同様である。
前述したように、眼科検査装置1は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査(例えば、リサジュースキャン)を被検眼Eに適用してデータセットを収集し(データセット収集部)、このデータセットに基づいてサイクル間の相関係数を算出する(相関係数算出部:相関係数算出部2315、zシフト量算出部232)。
本実施形態では、複数の相関係数が算出される。例えば、2つのストリップの間の相関係数が算出される場合、ストリップの個数(サイクルの個数)をN個とすると、N個のストリップから算出される相関係数の個数は、最多でN×(N-1)個になる(重複する組み合わせをまとめると、最多でN×(N-1)/2個になる)。この場合に算出される相関係数の個数は、ストリップ同士の組み合わせ方(つまり、考慮されるストリップペアの個数)により決定される。同様に、1つのストリップとストリップ群との間の相関係数が算出される場合や、2つのストリップ群の間の相関係数が算出される場合においても、複数の相関係数が算出される。これらの場合、算出される相関係数の個数は、考慮されるストリップ群の個数、ストリップとストリップ群との組み合わせ方、ストリップ群同士の組み合わせ方などにより決定される。例えば、相関係数算出部2315が実行する前述の逐次的な演算が適用される場合には、N-1個の相関係数が算出される。このように、収集されたデータセットから相関係数の集合(相関係数集合と呼ぶ)が生成される。
情報記録部234は、この相関係数集合に属する相関係数のうち所定の条件を満足する相関係数を要素とする部分集合を特定し、この部分集合(これに属する相関係数)に対応する走査位置を示す情報(走査位置情報と呼ぶ)を記録する。
走査位置情報の記録は、走査位置情報を所定の記憶装置に保存する処理を含み、更に、所定のデータ(例えば、画像データ処理部231により構築された画像データ)に走査位置情報を関連付ける処理を含んでいてもよい。走査位置情報(及び所定のデータ)が保存される記憶装置は、予め決められた任意の記憶装置であってよく、その例として、情報記録部234に含まれる記憶装置(図示省略)、記憶部212、眼科検査装置1によりアクセス可能な記憶装置(施設内データベースシステム、クラウド型データベースシステムなど)、眼科検査装置1によりデータ書き込み可能な記録媒体などがある。
走査位置情報に含まれる情報の範囲は任意であってよい。走査位置情報は、相関係数集合から特定された部分集合に対応する走査位置を示す情報を少なくとも含んでいればよい。例えば、幾つかの例示的な態様の走査位置情報は、相関係数集合から特定された部分集合の各要素に対応する走査位置を示す情報のみを含んでいてもよい。また、幾つかの例示的な態様の走査位置情報は、相関係数集合から特定された部分集合を含む集合(例えば、相関係数集合の全体又は一部)の各要素に対応する走査位置を示す情報を含んでいてもよい。
走査位置情報に含まれる情報の内容は任意であってよい。走査位置情報は、走査位置を示す情報を少なくとも含んでいればよい。幾つかの例示的な態様の走査位置情報は、走査位置を示す情報に加えて、次に説明する相関係数の判定条件や判定結果に関する情報を含んでいてもよい。例えば、幾つかの例示的な態様の走査位置情報は、判定条件の内容を示す情報、及び/又は、判定結果の内容を示す情報を含んでいてもよい。判定条件の内容を示す情報の例として、後述する第1の閾値、第2の閾値、特定範囲などがある。判定結果の内容を示す情報の例として、判定条件を満足するか否かの判定結果、判定条件の満足の程度、判定条件からの乖離の程度などがある。なお、走査位置情報に含まれる情報はこれらの例に限定されない。
相関係数集合の部分集合を特定するために、情報記録部234は、相関係数集合に属する各相関係数について、その相関係数が所定の条件を満足するか判定を行う。この判定条件は、予め決定された任意の条件であってよく、例えば、次の例示的な条件のいずれかであってよい。
判定条件の第1の例は、相関係数の値が小さいことである。この条件例が適用される場合、情報記録部234は、例えば、相関係数集合に含まれる各相関係数を予め設定された閾値(第1の閾値と呼ぶ)と比較することによって、この第1の閾値よりも値が小さい相関係数からなる部分集合を求め、この部分集合(低値の相関係数を要素とする集合)に対応する走査位置情報を記録するように構成される。この走査位置情報は、品質が低い画像の部分や画像化されなかった部分を示す情報であり、例えば、画像補完や再スキャンなどにこの走査位置情報を利用することができる。本例の走査位置情報の利用方法はこれらに限定されず、任意の処理(情報の提示、情報の提供、統計処理、画像解析、画像処理、画像評価、機械学習、機械学習用の訓練データの生成など)に利用してもよい。
判定条件の第2の例は、相関係数の値が大きいことである。この条件例が適用される場合、情報記録部234は、例えば、相関係数集合に含まれる各相関係数を予め設定された閾値(第2の閾値と呼ぶ)と比較することによって、この第2閾値よりも値が大きい相関係数からなる部分集合を求め、この部分集合(高値の相関係数を要素とする集合)に対応する走査位置情報を記録するように構成される。この走査位置情報は、品質が高い画像の部分を示す情報であり、任意の処理(情報の提示、情報の提供、統計処理、画像解析、画像処理、画像評価、機械学習、機械学習用の訓練データの生成など)にこの走査位置情報を利用することができる。
判定条件の第3の例は、予め設定された範囲に相関係数の値が含まれることである。この条件例が適用される場合、情報記録部234は、例えば、相関係数集合に含まれる各相関係数を予め設定された範囲(特定範囲と呼ぶ)と比較することによって、この特定範囲に値が属する相関係数からなる部分集合を求め、この部分集合に対応する走査位置情報を記録するように構成される。この走査位置情報は、品質が或る範囲に含まれる画像の部分を示す情報であり、任意の処理(情報の提示、情報の提供、統計処理、画像解析、画像処理、画像評価、機械学習、機械学習用の訓練データの生成など)にこの走査位置情報を利用することができる。
第1の閾値の設定方法、第2の閾値の設定方法、及び特定範囲(上限値、下限値)の設定方法は、いずれも任意であってよい。これらの値は、例えば、実測値及び/又はシミュレーション値に基づき決定されたデフォルト値であってもよいし、この相関係数演算が適用された画像データに基づき決定された個別値であってもよいし、この画像データを取得するための準備として取得された画像データ(例えば、アライメントなどの準備動作を行っているときに取得された画像データ)に基づき決定された個別値であってもよい。デフォルト値や個別値の決定は、典型的には、画像データに統計処理を適用することによって実行されてよい。例えば、画像データから生成される所定のパラメータ(相関係数、画素値など)の統計演算結果(ヒストグラム、マップ、統計量など)に基づいて、第1の閾値、第2の閾値、及び特定範囲のいずれか1つ以上を決定することができる。
判定条件は、走査位置情報の用途に応じて決定されてよい。また、準備される判定条件の個数は任意であってよい。2以上の判定条件が設けられる場合、これらの判定条件を選択的に使用できるようにしてもよい。また、2以上の判定条件を同じリサジュースキャンに係る処理において使用可能であってもよい。この場合、2以上の判定条件にそれぞれ対応する2以上の走査位置情報を生成することができる。
走査位置情報の表現方法は、予め設定された任意の表現方法であってよく、例えば、次の例示的な識別子のいずれかを用いて走査位置情報を表現することができる。
識別子の第1の例は、画像データ処理部231により構築された画像データの定義座標系の座標である。この識別子例が適用される場合、例えば、各画素について(換言すると、画素を単位として)走査位置情報が定義されてもよいし、予め設定された画像領域について(換言すると、画素群を単位として)走査位置情報が定義されてもよいし、これらの双方を利用して走査位置情報が定義されてもよい。
識別子の第2の例は、サイクルの順序付けに基づく番号(サイクル番号と呼ぶ)である。この識別子例が適用される場合、例えば、各サイクルについて(換言すると、サイクル(つまり、サイクル番号)を単位として)走査位置情報が定義されてもよいし、幾つかのサイクル(換言すると、サイクル群について(つまり、幾つかのサイクル番号)を単位として)走査位置情報が定義されてもよいし、これらの双方を利用して走査位置情報が定義されてもよい。
識別子の第3の例は、スキャンの順序に基づく番号(スキャン番号と呼ぶ)である。この識別子例が適用される場合、例えば、各サイクルのスキャンについて走査位置情報が定義されてもよいし、幾つかのサイクルのスキャンについて走査位置情報が定義されてもよいし、これらの双方を利用して走査位置情報が定義されてもよい。本実施形態では、サイクルごとにスキャンを実行しているので、本識別子例のスキャン番号は、第2の例のサイクル番号と実質的に同値である。
識別子の第4の例は、ストリップの順序付けに基づく番号(ストリップ番号と呼ぶ)である。この識別子例が適用される場合、例えば、各ストリップについて(換言すると、ストリップ(つまり、ストリップ番号)を単位として)走査位置情報が定義されてもよいし、幾つかのストリップ(換言すると、ストリップ群について(つまり、幾つかのストリップ番号)を単位として)走査位置情報が定義されてもよいし、これらの双方を利用して走査位置情報が定義されてもよい。前述した画像データ処理部231が実行する処理においてサイクルとストリップとは一対一に対応しているので、本識別子例のストリップ番号は、第2の例のサイクル番号及び第3の例のスキャン番号のそれぞれと実質的に同値である。
識別子の第5の例は、サブボリュームの順序付けに基づく番号(サブボリューム番号と呼ぶ)である。この識別子例が適用される場合、例えば、各サブボリュームについて(換言すると、サブボリューム(つまり、サブボリューム番号)を単位として)走査位置情報が定義されてもよいし、幾つかのサブボリューム(換言すると、サブボリューム群について(つまり、幾つかのサブボリューム番号)を単位として)走査位置情報が定義されてもよいし、これらの双方を利用して走査位置情報が定義されてもよい。前述した画像データ処理部231が実行する処理においてストリップとサブボリュームとは一対一に対応しているので、本識別子例のサブボリューム番号は、第2の例のサイクル番号、第3の例のスキャン番号、及び第4の例のストリップ番号のそれぞれと実質的に同値である。
識別子の第6の例は、マージ処理の適用順序に基づく番号(マージ処理番号と呼ぶ)である。前述した画像データ処理部231が実行する処理においてマージ処理は各ストリップ又は各サブボリュームについて実行されるので、本識別子例のマージ処理番号は、第2の例のサイクル番号、第3の例のスキャン番号、第4の例のストリップ番号、及び第5の例のサブボリューム番号のそれぞれと実質的に同値である。
情報記録部234は、走査位置情報に加え、画像データ補正部233により作成された画像データ(モーションアーティファクトが補正された3次元画像データ)を記録することができる。更に、情報記録部234は、この走査位置情報とこの画像データとを互いに関連付けて記録することができる。これにより、画像データの処理(例えば、補完、補正、調整など)を走査位置情報に基づいて実行することや、画像データを処理するための動作(再スキャンなど)を走査位置情報に基づいて実行することや、画像データから生成された画像と走査位置情報から生成された情報とを互いに関連付けて表示することや、画像データ(及び/又は画像データから生成された画像)と走査位置情報(及び/又は走査位置情報から生成された情報)とに基づく処理(解析処理、統計処理、画像処理、機械学習、機械学習用の訓練データの生成など)を実行することなどが可能になる。
<ユーザーインターフェイス240>
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科検査装置1に接続された外部装置であってよい。
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科検査装置1に接続された外部装置であってよい。
<データ受付部250>
データ受付部250は、外部装置からデータを取得する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、眼科検査装置1に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して眼科検査装置1に接続された装置、ワイドエリアネットワーク(WAN)を介して眼科検査装置1に接続された装置などであってよい。
データ受付部250は、外部装置からデータを取得する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、眼科検査装置1に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して眼科検査装置1に接続された装置、ワイドエリアネットワーク(WAN)を介して眼科検査装置1に接続された装置などであってよい。
データ受付部250は、例えば、通信インターフェイス、ドライブ装置などを含んでいてもよい。また、データ受付部250は、紙葉類に記録されたデータを読み取るためのスキャナを含んでいてもよい。また、データ受付部250は、ユーザーがデータを入力するための入力デバイスを含んでいてもよい。入力デバイスは、キーボード、ペンタブレットなどであってよい。
<動作>
眼科検査装置1の動作について説明する。眼科検査装置1の動作の例を図6A~図6Fに示す。この動作例では、リサジュースキャンにおける画像データ構築(モーションアーティファクト補正を内在している)について詳細に説明する。幾つかの例示的な態様では、この動作例の一部の工程のみを実行してもよい。また、幾つかの例示的な態様では、この動作例の一部の工程を他の工程(例えば、類似の工程)に置換してもよい。また、幾つかの例示的な態様では、この動作例に任意の工程を組み合わせてもよい。
眼科検査装置1の動作について説明する。眼科検査装置1の動作の例を図6A~図6Fに示す。この動作例では、リサジュースキャンにおける画像データ構築(モーションアーティファクト補正を内在している)について詳細に説明する。幾つかの例示的な態様では、この動作例の一部の工程のみを実行してもよい。また、幾つかの例示的な態様では、この動作例の一部の工程を他の工程(例えば、類似の工程)に置換してもよい。また、幾つかの例示的な態様では、この動作例に任意の工程を組み合わせてもよい。
患者IDの入力、走査モードの設定(リサジュースキャンの指定)、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作が、ステップS1の前に実行される。
幾つかの例示的な態様において、眼科検査装置1は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値、第2の閾値、及び特定範囲の少なくとも1つ)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS1のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
(S1:リサジュースキャン)
所定の走査開始トリガー信号を受けて、走査制御部2111は、被検眼E(眼底Ef)に対するOCTスキャン(リサジュースキャン)の適用を開始する。
所定の走査開始トリガー信号を受けて、走査制御部2111は、被検眼E(眼底Ef)に対するOCTスキャン(リサジュースキャン)の適用を開始する。
走査開始トリガー信号は、例えば、所定の準備動作(アライメント、フォーカス調整、OCT光路長調整など)が完了したことに対応して、又は、操作部242を用いて走査開始指示操作が行われたことに対応して生成される。
走査制御部2111は、走査プロトコル2121(リサジュースキャンに対応したプロトコル)に基づいて光スキャナ44及びOCTユニット100などを制御することによってリサジュースキャンを眼底Efに適用する。リサジュースキャンにより収集されたデータは画像データ構築部220に送られる。
(S2:複数のストリップを構築する)
画像データ構築部220は、前述した要領で、ステップS1で収集されたデータに基づいて複数のストリップを構築する。構築された複数のストリップはデータ処理部230に送られる。
画像データ構築部220は、前述した要領で、ステップS1で収集されたデータに基づいて複数のストリップを構築する。構築された複数のストリップはデータ処理部230に送られる。
(S3:基準ストリップと対象ストリップを設定する)
データ処理部230は、ステップS2で構築された複数のストリップを寸法(面積など)に従って順序付けする。本例では、ステップS2で構築された複数のストリップの個数をN個(Nは2以上の整数)であるとする。また、順序付けにより指定された順序に従って、これらN個のストリップを、第1のストリップ、第2のストリップ、・・・、第Nのストリップと呼ぶ。また、第1~第Nのストリップのうちの任意のストリップを第nのストリップと呼ぶことがある(n=1、2、・・・、N)。このように、第1のストリップは最も大きなストリップであり、第2のストリップは2番目に大きなストリップであり、第nのストリップはn番目に大きなストリップであり、第Nのストリップは最も小さなストリップである。
データ処理部230は、ステップS2で構築された複数のストリップを寸法(面積など)に従って順序付けする。本例では、ステップS2で構築された複数のストリップの個数をN個(Nは2以上の整数)であるとする。また、順序付けにより指定された順序に従って、これらN個のストリップを、第1のストリップ、第2のストリップ、・・・、第Nのストリップと呼ぶ。また、第1~第Nのストリップのうちの任意のストリップを第nのストリップと呼ぶことがある(n=1、2、・・・、N)。このように、第1のストリップは最も大きなストリップであり、第2のストリップは2番目に大きなストリップであり、第nのストリップはn番目に大きなストリップであり、第Nのストリップは最も小さなストリップである。
本例において、データ処理部230は、第1のストリップを初期基準ストリップに設定し、第2のストリップを初期対象ストリップに設定する。
なお、基準ストリップ及び対象ストリップは、それぞれ、非特許文献1のAppendix Aにおける任意形状の画像(arbitrary shaped images)f(r)及びg(r)に相当する。
(S4:基準マスク画像と対象マスク画像を設定する)
マスク画像生成部2311は、基準ストリップに対応するマスク画像(基準マスク画像)と、対象ストリップに対応する対象マスク画像とを生成する。
マスク画像生成部2311は、基準ストリップに対応するマスク画像(基準マスク画像)と、対象ストリップに対応する対象マスク画像とを生成する。
この段階では、マスク画像生成部2311は、第1のストリップ及び第2のストリップにそれぞれ対応する2つのマスク画像を生成する。データ処理部230は、第1のストリップに対応する第1のマスク画像を初期基準マスク画像に設定し、第2のストリップに対応する第2のマスク画像を初期対象マスク画像に設定する。
なお、基準マスク画像及び対象マスク画像は、それぞれ、非特許文献1のAppendix Aにおける矩形状の二値画像マスク(rectangular shaped binary image masks)mf(r)及びmg(r)に相当する。
(S5:基準ストリップと対象ストリップを正規化する)
範囲調整部2312は、前述した要領で、ステップS3で設定された基準ストリップと対象ストリップに正規化を施す。ストリップの正規化は、マスク画像の画素値の範囲に応じて行われる。この段階においては、範囲調整部2312は、第1のストリップ(基準ストリップ)及び第2のストリップ(対象ストリップ)に正規化を適用する。なお、範囲調整部2312が実行する処理は正規化には限定されず、前述した範囲調整処理のいずれか又はそれに類する処理であってよい。
範囲調整部2312は、前述した要領で、ステップS3で設定された基準ストリップと対象ストリップに正規化を施す。ストリップの正規化は、マスク画像の画素値の範囲に応じて行われる。この段階においては、範囲調整部2312は、第1のストリップ(基準ストリップ)及び第2のストリップ(対象ストリップ)に正規化を適用する。なお、範囲調整部2312が実行する処理は正規化には限定されず、前述した範囲調整処理のいずれか又はそれに類する処理であってよい。
本例において、各マスク画像の画素値の範囲は閉区間[0,1]に含まれるものとする。特に、本例の各マスク画像は、対応するストリップの定義域に相当する領域内の画素値が1に設定され且つ他の画素の値が0に設定された二値画像であるものとする。
範囲調整部2312は、例えば、ストリップの各画素の値をこのストリップにおける最大画素値で除算することにより、又は、ストリップの各画素の値をこのストリップの画素値の範囲(階調範囲)の最大値で除算することにより、このストリップの正規化を行う。
また、データ処理部230(合成画像生成部2313)は、画素値範囲が正規化されたストリップを、対応するマスク画像と同じ寸法及び同じ形状の画像に埋め込む。正規化された第1のストリップf(r)の埋め込み画像は、非特許文献1のAppendix Aにおける矩形状の画像(rectangular shaped image)f´(r)に類する画像であるが、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)が1以下に正規化されている。この埋め込み画像を同じくf´(r)と表す。
同様に、正規化された第2のストリップg(r)の埋め込み画像は、矩形状の画像g´(r)に類する画像であるが、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)が1以下に正規化されている。この埋め込み画像を同じくg´(r)と表す。
(S6:基準合成画像と対象合成画像を生成する)
合成画像生成部2313は、正規化されたストリップの埋め込み画像と、対応するマスク画像との合成画像を生成する。
合成画像生成部2313は、正規化されたストリップの埋め込み画像と、対応するマスク画像との合成画像を生成する。
この段階においては、合成画像生成部2313は、正規化された第1のストリップ(基準ストリップ)の埋め込み画像と、第1のマスク画像(基準マスク画像)との合成画像を生成し、且つ、正規化された第2のストリップ(対象ストリップ)の埋め込み画像と、第2のマスク画像(対象マスク画像)との合成画像を生成する。前者の合成画像を基準合成画像と呼び、後者を対象合成画像と呼ぶ。
ここで、基準合成画像及び対象合成画像は、それぞれ、非特許文献1のAppendix Aにおける2つの矩形状の画像の組み合わせ(combination of two rectangle shaped images)f´(r)mf(r)及びg´(r)mg(r)に相当する。ただし、前述したように、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)は1以下であり、且つ、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)は1以下である。
図7Aの画像311は、正規化された第1のストリップf(r)の埋め込み画像f´(r)の例であり、画像321は、第1のマスク画像の例である。これら2つの画像311及び321を組み合わせることによって基準合成画像f´(r)mf(r)が得られる。
同様に、図7Bの画像312は、正規化された第2のストリップg(r)の埋め込み画像g´(r)の例であり、画像322は、第2のマスク画像の例である。これら2つの画像312及び322を組み合わせることによって基準合成画像g´(r)mg(r)が得られる。
(S7:複数の相互相関関数を算出する)
相互相関関数算出部2314は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて複数の相互相関関数を算出する。本例では、相互相関関数算出部2314は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数を算出する。
相互相関関数算出部2314は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて複数の相互相関関数を算出する。本例では、相互相関関数算出部2314は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数を算出する。
(S8:相関係数を算出する)
相関係数算出部2315は、ステップS7で算出された複数の相互相関関数に基づいて相関係数を算出する。本例では、相関係数算出部2315は、非特許文献1の式(33)に従って、ステップS7で算出された複数の相互相関関数から相関係数(ρ(r´))を算出する。
相関係数算出部2315は、ステップS7で算出された複数の相互相関関数に基づいて相関係数を算出する。本例では、相関係数算出部2315は、非特許文献1の式(33)に従って、ステップS7で算出された複数の相互相関関数から相関係数(ρ(r´))を算出する。
(S9:相関係数を記録する)
情報記録部234は、ステップS8で算出された相関係数(ρ(r´))を記録する。例えば、情報記録部234は、この相関係数と、対応する識別子とを互いに関連付けて記録する。この識別子は、前述したように、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、及びこれらと異なる識別子のいずれかであってよい。ステップS3~S14の繰り返しにより、このリサジュースキャンの相関係数集合に含まれる相関係数が蓄積されていく。
情報記録部234は、ステップS8で算出された相関係数(ρ(r´))を記録する。例えば、情報記録部234は、この相関係数と、対応する識別子とを互いに関連付けて記録する。この識別子は、前述したように、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、及びこれらと異なる識別子のいずれかであってよい。ステップS3~S14の繰り返しにより、このリサジュースキャンの相関係数集合に含まれる相関係数が蓄積されていく。
(S10:基準ストリップと対象ストリップとの間のxy方向シフト量を算出する)
xyシフト量算出部2316は、ステップS8で算出された相関係数に基づいて、第1のストリップ(基準ストリップ)f(r)と第2のストリップ(対象ストリップ)g(r)との間のxy方向シフト量を算出する。本例では、ステップS8で算出された相関係数ρ(r´)のピークを検出することにより、基準ストリップf(r)と対象ストリップg(r)との間の相対的なxy方向シフト量(Δx、Δy)が求められる。
xyシフト量算出部2316は、ステップS8で算出された相関係数に基づいて、第1のストリップ(基準ストリップ)f(r)と第2のストリップ(対象ストリップ)g(r)との間のxy方向シフト量を算出する。本例では、ステップS8で算出された相関係数ρ(r´)のピークを検出することにより、基準ストリップf(r)と対象ストリップg(r)との間の相対的なxy方向シフト量(Δx、Δy)が求められる。
(S11:xy方向シフト量を保存する)
ステップS10において当該ストリップペアについて算出されたxy方向シフト量は、例えば、記憶部212に保存される。xy方向シフト量は、当該ストリップペアに対応する時間情報とともに記録されてもよい。この時間情報は、リサジュースキャンに対応する時間パラメータ又はそれに基づく情報であってもよいし、リサジュースキャンに関する順序情報又はそれに基づく情報であってもよい。時間情報の例として、サイクル番号、スキャン番号、ストリップ番号などがある。ステップS3~S13の反復によって逐次に取得されるxy方向シフト量を時間情報とともに記録することによってxy位置履歴データが生成される。
ステップS10において当該ストリップペアについて算出されたxy方向シフト量は、例えば、記憶部212に保存される。xy方向シフト量は、当該ストリップペアに対応する時間情報とともに記録されてもよい。この時間情報は、リサジュースキャンに対応する時間パラメータ又はそれに基づく情報であってもよいし、リサジュースキャンに関する順序情報又はそれに基づく情報であってもよい。時間情報の例として、サイクル番号、スキャン番号、ストリップ番号などがある。ステップS3~S13の反復によって逐次に取得されるxy方向シフト量を時間情報とともに記録することによってxy位置履歴データが生成される。
(S12:基準ストリップと対象ストリップとの間のレジストレーションを行う)
基準ストリップ及び対象ストリップに対して、レジストレーション部2317は、ステップS10で算出されたxy方向シフト量に基づきxy方向のレジストレーション(rough lateral motion correction)を適用する。この段階では、第1のストリップf(r)と第2のストリップg(r)との間のレジストレーションが行われる。
基準ストリップ及び対象ストリップに対して、レジストレーション部2317は、ステップS10で算出されたxy方向シフト量に基づきxy方向のレジストレーション(rough lateral motion correction)を適用する。この段階では、第1のストリップf(r)と第2のストリップg(r)との間のレジストレーションが行われる。
更に、レジストレーション部2317は、前述した「fine lateral motion correction」などの任意のxy方向のレジストレーションを基準ストリップ及び対象ストリップに対して適用してもよい。
(S13:基準ストリップと対象ストリップとのマージ画像を構築する)
マージ処理部2318は、ステップS12のレジストレーションにより相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。図7Cの画像330は、第1のストリップf(r)と第2のストリップg(r)とのマージ画像の例を示す。
マージ処理部2318は、ステップS12のレジストレーションにより相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。図7Cの画像330は、第1のストリップf(r)と第2のストリップg(r)とのマージ画像の例を示す。
ここで、ステップS7~S13の処理の実装例を説明する。まず、f´(r)mf(r)、g´(r)mg(r)、mf(r)、mg(r)、(f´(r)mf(r))2、及び(g´(r)mg(r))2のそれぞれの虚部(imaginary part)を0に設定することによって、実部(real part)のみにする。
次に、f´(r)mf(r)、g´(r)mg(r)、mf(r)、mg(r)、(f´(r)mf(r))2、及び(g´(r)mg(r))2のそれぞれの実部に対して高速フーリエ変換(FFT)を適用する。
次に、これらの高速フーリエ変換で得られた関数群に基づいて、図6AのステップS7に示された6個の相互相関関数を導出する。
次に、導出された6個の相互相関関数のそれぞれに逆高速フーリエ変換(IFFT)を適用する。
次に、非特許文献1の式(33)の相関係数ρ(r´)を算出する。
そして、相関係数ρ(r´)のピーク位置を特定することによって基準ストリップf(r)と対象ストリップg(r)との間の相対的なシフト量(Δx、Δy)を算出し、このシフト量に基づいて基準ストリップf(r)と対象ストリップg(r)との間のレジストレーション及びマージ処理を実行する。
このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる。また、当該ストリップペアについて求められたxy方向シフト量(Δx、Δy)を時間情報とともに(つまり、時間情報に関連付けて)保存することができる。
(S14:全てのストリップを処理したか?)
ステップS2で得られたN個のストリップの全てに対し、前述した順序に従って逐次に、ステップS3~S13の一連の処理が実行される。
ステップS2で得られたN個のストリップの全てに対し、前述した順序に従って逐次に、ステップS3~S13の一連の処理が実行される。
Nが3以上の場合において、ステップS13で第1のストリップと第2のストリップとのマージ画像が作成された場合(S14:No)、処理はステップS3に戻る。ステップS3では、第1のストリップと第2のストリップとのマージ画像が新たな基準ストリップに設定され、且つ、第3のストリップが新たな対象ストリップに設定される。新たな基準ストリップと新たな対象ストリップに基づきステップS4~S13の処理を実行することにより、新たな基準ストリップと新たな対象ストリップとのマージ画像が得られる。この新たなマージ画像は、第1~第3のストリップのマージ画像である。このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる(S14:Yes)。
(S15:xy方向のモーションアーティファクトが補正された画像を保存する)
以上に説明した繰り返し処理により最終的に得られたマージ画像は、xy方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
以上に説明した繰り返し処理により最終的に得られたマージ画像は、xy方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
データ処理部230は、N個のストリップに基づくレジストレーションの結果を利用して、ステップS1で収集されたデータ(3次元データ)、及び/又は、この3次元データから画像データ構築部220が構築した3次元画像データのレジストレーションを行うことができる。つまり、データ処理部230は、最終的に得られたマージ画像を利用して3次元データや3次元画像データのレジストレーションを行うことができる。このレジストレーションは、リサジュースキャンの定義座標系を3次元直交座標系(xyz座標系)に変換する処理を含む。この座標変換は、非特許文献1に記載された手法における「remapping」に相当する。このようにして、xy方向のモーションアーティファクトが補正された3次元画像データ(ボリューム)が得られる。主制御部211は、このxy方向モーションアーティファクト補正済みボリュームを、最終的なマージ画像とともに又はその代わりに、記憶部212(及び/又は、他の記憶装置)に保存することができる。
(S16:基準ストリップを選択する)
z方向のモーションアーティファクトを補正するための処理に移行する。z方向モーションアーティファクト補正では、まず、zシフト量算出部232が、xy方向モーションアーティファクトの補正がなされたボリュームに対応する複数のストリップから、1つのストリップ(基準ストリップ)を選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第1のストリップであってもよいし、これとは異なるストリップであってもよい。
z方向のモーションアーティファクトを補正するための処理に移行する。z方向モーションアーティファクト補正では、まず、zシフト量算出部232が、xy方向モーションアーティファクトの補正がなされたボリュームに対応する複数のストリップから、1つのストリップ(基準ストリップ)を選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第1のストリップであってもよいし、これとは異なるストリップであってもよい。
(S17:対象ストリップを選択する)
次に、zシフト量算出部232は、ステップS16で選択された基準ストリップとは別の1つのストリップ(対象ストリップ)を、xy方向モーションアーティファクトが補正されたボリュームに対応する複数のストリップからを選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第2のストリップであってもよいし、これ以外のストリップであってもよい。
次に、zシフト量算出部232は、ステップS16で選択された基準ストリップとは別の1つのストリップ(対象ストリップ)を、xy方向モーションアーティファクトが補正されたボリュームに対応する複数のストリップからを選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第2のストリップであってもよいし、これ以外のストリップであってもよい。
(S18:基準ストリップに対応する基準サブボリュームを設定する)
次に、zシフト量算出部232は、ステップS16で選択された基準ストリップに対応するサブボリュームを基準サブボリュームに設定する。ここで、基準サブボリュームの正面プロジェクション画像が基準ストリップである。
次に、zシフト量算出部232は、ステップS16で選択された基準ストリップに対応するサブボリュームを基準サブボリュームに設定する。ここで、基準サブボリュームの正面プロジェクション画像が基準ストリップである。
(S19:対象ストリップに対応する対象サブボリュームを設定する)
同様に、zシフト量算出部232は、ステップS17で選択された対象ストリップに対応するサブボリュームを対象サブボリュームに設定する。ここで、対象サブボリュームの正面プロジェクション画像が対象ストリップである。
同様に、zシフト量算出部232は、ステップS17で選択された対象ストリップに対応するサブボリュームを対象サブボリュームに設定する。ここで、対象サブボリュームの正面プロジェクション画像が対象ストリップである。
(S20:基準サブボリュームと対象サブボリュームとの交差領域を特定する)
次に、zシフト量算出部232は、ステップS18で設定された基準サブボリュームと、ステップS19で設定された対象サブボリュームとの交差領域(共通領域)を特定する。
次に、zシフト量算出部232は、ステップS18で設定された基準サブボリュームと、ステップS19で設定された対象サブボリュームとの交差領域(共通領域)を特定する。
前述したように、2つのサブボリュームには4つの交差領域がある。zシフト量算出部232は、1つ又は2つ以上の交差領域を特定する。2つ以上の交差領域を特定する場合、特定された各交差領域について次のステップS21が実行される。
(S21:基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する)
次に、zシフト量算出部232は、ステップS20で特定されたサブボリューム間の交差領域に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する。
次に、zシフト量算出部232は、ステップS20で特定されたサブボリューム間の交差領域に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する。
例えば、zシフト量算出部232は、ステップS20で特定された交差領域に断面(注目断面)を設定する。注目断面は、交差領域の任意の断面であってよい。次に、zシフト量算出部232は、基準サブボリュームから注目断面の画像(基準断面画像)を構築し、且つ、対象サブボリュームから注目断面の画像(対象断面画像)を構築する。次に、zシフト量算出部232は、基準断面画像を解析して被検眼Eの所定部位の像(基準像)を特定し、且つ、対象断面画像を解析して同部位の像(対象像)を特定する。次に、zシフト量算出部232は、基準像のz座標と対象像のz座標とを求め、これら2つのz座標の差を算出する。本例では、算出された差が、基準サブボリュームと対象サブボリュームとの間のz方向シフト量に採用される。
図8に具体例を示す。符号401は、基準サブボリュームに対応するストリップ402と対象サブボリュームに対応するストリップ403との交差状態を表している。本例では、白丸で囲まれた交差領域に着目する。x方向に沿った白丸の直径(点線で示されている)が注目断面である。2つのストリップ402及び403にもそれぞれ交差領域と注目断面とが同様に示されている。zシフト量算出部232は、ストリップ402に対応する基準サブボリュームから、この注目断面の画像(基準断面画像)412を構築し、且つ、ストリップ403に対応する対象サブボリュームから、この注目断面の画像(対象断面画像)413を構築する。更に、zシフト量算出部232は、基準断面画像412を解析して網膜表面の像のz位置(z座標)422を特定し、且つ、対象断面画像413を解析して網膜表面の像のz位置(z座標)423を特定する。加えて、zシフト量算出部232は、基準サブボリュームと対象サブボリュームとの間のz方向シフト量として、2つの断面画像412及び413からそれぞれ特定された2つのz位置(2つのz座標)422及び423の間の差Δzを求める。
基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する手法は、これに限定されず、それらの交差領域を利用する任意の手法であってよい。例えば、前述したように、zシフト量算出部232は、基準サブボリュームと対象サブボリュームとの間の相関係数を算出し、この相関係数に基づいてz方向シフト量を求めてもよい。
この場合、図6BのステップS9と同様に、各サブボリュームペア算出された相関係数は、情報記録部234によって記録される。例えば、情報記録部234は、z方向シフト量の算出において求められた相関係数と、対応する識別子とを互いに関連付けて記録する。この識別子は、前述したように、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、サブボリューム番号、マージ処理番号、及びこれらと異なる識別子のいずれかであってよい。ステップS17~S24の繰り返しにより、このリサジュースキャンの相関係数集合に含まれる相関係数が蓄積されていく。ここで、ステップS9で記録されるxy方向の相関係数と、ステップS21で記録されるz方向の相関係数とは、識別子を介して互いに関連付けられる。これにより、3次元的な相関係数に対応した走査位置情報を生成することが可能になる。
(S22:z方向シフト量を保存する)
ステップS21において当該サブボリュームペアについて算出されたz方向シフト量は、例えば記憶部212に保存される。xy方向シフト量の保存(ステップS11)と同様に、z方向シフト量は、例えば、当該サブボリュームペアに対応する時間情報とともに記録されてもよい。
ステップS21において当該サブボリュームペアについて算出されたz方向シフト量は、例えば記憶部212に保存される。xy方向シフト量の保存(ステップS11)と同様に、z方向シフト量は、例えば、当該サブボリュームペアに対応する時間情報とともに記録されてもよい。
(S23:基準サブボリュームと対象サブボリュームとの間のレジストレーションを行う)
画像データ補正部233は、ステップS21で算出されたz方向シフト量に基づいて、基準サブボリューム及び対象サブボリュームに対してz方向のレジストレーションを適用する。
画像データ補正部233は、ステップS21で算出されたz方向シフト量に基づいて、基準サブボリューム及び対象サブボリュームに対してz方向のレジストレーションを適用する。
このレジストレーションは、例えば、図8のz方向シフト量Δzを打ち消すように、つまり、基準断面画像412中の網膜表面の像と対象断面画像413中の網膜表面の像とが同じz位置(等しいz座標)に配置されるように、基準サブボリュームと対象サブボリュームとのz方向の相対位置を調整する処理である。
(S24:基準サブボリュームと対象サブボリュームとのマージ画像を構築する)
画像データ補正部233は、ステップS23のレジストレーションによりz方向の相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像を構築する。これにより、xy方向及びz方向について相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像が得られる。
画像データ補正部233は、ステップS23のレジストレーションによりz方向の相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像を構築する。これにより、xy方向及びz方向について相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像が得られる。
(S25:全てのサブボリュームを処理したか?)
全てのサブボリュームに対し、所定の順序(例えば、第1~第Nのストリップに割り当てられた順序)に従って逐次に、ステップS17~S24の一連の処理が実行される(S25:No)。なお、本例では、ステップS24で構築されたマージ画像が、次のルーチンにおける基準ストリップとして設定される。このような一連の処理を全てのサブボリュームに対して逐次に適用することにより、全てのサブボリュームのマージ画像が得られる(S25:Yes)。
全てのサブボリュームに対し、所定の順序(例えば、第1~第Nのストリップに割り当てられた順序)に従って逐次に、ステップS17~S24の一連の処理が実行される(S25:No)。なお、本例では、ステップS24で構築されたマージ画像が、次のルーチンにおける基準ストリップとして設定される。このような一連の処理を全てのサブボリュームに対して逐次に適用することにより、全てのサブボリュームのマージ画像が得られる(S25:Yes)。
(S26:全てのサブボリュームがマージされたボリュームを保存する)
このようなステップS17~S24の反復により最終的に得られたマージ画像は、xy方向及びz方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
このようなステップS17~S24の反復により最終的に得られたマージ画像は、xy方向及びz方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
以下の処理は、z方向のモーションアーティファクト補正をより精密に行うためのものである。ステップS16~S25では、z方向のモーションアーティファクト補正をサブボリューム単位(ストリップ単位)で行っている。これに対し、以下に説明するステップS27~S32では、z方向のモーションアーティファクト補正をサイクル単位で実行する。このサイクル単位の補正は、データ処理部230(例えば、画像データ補正部233)によって実行される。
なお、精密なz方向モーションアーティファクト補正は、サイクル単位で実行される必要はなく、サブボリュームの一部を構成するサイクル群を単位として実行するようにしてもよい。また、精密なz方向モーションアーティファクト補正は、全てのサイクル(全てのサイクル群)について実行される必要はなく、一部のサイクル(一部のサイクル群)についてのみ実行するようにしてもよい。
(S27:マージされたボリュームからサイクルを選択する)
画像データ補正部233は、全てのサブボリュームがマージされたボリュームから、1つのサイクル(に対応する部分データ)を選択する。
画像データ補正部233は、全てのサブボリュームがマージされたボリュームから、1つのサイクル(に対応する部分データ)を選択する。
最初に選択されるサイクルは、任意であってよい。例えば、ステップS1のリサジュースキャンにおける複数のサイクルのスキャン順(時系列順、スキャン番号、サイクル番号)に従ってサイクルが順次に選択される。或いは、複数のストリップ又は複数のサブボリュームに割り当てられた順序(ストリップ番号、サブボリューム番号)などに基づいてサイクルの選択順序が設定されてもよい。
(S28:サイクルをボリュームから抜去する)
次に、画像データ補正部233は、ステップS27で選択されたサイクルに対応する部分データをボリュームから抜き出す。
次に、画像データ補正部233は、ステップS27で選択されたサイクルに対応する部分データをボリュームから抜き出す。
(S29:サイクル抜去後のボリュームとサイクルとの間のz方向シフト量を算出する)
次に、画像データ補正部233は、ステップS28で抜き出されたサイクルに対応する部分データと、当該サイクルが抜き出されたボリュームとの間におけるz方向シフト量を算出する。
次に、画像データ補正部233は、ステップS28で抜き出されたサイクルに対応する部分データと、当該サイクルが抜き出されたボリュームとの間におけるz方向シフト量を算出する。
本ステップのz方向シフト量算出の手法は、ステップS21の手法と同様であってよい。例えば、画像データ補正部233は、ステップS28でボリュームから抜去されたサイクルの部分データ(注目断面画像)を解析して被検眼Eの所定部位の像(第1の像)を特定し、且つ、注目断面画像が抜き出されたボリュームを解析して同部位の像(第2の像)を特定する。第2の像を特定するための解析は、注目断面画像が抜き出されたボリュームの全体に対して適用される必要はなく、例えば、注目断面画像に隣接する部分(隣接するサイクル)のみに対して適用されてよい。更に、画像データ補正部233は、第1の像のz座標と第2の像のz座標とを求め、これら2つのz座標の差を算出する。本例では、算出された差が、当該サイクルと当該サイクル抜去後のボリュームとの間のz方向シフト量に採用される。
(S30:z方向シフト量を更新する)
次に、主制御部211は、ステップS21で求められたz方向シフト量を、新たにステップS29で算出されたz方向シフト量に置き換える。ここでは、ステップS28で抜去されたサイクルに対応する部分データを含むサブボリュームのz方向シフト量が更新される。
次に、主制御部211は、ステップS21で求められたz方向シフト量を、新たにステップS29で算出されたz方向シフト量に置き換える。ここでは、ステップS28で抜去されたサイクルに対応する部分データを含むサブボリュームのz方向シフト量が更新される。
ステップS21のz方向シフト量の算出とステップS29のz方向シフト量の算出との双方において相関係数が用いられた場合、ステップS21で記録された情報(相関係数、識別子など)をステップS29で取得された情報(相関係数、識別子など)で置き換えることができ、又は、ステップS21で記録された情報とステップS29で取得された情報との双方を互いに関連付けて記録することができる。ここで、ステップS21で記録された情報とステップS29で取得された情報との間の対応付けは、識別子を介して行うことができる。ステップS21のz方向シフト量の算出及びステップS29のz方向シフト量の算出のいずれか一方のみにおいて相関係数が用いられた場合には、その一方の処理で得られた情報を記録することができる。
(S31:レジストレーション及びマージングを行う)
次に、画像データ補正部233は、ステップS29で求められたz方向シフト量を打ち消すように、ステップS28で抜去されたサイクルに対応する部分データと、サイクル抜去後のボリュームとの間のレジストレーションを実行する。更に、画像データ補正部233は、このレジストレーションによりz方向の相対位置調整がなされた当該部分データとサイクル抜去後のボリュームとのマージ画像を構築する。これにより、xy方向について相対位置調整がなされ且つz方向について精密に相対位置調整がなされたボリュームが得られる。
次に、画像データ補正部233は、ステップS29で求められたz方向シフト量を打ち消すように、ステップS28で抜去されたサイクルに対応する部分データと、サイクル抜去後のボリュームとの間のレジストレーションを実行する。更に、画像データ補正部233は、このレジストレーションによりz方向の相対位置調整がなされた当該部分データとサイクル抜去後のボリュームとのマージ画像を構築する。これにより、xy方向について相対位置調整がなされ且つz方向について精密に相対位置調整がなされたボリュームが得られる。
(S32:全てのサイクルを処理したか?)
全てのサイクルに対し、所定の順序に従って逐次に、ステップS27~S31の一連の処理が実行される(S32:No)。このような一連の処理を全てのサイクルに対して逐次に適用することにより、全サイクル間のz方向相対位置調整がなされたボリュームが得られる(S32:Yes)。主制御部211は、この最終的なボリュームを記憶部212(及び/又は、他の記憶装置)に保存することができる。
全てのサイクルに対し、所定の順序に従って逐次に、ステップS27~S31の一連の処理が実行される(S32:No)。このような一連の処理を全てのサイクルに対して逐次に適用することにより、全サイクル間のz方向相対位置調整がなされたボリュームが得られる(S32:Yes)。主制御部211は、この最終的なボリュームを記憶部212(及び/又は、他の記憶装置)に保存することができる。
(S33:相関係数集合から所定の条件を満足する相関係数を特定する)
本動作例では、ステップS9を含むルーチン(並びに、ステップS21を含むルーチン及びステップS29を含むルーチンの少なくとも一方)を繰り返し行うことにより、相関係数や識別子などの情報が蓄積される。蓄積された情報は、前述した相関係数集合に相当する。
本動作例では、ステップS9を含むルーチン(並びに、ステップS21を含むルーチン及びステップS29を含むルーチンの少なくとも一方)を繰り返し行うことにより、相関係数や識別子などの情報が蓄積される。蓄積された情報は、前述した相関係数集合に相当する。
情報記録部234は、この相関係数集合に含まれている相関係数のうち、所定の条件を満足する相関係数を特定する。この所定の条件は、前述した判定条件に相当する。これにより、前述した部分集合が得られる。
(S34:走査位置情報を生成する)
情報記録部234は、ステップS33で特定された部分集合に対応する走査位置情報を生成する。例えば、情報記録部234は、ステップS33で特定された部分集合に属する各相関係数に関連付けられた識別子から走査位置情報を生成する。前述したように、識別子は、ステップS1のリサジュースキャンが適用された位置(走査位置)を示す情報(すなわち、走査位置の表現)であり、例えば、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、サブボリューム番号、マージ処理番号、及びこれらと異なる識別子のうちの少なくとも1つを含んでいてよい。
情報記録部234は、ステップS33で特定された部分集合に対応する走査位置情報を生成する。例えば、情報記録部234は、ステップS33で特定された部分集合に属する各相関係数に関連付けられた識別子から走査位置情報を生成する。前述したように、識別子は、ステップS1のリサジュースキャンが適用された位置(走査位置)を示す情報(すなわち、走査位置の表現)であり、例えば、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、サブボリューム番号、マージ処理番号、及びこれらと異なる識別子のうちの少なくとも1つを含んでいてよい。
このようにして生成された走査位置情報は、判定条件を満足する相関係数に対応する走査位置を示す情報を含んでいる。
判定条件が前述した第1の例(相関係数の値が小さいこと)である場合、走査位置情報は、第1の閾値よりも値が小さい相関係数に対応する走査位置を示す情報、つまり、交差領域における相関が低いサイクルペアの位置を示す情報を含む。
判定条件が前述した第2の例(相関係数の値が大きいこと)である場合、走査位置情報は、第2の閾値よりも値が大きい相関係数に対応する走査位置を示す情報、つまり、交差領域における相関が高いサイクルペアの位置を示す情報を含む。
判定条件が前述した第3の例(特定範囲に相関係数の値が含まれること)である場合、走査位置情報は、この特定範囲に値が属する相関係数に対応する走査位置を示す情報、つまり、交差領域における相関が特定範囲に含まれるサイクルペアの位置を示す情報を含む。
これらの例と異なる判定条件が用いられる場合においても同様に、走査位置情報は、適用される判定条件を満足する相関係数に対応する走査位置を示す情報、つまり、交差領域における相関がこの判定条件に合致するサイクルペアの位置を示す情報を含む。
(S35:走査位置情報を記録する)
情報記録部234は、ステップS34で生成された走査位置情報を記録する(エンド)。情報記録部234は、この走査位置情報と、ステップS32で作成された最終的なボリューム(モーションアーティファクトが補正された3次元画像データ)とを互いに関連付けて記録してもよい。また、情報記録部234は、本動作例において生成された任意の情報を走査位置情報に関連付けて記録してもよい。走査位置情報とともに記録される情報の種類は、予め設定されていてもよいし、ユーザー又は眼科検査装置1によって指定されてもよい。
情報記録部234は、ステップS34で生成された走査位置情報を記録する(エンド)。情報記録部234は、この走査位置情報と、ステップS32で作成された最終的なボリューム(モーションアーティファクトが補正された3次元画像データ)とを互いに関連付けて記録してもよい。また、情報記録部234は、本動作例において生成された任意の情報を走査位置情報に関連付けて記録してもよい。走査位置情報とともに記録される情報の種類は、予め設定されていてもよいし、ユーザー又は眼科検査装置1によって指定されてもよい。
記録された走査位置情報は任意の処理に利用される。この処理は、例えば、情報の提示(走査位置情報の表示、走査位置情報から生成された情報の表示など)、情報の提供(走査位置情報の送信、走査位置情報から生成された情報の送信など)、統計処理、画像解析、画像処理、画像評価、機械学習、及び、機械学習用の訓練データの生成のうちのいずれか1つ以上であってよい。これらの処理において、走査位置情報とともに記録された情報を用いることも可能である。
<効果>
第1の実施形態に係る眼科検査装置1の幾つかの効果について説明する。
第1の実施形態に係る眼科検査装置1の幾つかの効果について説明する。
眼科検査装置1は、光走査を用いて画像データを構築する走査型イメージング装置であって、その機能要素としてデータセット収集部と相関係数算出部と情報記録部とを含んでいる。
データセット収集部は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集するように機能する。本実施形態では、OCTデータを収集するための要素群がデータセット収集部に相当し、例えば、眼底カメラユニット2、OCTユニット100、画像データ構築部220などがデータセット収集部に相当している。
相関係数算出部は、データセット収集部により収集されたデータセットに基づいてサイクル間の相関係数を算出するように機能する。本実施形態では、相関係数算出部2315、zシフト量算出部232などが相関係数算出部に相当している。
情報記録部は、相関係数算出部によりデータセットから算出された相関係数集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録するように機能する。本実施形態では、情報記録部234などが情報記録部に相当している。
このような眼科検査装置1によれば、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができるので、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。この利用法については、その幾つかの非限定的な例が後述の実施形態において説明される。
本実施形態の幾つかの態様において、上記部分集合の要素は、所定の閾値以下の相関係数であってよい。すなわち、本態様の情報記録部は、相関係数算出部によりデータセットから算出された相関係数集合のうち所定の閾値以下の相関係数を要素とする部分集合に対応する走査位置情報を記録するように構成されていてもよい。本態様によれば、光走査を用いて構築された画像中の低品質の部分や画像化されなかった部分を示す走査位置情報を生成し記録することができる。この走査位置情報を利用することで、例えば、画像補完や再スキャンなどを行うことができる。
第1の実施形態の幾つかの応用例について以下の実施形態で説明する。以下の実施形態では、特に言及しない限り、第1の実施形態と同様の事項(同様の構成、同様の要素、同様の機能、同様の作用、同様の効果など)を採用することができる。なお、第1の実施形態と均等な実施形態又は第1の実施形態に類似した実施形態についても、以下の実施形態と同様の応用を行うことが可能である。
<第2の実施形態>
第2の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図9の画像データ処理部231Aを備えている。本実施形態の画像データ処理部231Aは、第1の実施形態の画像データ処理部231に画素値決定部235を付加したものである。
第2の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図9の画像データ処理部231Aを備えている。本実施形態の画像データ処理部231Aは、第1の実施形態の画像データ処理部231に画素値決定部235を付加したものである。
本実施形態の情報記録部234は、リサジュースキャンなどの光走査で収集されたデータセットから算出された相関係数集合から、所定の閾値以下の相関係数を要素とする部分集合を特定し、この部分集合に対応する走査位置情報を記録するように構成されている。本実施形態の眼科検査装置は、画像データ処理部231Aにより構築された画像データ(例えば、画像データ補正部233により生成された最終的な3次元画像データ、又は、マージ処理部2318により生成されたマージ画像)中の低品質の部分をより高品質な画素に置き換える処理、及び/又は、この画像データ中の画像化されなかった部分を補完する処理を実行する機能要素を備えている。この機能要素の例が画素値決定部235である。
画素値決定部235は、情報記録部234により記録された走査位置情報に対応する画素の値を1以上の近傍画素の値に基づいて決定するように構成されている。画素値決定部235は、プロセッサを含むハードウェアと、画素値決定処理ソフトウェアとの協働によって実現される。
画素値決定部235が実行する画素値決定処理の方法は任意であってよい。例えば、画素値決定部235は、任意の補間(内挿)及び/又は任意の外挿を実行可能であってよい。補間法の例として、最近傍補間、線形補間、バイリニア補間、トライリニア補間、バイキュービック補間、曲線あてはめ、多項式補間などがある。外挿法の例として、線形外挿、リチャードソン補外などがある。
例えば、第1の実施形態の図6FのステップS35の後に、画素値決定部235は、ステップS35で記録された走査位置情報に対応する画素の値を1以上の近傍画素の値に基づいて決定することができる。この走査位置情報は、第1の実施形態で説明した第1の閾値よりも値が小さい相関係数に対応する走査位置を示す情報を含んでいる。換言すると、この走査位置情報は、交差領域における相関が低いサイクルペアの位置を示す情報を含んでいる。画素値決定部235は、このような走査位置(例えば、当該サイクルペア又は当該交差領域)に存在する各画素の画素値を決定するように機能するものである。
本実施形態に係る眼科検査装置の動作について説明する。眼科検査装置の動作の例を図10に示す。特に言及しない限り、第1の実施形態で説明された事項をこの動作例に適用することができる。
(S41:サイクル個数を指定する)
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
(S42:準備動作を行う)
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS43のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS43のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
(S43:リサジュースキャンを行う)
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS41で指定されたサイクル個数からなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS41で指定されたサイクル個数からなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
(S44:各サイクルについてストリップを構築する)
画像データ構築部220は、ステップS43のリサジュースキャンで収集されたデータセットに基づいて、ステップS41で指定された各サイクルに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
画像データ構築部220は、ステップS43のリサジュースキャンで収集されたデータセットに基づいて、ステップS41で指定された各サイクルに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
(S45:各サイクルペアについて相関係数を算出する)
画像データ処理部231A(相関係数算出部2315など)は、ステップS41で指定された複数のサイクルに基づき形成された各サイクルペアについての相関係数を算出する。
画像データ処理部231A(相関係数算出部2315など)は、ステップS41で指定された複数のサイクルに基づき形成された各サイクルペアについての相関係数を算出する。
本ステップの処理は、例えば、第1の実施形態のモーションアーティファクト補正(図6A及び図6BのステップS3~ステップS8)と同じ要領で実行されてよい。
或いは、本ステップの処理は、ステップS41で指定された複数のサイクルに基づき形成された各サイクルペアについて、このサイクルペアを構成する2つのサイクルの間の相関係数を算出するようにしてもよい。この場合、第1の実施形態のモーションアーティファクト補正を別途に実行してもよい。
(S46:相関係数が閾値以下のストリップの画素値をゼロに設定する)
画像データ処理部231A(例えば、情報記録部234)は、ステップS45で算出された各相関係数を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS45で生成された相関係数集合における、第1の閾値よりも値が小さい相関係数からなる部分集合が特定される。
画像データ処理部231A(例えば、情報記録部234)は、ステップS45で算出された各相関係数を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS45で生成された相関係数集合における、第1の閾値よりも値が小さい相関係数からなる部分集合が特定される。
更に、画像データ処理部231A(例えば、画像データ補正部233又は情報記録部234)は、この部分集合の各要素(低値の相関係数)に対応する走査位置の画素の画素値をゼロに設定する。幾つかの例示的な態様では、少なくとも1つの低値の相関係数に対応するストリップの各画素の画素値をゼロに設定してもよい。幾つかの例示的な態様では、対応する相関係数の全てが低値であるストリップの各画素の画素値をゼロに設定してもよい。幾つかの例示的な態様では、対応する低値の相関係数の個数が所定数以上であるストリップの各画素の画素値をゼロに設定してもよい。これらの例では、画素値がゼロに設定されたストリップは黒の塗りつぶしとして表現され、第1の実施形態の「画像化されなかった部分」に相当する。なお、本ステップの処理はこれらの例に限定されない。
(S47:画素値をゼロにした画素の位置(走査位置情報)を記録する)
画像データ処理部231A(情報記録部234)は、ステップS46で画素値がゼロに設定された画素の位置を走査位置情報として記録する。
画像データ処理部231A(情報記録部234)は、ステップS46で画素値がゼロに設定された画素の位置を走査位置情報として記録する。
(S48:画素値ゼロの画素の補完を行う)
画像データ処理部231A(画素値決定部235)は、ステップS47で走査位置情報として記録された画素(すなわち、ステップS46で画素値がゼロに設定された画素)の補完を行う。この補完処理の対象となる画素は、ステップS47で走査位置情報として記録された全ての画素のうちの1つ以上であってよい。例えば、この補完処理の対象となり得る全ての画素を補完することができる。本ステップにより、黒の塗りつぶしとして表現されていたストリップの少なくとも1つの画素の画素値(ゼロ)が、その近傍に位置する1以上の画素(近傍画素)の画素値に基づいて置き換えられる。
画像データ処理部231A(画素値決定部235)は、ステップS47で走査位置情報として記録された画素(すなわち、ステップS46で画素値がゼロに設定された画素)の補完を行う。この補完処理の対象となる画素は、ステップS47で走査位置情報として記録された全ての画素のうちの1つ以上であってよい。例えば、この補完処理の対象となり得る全ての画素を補完することができる。本ステップにより、黒の塗りつぶしとして表現されていたストリップの少なくとも1つの画素の画素値(ゼロ)が、その近傍に位置する1以上の画素(近傍画素)の画素値に基づいて置き換えられる。
(S49:画像を表示する)
画像データ処理部231Aは、ステップS48で補完されたストリップを含む全てのストリップに基づいて3次元画像データ(最終的なボリューム、最終的なマージ画像)を構築し、そのレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
画像データ処理部231Aは、ステップS48で補完されたストリップを含む全てのストリップに基づいて3次元画像データ(最終的なボリューム、最終的なマージ画像)を構築し、そのレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
本実施形態の眼科検査装置は、第1の実施形態と同様のデータセット収集部、相関係数算出部、及び情報記録部に加えて、情報記録部により記録された走査位置情報に対応する画素の値を1以上の近傍画素の値に基づいて決定する第1画素値決定部を更に含んでいる。本実施形態では、画素値決定部235が第1画素値決定部に相当している。
本実施形態の眼科検査装置によれば、第1の実施形態と同様に、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができる。更に、本実施形態の眼科検査装置によれば、記録された走査位置情報に基づいて画像補完を行うことが可能である。したがって、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。
<第3の実施形態>
第3の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図11の画像データ処理部231Bを備えている。本実施形態の画像データ処理部231Bは、第1の実施形態の画像データ処理部231に相関係数マップ作成部236と画素値決定部237とを付加したものである。
第3の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図11の画像データ処理部231Bを備えている。本実施形態の画像データ処理部231Bは、第1の実施形態の画像データ処理部231に相関係数マップ作成部236と画素値決定部237とを付加したものである。
第2の実施形態と同様に、本実施形態の情報記録部234は、リサジュースキャンなどの光走査で収集されたデータセットから算出された相関係数集合から、所定の閾値以下の相関係数を要素とする部分集合を特定し、この部分集合に対応する走査位置情報を記録するように構成されている。本実施形態の眼科検査装置は、画像データ処理部231Bにより構築された画像データ(例えば、画像データ補正部233により生成された最終的な3次元画像データ、又は、マージ処理部2318により生成されたマージ画像)中の低品質の部分をより高品質な画素に置き換える処理、及び/又は、この画像データ中の画像化されなかった部分を補完する処理を実行する機能要素を備えている。
より詳細には、本実施形態の眼科検査装置は、相関係数の分布を表すマップ(相関係数マップと呼ぶ)を作成し、この相関係数マップに基づき画素値を決定するように構成されている。相関係数マップを作成する機能要素の例が相関係数マップ作成部236であり、画素値を決定する機能要素の例が画素値決定部237である。
相関係数マップ作成部236は、画像データ処理部231B(例えば、相関係数算出部2315)により取得された相関係数集合に基づいて相関係数マップを作成するように構成されている。相関係数マップは、リサジュースキャンなどの光走査が適用されたエリアの少なくとも一部における相関係数の分布を表す情報である。相関係数マップ作成部236は、例えば、相関係数集合に含まれる各相関係数と、その相関係数に対応する画素位置(走査位置)とを関連付けることによって作成される。相関係数マップ作成部236は、プロセッサを含むハードウェアと、相関係数マップ作成処理ソフトウェアとの協働によって実現される。
画素値決定部237は、相関係数マップ作成部236により作成された相関係数マップに基づいて、情報記録部234により記録された走査位置情報に属する走査位置に対応する画素の値を1以上の近傍画素の値に基づいて決定するように構成されている。画素値決定部237は、プロセッサを含むハードウェアと、画素値決定処理ソフトウェアとの協働によって実現される。
画素値決定部237が実行する画素値決定処理の方法は任意であってよい。例えば、画素値決定部237は、第2の実施形態と同様に、任意の補間(内挿)及び/又は任意の外挿を実行可能であってよい。後述の動作例において、画素値決定部237が実行する処理の例を説明する。
本実施形態に係る眼科検査装置の動作について説明する。眼科検査装置の動作の例を図12に示す。特に言及しない限り、第1の実施形態で説明された事項や第2の実施形態で説明された事項をこの動作例に適用することができる。
(S51:サイクル個数を指定する)
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
本ステップで指定されたサイクルの個数をG個とする(Gは正の整数)。サイクル個数Gは任意であってよく、例えば1024個であってよい。第1の実施形態で説明したように、G個のサイクルは順序付けられており、第g番目のサイクルをCgで表す(g=1、2、・・・、G)。
(S52:準備動作を行う)
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS53のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS53のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
(S53:リサジュースキャンを行う)
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS51で指定されたG個のサイクルC1~CGからなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS51で指定されたG個のサイクルC1~CGからなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
(S54:各サイクルについてストリップを構築する)
画像データ構築部220は、ステップS53のリサジュースキャンで収集されたデータセットに基づいて、ステップS51で指定された各サイクルCgに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
画像データ構築部220は、ステップS53のリサジュースキャンで収集されたデータセットに基づいて、ステップS51で指定された各サイクルCgに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
ステップS51で指定された各サイクルCgについて、このサイクルCgに対応するストリップは、このサイクルCgに関連付けられた記憶領域Agに記憶される。G個のサイクルC1~CGにそれぞれ関連付けられたG個の記憶領域A1~AGは、例えば、記憶部212内に設けられる。
(S55:各サイクルペアについて相関係数を算出する)
画像データ処理部231B(相関係数算出部2315、zシフト量算出部232など)は、ステップS51で指定されたG個のサイクルC1~CGに基づき形成された各サイクルペアについての相関係数を算出する。
画像データ処理部231B(相関係数算出部2315、zシフト量算出部232など)は、ステップS51で指定されたG個のサイクルC1~CGに基づき形成された各サイクルペアについての相関係数を算出する。
本ステップの処理は、例えば、G個のサイクルC1~CGのうちから選択された2つのサイクル(サイクルペア)Cg1及びCg2の間の相関係数を算出する(ここで、g1=1~G、g2=1~G、g1≠g2)。幾つかの例示的な態様では、画像データ処理部231Bは、G個のサイクルC1~CGのうちの1つを基準サイクルに設定し、この基準サイクルと他の各サイクルとの間の相関係数を演算する。
その具体例として、画像データ処理部231Bは、第1番目のサイクルC1を基準サイクルに設定し、この基準サイクルC1と他のサイクルC2~CGのそれぞれとの間の相関係数を算出する。これにより、G-1個のサイクルペア<C1、C2>、<C1、C3>、・・・、<C1、CG>にそれぞれ対応するG-1個の相関係数R2、R3、・・・、RGが得られる。ここで、<C1、Cg>は、第1番目のサイクルと第g番目のサイクルとからなるサイクルペアを示している(g=2~G)。
サイクルペア<C1、Cg>に対応する相関係数Rgは、このサイクルCg(又は、このサイクルペア<C1、Cg>に関連付けられた記憶領域Bgに記憶される。G-1個の相関係数R2~RGにそれぞれ関連付けられたG-1個の記憶領域B1~BGは、例えば、記憶部212内に設けられる。
このように、本例で生成される相関係数集合は、G-1個の相関係数R2~RGを含んでおり、各相関係数Rg(g=2~G)は、対応するサイクルCg又は対応するサイクルペア<C1、Cg>に関連付けられている。
(S56:画像データを構築する)
画像データ処理部231Bは、ステップS53のリサジュースキャンで収集されたデータセットに基づいて画像データを構築する。本ステップの処理は、例えば、第1の実施形態における画像データ構築とモーションアーティファクト補正との組み合わせ処理(例えば、図6A及び図6BのステップS3~ステップS14、図6A~図6DのステップS3~S25、又は、図6A~図6EのステップS3~ステップS32)と同じ要領で実行されてよい。本ステップで生成された画像データは、例えば記憶部212に保存される。
画像データ処理部231Bは、ステップS53のリサジュースキャンで収集されたデータセットに基づいて画像データを構築する。本ステップの処理は、例えば、第1の実施形態における画像データ構築とモーションアーティファクト補正との組み合わせ処理(例えば、図6A及び図6BのステップS3~ステップS14、図6A~図6DのステップS3~S25、又は、図6A~図6EのステップS3~ステップS32)と同じ要領で実行されてよい。本ステップで生成された画像データは、例えば記憶部212に保存される。
(S57:相関係数マップを作成する)
相関係数マップ作成部236は、ステップS55で取得された相関係数集合に基づいて、ステップS53のリサジュースキャンの適用エリアにおける相関係数の分布を表す相関係数マップを作成する。例えば、相関係数マップは、相関係数集合に属する各相関係数Rg(g=2~G)と、サイクルCg又はサイクルペア<C1、Cg>との間の関連付けを表現した情報である。
相関係数マップ作成部236は、ステップS55で取得された相関係数集合に基づいて、ステップS53のリサジュースキャンの適用エリアにおける相関係数の分布を表す相関係数マップを作成する。例えば、相関係数マップは、相関係数集合に属する各相関係数Rg(g=2~G)と、サイクルCg又はサイクルペア<C1、Cg>との間の関連付けを表現した情報である。
本ステップの例を説明する。なお、本例では2次元画像データの画素に相関係数を割り当てる場合について説明するが、3次元画像データの画素に相関係数を割り当ててもよい。本実施形態で扱う各種の画像データはいずれも、同じリサジュースキャンで収集されたデータセットに基づくものであり、したがって、或る画像データの画素への相関係数の割り当てと、他の画像データの画素への相関係数の割り当てとを自然に対応付けることが可能である。
本例の相関係数マップは、画像データ(マージ画像)の画素に、対応する相関係数を割り当てることによって作成される。画素に割り当てられる相関係数を画素相関係数と呼ぶ。ここで、1つの画素に対して1つの画素相関係数が割り当てられてもよいし、2以上の画素(画素群)に対して1つの画素相関係数が割り当てられてもよい。後者の例として、基準サイクルC1とサイクルCgとの交差領域(共通領域)内の各画素に対して同じ画素相関係数を割り当てる場合や、この交差領域を除いたサイクルCgの領域(非交差領域)内の各画素に対して同じ画素相関係数を割り当てる場合などがある。
本例の画素相関係数は、ステップS55で求められた相関係数Rgに基づいて決定される。例えば、図13に示すように、任意の2つのサイクルCg(1)及びCg(2)からなるサイクルペア<Cg(1)、Cg(2)>(これに対応するストリップペア)について、2つのサイクルCg(1)及びCg(2)(対応するストリップペア)の交差状態をD(g(1)、g(2))で表す。ここで、g(1)=2~G、g(2)=2~G、g(1)≠g(2)とする。
図13において、2つのサイクルCg(1)及びCg(2)の交差領域は斜線で示されている。本例では、各交差領域に属する各画素に対して、サイクルCg(1)の相関係数とサイクルCg(2)の相関係数とのうち大きい方の値が割り当てられる。更に、サイクルCg(1)の非交差領域(つまり、これらの交差領域を除いたサイクルCg(1)の部分)に属する各画素にはサイクルCg(1)の相関係数が割り当てられるとともに、サイクルCg(2)の非交差領域(つまり、これらの交差領域を除いたサイクルCg(2)の部分)に属する各画素にはサイクルCg(2)の相関係数を割り当てられる。
例えば、サイクルCg(1)の相関係数が0.5であり、サイクルCg(2)の相関係数が0.9である場合、交差領域に属する各画素にはmax{0.5、0.9}=0.9が割り当てられ、サイクルCg(1)の非交差領域に属する各画素にはそのまま0.5が割り当てられ、サイクルCg(2)の非交差領域に属する各画素にはそのまま0.9が割り当てられる。
本例の基準サイクルC1の各画素への相関係数の割り当て方法は、任意であってよい。例えば、サイクルC1と異なるサイクルを基準サイクルに設定して同様の処理を行うことによってサイクルC1に属する各画素に相関係数を割り当てるようにしてもよい。或いは、サイクルC2~CGに属する画素に割り当てられた相関係数から基準サイクルC1に属する画素に割り当てられる相関係数の値を決定するようにしてもよい。
このような処理を各サイクルペアについて実行することによって相関係数マップを作成することができる。
幾つかの例示的な態様では、リサジュースキャンに基づく画像データ(マージ画像)の全ての画素に相関係数を割り当てるために、サイクルペアの組み合わせを様々に変更しつつ上記の例のような処理を実行してもよい。例えば次のような一連の処理を実行することができる。
まず、或るサイクルCg(1)を基準サイクルに設定するとともに、この基準サイクルCg(1)と他のサイクルCg(2)~Cg(G)との各ペアについて、上記の例の処理を実行する。
次に、リサジュースキャンに基づく画像データ(マージ画像)の全ての画素を網羅するように、全てのサイクルをペアリングする(つまり、複数のペアを設定する)する。更に、設定された各サイクルペアについて、上記の例の処理を実行する。
次に、ステップS56の画像データ構築処理(第1の実施形態の図6A及び図6BのステップS3~ステップS14で実行される逐次的な処理)と同様に、これらのサイクルに対応するストリップを逐次的に(再帰的に)マージしながら、上記の例の処理を逐次的に(再帰的に)実行する。このようにして構築される画像データの全ての画素には相関係数が割り当てられている。
(S58:相関係数が閾値以下のストリップの画素値をゼロに設定する)
画像データ処理部231B(例えば、情報記録部234)は、ステップS57で作成された相関係数マップに記録されている各相関係数の値を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS57で作成された相関係数マップに記録されている相関係数のうち、第1の閾値よりも値が小さい相関係数が特定される。つまり、相関係数集合の部分集合が特定される。
画像データ処理部231B(例えば、情報記録部234)は、ステップS57で作成された相関係数マップに記録されている各相関係数の値を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS57で作成された相関係数マップに記録されている相関係数のうち、第1の閾値よりも値が小さい相関係数が特定される。つまり、相関係数集合の部分集合が特定される。
更に、画像データ処理部231B(例えば、画像データ補正部233又は情報記録部234)は、この部分集合の各要素(低値の相関係数)に対応する相関係数マップ中の位置に対応する画像データの画素の値をゼロに設定する。
(S59:画素値をゼロにした画素の位置(走査位置情報)を記録する)
画像データ処理部231B(情報記録部234)は、ステップS58で画素値がゼロに設定された画素の位置を走査位置情報として記録する。
画像データ処理部231B(情報記録部234)は、ステップS58で画素値がゼロに設定された画素の位置を走査位置情報として記録する。
(S60:画素値ゼロの画素の補完を行う)
画像データ処理部231B(画素値決定部237)は、ステップS59で走査位置情報として記録された画素(すなわち、ステップS58で画素値がゼロに設定された画素)の補完を行う。本ステップにより、黒の塗りつぶしとして表現されていたストリップの少なくとも1つの画素の画素値(ゼロ)が、その近傍に位置する1以上の画素(近傍画素)の画素値に基づいて置き換えられる。
画像データ処理部231B(画素値決定部237)は、ステップS59で走査位置情報として記録された画素(すなわち、ステップS58で画素値がゼロに設定された画素)の補完を行う。本ステップにより、黒の塗りつぶしとして表現されていたストリップの少なくとも1つの画素の画素値(ゼロ)が、その近傍に位置する1以上の画素(近傍画素)の画素値に基づいて置き換えられる。
画素値決定部237により実行される処理の例を説明する。補完の対象となる画素の位置(座標)を(xi、yi)と表し、この対象画素の画素値(輝度値)をI(xi、yi)と表し、対応する相関係数をR(xi、yi)と表す。
まず、正規化(規格化)を施す前の対象画素の暫定的な輝度値を算出する。本例では、対象画素の近傍画素として、対象画素の上下左右にそれぞれ位置する4つの画素を考慮する。対象画素に関する表現と同様に、近傍画素の位置(座標)を(xj、yj)と表し、この対象画素の画素値(輝度値)をI(xj、yj)と表し、対応する相関係数をR(xj、yj)と表す。
本例では、対象画素の暫定輝度値T(xi、yi)は、次式を用いて算出される:T(xi、yi)=I(xi、yi)×R(xi、yi)+I(xi+1、yi+1)×R(xi+1、yi+1)+I(xi+1、yi-1)×R(xi+1、yi-1)+I(xi-1、yi+1)×R(xi-1、yi+1)+I(xi-1、yi-1)×R(xi-1、yi-1)。この演算式は、対象画素及び4つの近傍画素からなる5つの画素のそれぞれの輝度値Iと相関係数Rとの積を足し合わせる演算を表している。
なお、対象画素の相関係数R(xi、yi)はゼロであるから、4つの近傍画素のそれぞれの輝度値Iと相関係数Rとの積を足し合わせる演算式を用いてもよい:T(xi、yi)=I(xi+1、yi+1)×R(xi+1、yi+1)+I(xi+1、yi-1)×R(xi+1、yi-1)+I(xi-1、yi+1)×R(xi-1、yi+1)+I(xi-1、yi-1)×R(xi-1、yi-1)。
続いて、算出された暫定輝度値T(xi、yi)を、対象画素及び4つの近傍画素からなる5つの画素の相関係数の総和で除算することによって、正規化を行う。そして、この正規化により得られた値で、補完前の対象画素の輝度値I(xi、yi)=0を置き換える。このようにして補完された対象画素の輝度値は次式のように表される:I(xi、yi)=T(xi、yi)/{R(xi、yi)+R(xi+1、yi+1)+R(xi+1、yi-1)+R(xi-1、yi+1)+R(xi-1、yi-1)}=T(xi、yi)/{R(xi+1、yi+1)+R(xi+1、yi-1)+R(xi-1、yi+1)+R(xi-1、yi-1)}。
走査位置情報に記録されている各画素(すなわち、画素値がゼロに設定された各画素)に対してこのような処理を適用することにより、画像情報が無かった領域を補完することができる。
(S61:画像を表示する)
画像データ処理部231Bは、ステップS60で補完された画像データ(例えば、最終的なボリューム、最終的なマージ画像)のレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
画像データ処理部231Bは、ステップS60で補完された画像データ(例えば、最終的なボリューム、最終的なマージ画像)のレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
本実施形態の眼科検査装置は、第1の実施形態と同様のデータセット収集部、相関係数算出部、及び情報記録部に加えて、相関係数算出部により取得された相関係数集合に基づいて光走査の適用エリアにおける相関係数の分布を表す相関係数マップを作成するマップ作成部を更に含んでいる。本実施形態では、相関係数マップ作成部236が相関係数マップに相当している。
本実施形態の眼科検査装置によれば、第1の実施形態と同様に、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができる。更に、本実施形態の眼科検査装置によれば、記録された走査位置情報に基づいて相関係数マップを作成することができる。これにより、相関係数の分布状態を把握することや、相関係数の分布状態を解析することや、相関係数の分布状態をユーザーに提供することが可能になり、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。
本実施形態の眼科検査装置は、情報記録部により記録された走査位置情報に対応する画素の値を相関係数マップに基づいて決定する第2画素値決定部を更に含んでいる。本実施形態では、画素値決定部237が第2画素値決定部に相当している。
このような本実施形態の眼科検査装置によれば、相関係数マップに基づいて画像補完を行うことが可能になり、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。なお、幾つかの例示的な態様では、第2画素値決定部が設けられていなくてもよい。
<第4の実施形態>
第4の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図14の画像データ処理部231Cを備えている。本実施形態の画像データ処理部231Cは、第1の実施形態の画像データ処理部231に走査エリア設定部238と画像合成処理部239とを付加したものである。
第4の実施形態について説明する。本実施形態の眼科検査装置は、第1の実施形態の図1~図4Aと同様の構成を備えているとともに、図4Bの画像データ処理部231の代わりに図14の画像データ処理部231Cを備えている。本実施形態の画像データ処理部231Cは、第1の実施形態の画像データ処理部231に走査エリア設定部238と画像合成処理部239とを付加したものである。
第2の実施形態及び第3の実施形態と同様に、本実施形態の情報記録部234は、リサジュースキャンなどの光走査で収集されたデータセットから算出された相関係数集合から、所定の閾値以下の相関係数を要素とする部分集合を特定し、この部分集合に対応する走査位置情報を記録するように構成されている。本実施形態の眼科検査装置は、画像データ処理部231Cにより構築された画像データ(例えば、画像データ補正部233により生成された最終的な3次元画像データ、又は、マージ処理部2318により生成されたマージ画像)中の低品質の部分や画像化されなかった部分のデータを再度収集する機能要素(つまり、再スキャンを行う機能要素)を備えている。
本実施形態における再スキャンのモードは任意であってよく、例えば、リサジュースキャンであってもよいし、他のスキャンモードであってもよい。再スキャンでリサジュースキャンが実行される場合、この再リサジュースキャンは、例えば、走査位置情報に基づき特定される相関係数が低いサイクルを含んでいてよい。リサジュースキャンと異なるスキャンモードで再スキャンが実行される場合、この再スキャンは、例えば、走査位置情報に基づき特定される相関係数が低い部分(つまり、画像データ処理部231Cにより構築された画像データ中の低品質の部分や画像化されなかった部分)を含む3次元スキャン(ラスタースキャンなど)であってよい。
本実施形態の眼科検査装置は、情報記録部により記録された走査位置情報に基づいて被検眼Eに新たな光走査を適用するように構成されている。走査エリア設定部238は、この新たな光走査が適用されるエリア(再走査エリアと呼ぶ)を走査位置情報に基づき設定するように構成されている。再走査エリアの設定は、手動及び/又は自動で実行されてよい。
再走査エリアの設定を手動で行う場合の幾つかの例示的な態様において、主制御部211は、走査位置情報に基づく情報(例えば、第3の実施形態の相関係数マップ)、及び/又は、リサジュースキャンに基づき構築された画像(例えば、画像データ補正部233により構築された画像)を、再走査エリア設定用グラフィカルユーザーインターフェイス(GUI)とともに、表示部241に表示させる。ユーザーは、表示された情報及び/又は画像を参照して所望の再走査エリアを決定し、操作部242及びGUIを用いてこの再走査エリアを入力する。走査エリア設定部238は、例えば、ユーザーにより入力された再走査エリアを走査位置情報及び/又は走査プロトコル2121と比較し、必要に応じて再走査エリアを修正し、最終的な再走査エリアを設定するように構成されていてよい。
再走査エリアの設定を自動で行う場合の幾つかの例示的な態様において、走査エリア設定部238は、例えば、走査位置情報及び走査プロトコル2121に基づいて再走査エリアを設定するように構成されていてよい。
なお、本実施形態の走査位置情報は、品質が低い画像の部分や画像化されなかった部分を示す情報である。走査エリア設定部238は、このような部分を含むように再走査エリアの設定を行う。手動設定の場合において、走査エリア設定部238は、例えば、走査位置情報に示されている品質が低い画像の部分や画像化されなかった部分が、ユーザーが指定した再走査エリアに含まれているか判定し、含まれていないと判定された場合には、それらの部分を含むように再走査エリアの修正が実行される。自動設定の場合においては、走査エリア設定部238は、例えば、走査位置情報に示されている品質が低い画像の部分や画像化されなかった部分を含むように再走査エリアが設定される。
画像合成処理部239は、画像データ処理部231Cの他の要素と協働することにより、最初に実行された光走査(リサジュースキャン)で収集されたデータセット(第1データセットと呼ぶ)と、再スキャンで収集されたデータセット(第2データセットと呼ぶ)とを処理して画像データを構築するように構成されている。
例えば、画像合成処理部239は、第1データセット又はこれに基づく画像データ(第1画像データと呼ぶ)と、第2データセット又はこれに基づく画像データ(第2画像データと呼ぶ)とを合成(マージ)するように構成されている。第1画像データは、走査位置情報に示されている品質が低い領域や画像化されなかった領域を含んでいる。一方、第2画像データは、このような領域を含むように実行された再スキャンで収集された第2データセットから構築されたデータである。このような第1画像データ及び第2画像データを合成することで、第1画像データを第2画像データで補完することが可能である。
幾つかの例示的な態様において、画像データ処理部231Cは、次の3つの処理工程を実行するように構成されていてよい。まず、画像データ処理部231Cは、第1の実施形態と同様の処理を第1データセットに適用することで、走査位置情報に対応するエリアの少なくとも一部を最初のリサジュースキャンの適用エリアから除いたエリアに対応する第1画像データを構築する(第1の処理工程)。また、画像データ処理部231Cは、第1の実施形態と同様の処理を第2データセットに適用することで、再走査エリアに対応する第2画像データを構築する(第2の処理工程)。更に、画像データ処理部231C(画像合成処理部239)は、第1の処理工程で構築された第1画像データと、第2の処理工程で構築された第2画像データとを合成する(第3の処理工程)。これらの処理工程を実行することで、第1画像データと第2画像データとの合成を好適に行うことができる。例えば、第1画像データと第2画像データとの間に重複エリアが存在するように第1画像データの構築エリアを設定するとともに、第1画像データにおいてこの重複エリアに相当する領域と、第2画像データにおいてこの重複エリアに相当する領域との間の位置合わせを行うことによって、第1画像データと第2画像データとの間のレジストレーションの正確度及び精度を向上させることが可能になる。
本実施形態に係る眼科検査装置の動作について説明する。眼科検査装置の動作の例を図15に示す。特に言及しない限り、第1~第3の実施形態で説明された事項をこの動作例に適用することができる。
(S71:サイクル個数を指定する)
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
患者IDの入力や走査モードの設定(リサジュースキャンの指定)の後、任意的な工程として、被検眼Eに適用されるリサジュースキャンにおけるサイクルの個数を指定することができる。サイクルの個数は、スキャンの密度に相当する。サイクルの個数の指定は、例えば、ユーザー又は眼科検査装置によって行われる。
本ステップで指定されたサイクルの個数をG個とする(Gは正の整数)。サイクル個数Gは任意であってよく、例えば1024個であってよい。第1の実施形態で説明したように、G個のサイクルは順序付けられており、第g番目のサイクルをCgで表す(g=1、2、・・・、G)。
(S72:準備動作を行う)
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS73のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
眼科検査装置は、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作を実行する。眼科検査装置は、この準備動作において取得された画像データに基づいて、相関係数集合の部分集合を特定するための判定条件(例えば、前述の第1の閾値)を決定するように構成されていてよい。なお、デフォルトの判定条件を用いてもよいし、ステップS73のリサジュースキャンで収集されたデータセットから決定された判定条件を用いてもよい。
(S73:リサジュースキャンを行う)
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS71で指定されたG個のサイクルC1~CGからなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
所定の走査開始トリガー信号を受けて、走査制御部2111は、ステップS71で指定されたG個のサイクルC1~CGからなるリサジュースキャンを被検眼E(眼底Ef)に適用する。
(S74:各サイクルについてストリップを構築する)
画像データ構築部220は、ステップS73のリサジュースキャンで収集されたデータセットに基づいて、ステップS71で指定された各サイクルCgに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
画像データ構築部220は、ステップS73のリサジュースキャンで収集されたデータセットに基づいて、ステップS71で指定された各サイクルCgに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
ステップS71で指定された各サイクルCgについて、このサイクルCgに対応するストリップは、このサイクルCgに関連付けられた記憶領域Agに記憶される。G個のサイクルC1~CGにそれぞれ関連付けられたG個の記憶領域A1~AGは、例えば、記憶部212内に設けられる。
(S75:各サイクルペアについて相関係数を算出する)
画像データ処理部231C(相関係数算出部2315、zシフト量算出部232など)は、ステップS71で指定されたG個のサイクルC1~CGに基づき形成された各サイクルペアについての相関係数を算出する。
画像データ処理部231C(相関係数算出部2315、zシフト量算出部232など)は、ステップS71で指定されたG個のサイクルC1~CGに基づき形成された各サイクルペアについての相関係数を算出する。
本ステップの処理は、例えば、G個のサイクルC1~CGのうちから選択された2つのサイクル(サイクルペア)Cg1及びCg2の間の相関係数を算出する(ここで、g1=1~G、g2=1~G、g1≠g2)。幾つかの例示的な態様では、画像データ処理部231Cは、G個のサイクルC1~CGのうちの1つを基準サイクルに設定し、この基準サイクルと他の各サイクルとの間の相関係数を演算する。
その具体例として、画像データ処理部231Cは、第1番目のサイクルC1を基準サイクルに設定し、この基準サイクルC1と他のサイクルC2~CGのそれぞれとの間の相関係数を算出する。これにより、G-1個のサイクルペア<C1、C2>、<C1、C3>、・・・、<C1、CG>にそれぞれ対応するG-1個の相関係数R2、R3、・・・、RGが得られる。ここで、<C1、Cg>は、第1番目のサイクルと第g番目のサイクルとからなるサイクルペアを示している(g=2~G)。
サイクルペア<C1、Cg>に対応する相関係数Rgは、このサイクルCg(又は、このサイクルペア<C1、Cg>に関連付けられた記憶領域Bgに記憶される。G-1個の相関係数R2~RGにそれぞれ関連付けられたG-1個の記憶領域B1~BGは、例えば、記憶部212内に設けられる。
このように、本例で生成される相関係数集合は、G-1個の相関係数R2~RGを含んでおり、各相関係数Rg(g=2~G)は、対応するサイクルCg又は対応するサイクルペア<C1、Cg>に関連付けられている。
(S76:相関係数が閾値以下のサイクルの識別子を記録する)
画像データ処理部231C(情報記録部234)は、ステップS75で算出された各サイクルペアの相関係数の値を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS75で取得された相関係数集合の要素(相関係数)のうち、第1の閾値よりも値が小さい相関係数が特定される。つまり、相関係数集合の部分集合が特定される。
画像データ処理部231C(情報記録部234)は、ステップS75で算出された各サイクルペアの相関係数の値を前述の第1の閾値と比較することで、第1の閾値よりも値が小さい相関係数を特定する。これにより、ステップS75で取得された相関係数集合の要素(相関係数)のうち、第1の閾値よりも値が小さい相関係数が特定される。つまり、相関係数集合の部分集合が特定される。
画像データ処理部231C(情報記録部234)は、この部分集合に対応する走査位置情報を記録する。この走査位置情報は、予め決められた識別子によって表現されている。この識別子は、例えば、サイクル番号、ストリップ番号、及び、画像データの定義座標系の座標のいずれかであってよい。
(S77:再スキャンを行う)
走査エリア設定部238は、ステップS76で生成された走査位置情報(サイクルの識別子)に基づいて再走査エリアを設定する。走査制御部2111は、この再走査エリアに基づいて被検眼Eに再スキャンを適用する。
走査エリア設定部238は、ステップS76で生成された走査位置情報(サイクルの識別子)に基づいて再走査エリアを設定する。走査制御部2111は、この再走査エリアに基づいて被検眼Eに再スキャンを適用する。
(S78:再スキャンの各サイクルについてストリップを構築する)
画像データ構築部220は、ステップS77の再スキャンで収集されたデータセットに基づいて、この再スキャンの各サイクルに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
画像データ構築部220は、ステップS77の再スキャンで収集されたデータセットに基づいて、この再スキャンの各サイクルに対応するストリップを構築する。この処理は、例えば、第1の実施形態(図6AのステップS2)と同じ要領で実行されてよい。
(S79:再スキャンに基づく各ストリップでリサジュースキャンに基づく対応ストリップを置換する)
眼科検査装置(例えば、主制御部211又は画像データ処理部231C)は、ステップS78で構築された各ストリップについて、ステップS74で構築されたストリップのうちから対応ストリップを特定する。ここで、リサジュースキャンに基づくストリップと再スキャンに基づくストリップとの間の対応は、サイクルの識別子を参照して行うことが可能である。
眼科検査装置(例えば、主制御部211又は画像データ処理部231C)は、ステップS78で構築された各ストリップについて、ステップS74で構築されたストリップのうちから対応ストリップを特定する。ここで、リサジュースキャンに基づくストリップと再スキャンに基づくストリップとの間の対応は、サイクルの識別子を参照して行うことが可能である。
眼科検査装置(例えば、主制御部211又は画像データ処理部231C)は、ステップS78で構築された各ストリップについて、特定された対応ストリップ(リサジュースキャンに基づくストリップ)を当該ストリップ(再スキャンに基づくストリップ)に置き換える。
これにより、リサジュースキャンで得られた画像のうち低品質の部分(相関係数が低値のサイクルに対応するストリップ)を、再スキャンで得られた画像に置換することができる。なお、再スキャンで得られたストリップに基づいて同様の相関係数演算を実行し、品質の再評価を行うようにしてもよい。再スキャンで得られたストリップの品質が低い場合には、更なるスキャンを行うことができる。
(S80:3次元画像データを構築する)
画像データ処理部231Cは、ステップS79によって得られたストリップ集合(すなわち、リサジュースキャンに基づく高品質のストリップと、再スキャンに基づくストリップとからなる集合)に基付いて、3次元画像データを構築する。本ステップの処理は、例えば、第1の実施形態における画像データ構築とモーションアーティファクト補正との組み合わせ処理(例えば、図6A~図6EのステップS3~ステップS32)と同じ要領で実行されてよい。本ステップで生成された画像データは、例えば記憶部212に保存される。
画像データ処理部231Cは、ステップS79によって得られたストリップ集合(すなわち、リサジュースキャンに基づく高品質のストリップと、再スキャンに基づくストリップとからなる集合)に基付いて、3次元画像データを構築する。本ステップの処理は、例えば、第1の実施形態における画像データ構築とモーションアーティファクト補正との組み合わせ処理(例えば、図6A~図6EのステップS3~ステップS32)と同じ要領で実行されてよい。本ステップで生成された画像データは、例えば記憶部212に保存される。
(S81:画像を表示する)
画像データ処理部231Cは、ステップS80で補完された3次元画像データのレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
画像データ処理部231Cは、ステップS80で補完された3次元画像データのレンダリング画像を構築する。主制御部211は、このレンダリング画像を表示部241に表示させる(エンド)。
本実施形態の眼科検査装置は、第1の実施形態と同様のデータセット収集部、相関係数算出部、及び情報記録部を含んでいる。本実施形態のデータセット収集部は、互いに交差する一連のサイクルを含む2次元パターンに従う第1光走査(リサジュースキャンなど)を被検眼に適用するとともに、情報記録部により記録された走査位置情報に基づいて被検眼に第2光走査(再スキャン)を適用するように構成されている。
本実施形態の眼科検査装置によれば、第1の実施形態と同様に、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができる。更に、本実施形態の眼科検査装置によれば、記録された走査位置情報に基づいて第2光走査(再スキャン)を行うことができる。これにより、第1光走査で得られた情報に基づき第2光走査を行うことが可能になり、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。
更に、本実施形態の眼科検査装置のデータセット収集部は、情報記録部により記録された走査位置情報に基づき設定されたエリアに第2光走査を適用するように構成されていてよい。
このような本実施形態の眼科検査装置によれば、第1光走査で得られた情報から再走査エリアの設定を自動で行い、この再走査エリアに基づき第2光走査を行うことが可能になる。本実施形態では、走査エリア設定部238によって再走査エリアの自動設定が実行される。
なお、幾つかの例示的な態様では、再走査エリアの設定を手動で行うようにしてもよい。例えば、幾つかの例示的な態様の眼科検査装置は、第3の実施形態の相関係数マップ又はこれに基づく情報を表示し、この表示に基づきユーザーが指定した再走査エリアを用いた再スキャンを実行するように構成されていてよい。
更に、本実施形態の眼科検査装置は、再スキャンで収集されたデータセットを画像データ構築に利用するように構成されていてよい。そのために、本実施形態の眼科検査装置は、第1光走査(リサジュースキャンなど)で収集された第1データセットと第2光走査(再スキャン)で収集された第2データセットとを処理して画像データを構築する処理部を含んでいてよい。この処理部は、画像合成処理部239を含んでおり、画像データ処理部231Cの他の要素を更に含んでいてもよい。
このような本実施形態の眼科検査装置によれば、第1光走査で収集されたデータセットと第2光走査で収集されたデータセットとを組み合わせて画像データを構築することが可能になるので、より高品質の画像データを取得することが可能になる。
更に、本実施形態の眼科検査装置の処理部は、次の一連の工程を実行可能であってよい。第1工程において、処理部は、第1光走査で収集された第1データセットを処理することで、情報記録部により記録された走査位置情報に対応するエリアの少なくとも一部を第1光走査の適用エリアから除いたエリア(対象エリアと呼ぶ)の第1画像データを構築する。第2工程において、処理部は、第2光走査で収集された第2データセットを処理することで、走査位置情報に基づき設定されたエリア(つまり、走査エリア設定部238により設定された再走査エリア)の第2画像データを構築する。第3工程において、処理部は、第1工程で構築された第1画像データと、第2工程で構築された第2画像データとを合成する。
このような本実施形態の眼科検査装置によれば、第1光走査で収集されたデータセットから構築された第1画像データと第2光走査で収集されたデータセットから構築された第2画像データとの合成画像データを生成することが可能になるので、より高品質の画像データを取得することが可能になる。
<第5の実施形態>
第5の実施形態について説明する。第1~第4の実施形態では、光走査を実行可能に構成された走査型イメージング装置について説明したが、本実施形態では、光走査により収集されたデータセットを外部から受け付けてこれを処理するように構成された情報処理装置について説明する。
第5の実施形態について説明する。第1~第4の実施形態では、光走査を実行可能に構成された走査型イメージング装置について説明したが、本実施形態では、光走査により収集されたデータセットを外部から受け付けてこれを処理するように構成された情報処理装置について説明する。
本実施形態の情報処理装置は、走査型イメージング装置の一部として構成されていてもよいが、そのような場合は除外して以下の説明を行う。ただし、以下の説明における任意の事項が、走査型イメージング装置の一部として構成された情報処理装置にも適用可能であることは、当業者であれば理解できるであろう。
本実施形態の情報処理装置は、光走査を実行する機能要素(第1~第4の実施形態におけるデータセット収集部)を有していないことを除いて、第1~第4の実施形態に係る走査型イメージング装置(眼科検査装置)と同様に構成されていてよい。
第1~第4の実施形態において説明された任意の事項を本実施形態の情報処理装置に組み合わせることが可能である。情報処理装置は、組み合わせられた事項に応じた作用及び効果を奏する。
本実施形態の情報処理装置の構成例を図16に示す。この情報処理装置300は、受付部301と、相関係数算出部302と、情報記録部303とを含んでいる。
受付部301は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプル(例えば被検眼)に適用して収集されたデータセットを受け付ける。すなわち、受付部301は、リサジュースキャンなどの光走査を実行可能な走査型イメージング装置のデータ収集部によってサンプルから収集されたデータセットを受け付ける。
受付部301は、外部装置からデータを取得する機能を有する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、情報処理装置300に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して情報処理装置300に接続された装置、ワイドエリアネットワーク(WAN)を介して情報処理装置300に接続された装置などであってよい。受付部301は、例えば、通信回線を介してデータ通信を行うための通信インターフェイス、及び/又は、記録媒体からデータを読み取るためのドライブ装置を含んでいてもよい。
相関係数算出部302は、受付部301により外部から受け付けられたデータセットに基づいてサイクル間の相関係数を算出するように構成されている。相関係数算出部302は、第1の実施形態の画像データ処理部231と同様に構成されていてよい。
幾つかの例示的な態様において、相関係数算出部302は、第1の実施形態の画像データ構築部220、マスク画像生成部2311、範囲調整部2312、合成画像生成部2313、相互相関関数算出部2314、及び相関係数算出部2315を含んでいてよく、zシフト量算出部232を更に含んでいてもよい。なお、受付部301により受け付けられるデータセットが画像データ(例えばストリップ)である場合には、相関係数算出部302は、画像データ構築部220に相当する機能要素を有していなくてもよい。
情報記録部303は、受付部301により受け付けられたデータセットから相関係数算出部302が算出した相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する。情報記録部303は、第1の実施形態の情報記録部234と同様に構成されていてよい。
図示は省略するが、本実施形態の情報処理装置300は、第2の実施形態の画素値決定部235、第3の実施形態の相関係数マップ作成部236(及び画素値決定部237)、及び、第4の実施形態の走査エリア設定部238(及び画像合成処理部239)のうちの少なくとも1つを備えていてもよい。なお、本実施形態の情報処理装置300に組み合わせることが可能な機能要素はこれらに限定されず、第1~第4の実施形態において説明された任意の事項であってよい。
このような情報処理装置300によれば、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができるので、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。この利用法については、その幾つかの非限定的な例が第1~第4の実施形態において説明されている。
<他の実施形態>
本開示に係る実施形態は第1~第5の実施形態及びそれらの変形例に限定されない。例えば、第1~第5の実施形態は、各種の方法に係る実施形態、各種のプログラムに係る実施形態、各種の記録媒体に係る実施形態などを提供するものである。
本開示に係る実施形態は第1~第5の実施形態及びそれらの変形例に限定されない。例えば、第1~第5の実施形態は、各種の方法に係る実施形態、各種のプログラムに係る実施形態、各種の記録媒体に係る実施形態などを提供するものである。
例えば、第1の実施形態は、走査型イメージング装置を制御する方法の実施形態を提供する。この実施形態は、光走査を行うスキャナと、この光走査で収集されたデータから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法である。このスキャナは第1の実施形態のデータセット収集部であってよく、このプロセッサは第1の実施形態の画像データ構築部220及び画像データ処理部231(画像データ処理部231の少なくとも一部)であってよい。
本実施形態に係る走査型イメージング装置の制御方法は、次の3つの工程を含んでいてよい。第1工程は、スキャナを制御することにより、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集させるように実行される。第2工程は、プロセッサを制御することにより、第1工程で収集されたデータセットに基づいてサイクル間の相関係数を算出させるように実行される。第3工程は、プロセッサを制御することにより、第1工程で収集されたデータセットから第2工程で算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させるように実行される。
第1~第4の実施形態において説明された任意の事項を、本実施形態に係る走査型イメージング装置の制御方法に組み合わせることが可能である。走査型イメージング装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
このような走査型イメージング装置の制御方法によれば、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができるので、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。この利用法については、その幾つかの非限定的な例が第1~第4の実施形態において説明されている。
第5の実施形態は、情報処理装置を制御する方法の実施形態を提供する。この実施形態は、プロセッサを含む情報処理装置を制御する方法である。このプロセッサは第1の実施形態の画像データ構築部220及び画像データ処理部231(画像データ処理部231の少なくとも一部)であってよい。
本実施形態に係る情報処理装置の制御方法は、次の3つの工程を含んでいてよい。第1工程は、プロセッサを制御することにより、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを受け付けさせるように実行される。第2工程は、プロセッサを制御することにより、第1工程で受け付けられたデータセットに基づいてサイクル間の相関係数を算出させるように実行される。第3工程は、プロセッサを制御することにより、第1工程で受け付けられたデータセットから第2工程で算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させるように実行される。
第1~第4の実施形態において説明された任意の事項を、本実施形態に係る情報処理装置の制御方法に組み合わせることが可能である。情報処理装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
このような情報処理装置の制御方法によれば、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができるので、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。この利用法については、その幾つかの非限定的な例が第1~第4の実施形態において説明されている。
第1の実施形態及び/又は第5の実施形態は、情報を処理する方法の実施形態を提供する。
本実施形態に係る情報処理方法は、次の3つの工程を含んでいてよい。第1工程は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査でサンプルから収集されたデータセットを取得するように実行される。第1の実施形態に基づく情報処理方法では、第1工程は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集するように実行される。第5の実施形態に基づく情報処理方法では、第1工程は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを外部から受け付けるように実行される。第2工程は、第1工程で取得されたデータセットに基づいてサイクル間の相関係数を算出するように実行される。第3工程は、第1工程で取得されたデータセットから第2工程で算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させるように実行される。
第1~第4の実施形態において説明された任意の事項を、本実施形態に係る情報処理方法に組み合わせることが可能である。情報処理方法は、組み合わせられた事項に応じた作用及び効果を奏する。
このような情報処理方法によれば、従来の技術では記録されていなかった走査位置情報を記録することができ、しかも、相関係数に応じた走査位置情報を記録することができるので、走査型イメージングで取得されたデータの新規な利用法を提供することが可能になる。この利用法については、その幾つかの非限定的な例が第1~第4の実施形態において説明されている。
本開示は、実施形態に係る方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、情報処理装置の制御方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、情報処理方法をコンピュータに実行させるプログラムを提供する。
本開示は、実施形態に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、情報処理装置の制御方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、情報処理方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。実施形態の非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
本開示は、幾つかの例示的な態様を例示するものに過ぎず、発明の限定を意図したものではない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加など)を施すことが可能である。
1 眼科検査装置
231、231A、231B、231C 画像データ処理部
2315 相関係数算出部
232 zシフト量算出部
234 情報記録部
235 画素値決定部
236 相関係数マップ作成部
237 画素値決定部
238 走査エリア設定部
239 画像合成処理部
231、231A、231B、231C 画像データ処理部
2315 相関係数算出部
232 zシフト量算出部
234 情報記録部
235 画素値決定部
236 相関係数マップ作成部
237 画素値決定部
238 走査エリア設定部
239 画像合成処理部
Claims (16)
- 光走査を用いて画像データを構築する走査型イメージング装置であって、
互いに交差する一連のサイクルを含む2次元パターンに従う第1光走査をサンプルに適用して第1データセットを収集するデータセット収集部と、
前記第1データセットに基づいてサイクル間の相関係数を算出する相関係数算出部と、
前記相関係数算出部により前記第1データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する情報記録部と
を含む、走査型イメージング装置。 - 前記部分集合の要素は、所定の閾値以下の相関係数である、
請求項1の走査型イメージング装置。 - 前記情報記録部により記録された前記走査位置情報に対応する画素の値を1以上の近傍画素の値に基づいて決定する第1画素値決定部を更に含む、
請求項2の走査型イメージング装置。 - 前記相関係数算出部により取得された前記相関係数の前記集合に基づいて、前記第1光走査の適用エリアにおける相関係数マップを作成するマップ作成部を更に含む、
請求項2の走査型イメージング装置。 - 前記情報記録部により記録された前記走査位置情報に対応する画素の値を前記相関係数マップに基づいて決定する第2画素値決定部を更に含む、
請求項4の走査型イメージング装置。 - 前記データセット収集部は、前記情報記録部により記録された前記走査位置情報に基づいて前記サンプルに第2光走査を適用する、
請求項2の走査型イメージング装置。 - 前記データセット収集部は、前記情報記録部により記録された前記走査位置情報に基づき設定されたエリアに前記第2光走査を適用する、
請求項6の走査型イメージング装置。 - 前記第1光走査で収集された前記第1データセットと前記第2光走査で収集された第2データセットとを処理して画像データを構築する処理部を更に含む、
請求項7の走査型イメージング装置。 - 前記処理部は、
前記第1データセットを処理して、前記情報記録部により記録された前記走査位置情報に対応するエリアの少なくとも一部を前記第1光走査の適用エリアから除いたエリアの第1画像データを構築し、
前記第2データセットを処理して、前記走査位置情報に基づき設定された前記エリアの第2画像データを構築し、
前記第1画像データと前記第2画像データとを合成する、
請求項8の走査型イメージング装置。 - 前記データセット収集部は、
光走査のための光を互いに異なる2つの方向に偏向可能な偏向器を含み、
前記2つの方向のうちの一方の方向に沿った偏向方向の変化を第1周期で繰り返しつつ他方の方向に沿った偏向方向の変化を前記第1周期と異なる第2周期で繰り返すことによって前記第1光走査を前記サンプルに適用する、
請求項1~9のいずれかの走査型イメージング装置。 - 互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを受け付ける受付部と、
前記データセットに基づいてサイクル間の相関係数を算出する相関係数算出部と、
前記相関係数算出部により前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する情報記録部と
を含む、情報処理装置。 - 光走査を行うスキャナと前記光走査で収集されたデータから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法であって、
前記スキャナを制御して、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータセットを収集させ、
前記プロセッサを制御して、前記データセットに基づいてサイクル間の相関係数を算出させ、
前記プロセッサを制御して、前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させる、
方法。 - プロセッサを含む情報処理装置を制御する方法であって、
前記プロセッサを制御して、互いに交差する一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用して収集されたデータセットを受け付けさせ、
前記プロセッサを制御して、前記データセットに基づいてサイクル間の相関係数を算出させ、
前記プロセッサを制御して、前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録させる、
方法。 - 互いに交差する一連のサイクルを含む2次元パターンに従う光走査でサンプルから収集されたデータセットを取得し、
前記データセットに基づいてサイクル間の相関係数を算出し、
前記データセットから算出された相関係数の集合のうち所定の条件を満足する相関係数を要素とする部分集合に対応する走査位置情報を記録する、
情報処理方法。 - 請求項12~14のいずれかの方法をコンピュータに実行させるプログラム。
- 請求項15のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021157561A JP2023048318A (ja) | 2021-09-28 | 2021-09-28 | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021157561A JP2023048318A (ja) | 2021-09-28 | 2021-09-28 | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023048318A true JP2023048318A (ja) | 2023-04-07 |
Family
ID=85779940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021157561A Pending JP2023048318A (ja) | 2021-09-28 | 2021-09-28 | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023048318A (ja) |
-
2021
- 2021-09-28 JP JP2021157561A patent/JP2023048318A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12039704B2 (en) | Image processing apparatus, image processing method and computer-readable medium | |
CN112822972A (zh) | 图像处理装置、图像处理方法和程序 | |
JP7368568B2 (ja) | 眼科装置 | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7384987B2 (ja) | 眼科装置 | |
JP2021083919A (ja) | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム | |
JP7220509B2 (ja) | 眼科装置及び眼科画像処理方法 | |
JP2023014190A (ja) | 眼科撮影装置 | |
WO2020050308A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2021153087A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP2021092445A (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
US20220273170A1 (en) | Method of processing ophthalmic data, ophthalmic data processing apparatus, and ophthalmic examination apparatus | |
JP7410481B2 (ja) | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 | |
JP2021013491A (ja) | 光コヒーレンストモグラフィ装置、その制御方法、光計測方法、プログラム、及び記憶媒体 | |
JP2022173339A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
WO2021153086A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP2023048318A (ja) | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 | |
JP7286283B2 (ja) | 眼科装置 | |
WO2023162586A1 (ja) | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 | |
JP2023056183A (ja) | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 | |
JP7355331B2 (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
JP2023070264A (ja) | 走査型イメージング装置、その制御方法、プログラム、及び記録媒体 | |
JP7341422B2 (ja) | 走査型イメージング装置、その制御方法、走査型イメージング方法、プログラム、及び記録媒体 | |
JP7325675B2 (ja) | 眼科撮影装置 | |
WO2022085501A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240919 |