JP2022028197A - スリットランプ顕微鏡 - Google Patents

スリットランプ顕微鏡 Download PDF

Info

Publication number
JP2022028197A
JP2022028197A JP2020131465A JP2020131465A JP2022028197A JP 2022028197 A JP2022028197 A JP 2022028197A JP 2020131465 A JP2020131465 A JP 2020131465A JP 2020131465 A JP2020131465 A JP 2020131465A JP 2022028197 A JP2022028197 A JP 2022028197A
Authority
JP
Japan
Prior art keywords
image
unit
scan
follow
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020131465A
Other languages
English (en)
Inventor
央 塚田
Hiroshi Tsukada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2020131465A priority Critical patent/JP2022028197A/ja
Priority to CN202180057088.9A priority patent/CN116034306A/zh
Priority to EP21853895.7A priority patent/EP4194924A1/en
Priority to US18/018,582 priority patent/US20230301511A1/en
Priority to PCT/JP2021/028178 priority patent/WO2022030364A1/ja
Publication of JP2022028197A publication Critical patent/JP2022028197A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • A61B3/135Slit-lamp microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

【課題】フォローアップ撮影の誤差に関する有用な評価を提供する。【解決手段】例示的な態様のスリットランプ顕微鏡1は、画像取得部(照明系2、撮影系3、移動機構6)と、記憶部10と、位置ずれ情報取得部とを含む。画像取得部は、被検眼Eの前眼部をスリット光でスキャンして画像を取得する。記憶部10は、被検眼Eの前眼部の第1画像と、第1画像を参照して画像取得部により行われたフォローアップ撮影において取得された第2画像とを記憶する。位置ずれ情報取得部は、フォローアップ撮影が行われた後に、第1画像及び第2画像を解析して、第1画像と第2画像との間の位置ずれ情報を取得する。【選択図】図1A

Description

本発明は、スリットランプ顕微鏡に関する。
眼科分野において画像診断は重要な位置を占める。画像診断には、様々な眼科撮影装置が用いられる。眼科撮影装置の種類には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置がスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を斜方や側方から顕微鏡で観察したり撮影したりするために使用される(例えば、特許文献1及び2を参照)。
スリットランプ顕微鏡の主な用途の1つに前眼部観察がある。前眼部観察において、医師は、スリット光による照明野やフォーカス位置を移動させつつ前眼部全体を観察して異常の有無を判断する。また、コンタクトレンズのフィッティング状態の確認など、視力補正器具の処方において、スリットランプ顕微鏡が用いられることもある。更に、オプトメトリスト、コメディカル、眼鏡店の店員のような医師以外の者が、眼疾患のスクリーニングやフォローアップ(経過観察)などの目的でスリットランプ顕微鏡を用いることもある。
また、近年の情報通信技術の進歩を受けて、遠隔医療に関する研究開発が発展を見せている。遠隔医療とは、インターネット等の通信ネットワークを利用して、遠隔地に居る患者に対して診療を行う行為である。特許文献3及び4には、スリットランプ顕微鏡を遠隔地から操作するための技術が開示されている。
スリットランプ顕微鏡を用いて良好な画像を得るには、照明角度や撮影角度の調整など、微細で煩雑な操作が必要とされる。しかし、特許文献3、4に開示された技術では、目の前に居る被検者の眼を観察する場合であっても難しい操作を、遠隔地に居る検者が実施しなければならないため、検査時間が長くなったり、良好な画像が得られなかったりといった問題が生じる。
また、上記のようにスリットランプ顕微鏡はスクリーニングやフォローアップ等の検査に有効であるが、高品質なスリットランプ顕微鏡検査を多くの人に提供するには、同装置の操作に熟練した者が不足しているという現状がある。
更に、遠隔医療やスクリーニングでは、画像読影(画像診断)を行う医師が撮影場所にいないことが多々ある。その場合、読影に適さない画像が医師に提供される可能性がある。操作の難しさや撮影時間の長さを考慮すると、スリットランプ顕微鏡においてこの問題が生じやすいと想定される。
フォローアップでは、被検眼の同一部位が繰り返し検査される。眼科分野のフォローアップには、眼球運動の影響によって同一部位を検査することが難しいという特有の問題がある。この問題への対処に使用可能と考えられる技術として特許文献5~7に記載されたものが知られている。
特許文献5に記載の発明は、回転移動を含む画像間の位置ずれをスムースに検出することを目的としたものであり、各画像から切り出された複数の小領域画像を照合することによって画像間の位置ずれ量を検出するように構成されている。
特許文献6に記載の発明は、被検眼の同じ部位を連続的に計測することを目的としたものであり、測定光束で被検眼をスキャンしながら補助的な光束を被検眼に照射し検出することによってスキャン位置のずれを検出するとともに、その検出結果に基づき測定光束のスキャン位置を随時補正するように構成されている。更に、特許文献6に記載の発明は、スキャン位置のずれの検出において、正面画像中の特徴的領域に基づくテンプレートマッチングを利用することも可能である。
特許文献7に記載の発明は、眼球運動にかかわらず目標位置に正確に光束を照射することを目的としたものであり、正面画像に基づいてスキャン光の画角情報と被検眼の位置ずれ情報とを検出し、これらの情報に基づいてスキャン位置を補正するように構成されている。
フォローアップ撮影の確度や精度を知ること、つまり、フォローアップにおける撮影位置(撮影範囲)の誤差の情報を得ることは、非常に重要と言える。すなわち、フォローアップ撮影が適正に行われたか否か、更にはどの程度の確度や精度でフォローアップ撮影が行われたかを考慮することは、正しく診断を行うために非常に重要と言える。しかしながら、従来の技術では、フォローアップ撮影の誤差の程度の評価をユーザーにとって有用な形で行うことはできない。
例えば特許文献5に記載の技術では、画像間の位置ずれ量を検出することは可能であるが、その位置ずれの持つ意味や、フォローアップ撮影が適切に行われたか否かをユーザーに提供することはできない。したがって、その位置ずれに基づいてユーザー自身が判断するしかない。しかし、フォローアップ撮影におけるスキャン開始点の誤差は通常ミリメートル以下のオーダーであり、フォローアップ撮影が適切に行われたか否かを目視で判断することは困難である。このような判断は、非熟練者にはもちろん、熟練した医師にとっても容易ではない。また、位置ずれには、平行ずれや回転ずれ等、様々な態様があるが、少なくともフォローアップ撮影の適切性の観点から位置ずれの評価を行うことは不可能であった。
特許文献6に記載の技術又は特許文献7に記載の技術は、撮影を行いながら位置ずれを検出してスキャン位置を補正しているため、この補正を行ったとしても、スキャン位置のずれ(フォローアップ撮影の誤差)が依然として介在する。よって、これらの従来技術は、フォローアップ撮影の誤差の程度を好適に評価することができない。
特開2016-159073号公報 特開2016-179004号公報 特開2000-116732号公報 特開2008-284273号公報 特開2011-50430号公報 特開2011-115507号公報 特開2011-212213号公報
本発明の1つの目的は、フォローアップ撮影の誤差に関する有用な評価を提供することにある
例示的な態様のスリットランプ顕微鏡は、画像取得部と、記憶部と、位置ずれ情報取得部とを含む。画像取得部は、被検眼の前眼部をスリット光でスキャンして画像を取得する。記憶部は、被検眼の前眼部の第1画像と、第1画像を参照して画像取得部により行われたフォローアップ撮影において取得された第2画像とを記憶する。位置ずれ情報取得部は、フォローアップ撮影が行われた後に、第1画像及び第2画像を解析して、第1画像と第2画像との間の位置ずれ情報を取得する。
例示的な態様によれば、フォローアップ撮影の誤差に関する有用な評価を提供することが可能になる。
例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の推論モデルの構築を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の光学系の構成を表す概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を説明するための概略図である。 例示的な態様に係るスリットランプ顕微鏡の動作を表すフローチャートである。 例示的な態様に係るスリットランプ顕微鏡の動作を表すフローチャートである。 例示的な態様に係るスリットランプ顕微鏡の動作を表すフローチャートである。
幾つかの例示的な態様について図面を参照しながら詳細に説明する。なお、本明細書にて引用した文献に開示された事項などの任意の公知技術を例示的な態様に組み合わせることができる。また、本出願人によりなされた他の出願の開示の全体を本開示に援用することができる。例えば、本出願人によりなされたスリットランプ顕微鏡に関する出願の開示の少なくとも一部、スリットランプ顕微鏡を含むシステムに関する出願の開示の少なくとも一部、又は、スリットランプ顕微鏡に接続可能なシステムに関する出願の開示の少なくとも一部を、本開示に援用することができる。
例示的な態様に係るスリットランプ顕微鏡は、設置型でも可搬型でもよい。例示的な態様に係るスリットランプ顕微鏡は、同装置や同検査に関する専門技術保持者(熟練者)が側にいない状況や環境で使用されてもよいし、熟練者が側にいる状況や環境で使用されてもよいし、熟練者が遠隔地から監視・指示・操作などを行うことが可能な状況や環境で使用されてもよい。例示的な態様に係るスリットランプ顕微鏡が設置される施設の例として、眼鏡店、オプトメトリスト、医療機関、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
例示的な態様に係る装置又はシステムは、少なくともスリットランプ顕微鏡としての機能を備えており、任意的に、スリットランプ顕微鏡以外の撮影機能(モダリティ)、眼特性測定機能、解析機能などを更に備えていてもよい。
例示的な態様に係る眼科システム(第1の眼科システム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影端末とを含んでいてよく、例えば遠隔医療のために使用可能である。スリットランプ顕微鏡は、いずれかの例示的な態様に係るスリットランプ顕微鏡であってもよいし、その少なくとも一部を具備したスリットランプ顕微鏡であってもよい。情報処理装置は、スリットランプ顕微鏡により取得された画像を受けてこれを読影端末に送信する。また、情報処理装置は、スリットランプ顕微鏡により取得された画像を管理する機能を備えていてもよい。なお、情報処理装置を設けることなく、スリットランプ顕微鏡から読影端末に向けて画像を送信してもよい。読影端末は、医師(典型的には、眼科医又は読影医等の専門医)が、スリットランプ顕微鏡により取得された画像の読影(画像を観察して診療上の所見を得ること)を行うために使用されるコンピュータである。読影者が読影端末に入力した情報は、例えば、読影端末又は他のコンピュータにより読影レポート又は電子カルテ情報に変換されて情報処理装置に送信されてよい。他の例示的な態様は、読影者が入力した情報を読影端末が受け付け、受け付けられた情報を読影端末が情報処理装置に送信し、読影端末から送信された情報を情報処理装置が受信し、受信された情報から情報処理装置又は他のコンピュータが読影レポート又は電子カルテ情報を生成するように構成されていてよい。情報処理装置は、読影レポート又は電子カルテ情報を管理する機能を有していてよい。また、情報処理装置は、読影レポート又は電子カルテ情報を他の装置又は他の医療システム(例えば電子カルテシステム)に転送する機能を有していてよい。
他の例示的な態様に係る眼科システム(第2の眼科システム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影装置とを含んでいてよい。スリットランプ顕微鏡及び情報処理装置の少なくとも一方は、第1の眼科システムのそれと同様であってよい。また、情報処理装置を設けることなく、スリットランプ顕微鏡から読影装置に向けて画像を送信してもよい。読影装置は、例えば、既定のプログラムにしたがって動作する画像処理プロセッサ、及び/又は、人工知能エンジン(推論エンジン、推論モデル、学習済みモデルなど)を利用して、スリットランプ顕微鏡により取得された画像の読影処理を実行するコンピュータである。読影装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。生成された読影レポート又は電子カルテ情報は、情報処理装置に送信されてよい。他の例において、読影装置が画像から導出した情報を情報処理装置に送信することができる。この場合、情報処理装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。更に他の例において、読影装置が画像から導出した情報、及び/又は、この情報に基づき生成された情報(読影レポート、電子カルテ情報など)を診断支援情報として医師に提供することができる。
更に他の例示的な態様に係る眼科システム(第3の眼科システム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置とを含んでいてよい。スリットランプ顕微鏡は、第1の眼科システムのそれと同様であってよい。また、情報処理装置は、第1の眼科システムのそれ及び/又は第2の眼科システムのそれと同様であってよい。換言すると、情報処理装置は、第1の眼科システムの読影端末若しくはこれに類するコンピュータとの間でデータ通信が可能であってよく、及び/又は、第2の眼科システムの読影装置若しくはこれに類するコンピュータとの間でデータ通信が可能であってよい。
例示的な態様に係るスリットランプ顕微鏡及び眼科システムは遠隔医療のために使用可能であるが、前述のようにスリットランプ顕微鏡で良好な画像を得ることは容易ではなく、また、読影や診断を有効に行うには前眼部の広い範囲の画像を「予め」取得する必要がある。このような事情から、スリットランプ顕微鏡を用いた有効な遠隔医療は実現されていないと言える。その実現に寄与する技術を例示的な態様は提供することができる。しかしながら、例示的な態様の用途は遠隔医療に限定されず、他の用途に例示的な態様を応用することも可能である。特に、本開示の用途には、スリットランプ顕微鏡を用いたフォローアップが含まれる。
例示的な態様に係るスリットランプ顕微鏡は、前眼部の広い範囲を良好な画質で表現した一連の画像(画像群、画像セット)を取得するために利用可能である。
例示的な態様は、次のような問題にも着目している。すなわち、例示的な態様が想定する応用形態(遠隔医療など)では、スリットランプ顕微鏡で前眼部の十分に広い範囲から一連の画像(画像群、画像セット)を直接的又は間接的に読影者に提供するため、提供される一連の画像の品質が低い場合であっても再撮影を行うことは難しく、その結果、読影を全く行えない、又は不十分な読影しか行えない、といった問題が生じるおそれがある。したがって、「良好な」品質の画像を「予め」取得する必要がある。つまり、診断(読影など)を有効に行うことが可能な品質を持った一連の画像を、読影者に提供する前にまとめて取得する必要がある。しかし、スリットランプ顕微鏡の操作の難しさに加えて、撮影時の瞬きや眼球運動の発生を考慮すると、観察や読影の対象領域全体を良好な画質で表現した一連の画像を得ることは極めて困難である。本開示は、このような問題への対処も考慮している。
以下、幾つかの例示的な態様について説明する。これら態様のうちのいずれか2つ以上の態様を少なくとも部分的に組み合わせることが可能である。また、このような組み合わせに対して任意の公知技術を組み合わせることやそれに基づく変形(置換、省略など)を施すことが可能である。
本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<スリットランプ顕微鏡の構成>
1つの例示的な態様に係るスリットランプ顕微鏡の構成を図1A及び図1Bに示す。図1Aはスリットランプ顕微鏡1の全体構成の例を示し、図1Bはスリットランプ顕微鏡1のデータ処理部8の構成例を示す。スリットランプ顕微鏡1は、被検眼Eのフォローアップに用いることが可能である。図1A中の符号Cは角膜を示し、符号CLは水晶体を示し、符号IRは虹彩を示し、符号CAは隅角を示す。
スリットランプ顕微鏡1は、照明系2と、撮影系3と、移動機構6と、制御部7と、データ処理部8と、通信部9と、記憶部10とを含む。スリットランプ顕微鏡1は、単一の装置であってもよいし、2以上の装置を含むシステムであってもよい。後者の例として、スリットランプ顕微鏡1は、照明系2、撮影系3、及び移動機構6を含む本体装置と、制御部7、データ処理部8、及び通信部9を含むコンピュータと、本体装置とコンピュータとの間のデータ通信を担う通信インターフェイスとを含む。このコンピュータは、例えば、本体装置とともに設置されてもよいし、ネットワーク上に設置されてもよい。このコンピュータの例として、上記の情報処理装置、読影端末、及び読影装置がある。
<照明系2>
照明系2は、被検眼Eの前眼部にスリット光を照射する。符号2aは、照明系2の光軸(照明光軸)を示す。照明系2は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。図示は省略するが、例示的な照明系2は、被検眼Eから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。
照明光源は照明光を出力する。照明系2は複数の照明光源を備えていてよい。例えば、照明系2は、連続光を出力する照明光源と、フラッシュ光を出力する照明光源とを含んでいてよい。また、照明系2は、前眼部用照明光源と後眼部用照明光源とを含んでいてよい。また、照明系2は、出力波長が異なる2以上の照明光源を含んでいてよい。典型的な照明系2は、照明光源として可視光源を含む。照明系2は、赤外光源を含んでいてもよい。照明光源から出力された照明光は、正レンズを通過してスリット形成部に投射される。
スリット形成部は、照明光の一部を通過させてスリット光を生成する。典型的なスリット形成部は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することで照明光が通過する領域(スリット)の幅を変更し、これによりスリット光の幅が変更される。また、スリット形成部は、スリット光の長さを変更可能に構成されてもよい。スリット光の長さとは、スリット幅に対応するスリット光の断面幅方向に直交する方向におけるスリット光の断面寸法である。スリット光の幅やスリット光の長さは、典型的には、スリット光の前眼部への投影像の寸法として表現されるが、これには限定されず、例えば、任意の位置におけるスリット光の断面における寸法として表現することや、スリット形成部により形成されるスリットの寸法として表現することも可能である。
スリット形成部により生成されたスリット光は、対物レンズにより屈折されて被検眼Eの前眼部に照射される。
照明系2は、スリット光のフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを照明光軸2aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズとスリット形成部との間の照明光軸2a上の位置に合焦レンズを配置し、この合焦レンズを照明光軸2aに沿って移動させることによってスリット光のフォーカス位置を変更可能としてもよい。
なお、図1Aは上面図であり、同図に示すように、本態様では、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向をY方向とする。典型的には、X方向は左眼と右眼との配列方向であり、Y方向は被検者の体軸に沿う方向(体軸方向)である。
<撮影系3>
撮影系3は、照明系2からのスリット光が照射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。本態様の撮影系3は、光学系4と、撮像素子5とを含む。
光学系4は、スリット光が照射されている被検眼Eの前眼部からの光を撮像素子5に導く。撮像素子5は、光学系4により導かれた光を撮像面にて受光する。
光学系4により導かれる光(被検眼Eの前眼部からの光)は、前眼部に照射されているスリット光の戻り光を含み、他の光を更に含んでいてよい。戻り光の例として、反射光、散乱光、蛍光がある。他の光の例として、環境からの光(室内光、太陽光など)がある。前眼部全体を照明するための前眼部照明系が照明系2とは別に設けられている場合には、この前眼部照明光の戻り光が光学系4により導かれる光に含まれる。
光学系4は、従来のスリットランプ顕微鏡の撮影系と同様の構成を備えていてよい。例えば、光学系4は、被検眼Eに近い側から順に、対物レンズと、変倍光学系と、結像レンズとを含む。スリット光が照射されている被検眼Eの前眼部からの光は、対物レンズ及び変倍光学系を通過し、結像レンズにより撮像素子5の撮像面に結像される。
撮像素子5は、2次元の撮像エリアを有するエリアセンサであり、例えば、電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。
撮影系3は、そのフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを撮影光軸3aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズと結像レンズとの間の撮影光軸3a上の位置に合焦レンズを配置し、この合焦レンズを撮影光軸3aに沿って移動させることによってフォーカス位置を変更可能としてもよい。
照明系2及び撮影系3は、シャインプルーフカメラとして機能する。すなわち、照明光軸2aに沿う物面と、光学系4と、撮像素子5の撮像面とが、いわゆるシャインプルーフの条件を満足するように、照明系2及び撮影系3が構成される。より具体的には、照明光軸2aを通るYZ面(物面を含む)と、光学系4の主面と、撮像素子5の撮像面とが、同一の直線上にて交差する。これにより、物面内の全ての位置(照明光軸2aに沿う方向における全ての位置)にピントを合わせて撮影を行うことができる。
本態様では、例えば、前眼部の所定部位の少なくとも一部を含む3次元領域に撮影系3のピントが合った状態で撮影が行われる。Z方向については、例えば、角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲全体に撮影系3のピントが合った状態で撮影を行うことが可能である。なお、Z=Z0は、照明光軸2aと撮影光軸3aとの交点のZ座標を示す。
このような条件は、典型的には、照明系2に含まれる要素の構成及び配置、撮影系3に含まれる要素の構成及び配置、並びに、照明系2と撮影系3との相対位置によって実現される。照明系2と撮影系3との相対位置を示すパラメータは、例えば、照明光軸2aと撮影光軸3aとがなす角度θを含む。角度θは、例えば、17.5度、30度、又は45度に設定される。なお、角度θは可変であってもよい。
<移動機構6>
移動機構6は、照明系2及び撮影系3を移動する。移動機構6は、例えば、照明系2及び撮影系3が搭載された可動ステージと、制御部7から入力される制御信号にしたがって動作するアクチュエータと、このアクチュエータにより発生された駆動力に基づき可動ステージを移動する機構とを含む。他の例において、移動機構6は、照明系2及び撮影系3が搭載された可動ステージと、図示しない操作デバイスに印加された力に基づき可動ステージを移動する機構とを含む。操作デバイスは、例えばレバーである。可動ステージは、少なくともX方向に移動可能であり、更にY方向及び/又はZ方向に移動可能であってよい。
本態様において、移動機構6は、例えば、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、上記したシャインプルーフの条件が満足された状態を保持しつつ照明系2及び撮影系3をX方向に移動する。この移動と並行して、撮影系3は、例えば所定の時間間隔(撮影レート)で動画撮影を行う。これにより、被検眼Eの前眼部の3次元領域がスリット光でスキャンされ、この3次元領域内の複数の断面に対応する複数の画像(画像群)が収集される。
また、典型的な例において、照明系2により前眼部に照射されるスリット光の長手方向(長さ方向)はY方向に一致され、短手方向(幅方向)はX方向に一致される。更に、移動機構6は、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、照明系2により前眼部に照射されるスリット光がこのスリット光の幅方向に移動するように照明系2及び撮影系3を移動する。これにより、前眼部の3次元領域を簡便且つ効率的にスキャンすることが可能になる。なお、スリット光の向きと移動方向との組み合わせは任意であってよい。
<制御部7>
制御部7は、スリットランプ顕微鏡1の各部を制御する。例えば、制御部7は、照明系2の要素(照明光源、スリット形成部、合焦機構など)、撮影系3の要素(合焦機構、撮像素子など)、移動機構6、データ処理部8、通信部9などを制御する。また、制御部7は、照明系2と撮影系3との相対位置を変更するための制御を実行可能であってもよい。更に、制御部7は、スリットランプ顕微鏡1に含まれるデバイス(例えば表示デバイス)又はスリットランプ顕微鏡1に接続された装置(例えば表示デバイス)を制御可能であってもよい。
制御部7は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、制御プログラム等が記憶されている。制御プログラム等は、スリットランプ顕微鏡1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
制御部7は、被検眼Eの前眼部の3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6に対して次のような制御を適用することができる。
まず、制御部7は、照明系2及び撮影系3を所定のスキャン開始位置に配置するように移動機構6を制御する(アライメント制御)。スキャン開始位置は、例えば、X方向における角膜Cの端部(第1端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。
図2Aの符号X0は、X方向における角膜Cの第1端部に相当するスキャン開始位置の例を示している。また、図2Bの符号X0′は、X方向における角膜Cの第1端部に相当する位置よりも被検眼Eの軸EAから離れたスキャン開始位置の例を示している。
制御部7は、照明系2を制御して、被検眼Eの前眼部に対するスリット光の照射を開始させる(スリット光照射制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、スリット光照射制御を行ってもよい。スリット光は、典型的には連続光であるが、断続光(パルス光)であってもよい。パルス光の点灯制御は、撮影系3の撮影レートに同期される。また、スリット光は、典型的には可視光であるが、赤外光であってもよいし、可視光と赤外光との混合光であってもよい。
制御部7は、撮影系3を制御して、被検眼Eの前眼部の動画撮影を開始させる(撮影制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、撮影制御を行ってもよい。典型的には、スリット光照射制御と同時に、又は、スリット光照射制御よりも後に、撮影制御が実行される。
アライメント制御、スリット光照射制御、及び撮影制御の実行後、制御部7は、移動機構6を制御して、照明系2及び撮影系3の移動を開始する(移動制御)。移動制御により、照明系2及び撮影系3が一体的に移動される。つまり、照明系2と撮影系3との相対位置(角度θなど)を維持しつつ照明系2及び撮影系3が移動される。典型的には、前述したシャインプルーフの条件が満足された状態を維持しつつ照明系2及び撮影系3が移動される。照明系2及び撮影系3の移動は、前述したスキャン開始位置から所定のスキャン終了位置まで行われる。スキャン終了位置は、例えば、スキャン開始位置と同様に、X方向において第1端部の反対側の角膜Cの端部(第2端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。このような場合、スキャン開始位置からスキャン終了位置までの範囲がスキャン範囲となる。
典型的には、X方向を幅方向とし且つY方向を長手方向とするスリット光を前眼部に照射しつつ、且つ、照明系2及び撮影系3をX方向に移動しつつ、撮影系3による動画撮影が実行される。
ここで、スリット光の長さ(つまり、Y方向におけるスリット光の寸法)は、例えば、被検眼Eの表面において角膜Cの径以上に設定される。すなわち、スリット光の長さは、Y方向における角膜径以上に設定されている。また、前述のように、移動機構6による照明系2及び撮影系3の移動距離(つまり、スキャン範囲)は、X方向における角膜径以上に設定されている。これにより、少なくとも角膜C全体をスリット光でスキャンすることができる。
このようなスキャンを実行することにより、スリット光の照射位置が異なる複数の前眼部画像が得られる。換言すると、スリット光の照射位置がX方向に移動する様が描写された動画像が得られる。このような複数の前眼部画像(つまり、動画像を構成するフレーム群)の例を図3に示す。
図3は、複数の前眼部画像(フレーム群、画像群)F1、F2、F3、・・・、FNを示す。これら前眼部画像Fn(n=1、2、・・・、N)の添字nは、時系列順序を表している。つまり、第n番目に取得された前眼部画像が符号Fnで表される。前眼部画像Fnには、スリット光照射領域Anが含まれている。図3に示すように、スリット光照射領域A1、A2、A3、・・・、ANは、時系列に沿って右方向に移動している。
図3に示す例では、スリット光の長手方向(長さ方向)がY方向(上下方向、体軸方向)に一致し、短手方向(幅方向)がX方向(左右方向、横方向)に一致し、スリット光の移動方向がX方向に一致している。また、スキャン開始位置は角膜Cの第1端部(左端)よりも外側(左側)の位置であり、スキャン終了位置は角膜Cの第2端部(右端)よりも外側(右側)の位置である。このような態様のスキャンによれば、角膜C全体を含む3次元領域を撮影することができる。なお、スキャン開始位置及び/又はスキャン終了位置は本例に限定されず、例えば、スキャン開始位置及び/又はスキャン終了位置がX方向における角膜Cの端部であってよい。また、スリット光の向き、スリット光の移動方向、スキャンの回数などの各種スキャンパラメータについても、任意に設定することが可能である。
<データ処理部8>
データ処理部8は、各種のデータ処理を実行する。処理されるデータは、スリットランプ顕微鏡1により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。データ処理部8は、撮影系3によって取得された画像を処理することができる。
データ処理部8は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理プログラム等は、機械学習によって構築されたモデル(学習済みモデル、推論モデルなど)を含んでいてもよい。データ処理プログラム等は、スリットランプ顕微鏡1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
図1Bに示す例示的なデータ処理部8は、画像群処理部80と、加工画像構築部85と、位置ずれ情報取得部86と、評価値算出部87と、良否判定部88とを含む。
スリットランプ顕微鏡1は、フォローアップ撮影及びその後処理を実行可能であってよい。フォローアップ撮影では、過去に取得された被検眼Eの画像を参照することによって過去と同じ位置が撮影される。後処理は、フォローアップ撮影での撮影位置の誤差を評価する処理を含んでいてよい。より具体的には、後処理は、過去の撮影で画像化された被検眼Eの領域と、この過去の撮影で得られた画像に基づくフォローアップ撮影で画像化された被検眼Eの領域との間のずれを評価する処理を含んでいてよい。
スリットランプ顕微鏡1を用いたフォローアップ撮影は、過去の撮影(スリット光での前眼部スキャン)によるスキャン位置(スキャン範囲)を再現するものである。その準備として、例えば、制御部7は、図示しない患者選択画面を表示デバイス(図示せず)に表示させることができる。患者選択画面には、例えば、フォローアップ撮影が適用される患者を選択するための機能部(患者選択部)と、患者情報を表示する機能部(患者情報表示部)と、撮影情報を表示する機能部(撮影情報表示部)とが設けられている。また、患者選択画面には、各種操作部(ソフトウェアキー)が設けられていてよい。また、スリットランプ顕微鏡1は、患者選択画面に関する操作及び/又は情報入力を行うための操作デバイスを備えていてよい。
患者選択部には、検索クエリの入力スペース、撮影日(過去の最終撮影日等)を選択するためのカレンダーなどが設けられていてよい。患者選択部に入力がなされると、制御部7は、記憶装置(記憶部10、スリットランプ顕微鏡1がアクセス可能な記憶装置など)に格納されている患者情報を検索し、検索された患者情報を患者情報表示部に表示させることができる。患者情報は、例えば、患者の識別情報(患者ID、被検者ID)、氏名、性別、生年月日、電子カルテ情報などを含んでいてよい。撮影日の選択にカレンダーが用いられる場合などにおいて、制御部7は、複数の患者情報が列挙されたリストを患者情報表示部に表示させてもよい。ユーザーは、表示されたリストから所望の患者を選択することができる。
一人の患者が選択されると、制御部7は、その患者に関する撮影情報を記憶装置から取得して撮影情報表示部に表示させることができる。過去に複数回の撮影が実施された場合、制御部7は、例えば、各回の撮影における撮影情報が時系列に応じて列挙されたリストを表示させてよい。撮影情報は、例えば、撮影日、撮影時刻、データ格納先(ファイル番号等)、フォローアップ撮影か否か、スキャンモード(スキャン条件など)、左眼/右眼の識別情報、固視位置、解析処理に関する情報(解析内容、解析条件など)などを含んでいてよい。
フォローアップ撮影で参照される撮影情報が選択されると、制御部7は、選択された撮影情報に対応する過去の撮影で得られた画像を記憶装置から取得して表示デバイスに表示させることができる。このとき、表示画面が患者選択画面から画像表示画面(図示せず)に切り替えられる。ユーザーは、表示された画像を参照し、この画像をフォローアップ撮影に用いるか否か判断することができる。他の画像を参照する場合、ユーザーは、様々な過去の画像を観察して所望の画像を選択することができる。参照される画像が決定されると、制御部7は、この画像を表示デバイスに表示させるとともに、フォローアップ撮影の開始指示待ち状態に移行することができる。
所定の撮影開始指示が入力されると、制御部7は、例えば、アライメント制御、スリット光照射制御、撮影制御、移動制御などを実行することができる。このようにして、過去の撮影と同じ条件で同じ部位を撮影するための制御が行われる。
制御部7は、このようなフォローアップ撮影により得られた画像を、患者情報、スキャン位置情報(スキャン範囲情報)、撮影情報、参照された過去の撮影に関する情報などに関連付けて、記憶部10に保存することができる。
<画像群処理部80>
画像群処理部80は、スリット光を用いた前眼部スキャンで収集された画像群の少なくとも一部の画像を処理する。画像群処理部80の幾つかの例を説明する。図4A、図4B、図4C、及び図4Dは、それぞれ、画像群処理部80の第1、第2、第3、及び第4の例である画像群処理部80A、80B、80C、及び80Dを示す。なお、画像群処理部80の構成はこれらに限定されない。例えば、画像群処理部80は、4つの画像群処理部80A、80B、80C、及び80Dのいずれか2つ以上の組み合わせを含んでいてもよい。また、同じ種類の結果又は類似の種類の結果を得るための任意の要素を画像群処理部80に設けることが可能である。
本態様のスリットランプ顕微鏡1は、被検眼Eの前眼部に1回以上のスキャンを適用する。各スキャンにより、図3に示す複数の前眼部画像F1~FNのような画像群が得られる。画像群処理部80は、このようにして取得された1つ以上の画像群に処理を施すことができる。
スリットランプ顕微鏡1は、2回以上のスキャンを前眼部に適用可能であってよい。例えば、第1回目のスキャンで良好な画像群が得られない場合に、第2回目のスキャンが実行される。より一般に、第1回目~第v回目のスキャンで良好な一連の画像が得られなかった場合に、第v+1回目のスキャンが実行される(vは1以上の整数)。幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群から良好な一連の画像(画像セット)が得られない場合に、第v+1回目のスキャンが実行される。他の幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群のいずれもが良好な画像セットでない場合に、第v+1回目のスキャンが実行される。なお、2回以上のスキャンを実行する態様はこれらに限定されない。
2回以上のスキャンを実行する場合、これらのスキャンの開始位置及び終了位置(つまりスキャン範囲)は同じでもよいし、開始位置及び終了位置の一方又は双方が異なってもよい。典型的には、2回以上のスキャンは、同じスキャン範囲に対して適用される。それにより、図3に示す複数の前眼部画像F1~FNのような画像群が、スキャン回数と同じ個数だけ取得される。
被検眼Eの眼球運動などを考慮すると、典型的には、スキャン範囲(スキャン開始位置、スキャン終了位置)は、前眼部における位置や範囲ではなく、スリットランプ顕微鏡1の動作によって定義される。例えば、スキャンにおける照明系2及び撮影系3の移動の始点がスキャン開始位置とされ、終点がスキャン終了位置とされる。
一方、前眼部における位置や範囲によってスキャン範囲を定義することも可能である。この場合、被検眼Eの動きに追従するように照明系2及び撮影系3を移動させる動作(トラッキング)が適用される。本例のスリットランプ顕微鏡1は、例えば従来と同様のトラッキング機能を備える。トラッキング機能は、例えば、前眼部の動画撮影と、各フレームからのランドマークの抽出と、ランドマークを用いたフレーム間の偏位の算出と、偏位を打ち消すための照明系2及び撮影系3の移動制御とを含む。
スキャン範囲の定義(設定)に関する他の例として、既に収集された画像に対してスキャン範囲を設定することが可能である。すなわち、スキャン範囲の設定を事後的に(スキャン後に)行うように構成することができる。なお、本例におけるスキャン範囲は、後の処理に提供される画像の範囲を表すものである。
このような事後的なスキャン範囲設定の第1の例を説明する。本例のスリットランプ顕微鏡は、前眼部撮影が可能であり、且つ、前眼部撮影用光学系とスキャン光学系(照明系2及び撮影系3)との位置関係を認識可能であるとする。本例では、まず、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして画像群(広域画像群)を収集しつつ、前眼部撮影を実行する。次に、前眼部撮影で得られた前眼部画像に対してスキャン範囲が設定される。この設定は手動及び自動のいずれで行われてもよい。自動設定は、例えば、前眼部画像を解析してランドマークを検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。このランドマークは、例えば、角膜縁、隅角、又は瞳孔縁であってよい。スキャン範囲が設定されると、上記した光学系の位置関係に基づいて、このスキャン範囲に相当する各広域画像の部分領域が特定される。最後に、この特定された部分領域を広域画像からクロッピングすることによって、当該スキャン範囲に相当する画像が形成される。これにより、設定されたスキャン範囲に対応する画像群が得られる。本例において、被検眼の固視が安定している場合(又は、そのように仮定する場合若しくは仮定できる場合)などには、前眼部撮影は静止画撮影であってよい。前眼部撮影が動画撮影である場合には、例えばスキャンと動画撮影との制御(同期情報など)に基づいて広域画像群と動画像中のフレーム群とが対応付けられ、対応付けられた広域画像とフレームとのペア毎に上記と同様の処理が実行される。
事後的なスキャン範囲設定の第2の例を説明する。本例では、前眼部撮影を並行的に行わなくてもよく、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして広域画像群が収集される。次に、各広域画像に対して、所望のスキャン範囲に相当する部分領域が指定される。この指定は手動及び自動のいずれで行われてもよい。自動指定は、例えば、広域画像を解析してランドマーク(例えば、角膜縁又は隅角)を検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。また、いずれかの広域画像(基準広域画像)に対して手動でランドマークを指定し、この基準広域画像とそれに隣接する広域画像とを解析して当該隣接広域画像にランドマークを指定してもよい。このような処理を順次に適用することで全ての広域画像に対してランドマークを指定することができる。更に、ランドマークに基づいてスキャン範囲に相当する広域画像の部分領域を特定し、この特定された部分領域を広域画像からクロッピングすることによって当該スキャン範囲に相当する画像を形成することができる。これにより、設定されたスキャン範囲に対応する画像群が得られる。
画像群処理部80の第1の例を説明する。図4Aに示す画像群処理部80Aは、画像群評価部81を含む。画像群評価部81は、被検眼Eに対する1回のスキャンで収集された画像群の品質を評価する。幾つかの例示的な態様において、画像群評価部81は、画像群が所定の条件を満足するか否か判定するように構成されており、典型的には、画像群に含まれるそれぞれの画像が所定の条件を満足するか否か判定するように構成されている。
所定の条件(画像群評価条件)は、例えば、読影や診断を有効に行うために必要とされる画像品質に関する条件であり、例えば、被検眼Eに関する条件、スリットランプ顕微鏡1に関する条件、環境に関する条件などがある。画像群評価条件は、例えば、「評価対象の画像が、瞬きの影響を受けていないこと(瞬き条件)」及び「評価対象の画像が、眼球運動の影響を受けていないこと(眼球運動条件)」のいずれか一方及び双方を含んでいてよい。また、画像群評価条件は、画像品質評価に関する任意の指標であってよく、例えば、明るさ、コントラスト、ノイズ、信号対雑音比(SNR)、階調再現(tone reproduction)、ダイナミックレンジ、シャープネス、口径食(ケラレ)、収差(球面収差、非点収差、コマ収差、像面湾曲、歪曲収差、色収差など)、色精度(color accuracy)、露出精度(exposure accuracy)、レンズフレア、モアレ、及びアーティファクトのうちのいずれかを含んでいてよい。画像選択条件はこれらの例に限定されず、任意に選択されてよい。
瞬き条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
一例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
他の例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
眼球運動条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
一例として、画像群評価部81は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
他の例において、画像群評価部81は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。画像群評価部81は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
画像群評価部81は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。この人工知能エンジンは、典型的には、畳み込みニューラルネットワーク(CNN)を含み、この畳み込みニューラルネットワークは、スリットランプ顕微鏡により取得された多数の画像と、各画像が画像選択条件を満足するか否かの判定結果とを含む訓練データを用いて、事前に訓練される。なお、訓練データに含まれる画像は、スリットランプ顕微鏡により取得された画像に限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などであってもよい。また、人工知能エンジンに用いられる手法や技術(例えば、ハードウェア、ソフトウェア、機械学習法、ニューラルネットワークの種類など)は任意である。
1回のスキャンで収集された画像群を構成する一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。この関連付けは、例えば、画像群処理部80により実行される。その具体例を説明する。X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す(図示せず)。N個の位置B1~BNの間隔は等しくてもよいし、異なっていてもよい。位置B1~BNの個数(N)は、例えば、スキャン開始位置、スキャン終了位置、スリット光の移動速度(スキャン速度)、撮影系3のフレームレートなどに基づいて設定される。本例で設定される位置B1~BNの個数(N)は、1回のスキャンで収集される画像の個数に等しい。なお、位置B1~BNの個数(N)は本例に限定されず、また、その設定方法も本例に限定されない。被検眼Eの前眼部に1回のスキャンが適用され、図3に示す画像群F1、F2、F3、・・・、FNが取得されたとする。画像群処理部80は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られる。
画像群は、一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像群に含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像群に含めることも可能である。画像群評価部81の構成や動作については、その幾つかの例を図5A~図5Dを参照しつつ後述する。
画像群処理部80の第2の例を説明する。本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。図4Bに示す画像群処理部80Bは、図4Aと同様の画像群評価部81に加えて、画像セット作成部82を含む。画像群処理部80Bには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。
画像セットを構成する一連の画像が表現する範囲は、例えば、2以上のスキャンのうちのいずれか1つのスキャンが適用された3次元領域であってもよいし、2以上のスキャンのうちの少なくとも2つのスキャンにおけるスキャン範囲に基づき設定される3次元領域であってもよい。前者の例として、2以上のスキャンがそれぞれ適用された2以上のスキャン範囲において最大のスキャン範囲又は最小のスキャン範囲を採用することができる。後者の例として、少なくとも2つのスキャン範囲の和集合又は積集合を採用することができる。
また、画像セットは、当該一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像セットに含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像セットに含めることも可能である。
画像群処理部80の第3の例を説明する。第2の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。図4Cに示す画像群処理部80Cは、図4Aと同様の画像群評価部81に加えて、図4Bと同様の画像セット作成部82を含むが、本例の画像セット作成部82は選択部821を含んでいる。
画像群処理部80Cには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。この画像セット作成において、選択部821は、2以上の画像群のうちから所定の条件を満足する画像を選択する。
所定の条件(画像選択条件)は、前述した画像群評価条件と同じであってもよいし、異なっていてもよい。例えば、画像群評価部81により一つひとつの画像の品質評価が行われた後に、2以上の画像群が選択部821に提供されるように構成されている場合、選択部821は、画像配列に関する条件(例えば、瞬き条件、眼球運動条件など)を考慮して画像選択を行うように構成されてよい。なお、画像選択条件はこれらの例に限定されず、また、画像群評価条件と画像選択条件との間の関係もこれらの例に限定されない。
以下、選択部821が瞬き条件を考慮する場合と眼球運動条件を考慮する場合とについて説明する。なお、これら以外の条件を考慮する場合などについては、画像群評価部81に関する後述の具体例(図5A~図5Dを参照)と同様の処理を選択部821は実行することができる。
瞬き条件を考慮した画像選択について説明する。なお、瞬き条件は「評価対象の画像が、瞬きの影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
一例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
他の例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
眼球運動条件を考慮した画像選択について説明する。なお、眼球運動条件は「評価対象の画像が、眼球運動の影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
一例として、選択部821は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
他の例において、選択部821は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。選択部821は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
画像群評価部81の場合と同様に、選択部821は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。
画像セット作成部82により作成される画像セットに含まれる一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。例えば、選択部821は、スキャン範囲における複数の位置のそれぞれに1以上の画像を割り当てるように画像の選択を行うように構成されていてよい。
具体例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す。
被検眼Eの前眼部に2回以上のスキャンが適用された結果、図3に示す画像群F1、F2、F3、・・・、FNが取得されたとする。なお、図3に示すN個の画像F1~FNは、上記の説明では1回のスキャンで得られた画像群とされているが、本明細書では、説明の簡略化のために、図3に示すN個の画像F1~FNを任意の画像群(複数の画像)として参照することがある。例えば、本例の説明では、画像セットに含まれる一連の画像としてN個の画像F1~FNが参照される。
このようなN個の位置をB1~BN及びN個の画像F1~FNについて、選択部821は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られ、例えば、画像群Fnを「一連の画像」とする画像セットが作成される。
幾つかの例示的な態様では、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された場合、自動的に又はユーザーの指示に応じて第2回目のスキャンが行われる。前眼部に適用されるスキャンの回数が2回以上である場合、スリットランプ顕微鏡1は、前眼部に2回以上のスキャンを適用する動作と、それにより収集された2以上の画像群から一連の画像を選択する動作とを実行するが、これら動作の実行態様は任意であってよい。第1の例として、スリットランプ顕微鏡1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、前眼部に対するスキャンと、このスキャンにより取得された画像群からの画像の選択とを、交互に繰り返すように構成されてよい。第2の例として、スリットランプ顕微鏡1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成されてよい。以下、これら2つの例について説明する。なお、画像群からの画像の選択の代わりに、又はそれに加えて、画像群評価部81による画像群の評価を行ってもよい。前述したように、画像群評価と画像選択とは、同様の処理、類似の処理、又は互換的な処理であってよい。幾つかの例示的な態様において、画像群評価として説明した事項を画像選択に適用することが可能であり、逆に、画像選択として説明した事項を画像群評価に適用することが可能である。
第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第1の例は、スキャンと画像選択との交互反復である。より具体的には、第1の例では、例えば、前眼部へのスキャンの適用と、このスキャンで得られた画像群からの画像の選択との組が、所定回数繰り返し実行される。つまり、第1の例では、第1番目の組の動作(スキャン及び画像選択)、第2番目の組の動作(スキャン及び画像選択)、・・・、第U番目の組の動作(スキャン及び画像選択)の順に、U個の組の動作が実行される(Uは1以上の整数)。また、この交互反復の前に行われた第1回目のスキャンと、第1回目のスキャンで得られた画像群の品質評価(画像群評価部81)との組を、第0番目の組の動作と呼ぶこととする。
ここで、第u番目の組におけるスキャンの回数は、1以上の任意の回数であってよい(u=0、1、・・・、U)。また、第u番目の組におけるスキャンの回数と、第u番目の組におけるスキャンの回数とは、等しくてもよいし、異なってもよい(u=0、1、・・・、U;u=0、1、・・・、U;u≠u)。
第1の例において、選択部821は、既に行われた2回以上のスキャンで収集された2つ以上の画像群から画像を選択して暫定的画像セットを作成するように構成されてよい。つまり、スリットランプ顕微鏡1は、スキャンと画像選択との交互反復を実行中の任意の時点において、当該時点までに実施された2回以上のスキャンで得られた2以上の画像群から暫定的画像セットを作成するように構成されてよい。例えば、第u番目の組におけるスキャンが行われた後、選択部821は、第0番目の組から第u番目の組で得られた全ての画像のうちから暫定的画像セットを作成するように構成される。このような構成によれば、最終的な画像セットを構築するために、現時点までに得られた画像群から暫定的な画像セットを作成することができる。
暫定的画像セットを作成する上記構成が適用される場合、次の構成を組み合わせることができる。被検眼Eの前眼部に新たなスキャンが適用されたとき、選択部821は、まず、この新たなスキャンで収集された新たな画像群から画像を選択する。続いて、選択部821は、この新たなスキャンよりも前に行われた1以上のスキャンに基づく暫定的画像セットに、この新たな画像群から選択された画像を付加することで新たな暫定的画像セットを作成する。例えば、第(u+1)番目の組におけるスキャンが行われた後、選択部821は、まず、第(u+1)番目の組で得られた画像群から画像を選択することができる。更に、選択部821は、第0番目の組から第u番目の組で得られた画像群に基づく暫定的画像セットに、第(u+1)番目の組で得られた画像群から選択された画像を付加することによって、新たな暫定的画像セットを作成することができる。このような構成によれば、前眼部にスキャンが適用される度に、このスキャンで得られた画像群に基づいて暫定的画像セットを逐次に更新することができる。これにより、最終的な画像セットの構築を確実且つ効率的に行うことが可能となる。
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を組み合わせることができる。制御部7(又は画像セット作成部82(選択部821))は、暫定的画像セットに含まれる画像の個数をカウントする画像個数カウンタを含む。暫定的画像セットに含まれる画像の個数が所定の個数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。ここで、所定の個数は、最終的な画像セットに含まれる一連の画像の個数であり、事前に又は処理状況から設定される。また、暫定的画像セットに含まれる画像の個数が所定の個数に達したか否かの判定は、制御部7により実行される。この判定は、個数の比較のみであってよい。或いは、スキャン範囲における複数の位置と一連の画像とが関連付けられている場合(前述)、複数の位置の全てについて対応画像が割り当てられたか否か判定してもよい。このような構成によれば、最終的な画像セットのために必要な個数が得られたら、スキャンと画像選択との交互反復を自動で終了することができる。
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を更に組み合わせることができる。制御部7は、スキャンと画像選択との交互反復の回数をカウントする反復回数カウンタを含む。カウントされる回数は、スキャンと画像選択との組(第1番目の組~第U番目の組)を単位として定義してもよいし、スキャン回数を単位として定義してもよい。反復回数が所定の回数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。スキャンと画像選択との組を単位として反復回数が定義される場合、所定の回数は、事前に設定された組の総数(U+1)に等しい。スキャン回数を単位として反復回数が定義される場合、所定の回数は、事前に設定された総スキャン回数に等しい。また、反復回数が所定の回数に達したか否かの判定は、制御部7により実行される。このような構成によれば、事前に設定された回数だけスキャン及び画像選択が繰り返された段階でこれを自動で終了することができる。本構成を用いない場合、最終的な画像セットの構築に必要な個数の画像が選択されるまでスキャン及び画像選択が繰り返されるため、被検者を疲労させるとともに撮影効率が低減する。特に、複数の被検者の撮影を順次に行う場合、撮影のスループットが大きく毀損される。
以上のように、本態様は、スキャンと画像選択との交互反復を自動で終了するように構成されてよい。この自動終了の条件は上記した2つの例に限定されず、例えばユーザーからの指示入力であってもよい。或いは、スキャンと画像選択との交互反復の開始からの経過時間を計測し、所定の時間に達したときに交互反復を終了するようにしてもよい。なお、スキャンと画像選択との反復レートが一定である場合、経過時間に基づく自動終了制御は、上記した反復回数に基づく自動終了制御と同等である。画像セット作成部82は、スキャンと画像選択との交互反復が終了されたときの暫定的画像セットに基づいて画像セットを作成することができる。暫定的画像セットは、例えば、スキャン範囲に対応する一連の画像として画像セットに含まれる。スリットランプ顕微鏡1には、被検者ID、公的ID、氏名、年齢、性別など、所定の被検者情報が別途に入力される。画像セット作成部82は、このような被検者情報、被検眼情報(左眼/右眼を示す情報など)、撮影日時、撮影条件などを、一連の画像の付帯情報として構成することで、画像セットを作成することができる。また、画像セットは、スリットランプ顕微鏡1で得られた他の画像、他のモダリティで得られた画像、検査装置により取得された検査データなどを含んでいてもよい。以上で、スキャン及び画像選択の実行態様の第1の例の説明を終える。
次に、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第2の例について説明する。本例は、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成される。そして、この2回以上のスキャンで収集された2つ以上の画像群と、その前に行われた第1回目のスキャンで得られた画像群とのうちから画像の選択が行われ、選択された一連の画像を含む画像セットが作成される。
このような処理の具体例を説明する。選択部821は、まず、各スキャンに対応する画像群と、スキャン範囲における複数の位置(前述)とを対応付ける。これにより、スキャン範囲における複数の位置のそれぞれに対し、異なるスキャンに対応する2以上の画像が割り当てられる。
続いて、スキャン範囲における複数の位置のそれぞれについて、選択部821は、当該位置に割り当てられた2以上の画像のうちから1つの画像を選択する。本例に適用される画像選択条件は、例えば、前述した瞬き条件及び眼球運動条件であってよい。これにより、スキャン範囲における複数の位置に対して1つずつ画像が割り当てられる。このようにして複数の位置に対応付けられた複数の画像が、画像セットに含まれる一連の画像として採用される。以上で、スキャン及び画像選択の実行態様の第2の例の説明を終える。
画像群処理部80の第4の例を説明する。第2及び第3の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。図4Dに示す画像群処理部80Dは、図4Aと同様の画像群評価部81と、図4B又は図4Cと同様の画像セット作成部82とに加えて、画像セット評価部83を含んでいる。
画像セット評価部83は、画像セット作成部82により作成された画像セットの品質を評価する。この評価は、診断(読影)を有効に行うために十分な品質を画像セットが有しているか判定するものであり、この観点から評価項目や評価基準が決定される。評価項目や評価基準は、画像群評価条件の少なくとも一部及び/又は画像選択条件の少なくとも一部と共通であってよいが、それらに限定されない。
画像セット評価部83は、画像セットの態様に応じて異なる評価を行うように構成されてもよい。例えば、暫定的画像セットに含まれる画像の個数が所定の個数に達したことに対応して作成された画像セットに適用される評価と、スキャン及び画像選択の交互反復の回数が所定の回数に達したことに対応して作成された画像セットに適用される評価とは、互いに異なってよい。なお、画像セットの態様に関わらず同じ評価を適用してもよい。
画像セットの品質評価の例として、各画像の品質の評価(画像群の評価と同様であってよい)に加え、一連の画像の「配列順序」の評価、「画像の飛び(抜け)」の評価、「位置ずれ」の評価などがある。配列順序の入れ替わり、画像の飛び、位置ずれ等の画像セットの不具合は、眼球運動や固視ずれなどに起因して生じる。
一連の画像の配列順序の評価について説明する。幾つかの例において、一連の画像と、スキャン範囲における複数の位置との間には、前述の対応関係(一対一対応)が設定されている。画像セット評価部83は、この対応関係を利用して配列順序の評価を行うことができる。
ここで、スキャン範囲における複数の位置には、実空間における位置関係に対応した順序付けがなされている。一例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置からスキャン終了位置に向かって順に、N個の位置B1、B2、B3、・・・、BNが設定されているとする。つまり、N個の位置B1~BNには、実空間における位置関係に対応した順序付けが施されている。また、N個の位置B1~BNに対してN個の画像F1~FN(一連の画像)が一対一の関係で対応付けられているとする。
このような前提の下、画像セット評価部83は、例えば、N個の位置B1~BNの配列順序(相対位置関係)にしたがってN個の画像F1~FNを配置する。この処理は、例えば、或る3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の画像F1~FNを配置する(埋め込む)ことにより実現される。より詳細には、画像セット評価部83は、例えば、N個の画像F1~FNからそれぞれスリット光照射領域A1~AN(2次元断面画像)を抽出し、3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の2次元断面画像A1~ANを埋め込むことができる。
画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)を解析することで、配列順序が適切であるか評価することができる。例えば、画像セット評価部83は、画像F1~FN(2次元断面画像A1~AN)から注目領域(角膜前面、角膜後面、虹彩、瞳孔、水晶体前面、水晶体後面、隅角などの注目部位に対応する画像領域)を検出し、画像F1~FN(2次元断面画像A1~AN)の配列方向(本例ではX方向)における注目領域の形態(連結性、連続性など)に基づいて評価を行うことができる。例えば、所定寸法以上のギャップが注目領域に存在する場合、配列順序は適切でない(配列順序に入れ替わりが存在する)と判断される。
他の例において、画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)から、X方向に沿った断面像を構築する。更に、画像セット評価部83は、この断面像の形態(連結性、連続性など)に基づいて評価を行うことができる。
画像の飛びの評価や、位置ずれの評価についても、配列順序の評価と同じ要領で実行することが可能である。
画像群評価部81や選択部821の場合と同様に、画像セット評価部83は、入力された画像セットが有効な診断のために十分な品質を有しているか評価するための人工知能エンジンを含んでいてもよい。
画像セットの品質が良好であると画像セット評価部83により評価された場合、制御部7は、この画像セットを通信部9に送信させるための制御を行うように構成されてよい。例えば、制御部7は、この画像セットを含む送信用情報を準備し、この送信用情報を所定の外部装置に送信するように通信部9を制御する。
スリットランプ顕微鏡1から画像セット等を出力する態様は、送信に限定されない。送信以外の出力態様の例として、記憶装置(データベースなど)への保存、記録媒体への記録、印刷媒体への印刷などがある。
画像セットの品質が良好でないと画像セット評価部83により評価された場合、制御部7は、被検眼Eに対する新たなスキャンを行うための制御、つまり新たな画像群(新たな画像セット)を取得するための制御を行うように構成されてよい。例えば、制御部7は、所定の出力情報を表示及び/又は音声出力するように構成されてよい。所定の出力情報は、例えば、撮影に失敗したこと、又は、再撮影の必要があることなど、ユーザーに再撮影を促すための内容を有する。
或いは、制御部7は、画像セットの品質が良好でないと画像セット評価部83により評価された場合、再撮影(スキャン及び画像セット作成の再度の実行)を自動で開始するために、少なくともスキャン部(照明系2、撮影系3、移動機構6)及び画像セット作成部82に指令を送るように構成されてよい。
更に、画像群評価部81の幾つかの例について図5A~図5Dを参照しつつ説明する。なお、画像群評価部81はこれらの例に限定されず、任意の変形(付加、置換、省略など)が可能である。また、これらの例や変形のうちの2つ以上を少なくとも部分的に組み合わせることが可能である。
画像群評価部81の第1の例について図5A及び図5Bを参照しつつ説明する。本例は、人工知能技術を利用して画像群の品質評価を行うものである。図5Aに示す画像群評価部81Aは、推論モデル812Aを用いて画像群の品質評価を行う推論部811Aを含んでいる。
推論モデル812Aは、複数の前眼部画像を含む訓練データを用いた機械学習によって予め構築される。推論モデル812Aを構築する装置(推論モデル構築装置)は、スリットランプ顕微鏡1(データ処理部8など)又はその周辺機器(コンピュータなど)に設けられてもよいし、他のコンピュータであってもよい。
図5Bに示すモデル構築部90は、このような推論モデル構築装置の例であり、スリットランプ顕微鏡1又はその周辺機器に設けられているものとする。モデル構築部90は、学習処理部91と、ニューラルネットワーク92とを含む。
ニューラルネットワーク92は、典型的には、畳み込みニューラルネットワーク(CNN)を含む。畳み込みニューラルネットワークの構造の一例を図5Bに示す。
入力層には、画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。図5Bに示す例には畳み込み層とプーリング層とのペアが3つ設けられているが、ペアの個数は任意である。
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各画素の値に、その画素に対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数の画素にわたって積の総和を求める。このように得られた積和値は、出力される画像における対応画素に代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目画素の所定の近傍画素における統計値を所定の画素間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用される画素間隔は、ストライド(stride)と呼ばれる。
畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。図2に示す例においては2つの全結合層が設けられているが、全結合層の個数は任意である。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
なお、幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシン、再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、ニューラルネットワーク92に対する機械学習は、転移学習であってもよい。つまり、ニューラルネットワーク92は、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部90(学習処理部91)は、学習済みのニューラルネットワーク(92)にファインチューニングを適用可能に構成されてもよい。ニューラルネットワーク92は、例えば、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってよい。
学習処理部91は、訓練データを用いた機械学習をニューラルネットワーク92に適用する。ニューラルネットワーク92が畳み込みニューラルネットワークを含んでいる場合、学習処理部91によって調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
訓練データは、前述したように、複数の前眼部画像を少なくとも含んでいる。複数の前眼部画像は、典型的には、スリットランプ顕微鏡によって取得された画像であるが、これに限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を用いて、訓練データの個数を増加させてもよい。
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
幾つかの例示的な態様では、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。例えば、訓練データに含まれる複数の前眼部画像のそれぞれには、読影可能又は読影不可能であることを示すラベルが予め付帯されている。ラベルは、例えば、医師又は他の推論モデルによって生成される。学習処理部91は、このような訓練データを用いた教師あり学習をニューラルネットワーク92に適用することによって推論モデル812Aを構築することができる。
このようにして構築された本例の推論モデル812Aは、前眼部をスリット光でスキャンして得られた画像を入力とし、且つ、読影可能性を出力とした学習済みモデルである。なお、推論モデル812Aの出力である読影可能性は、評価対象の画像群が読影に適しているか否かを示す任意のパラメータであってよく、例えば、読影可能又は読影不可能の判別、読影を実施できる確率、読影を実施した場合の結果の妥当性(例えば、確度、精度)などであってよい。
ニューラルネットワーク92の特定のユニットに処理が集中しないようにするために、学習処理部91は、幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、推論モデルを構築するために利用することが可能である。
図5Aに示す推論部811Aは、このような推論モデル812Aを用いて、被検眼Eの前眼部に対する1回のスキャンで収集された画像群の品質を評価する。より具体的に説明すると、まず、推論部811Aは、画像群又はそれに含まれる各画像を推論モデル812Aに入力する。推論モデル812Aは、入力された画像群又は画像から読影可能性を示す情報を導出する。
推論部811Aは、推論モデル812Aから出力された読影可能性情報をそのまま推論結果としてもよいし、読影可能性情報に基づき推論結果を生成してもよい。後者の例として、推論部811Aは、読影可能性情報から表示用の情報を生成してもよいし、所定の統計処理を実行してもよい。
画像群評価部81の第2の例について図5Cを参照しつつ説明する。本例は、画像群を3次元画像化して品質評価を行うものである。図5Cに示す画像群評価部81Bは、3次元画像構築部811Bと、比較部812Bと、評価処理部813Bとを含む。
3次元画像構築部811Bは、被検眼Eの前眼部に対する1回のスキャン収集された画像群から3次元画像を構築する。例えば、3次元画像構築部811Bは、単一の3次元座標系に画像群を埋め込むことによってスタックデータを構築するように構成されてよい。このスタックデータは、例えば、図3に示すN個の2次元断面画像A1~ANを、前述したN個の位置B1~BNの配列(相対位置関係)にしたがって3次元座標系に埋め込むことによって構築される。
3次元画像構築部811Bは、画像群から構築されたスタックデータにボクセル化処理を適用してボリュームデータを構築するように構成されてもよい。更に、3次元画像構築部811Bは、スタックデータ又はボリュームデータに所定のレンダリングを適用することができる。レンダリングの例として、ボリュームレンダリング、サーフェスレンダリングなどがある。
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像(スタックデータ、ボリュームデータ、レンダリング画像など)を所定の基準3次元画像と比較する。基準3次元画像は、1つ以上の任意の個数だけ準備される。
基準3次元画像は、正常眼に対応する1以上の基準3次元画像を含んでいてよい。正常眼に対応する基準3次元画像は、例えば、正常眼(疾患が認められなかった眼(健常眼))を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡1又はこれと同様のスリットランプ顕微鏡である。また、正常眼に対応する基準3次元画像は、正常眼のモデル(模型眼など)を撮影して取得された画像、又は、正常眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
基準3次元画像は、患眼に対応する1以上の基準3次元画像を含んでいてよい。患眼に対応する基準3次元画像は、例えば、特定の疾患の確定診断がなされた眼を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡1又はこれと同様のスリットランプ顕微鏡である。また、患眼に対応する基準3次元画像は、患眼のモデル(模型眼など)を撮影して取得された画像、又は、患眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像と基準3次元画像とのマッチングを実行して所定のパラメータの値を算出する。この画像マッチングは、例えば、画像相関法、特徴ベースマッチング、領域ベースマッチング、機械学習(学習済みモデル)など、任意の手法を利用したものであってよい。また、算出されるパラメータは、相関値、マッチングパラメータ(角度、スケール、類似度、適合度など)、学習済みモデルの出力パラメータなど、任意のパラメータであってよい。
このような画像マッチングは、典型的には、3次元画像に描出されている組織や部位(角膜、虹彩、瞳孔、隅角など)の形状や構造が、標準的な正常眼の形状や構造とどの程度類似しているか、及び/又は、標準的な患眼の形状や構造とどの程度類似しているかを、定量的に(つまり数値として)表現する処理である。
評価処理部813Bは、比較部812Bにより算出されたパラメータ値に基づいて、当該画像群の品質の評価を行う。例えば、評価処理部813Bは、比較部812Bにより算出されたパラメータ値を所定の閾値と比較することによって当該画像群の品質を評価するように構成されてよい。或いは、評価処理部813Bは、比較部812Bにより算出されたパラメータ値が所定の範囲に含まれるか否か判断することによって当該画像群の品質を評価するように構成されてよい。なお、評価処理部813Bが実行する処理の手法はこれらに限定されず、或るパラメータの値から評価結果を導出するために用いることが可能な任意の手法であってよい。
3次元画像構築を利用した画像群の品質評価は本例に限定されない。例えば、画像群評価部81は、画像セット評価部83と同じ要領で、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい。
画像群評価部81の第3の例について図5Dを参照しつつ説明する。本例は、画像群の画質の定量的評価によって品質を評価するものである。図5Dに示す画像群評価部81Cは、評価データ生成部811Cと、評価処理部812Cとを含む。
評価データ生成部811Cは、被検眼Eの前眼部に対する1回のスキャンで収集された画像群に含まれる画像から画質評価データを求める。画質評価データは、画像群の画質を定量的に表現したものである。
評価データ生成部811Cが実行する画質評価処理について幾つかの例を説明する。幾つかの例示的な態様において、評価データ生成部811Cが実行する画質評価処理は任意の処理であってよく、例えば、信号対雑音比(SNR)、コントラスト対雑音比(CNR)、二乗平均平方根(RMS)粒状度、ウィーナースペクトル(Wiener Spectrum)、変調伝達関数(MTF)、品質指標(Quality Index;QI)など、任意の公知技術を利用した処理であってよい。
例えば、評価データ生成部811Cは、画像群の画質評価データとして、所定の画質評価指標の値(画質評価値)を算出する。画質評価値は、画像の品質を定量的に表現する任意のパラメータであってよく、典型的には、画像の品質が高いほど画質評価値も大きくなる。
画質評価値の算出方法の例として、OCT画像の画質評価に利用されているImage Quality値(IQ値)の算出方法を以下に説明する。まず、評価データ生成部811Cは、評価対象の画像に設定された評価領域に対して所定の解析処理(例えば、セグメンテーション)を適用することにより、前眼部の組織(部位)に相当する画像領域(組織画像領域)と、それ以外の画像領域(背景領域、非組織画像領域)とを検出する。次に、評価データ生成部811Cは、組織画像領域における輝度のヒストグラムを生成し、且つ、背景領域における輝度のヒストグラムを生成する。続いて、評価データ生成部811Cは、これら2つのヒストグラムの重なり具合から画質評価値(IQ値)を算出する。例えば、双方のヒストグラムが完全に重なっている場合にはIQ値=0となり、双方のヒストグラムが完全に分離している場合にはIQ値=100となるように、範囲[0,100]においてIQ値が定義される。この画質評価演算は、例えば、2つのヒストグラムの正規化、確率分布関数の生成、所定の演算式を用いたIQ値の算出などを含んでいてよい。
このように、評価データ生成部811Cは、評価対象の画像において前眼部の組織に相当する組織画像領域と、背景領域とを特定する処理と、組織画像領域における輝度の度数分布を示す第1ヒストグラムを作成する処理と、背景領域における輝度の度数分布を示す第2ヒストグラムとを作成する処理と、第1ヒストグラム及び第2ヒストグラムに基づいて画質評価データとしての画質評価値(IQ値)を算出する処理とを実行するように構成されていてよい。
評価処理部812Cは、評価データ生成部811Cにより生成された画質評価データに基づいて画像群の品質の評価を行う。画質評価データに基づく品質評価について幾つかの手法を以下に説明するが、品質評価手法はこれらに限定されるものではなく、任意であってよい。
画質評価データに基づく品質評価の第1の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のそれぞれを所定の閾値と比較する。複数のIQ値の全てが閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、複数のIQ値のいずれかが閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
画質評価データに基づく品質評価の第2の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のうち最も低いIQ値を選択し、この最低IQ値を所定の閾値と比較する。最低IQ値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、最低IQ値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
画質評価データに基づく品質評価の第3の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値に所定の統計演算を適用して統計値を算出する。この統計値の種類は任意であってよく、例えば、平均値、最小値、最大値、最頻値、中間値などであってよい。なお、統計値が最小値であるケースは、上記の第2の例に相当する。評価処理部812Cは、算出された統計値を所定の閾値と比較する。統計値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、統計値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
評価処理部812Cが実行する処理は、評価データ生成部811Cにより生成された画質評価データに基づく処理に限定されない。例えば、評価処理部812Cは、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい(いずれの評価処理も前述した)。
<加工画像構築部85>
加工画像構築部85は、スリット光を用いた前眼部スキャンで収集された画像群から加工画像を構築する。加工画像構築には、画像群に含まれる少なくとも1つの画像が使用される。加工画像構築は、任意の画像処理を含んでいてよい。幾つかの例を以下に説明するが、加工画像構築に含まれる処理はこれらに限定されない。
幾つかの例示的な態様の加工画像構築部85は、画像群から3次元画像を構築する3次元画像構築を実行可能であってよい。画像群から構築される3次元画像は、例えばスタックデータ又はボリュームデータであってよい。本例の加工画像構築部85は、前述の3次元画像構築部811Bと同様の構成を有していてよい。例えば、加工画像構築部85を構成するハードウェア及びソフトウェアの組み合わせと、3次元画像構築部811Bを構成するハードウェア及びソフトウェアの組み合わせとが、少なくとも部分的に共通であってよい。
幾つかの例示的な態様の加工画像構築部85は、3次元画像のレンダリング画像を構築するレンダリング処理を実行可能であってよい。加工画像構築部85は、例えば、3次元画像構築によって得られたスタックデータ又はボリュームデータに所定のレンダリング処理を適用することができる。レンダリング処理の例として、ボリュームレンダリング、サーフェスレンダリングなどがある。本例の加工画像構築部85も、3次元画像構築部811Bと同様の構成を有していてよい。
幾つかの例示的な態様の加工画像構築部85は、画像の部分領域を特定する処理(セグメンテーション)、特定された部分領域を抽出する処理(クロッピング、トリミング)などを実行可能であってよい。例えば、加工画像構築部85は、画像群の含まれる画像、3次元画像、又はレンダリング画像から、被検眼Eの所定部位に相当する注目領域を抽出可能であってよい。
<位置ずれ情報取得部86>
位置ずれ情報取得部86は、スリットランプ顕微鏡1を用いたフォローアップ撮影が行われた後に動作する。フォローアップ撮影は、過去に取得された被検眼Eの前眼部の画像(第1画像、基準画像)を参照して行われ、被検眼Eの前眼部の新たな画像(第2画像、フォローアップ画像)が取得される。基準画像及びフォローアップ画像は記憶部10に格納されている。
制御部7は、基準画像及びフォローアップ画像を記憶部10から読み出して位置ずれ情報取得部86に送る。位置ずれ情報取得部86は、フォローアップ撮影で参照された基準画像と、このフォローアップ撮影で取得されたフォローアップ画像とを解析することにより、基準画像とフォローアップ画像との間の位置ずれ情報を取得する。位置ずれ情報は、フォローアップ画像に描出された前眼部の位置(範囲、領域)が基準画像のそれに対してどれだけずれているかを定量的に示す情報である。
位置ずれ情報取得部86は、位置ずれ情報として、例えば、基準画像とフォローアップ画像との間における平行移動ずれ及び回転移動ずれをそれぞれ算出する。平行移動ずれは、例えば、XY座標系内における基準画像に対するフォローアップ画像の平行移動量(平行移動偏位)を示す情報を含む。平行移動ずれは、これに限定されず、YZ座標系、ZX座標系、及びXYZ座標系のいずれかにおける平行移動偏位情報を含んでもよい。同様に、回転移動ずれは、例えば、XY座標系の所定位置を中心としたXY座標系内における基準画像に対するフォローアップ画像の回転移動量(回転移動偏位)示す情報を含む。回転移動ずれは、これに限定されず、YZ座標系、ZX座標系、及びXYZ座標系のいずれかにおける回転移動偏位情報を含んでもよい。平行移動ずれと回転移動ずれは、例えば、基準画像の座標とフォローアップ画像の座標との間のアフィン変換として表現される。なお、平行移動ずれと回転移動ずれのいずれか一方のみを算出するようにしてもよい。
平行移動ずれ及び回転移動ずれの算出方法の例を説明する。幾つかの例示的な態様において、基準画像は、被検眼Eの前眼部をスリット光でスキャンして取得された第1スキャン画像を含んでいてよい。第1スキャン画像は、スリットランプ顕微鏡1又は他の装置によって過去に取得された画像である。一方、フォローアップ画像は、第1スキャン画像を参照して行われたフォローアップ撮影において取得された第2スキャン画像を含んでいてよい。位置ずれ情報取得部86は、少なくとも第1スキャン画像及び第2スキャン画像に基づいて位置ずれ情報を取得することができる。
フォローアップ画像は、フォローアップ撮影(スリット光を用いた前眼部スキャン)で収集された画像群に含まれる少なくとも1つの画像(2次元断面画像)を含んでいてもよい。この場合、位置ずれ情報取得部86は、例えば、フォローアップ画像としての2次元断面画像が表す断面に対応する基準画像中の領域(断面、又は、2以上の画像にわたる3次元領域)を特定する処理を実行する。基準画像が画像群(又は、それに含まれる少なくとも1つの画像(2次元断面画像))を含む場合、位置ずれ情報取得部86は、フォローアップ画像としての2次元断面画像が表す断面の位置に対応する、基準画像としての画像群中の2次元断面画像を特定することができる。ここで、位置ずれ情報取得部86は、フォローアップ画像としての2次元断面画像の断面位置に最も近い断面に対応する2次元断面画像を基準画像としての画像群から選択することができる。或いは、位置ずれ情報取得部86は、フォローアップ画像としての2次元断面画像の断面位置の近傍に位置する2以上の2次元断面画像を基準画像としての画像群から選択し、選択された2以上の2次元断面画像を合成して新たな2次元断面画像を構築し、この新たな2次元断面画像を基準画像として用いることができる。
フォローアップ画像が画像群の少なくとも一部を含む場合において、基準画像は3次元画像(スタックデータ、ボリュームデータなど)やレンダリング画像であってもよい。この場合、位置ずれ情報取得部86は、例えば、フォローアップ画像としての2次元断面画像が表す断面に対応する基準画像中の領域(断面、3次元領域など)を特定する処理を実行することができる。他の例において、位置ずれ情報取得部86は、フォローアップ画像としての複数の2次元断面画像から加工画像(3次元画像,レンダリング画像など)を構築し、基準画像としての加工画像とフォローアップ画像としての加工画像とに基づいて、フォローアップ画像としての2次元断面画像が表す断面に対応する基準画像を構築することができる。
フォローアップ画像は、加工画像構築部85により構築された加工画像を含んでいてもよい。前述したように、加工画像は、例えば、3次元画像(スタックデータ、ボリュームデータなど)、レンダリング画像などであってよい。フォローアップ画像が加工画像を含む場合、位置ずれ情報取得部86は、例えば、フォローアップ画像としての加工画像が表す領域に対応する基準画像中の領域(断面、3次元領域など)を特定する処理を実行する。基準画像が画像群(又は、それに含まれる少なくとも1つの画像(2次元断面画像))を含む場合、位置ずれ情報取得部86は、フォローアップ画像としての加工画像が表す領域の位置に対応する、基準画像としての画像群中の領域を特定することができる。一方、基準画像が加工画像(3次元画像、レンダリング画像など)を含む場合、位置ずれ情報取得部86は、基準画像としての加工画像とフォローアップ画像としての加工画像とに基づいて、フォローアップ画像としての加工画像が表す領域に対応する基準画像を構築することができる。
基準画像とフォローアップ画像との比較解析は、例えば、特徴点抽出、セグメンテーション、ラベリング、パターンマッチング、テンプレートマッチング、閾値処理、二値化、エッジ検出、画像相関、マスキングなど、任意の画像処理を含んでいてよい。
位置ずれ情報を生成するための処理の1つの例を説明する。まず、位置ずれ情報取得部86は、基準画像を解析して、被検眼Eの前眼部の所定の特徴部位に相当する画像位置(画素位置)を特定する。同様に、位置ずれ情報取得部86は、基準画像を解析して、当該特徴部位に相当する画像位置(画素位置)を特定する。特徴部位は、例えば、角膜頂点、角膜縁、瞳孔中心、瞳孔縁、虹彩パターンの特徴点、隅角、病変部などであってよい。
次に、位置ずれ情報取得部86は、基準画像について特定された画像位置の座標と、フォローアップ画像について特定された画像位置の座標との間の偏位を求める。この処理では、例えば、複数の特徴部位の画像位置のそれぞれについて、基準画像における当該画像位置の座標とフォローアップ画像における当該画像位置の座標とを2次元アフィン変換の変換式に代入してアフィン変換行列の成分を決定する。ここで、画像位置の座標は、各画素に対して予め割り当てられたアドレス情報である。このようにして得られるアフィン変換行列には、基準画像とフォローアップ画像との間の平行移動ずれ及び回転移動ずれの双方の情報が含まれている。
<評価値算出部87>
評価値算出部87は、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて、フォローアップ撮影におけるスキャン位置の誤差の評価値を算出する。評価値の例として、基準画像のスキャン位置とフォローアップ画像のスキャン位置とにより規定される所定の画像領域の面積に基づいて算出される評価値、及び、基準画像のスキャン位置とフォローアップ画像のスキャン位置との間の偏位に基づくものとがある。なお、評価値算出のためのファクターはこれらに限定されず、他のファクターに基づき評価値を算出することも可能である。また、異なるファクターを組み合わせて評価値を算出するようにしてもよい。
評価値算出部87の構成の一例を図6に示す。本例の評価値算出部87Aは、相対位置算出処理部871と、判断処理部872と、面積算出処理部873と、偏位算出処理部874と、評価値算出処理部875とを含んでいる。面積に基づく評価値の算出は、相対位置算出処理部871と、判断処理部872と、面積算出処理部873とにより実行される。偏位に基づく評価値の算出は、相対位置算出処理部871と、偏位算出処理部874と、評価値算出処理部875とにより実行される。
記憶部10に記憶されたフォローアップ撮影情報(後述)には、基準画像に対応するスキャン位置(基準スキャン位置)を示す基準スキャン位置情報と、このフォローアップ撮影で取得されたフォローアップ画像に対応するスキャン位置(フォローアップスキャン位置)を示すフォローアップスキャン位置情報とが含まれている。相対位置算出処理部871は、基準スキャン位置とフォローアップスキャン位置との間の相対位置情報を、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて算出するように構成されている。
前述したように、フォローアップ撮影は、過去にスキャンが適用された位置を再現して新たなスキャンを行うものである。よって、理想的には基準スキャン位置とフォローアップスキャン位置は同じになる。しかし、眼球運動や撮影環境などの影響を考慮すると、スキャン位置を完全に再現することは事実上困難である。一方、これらの影響がなければ基準スキャン位置とフォローアップスキャン位置を一致させることができる。したがって、これらスキャン位置の間の相対位置は眼球運動などに起因する被検眼Eの位置ずれ、つまり基準画像とフォローアップ画像との間の位置ずれに相当する。この位置ずれは、位置ずれ情報取得部86によって位置ずれ情報として取得される。
相対位置算出処理部871は、例えば、位置ずれ情報に示す位置ずれ量だけ基準スキャン位置を偏位させることにより、フォローアップ画像において基準スキャン位置に対応する位置、つまり基準スキャン位置が完全に再現された場合に実現される理想的なスキャン位置を求める。相対位置情報は、この理想的なスキャン位置と、実際のフォローアップ撮影で実行されたスキャン位置(フォローアップスキャン位置)との間の相対位置を示す。このように、相対位置情報は、実質的に位置ずれ情報と同値である。なお、画像の間の偏位を表すのが位置ずれ情報であり、スキャン位置の間の偏位を表すのが相対位置情報である。相対位置算出処理部871は、取得した相対位置情報を判断処理部872と偏位算出処理部874に送る。
基準スキャン位置とフォローアップスキャン位置との相対位置には、例えば図7A~図7Dに示すような態様がある。これらの図面において、符号Rはフォローアップスキャン位置を示し、符号R0は基準スキャン位置を示す。基準スキャン位置R0は、位置ずれ情報(相対位置情報)に基づく偏位により得られる。なお、スリット光を用いた前眼部スキャンについての上記の説明や図3等から分かるように、スキャンが適用される位置(領域)は前眼部の3次元領域であり、この3次元領域のXY座標系における形状、つまりこの3次元領域のXY平面への投影像の形状は、実質的に長方形状である。本例では、フォローアップスキャン位置Rは、フォローアップスキャンが適用された前眼部の3次元領域のXY投影像の長軸(スキャン方向に沿った軸、X方向の軸)を示している。同様に、基準スキャン位置R0は、基準スキャンが適用された3次元領域のXY投影像の長軸を示している。
基準スキャン位置及びフォローアップスキャン位置の定義は、これらに限定されない。例えば、XY投影像の上辺、下辺、側辺、対角線、頂点などに基づきスキャン位置を定義することができる。また、基準スキャン位置及びフォローアップスキャン位置の定義は、本例のような2次元的な定義に限定されず、例えば3次元領域に基づく3次元的な定義であってもよい。
図7Aは、平行移動ずれのみが介在する場合の例を示す。図7Bは、回転移動ずれのみが介在する場合であって、双方のスキャン位置が中心近傍で交差する場合の例を示す。図7Cは、回転移動ずれのみが介在する場合であって、双方のスキャン位置がスキャン開始点の近傍で交差する場合の例を示す。図7Dは、平行移動ずれと回転移動ずれの双方が介在する場合の例を示す。なお、図7A~図7Dはスキャン位置の相対位置の態様の例示に過ぎず、スキャン位置の相対位置の態様はこれらに限定されるものではない。
判断処理部872は、位置ずれ情報(相対位置情報)に基づいて、基準スキャン位置とフォローアップスキャン位置との間に共通の位置が存在するか判断する。共通位置とは、基準スキャン位置とフォローアップスキャン位置とが重なり合っている位置(領域)、つまり、基準スキャン位置とフォローアップスキャン位置とが交差している位置(領域)を表す。
共通位置は、0次元領域(点)、1次元領域(線)、2次元領域(面)、及び3次元領域(立体)のいずれかであってよい。図7A~図7Dでは、基準スキャン位置及びフォローアップスキャン位置はともに線分(矢印)で表現されており、これらが交差している場合には共通位置は点(交点)となり、交差していない場合には共通位置は無しとなる。また、図示は省略するが、基準スキャン位置に対するフォローアップスキャン位置の偏位の方向がこれらスキャン位置の長さ方向の成分のみを有し、且つ、この偏位の量がこれらスキャン位置長さ未満である場合には、これら2つのスキャン位置の共通位置は1次元領域となる。
共通位置が存在するか否かの判断処理は、フォローアップ画像における基準スキャン位置の座標及びフォローアップスキャン位置の座標に基づいて行われる。例えば、判断処理部872は、基準スキャン位置の座標とフォローアップスキャン位置の座標とを照合し、これらスキャン位置の間に共通の座標が存在する場合には共通位置が存在すると判断し、存在しない場合には共通位置は存在しないと判断する。この処理により、フォローアップ画像における共通位置の座標も得られる。これらの座標は、例えば、フォローアップ画像に予め定義された座標系で定義されている。
判断処理部872は、共通位置に関する判断結果(存在の有無、共通位置の座標等)を面積算出処理部873に送る。
面積算出処理部873は、位置ずれ情報(相対位置情報)に基づいて、基準スキャン位置とフォローアップスキャン位置とにより規定される2次元領域の面積を算出する。前述のように、位置ずれ情報と相対位置情報は実質的に同値である。面積の算出対象となる2次元領域は、フォローアップ画像の部分領域である。2つのスキャン位置から2次元領域を規定する方法は予め決められている。面積算出処理は任意の態様で行うことができる。面積算出処理は、例えば、2次元領域内の画素数をカウントする処理、2次元領域の境界領域を示す数学的表現(数式等)を求める処理、積分演算などを含んでいてもよい。また、算出結果である面積は、2次元領域の寸法を一意的に表現する数値であればよく、例えば周長や差し渡し寸法などであってよい。
面積算出処理部873は、面積算出処理において、判断処理部872による判断結果に応じて異なる演算処理を行なう。例えば、面積算出処理部873は、基準スキャン位置とフォローアップスキャン位置とに共通位置が存在する場合と存在しない場合とで異なる演算処理を実行する。その具体例を以下に説明する。これらの具体例では、2つのスキャン位置が線分で定義される場合について、2つのスキャン位置が交差する場合と交差しない場合とを分けて考える。つまり、共通位置が存在する場合と存在しない場合とを分けて考える。更に、2つのスキャン位置が交差する場合について、交点がスキャン位置の端点である場合と端点でない場合とを分けて考える。交点が端点であるか否かの判定は、2つのスキャン位置の座標と交点の座標とを参照することで容易に行うことができる。なお、スキャン位置の端点とは、線分状のスキャン位置のスキャン開始点とスキャン終了点を示す。また、以下の具体例においてスキャン位置は線分状であるから交点は1つのみであるが、スキャン位置が曲線状である場合には交点が2つ以上存在する場合もある。
図7B及び図7Cに示すように2つのスキャン位置が交差している場合、面積算出処理部873は、2つのスキャン位置のそれぞれの端点と2つのスキャン位置の交点とにより規定される2次元領域の面積を求める。より具体的には、面積算出処理部873は、交点に対して一方の側に位置する2つのスキャン位置のそれぞれの端点と2つのスキャン位置の交点とがなす三角形の面積と、他方の側に位置する2つのスキャン位置のそれぞれの端点と2つのスキャン位置の交点とがなす三角形の面積との和を算出し、これを2次元領域の面積として定義することができる。
例えば図7Bに示すようにスキャン位置の端点以外の位置に交点が存在する場合、面積算出処理部873は、図8Aに示すように、2つのスキャン位置R0及びRの交点Cに対して右側に位置する2つのスキャン位置R0及びRのそれぞれの端点(スキャン終了点)R0E及びREと、交点Cとを頂点とする三角形TR1の面積を算出する。また、面積算出処理部873は、交点Cの左側に位置する2つのスキャン位置R0及びRのそれぞれの端点(スキャン開始点)R0S及びRSと、交点Cとを頂点とする三角形TR2の面積を算出する。更に、面積算出処理部873は、三角形TR1の面積と三角形TR2の面積とを加算する。この和が目的の2次元領域の面積の値となる。
他の例として、図7Cに示すように2つのスキャン位置がそれぞれの端点(スキャン開始点)にて交差している場合、面積算出処理部873は、図8Bに示すように、2つのスキャン位置R0及びRの交点C(双方のスキャン開始点)と、基準スキャン位置R0のスキャン終了点と、フォローアップスキャン位置Rのスキャン終了点とを頂点とする三角形TRの面積を求める。
2つのスキャン位置が一方のスキャン位置の端点と他方のスキャン位置の端点以外とにおいて交差する場合には、例えば、2つのスキャン位置の交点と、一方のスキャン位置の反対側の端点と、他方のスキャン位置の一方の端点(例えば、当該反対側の端点と同じ側に位置する端点)とを頂点とする三角形の面積を求めることができる。
図7A及び図7Dに示すように2つのスキャン位置R0及びRが交差していない場合、面積算出処理部873は、2つのスキャン位置R0及びRにより規定される四角形の面積を算出し、この四角形の面積を目的の2次元領域の面積として定義することができる。より具体的には、2つのスキャン位置R0及びRが交差していない場合において、面積算出処理部873は、図8C及び図8Dに示すように、基準スキャン位置R0及びフォローアップスキャン位置Rを二辺とし、且つ、2つのスキャン位置R0及びRの端点同士を結ぶ2つの線分(互いに交差しない2つの線分)を二辺とする四角形QUの面積を求めることができる。
面積算出処理部873は、上記のようにして求められた面積を評価値算出処理部875に送る。なお、本例は面積を用いて評価値を算出しているが、評価値算出に用いられる寸法のパラメータは面積に限定されず、任意のパラメータ(例えば、体積、長さなど)であってよい。
偏位算出処理部874は、位置ずれ情報取得部86により生成された位置ずれ情報(相対位置情報)に基づいて、基準スキャン位置とフォローアップスキャン位置との間の偏位を算出する。この偏位を算出する方法は任意である。図9を参照しつつ偏位算出方法の例を説明する。
図9には、それぞれ線分状の基準スキャン位置R0とフォローアップスキャン位置Rが示されている。なお、偏位の算出において、2つのスキャン位置R0及びRが交差しているか否かは不問としてよい。
偏位算出処理部874は、まず、基準スキャン位置R0上の所定位置と、フォローアップスキャン位置R上の所定位置とを特定する。この特定処理は、スキャン位置R0(R)の各点の座標に基づき実行することができる。特定の対象となる所定位置の例として、スキャン開始点、スキャン終了点、中点などがある。なお、線分以外の形態のスキャン位置を考慮する場合には、その形態に応じた所定位置を用いることができる。また、比較の対象となる2つのスキャン位置において、同じ種別の所定位置が適用される。例えば、所定位置としてスキャン開始点を用いる場合には、それぞれのスキャン位置からスキャン開始点が特定される。また、各スキャン位置から複数種別の所定位置を特定してもよい。その場合、特定された所定位置それぞれに対してその種別が関連付けられる。
次に、偏位算出処理部874は、基準スキャン位置R0における所定位置の座標と、フォローアップスキャン位置Rにおける所定位置の座標との間の偏位を算出する。この偏位算出処理は、例えば、フォローアップ画像に予め定義された2次元座標系を用いて行うことができる。また、2つの所定位置の間の画素数をカウントすることによって偏位を求めてもよい。ここで算出される偏位は、同じ種別の所定位置の間の偏位として定義される。例えば、算出される偏位は、2つのスキャン開始点の間の偏位であり、スキャン開始点と中点との間の偏位ではない。
図9は、上記所定位置として、スキャン開始点、スキャン終了点、及び中点の3つの種別が適用される場合を示している。図9において、基準スキャン位置R0のスキャン開始点R0Sと、フォローアップスキャン位置Rのスキャン開始点RSとの間の偏位は、符号DSで示されている。また、基準スキャン位置R0のスキャン終了点R0Eと、フォローアップスキャン位置Rのスキャン終了点REとの間の偏位は、符号DEで示されている。また、基準スキャン位置R0の中点R0Mと、フォローアップスキャン位置Rの中点RMとの間の偏位は、符号DMで示されている。
偏位算出処理部874は、以上のようにして求められた偏位を評価値算出処理部875に送る。
評価値算出処理部875は、フォローアップ撮影におけるスキャン位置の誤差を評価するための値(評価値)を算出する。この評価値算出処理に供される情報として、面積算出処理部873により求められた面積の情報と、偏位算出処理部874により求められた偏位の情報とが、評価値算出処理部875に入力される。以下、面積に基づく評価値算出処理の例、及び偏位に基づく評価値算出処理の例、並びに双方を組み合わせた評価値算出処理の例について説明する。
なお、評価値算出処理に用いられる情報(パラメータ)の種別はこれらに限定されず、フォローアップ撮影におけるスキャン位置の誤差を反映する任意の種別の情報であってよい。評価値算出処理部875は、用いられる情報の種別に応じて予め決められた処理を実行することによって評価値を算出する。
面積算出処理部873により算出された画像領域の面積から評価値を求める処理の例として、評価値算出処理部875は、この画像領域の面積と所定の重みとの積を、評価値の所定の最大値から減算する演算処理を行うことができる。
本例の演算処理は例えば次式のように表現される:S=S1,max-a×(Area)。ここで、S1は面積に基づく評価値を表し、S1,maxは予め設定された当該評価値の最大値を表し、aは予め設定された重みを表し、Areaは面積算出処理部873により算出された面積を表す。最大値S1,maxは任意に設定可能であり、重みaも任意に設定可能である。最大値S1,maxは、例えば100に設定される。重みaは、例えば、最大値の設定値の大きさ、面積の数値の大きさなどに基づいて設定される。
このような本例の演算処理によれば、面積が小さいほど、つまりフォローアップ撮影におけるスキャン位置の誤差が小さいほど、評価値Sの値が大きくなる。
偏位算出処理部874により算出された偏位から評価値を求める処理の例として、評価値算出処理部875は、この偏位と所定の重みとの積を評価値の所定の最大値から減算する演算処理を行うことができる。
本例の演算処理は例えば次式のように表現される:S=S2,max-(b×DM+c×DS+d×DE)。ここで、Sは偏位に基づく評価値を表し、S2,maxは予め設定された当該評価値の最大値を表し、b、c及びdは予め設定された重みを表し、DM、DS及びDEはそれぞれ偏位算出処理部874により算出された中点、スキャン開始点及びスキャン終了点の偏位を表す。最大値S2,max及び重みb~dは、それぞれ任意に設定可能である。例えば、最大値S2,maxは100に設定され、重みb~dは最大値の設定値の大きさ、面積の数値の大きさなどに基づいてそれぞれ設定される。
このような本例の演算処理によれば、偏位が小さいほど、つまりフォローアップ撮影におけるスキャン位置の誤差が小さいほど、評価値Sの値が大きくなる。なお、本例では、中点、スキャン開始点及びスキャン終了点の3つの点を考慮して評価値を算出しているが、これらのうちの1つ又は2つを考慮して評価値を算出することもできる。また、これら以外の点における偏位を算出し、これを考慮することも可能である。
面積算出処理部873により算出された画像領域の面積及び偏位算出処理部874により算出された偏位の双方に基づいて評価値を求める処理の例として、評価値算出処理部875は、上記した各々の場合を統合した演算式を用いることができる。
本例の演算式は例えば次のように表現される:S=Smax-a×(Area)-(b×DM+c×DS+d×DE)。ここで、Sは面積及び偏位に基づく評価値を表し、Smaxは予め設定された当該評価値の最大値を表し、a~dは予め設定された重みを表し、Areaは面積算出処理部873により算出された面積を表し、DM、DS及びDEはそれぞれ偏位算出処理部874により算出された中点、スキャン開始点及びスキャン終了点の偏位を表す。最大値Smax及び重みa~dは、それぞれ任意に設定可能である。例えば、最大値Smaxは100に設定され、重みa~dはこの最大値の設定値の大きさ、面積の数値の大きさなどに基づいてそれぞれ設定される。
このような本例の演算処理によれば、面積及び/又は偏位が小さいほど、つまりフォローアップ撮影におけるスキャン位置の誤差が小さいほど、評価値Sの値が大きくなる。
このようにして評価値算出処理部875(評価値算出部87)により算出された評価値の情報は、良否判定部88に送られる。
<良否判定部88>
良否判定部88は、評価値算出部87により算出された評価値に基づいて当該フォローアップ撮影の適否(良好に行われたか否か、適当に実施されたか否か)を判定する。この判定処理は、例えば、評価値算出部87により算出された評価値を、予め設定された数値範囲と比較することによって行われる。
良否判定部88が実行する処理の具体例を説明する。上記した幾つかの例のように誤差が小さいほど評価値の値が大きくなる場合において、良否判定部88は、算出された評価値を所定の閾値と比較し、評価値が閾値以上であるか否か判定する。評価値が閾値以上であると判定された場合、良否判定部88は、当該フォローアップは良好な状態で実行されたとの判定結果を得る。逆に、評価値が閾値未満であると判定された場合、良否判定部88は、当該フォローアップ撮影は良好な状態で実行されなかったとの判定結果を得る。
なお、ここに説明した例は単一の閾値を用いるものであるが、2つ以上の閾値を用いることによってフォローアップ撮影の良否を段階的に判定するようにしてもよい。
良否判定部88は、取得された判定結果を制御部7に送る。制御部7は、この判定結果を記憶部10に保存することができる。制御部7は、この判定結果を表示デバイスに表示させることができる。制御部7は、この判定結果を他の装置に送信するように通信部9を制御することができる。
評価値算出部87により算出された評価値を出力(表示、音声出力など)することが可能な構成を採用する場合、良否判定部88を設ける必要はない。この場合、ユーザーは、出力された評価値からフォローアップ撮影の良否を判断することができる。
<通信部9>
通信部9は、スリットランプ顕微鏡1と他の装置(外部装置)との間におけるデータ通信を行う。すなわち、通信部9は、他の装置へのデータの送信と、他の装置から送信されたデータの受信とを行う。
例えば、通信部9は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群の少なくとも一部の画像を他の装置(第1外部装置)に向けて送信することができる。また、通信部9は、データ処理部8によりこの画像群から生成されたデータを他の装置(第2外部装置)に向けて送信することができる。第1外部装置と第2外部装置とは同一の装置であってもよいし、異なる装置であってもよい。第1外部装置と第2外部装置とが同一である場合、この外部装置は、例えば、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。他方、第1外部装置と第2外部装置とが異なる場合、例えば、第1外部装置は、読影端末、読影装置、データ処理部8と同様の処理を実行するコンピュータ、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよく、第2外部装置は、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。第1外部装置と第2外部装置とが異なる場合、制御部7は、送信されるデータの種類に応じて送信先となる外部装置を選択するように構成されていてよい。
通信部9は、加工画像構築部85により構築された加工画像、位置ずれ情報取得部86により生成された位置ずれ情報、評価値算出部87により算出された評価値、良否判定部88により得られた判定結果などを、外部装置に送信することが可能である。
フォローアップ撮影が実施される前に、通信部9は、対象患者(被検者)から過去に取得された前眼部画像を外部装置から受信することができる。また、通信部9は、この前眼部画像が取得されたときの撮影条件情報を外部装置から受信することができる。これらの外部装置は、典型的には任意の医療システムであってよく、例えば、Picture Archiving and Communication System(PACS)などの医用画像管理システム、電子カルテシステムなどであってよい。制御部7は、外部装置から受信した前眼部画像や撮影条件情報を記憶部10に保存する。前眼部画像は、フォローアップ撮影における基準画像として使用することができる。撮影条件情報は、フォローアップ撮影における条件設定に使用することができる。
通信部9が実行するデータ通信の方式は任意である。例えば、通信部9は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなど、各種の通信インターフェイスのうちの1以上を含む。データ通信は有線通信でも無線通信でもよい。
通信部9により送信されるデータ及び/又は受信されるデータは暗号化されていてよい。暗号化が用いられる場合、例えば、制御部7及び/又はデータ処理部8は、通信部9により送信されるデータを暗号化する暗号化処理部、及び、通信部9により受信されたデータを復号化する復号化処理部の少なくとも一方を含む。
<記憶部10>
記憶部10は、各種のデータを記憶する。例えば、記憶部10は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群、2以上の画像群から作成された画像セット、画像解析により生成された解析データ、加工画像構築部85により構築された加工画像、位置ずれ情報取得部86により生成された位置ずれ情報、評価値算出部87により算出された評価値、良否判定部88により得られた判定結果などが記憶される。制御部7は、記憶部10にデータを格納する処理と、記憶部10からデータを読み出す処理とを実行する。格納処理や読み出し処理は、スリットランプ顕微鏡1の各種の動作において適時実行されるものである。
記憶部10には、所定の種別の情報を含むフォローアップ撮影情報が記憶される。フォローアップ撮影情報は、過去に実施された撮影(フォローアップ撮影、及び/又は、非フォローアップ撮影)に関連する情報である。フォローアップ撮影情報には、例えば、過去に実施されたフォローアップ撮影において参照された被検眼Eの前眼部の画像(第1画像、基準画像)と、このフォローアップ撮影において取得された被検眼Eの前眼部の画像(第2画像、フォローアップ画像)とが少なくとも含まれる。
更に、フォローアップ撮影情報には、基準画像に対応するスキャン位置(第1スキャン位置、基準スキャン位置)を示す基準スキャン位置情報と、このフォローアップ撮影で取得されたフォローアップ画像に対応するスキャン位置(第2スキャン位置、フォローアップスキャン位置)を示すフォローアップスキャン位置情報とが含まれていてもよい。これらのスキャン位置情報は、例えば、スキャンのための移動機構6の制御情報や、スキャンのための照明系2及び/又は撮影系3の制御情報(例えば、スリット形成部の制御情報、撮像素子5の制御情報)などを含んでいてよい。なお、スリット光での前眼部スキャンを行いつつ前眼部の正面画像をリアルタイムで取得する場合(後述)、スキャン位置情報は、正面画像に映り込んだスキャン位置(スキャン軌跡)の座標を含んでもよい。
記憶部10は、任意の記憶装置を含み、不揮発性記憶装置及び揮発性記憶装置の少なくとも一方を含む。記憶部10は、例えば、ハードディスクドライブ及び半導体メモリの少なくとも一方を含む。
<他の要素>
図1A及び図1Bに示す要素に加え、スリットランプ顕微鏡1は、表示デバイスや操作デバイスを備えていてよい。或いは、表示デバイスや操作デバイスは、スリットランプ顕微鏡1の周辺機器であってもよい。
表示デバイスは、制御部7の制御を受けて各種の情報を表示する。表示デバイスは、液晶ディスプレイ(LCD)などのフラットパネルディスプレイを含んでいてよい。
操作デバイスは、スリットランプ顕微鏡1を操作するためのデバイスや、情報を入力するためのデバイスを含む。操作デバイスは、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。
タッチスクリーンのように、表示デバイスと操作デバイスとが一体化したデバイスを用いてもよい。
被検者や補助者は、表示デバイス及び操作デバイスを用いることで、スリットランプ顕微鏡1の操作を行うことができる。
<アライメント>
被検眼Eに対するスリットランプ顕微鏡1のアライメントについて説明する。一般に、アライメントは、被検眼Eの撮影や測定のために好適な位置に装置光学系を配置させる動作である。本態様のアライメントは、図3に示すような複数の前眼部画像(一連の画像、動画像、画像群、又は画像セットなど)を取得するために好適な位置に照明系2及び撮影系3を配置させる動作である。
眼科装置のアライメントには様々な手法がある。以下、幾つかのアライメント手法を例示するが、本態様に適用可能な手法はこれらに限定されない。
本態様に適用可能なアライメント手法としてステレオアライメントがある。ステレオアライメントは、2以上の異なる方向から前眼部を撮影可能な眼科装置において適用可能であり、その具体的な手法は、本出願人による特開2013-248376号公報などに開示されている。ステレオアライメントは、例えば次の工程を含む:2以上の前眼部カメラが前眼部を異なる方向から撮影して2以上の撮影画像を取得する工程;プロセッサがこれら撮影画像を解析して被検眼の3次元位置を求める工程;求められた3次元位置に基づいてプロセッサが光学系の移動制御を行う工程。これにより、光学系(本例では照明系2及び撮影系3)が、被検眼に対して好適な位置に配置される。典型的なステレオアライメントでは、被検眼の瞳孔(瞳孔の中心又は重心)の位置が基準とされる。
このようなステレオアライメントの他にも、アライメント光により得られるプルキンエ像を利用した手法や、光テコを利用した手法や、アライメント指標を利用した手法など、任意の公知のアライメント手法を採用することが可能である。プルキンエ像を利用した手法や光テコやアライメント指標を利用した手法では、被検眼の角膜頂点の位置が基準とされる。
なお、以上の例示を含む従来の典型的なアライメント手法は、被検眼の軸と光学系の光軸とを一致させることを目的として行われるが、本態様では、スキャン開始位置に対応する位置に照明系2及び撮影系3を配置させるようにアライメントを実行することが可能である。
本態様におけるアライメントの第1の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、予め設定された角膜半径の標準値に相当する距離だけ、又は、予め設定された角膜半径の標準値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。なお、標準値を用いる代わりに、予め取得された被検眼Eの角膜半径の測定値を用いてもよい。
第2の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、被検眼Eの前眼部の画像を解析して角膜半径を測定し、この測定値に相当する距離だけ、又は、この測定値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。本例で解析される前眼部の画像は、例えば、撮影系3により得られた前眼部画像、又は、他の画像である。他の画像は、前眼部カメラにより得られた画像、前眼部OCTにより得られた画像など、任意の画像であってよい。
第3の例として、ステレオアライメント用の前眼部カメラ又は撮影系3により得られた前眼部の画像を解析して角膜の第1端部を求め、ステレオアライメントを適用することにより、この第1端部に対応する位置に、又は、この第1端部から所定距離だけ外側に偏位した位置に、照明系2及び撮影系3を移動することができる。
なお、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを実行し、これにより決定された位置からスリット光によるスキャンを開始するようにしてもよい。この場合においても、角膜Cを含む3次元領域(例えば、角膜Cの全体を含む3次元領域)をスキャンするようにスキャンシーケンスを設定することができる。例えば、瞳孔又は角膜頂点を基準としたアライメントにより決定された位置から左方にスキャンを行った後、右方にスキャンを行うように、スキャンシーケンスが設定される。
<その他の事項>
スリットランプ顕微鏡1は、被検眼Eを固視させるための光(固視光)を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも1つの可視光源(固視光源)、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系2又は撮影系3と同軸又は非同軸に配置される。固視系は、装置光学系の光路を通じて固視標を被検者に提示する内部固視系、及び/又は、当該光路の外から固視標を被検者に提示する外部固視系を含んでいてよい。
スリットランプ顕微鏡1により取得可能な画像の種別は、図3に示すような複数の前眼部画像に限定されない。例えば、スリットランプ顕微鏡1は、複数の前眼部画像に基づく3次元画像、この3次元画像に基づくレンダリング画像、徹照像、被検眼に装用されたコンタクトレンズの動きを表す動画像、蛍光剤適用によるコンタクトレンズと角膜表面との隙間を表す画像などがある。レンダリング画像については他の態様において説明する。徹照像は、照明光の網膜反射を利用して眼内の混濁や異物を描出する徹照法により得られる画像である。なお、眼底撮影、角膜内皮細胞撮影、マイボーム腺撮影などが可能であってもよい。
スリットランプ顕微鏡1(データ処理部8)は解析処理を実行可能であってもよい。例えば、スリットランプ顕微鏡1は、任意の前眼部パラメータを算出可能であってよい。前眼部パラメータは、前眼部の形態を表す値である。前眼部パラメータの例として、角膜前面曲率半径、角膜後面曲率半径、水晶体前面曲率半径、水晶体後面曲率半径、角膜径(縦径、横径(White-to-White))、角膜厚(中心厚、周辺厚)、水晶体厚、前房深度、前房容積、瞳孔径、瞳孔中心(偏心)などがある。また、前眼部パラメータは、形状分布データであってよく、例えば、軸方向湾曲マップ(アキシャル曲率マップ)、接曲率マップ(タンジェンシャル曲率マップ)、隆起マップ(エレベーションマップ)、屈折力マップ、厚さマップ(パキメトリーマップ)、波面収差マップなど、各種の角膜形状マップであってよい。また、前眼部パラメータは、隅角パラメータを含んでいてもよい。隅角パラメータの例として、AOD(angle opening distance)、ACA(anterior chamber angle)、TISA(trabecular iris space area)、ARA(angle recess area)、AtA(angle-to-angle distance)などが知られている。前眼部パラメータ演算の手法は公知である。典型的には、前眼部パラメータ演算は、計測対象となる部位及び/又は位置を特定するための処理(例えば、セグメンテーション、特徴点検出など)と、特定された部位及び/又は位置に基づき前眼部パラメータの値を求める計測処理(例えば、距離計測、比演算、角度演算など)とを含んでいる。
<光学系の他の態様>
ここまで説明した態様のスリットランプ顕微鏡では、基準画像及びフォローアップ画像の双方が、スリット光で前眼部をスキャンして取得された画像(スキャン画像)であり、これら2つのスキャン画像から位置ずれ情報を生成している。しかしながら、基準画像及び/又はフォローアップ画像はスキャン画像でなくてもよい。例えば、スリットランプ顕微鏡がスキャン画像だけでなく正面画像を取得可能である場合、正面画像から位置ずれ情報を生成することができる。そのような光学系の例を図10に示す。なお、本態様のスリットランプ顕微鏡は、図10に示す要素群に加え、例えば、前述した制御部7、データ処理部8、通信部9、記憶部10、表示デバイス、操作デバイスなどを備えている。特に言及しない限り、上記したスリットランプ顕微鏡1に係る事項を本態様に適用することができる。
図10に示す照明系20はスリットランプ顕微鏡1の照明系2の例であり、左撮影系30L及び右撮影系30Rは撮影系3の例である。以下、照明系20を照明系2と記載することや、左撮影系30L及び/又は右撮影系30Rを撮影系3と記載することがある。幾つかの態様において、左撮影系30L及び右撮影系30Rの一方のみを設け、これを撮影系3の例として構成してもよい。符号20aは照明系20の光軸(照明光軸)を示し、符号30Laは左撮影系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影系30Rの光軸(右撮影光軸)を示す。左撮影光軸30Laと右撮影光軸30Raとは、互いに異なる向きに配置されている。照明光軸20aと左撮影光軸30Laとがなす角度をθLで示し、照明光軸20aと右撮影光軸30Raとがなす角度をθRで示す。角度θLと角度θRとは、互いに等しくてもよいし異なってもよい。照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとは、一点で交差する。図1Aと同様に、この交点のZ座標をZ0で示す。
移動機構6は、照明系20、左撮影系30L及び右撮影系30Rを、矢印49で示す方向(X方向)に移動可能である。典型的には、照明系20、左撮影系30L及び右撮影系30Rは、少なくともX方向に移動可能なステージ上に載置されており、且つ、移動機構6は、制御部7からの制御信号にしたがって、この可動ステージを移動させる。
照明系20は、被検眼Eの前眼部にスリット光を照射する。照明系20は、従来のスリットランプ顕微鏡の照明系と同様に、被検眼Eから遠い側から順に、照明光源21と、正レンズ22と、スリット形成部23と、対物レンズ群24及び25とを含む。
照明光源21から出力された照明光(典型的には可視光)は、正レンズ22により屈折されてスリット形成部23に投射される。投射された照明光の一部は、スリット形成部23が形成するスリットを通過してスリット光となる。生成されたスリット光は、対物レンズ群24及び25により屈折された後、ビームスプリッタ47により反射され、被検眼Eの前眼部に照射される。
左撮影系30Lは、反射器31Lと、結像レンズ32Lと、撮像素子33Lとを含む。反射器31L及び結像レンズ32Lは、照明系20によりスリット光が照射されている前眼部からの光(左撮影系30Lの方向に進行する光)を撮像素子33Lに導く。
前眼部から左撮影系30Lの方向に進行する光は、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光である。反射器31Lは、当該光を照明光軸20aに近づく方向に反射する。結像レンズ32Lは、反射器31Lにより反射された光を屈折して撮像素子33Lの撮像面34Lに結像する。撮像素子33Lは、当該光を撮像面34Lにて受光する。
前述したスリットランプ顕微鏡1と同様に、左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(画像群)が得られる。
また、前述したスリットランプ顕微鏡1と同様に、照明光軸20aに沿う物面と、反射器31L及び結像レンズ32Lを含む光学系と、撮像面34Lとは、シャインプルーフの条件を満足する。より具体的には、反射器31Lによる撮影系30Lの光路の偏向を考慮すると、照明光軸20aを通るYZ面(物面を含む)と、結像レンズ32Lの主面と、撮像面34Lとが、同一の直線上にて交差する。これにより、左撮影系30Lは、物面内の全ての位置(例えば、角膜前面から水晶体後面までの範囲)にピントを合わせて撮影を行うことができる。
右撮影系30Rは、反射器31Rと、結像レンズ32Rと、撮像素子33Rとを含む。左撮影系30Lと同様に、右撮影系30Rは、照明系20によりスリット光が照射されている前眼部からの光を、反射器31R及び結像レンズ32Rによって、撮像素子33Rの撮像面34Rに導く。更に、左撮影系30Lと同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことで、複数の前眼部画像(画像群)を取得する。左撮影系30Lと同様に、照明光軸20aに沿う物面と、反射器31R及び結像レンズ32Rを含む光学系と、撮像面34Rとは、シャインプルーフの条件を満足する。
制御部7は、左撮影系30Lによる繰り返し撮影と、右撮影系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係が得られる。この対応関係は、時間的な対応関係であり、より具体的には、実質的に同時に取得された画像同士をペアリングするものである。
或いは、制御部7又はデータ処理部8は、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を実行することができる。例えば、制御部7又はデータ処理部8は、左撮影系30Lから逐次に入力される前眼部画像と、右撮影系30Rから逐次に入力される前眼部画像とを、それらの入力タイミングによってペアリングすることができる。
本態様は、動画撮影部40を更に含む。動画撮影部40は、左撮影系30L及び右撮影系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。「固定位置から動画撮影」とは、前眼部スキャンのために照明系20、左撮影系30L及び右撮影系30Rが移動されるときに、動画撮影部40は移動されないことを表す。なお、動画撮影部40は、静止画撮影を行うことも可能である。
本態様の動画撮影部40は、照明系20と同軸に配置されているが、その配置はこれに限定されない。例えば、照明系20と非同軸に動画撮影部を配置することができる。また、動画撮影部40が感度を有する帯域の照明光で前眼部を照明する光学系が設けられていてもよい。
ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影部40に入射する。動画撮影部40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43の撮像面に結像される。撮像素子43はエリアセンサである。撮像素子43は、例えば、可視光及び赤外光のいずれか一方又は双方の帯域に感度を有する。
動画撮影部40が設けられている場合、被検眼Eの動きをモニタすることや、トラッキングを行うことができる。また、動画撮影部40を用いてアライメントを行うことも可能である。
照明系20の出力波長及び動画撮影部40の検出波長に応じ、ビームスプリッタ47は、例えばダイクロイックミラー又はハーフミラーである。
本態様のスリットランプ顕微鏡の幾つかの特徴、幾つかの作用、及び幾つかの効果について説明する。
前述したスリットランプ顕微鏡1の撮影系3の例として、本態様は、左撮影系30Lと右撮影系30Rとを提供する。左撮影系30Lは、スリット光が照射されている前眼部からの光を導く反射器31L及び結像レンズ32L(第1光学系)と、導かれた光を撮像面34L(第1撮像面)で受光する撮像素子33L(第1撮像素子)とを含む。同様に、右撮影系30Rは、スリット光が照射されている前眼部からの光を導く反射器31R及び結像レンズ32R(第2光学系)と、導かれた光を撮像面34R(第2撮像面)で受光する撮像素子33R(第2撮像素子)とを含む。
左撮影系30Lの光軸(左撮影光軸30La)と右撮影系30Rの光軸(右撮影光軸30Ra)とは、互いに異なる向きに配置されている。更に、照明系20の光軸(照明光軸20a)に沿う物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。同様に、当該物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。
左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第1画像群を取得する。同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第2画像群を取得する。
制御部7は、例えば、左撮影系30L及び右撮影系30Rが並行して被検眼Eの前眼部に1回のスキャンを適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。データ処理部8は、このスキャンで収集された左右一対の画像群から、スキャン範囲に対応する一連の画像を選択して1つの画像群を作成することができる。画像群評価部81は、作成された画像群の品質評価を行うことができる。この画像群の品質が良好であると評価された場合、制御部7は、この画像群を所定の外部装置に向けて送信するように通信部9を制御することができる。
この画像群の品質が良好でないと評価された場合、制御部7は、被検眼Eの前眼部に新たなスキャン(1回以上のスキャン)を適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。この追加的なスキャンにより、左撮影系30Lは、1回以上のスキャンに対応した1以上の第1画像群を収集し、且つ、右撮影系30Rは、1回以上のスキャンに対応した1以上の第2画像群を収集する。画像セット作成部82は、例えば、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群から、スキャン範囲に対応する第1の一連の画像を選択して第1画像セットを作成し、且つ、第1回目のスキャン及び追加的なスキャンで得られた2以上の第2画像群から、スキャン範囲に対応する第2の一連の画像を選択して第2画像セットを作成することができる。或いは、画像セット作成部82は、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群及び2以上の第2画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成するように構成されてもよい。前述したスリットランプ顕微鏡1に関する任意の事項(構成、制御、処理、作用、機能など)を本態様に組み合わせることが可能である。
このような本態様によれば、スリット光が照射されている前眼部を、互いに異なる方向からそれぞれ動画撮影することができる。一方の撮影系により取得された画像にアーティファクトが含まれている場合であっても、他方の撮影系により当該画像と実質的に同時に取得された画像にはアーティファクトが含まれていない場合がある。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれている場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合でも、他方の画像中のアーティファクトが注目領域に重なっていない場合がある。したがって、好適な画像を取得できる可能性が高まる。したがって、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。
なお、撮影系3は、左撮影系30L(第1撮影系)及び右撮影系30R(第2撮影系)に加え、同様の構成の第3撮影系、・・・、第K撮影系(Kは3以上の整数)を含んでいてもよい。これにより、光学系の構造は複雑化するが、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。本態様を実施しようとする者は、トレードオフの関係にあるこれらの事項(光学系の複雑度、及び、高品質な画像セットが得られる確率)を勘案してスリットランプ顕微鏡を設計することができる。
本態様の左撮影系30Lは、反射器31Lと結像レンズ32Lとを含む。反射器31Lは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Lは、反射器31Lにより反射された光を撮像面34Lに結像させる。ここで、結像レンズ32Lは、1以上のレンズを含む。
同様に、右撮影系30Rは、反射器31Rと結像レンズ32Rとを含む。反射器31Rは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Rは、反射器31Rにより反射された光を撮像面34Rに結像させる。ここで、結像レンズ32Rは、1以上のレンズを含む。
このような構成によれば、装置の小型化を図ることが可能である。すなわち、撮像素子33L(33R)により取得された画像は、撮像面34L(34R)の反対側の面から延びるケーブルを通じて出力されるが、本構成によれば、照明光軸20aに比較的近接して位置する撮像素子33L(33R)の背面から被検眼Eとは反対方向に向かって、ケーブルを配置することができる。したがって、ケーブルの引き回しを好適に行うことができ、装置の小型化を図ることが可能になる。
また、本構成によれば、角度θL及び角度θRを大きく設定することが可能となるため、一方の撮影系により取得された画像にアーティファクトが含まれる場合において、他方の撮影系により当該画像と実質的に同時に取得された画像にアーティファクトが含まれない可能性を高めることができる。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれる場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合において、他方の画像中のアーティファクトが注目領域に重なっている可能性を低減することができる。
本態様は、動画撮影部40を含む。左撮影系30L及び右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して、前眼部を繰り返し撮影する。この繰り返し撮影と並行して、動画撮影部40は、前眼部を固定位置から動画撮影する。
このような構成によれば、スリット光による前眼部のスキャンと並行して固定位置(例えば正面)から動画撮影を行うことで、スキャン中における被検眼Eの状態を把握することや、被検眼Eの状態に応じた制御を行うことが可能である。
例えば、本態様のスリットランプ顕微鏡が、前述したスリットランプ顕微鏡1の画像群評価部81(画像セット評価部83)を含む場合において、本態様のスリットランプ顕微鏡は、左撮影系30L及び/又は右撮影系30Rにより取得された画像群(画像セット)が読影に耐えうる品質か否か評価することができる。画像群評価部81(画像セット評価部83)は、動画撮影部40との組み合わせにより、次のような動作を行うことが可能である。なお、ステレオアライメントのための2以上の前眼部カメラや、類似の撮影手段を用いて、同様の動作を行うことも可能である。
動画撮影部40は、被検眼Eの前眼部へのスキャンの適用と並行して前眼部を固定位置から動画撮影する。この動画撮影は、例えば、制御部7の制御の下に行われる。つまり、制御部7は、被検眼Eの前眼部スキャンのために、照明系2(照明系20)と撮影系3(左撮影系30L及び/又は右撮影系30R)と移動機構6と動画撮影部40とを連係的に制御することができる。
この連係制御において、制御部7は、撮影系3の撮影レートと動画撮影部40の撮影レートとを同期させることが可能である。例えば、撮影系3の撮影レートと動画撮影部40の撮影レートとが等しく設定され、且つ、撮影系3の撮影タイミングと動画撮影部40の撮影タイミングとが一致される。これにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることができる。
なお、撮影レート及び撮影タイミングの一方又は双方が異なる場合においても、例えば所定範囲内の時間差を許容することにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることが可能である。
時間的に対応付けられた一対のフレーム(撮影系3により得られたフレームと、動画撮影部40により得られたフレームとの組)は、実質的に同時に取得されたと考えることができる。したがって、時間的に対応付けられた一対のフレームを考慮する際には、眼球運動による位置ずれを無視することができる。
このような前提の下、画像群評価部81(画像セット評価部83)は、動画撮影部40により取得された動画像(フレーム群)に基づいて、画像群(画像セット)に含まれる一連の画像の品質の評価を行うように構成されてよい。
このとき、画像群評価部81(画像セット評価部83)は、画像群(画像セット)に含まれる一連の画像と、動画撮影部40により取得された動画像に含まれる一連のフレームとの間の対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。すなわち、画像群評価部81(画像セット評価部83)は、撮影系3により得られたフレーム群と、動画撮影部40により取得されたフレーム群との間の時間的な対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。更に、画像群評価部81(画像セット評価部83)は、一連のフレーム中のランドマークと当該対応関係とに基づいて画像群(画像セット)の品質の評価を行うように構成されてよい。
1つの具体例を説明する。本例では、撮影系3により得られたフレーム群F1~FN(前述)と、これと並行して動画撮影部40により取得されたフレーム群D1~DNとについて、フレームFnとフレームDnとが対応付けられているとする(n=1、2、・・・、N)。
画像群評価部81(画像セット評価部83)は、フレーム群D1~DNのそれぞれにおけるランドマークを特定する。ランドマークは、例えば虹彩に対応する画像領域(虹彩領域)であってよい。
次に、画像群評価部81(画像セット評価部83)は、フレーム群D1~DNにおいてそれぞれ特定されたN個のランドマークの位置(例えば、空間的な位置の変化)に基づいて、フレーム群D1~DNの配列順序(空間的配列順序)を求める。
前述したように、フレーム群D1~DNは、この順序で時間的に配列されている(時間的配列順序)。時間的配列順序と空間的配列順序とが異なる場合、眼球運動の影響により順序が入れ替わったり位置ずれが生じた可能性がある。また、瞬きの影響によりフレームの飛びが発生した可能性がある。
このような不具合が検出された場合、つまり時間的配列順序と空間的配列順序とが異なる場合、画像群評価部81(画像セット評価部83)は、この画像群(画像セット)の品質は良好でないと判定する。
このような構成によれば、スリット光による前眼部のスキャンと並行して(少なくともX方向及びY方向において)前眼部を広く描出した動画像を取得し、画像群(画像セット)に含まれる一連の画像の不具合を当該動画像を利用して検出することが可能である。
画像群(画像セット)に含まれる一連の画像のそれぞれは、深さ方向(Z方向)に延びる画像である。そのため、Z方向に直交するX方向及びY方向における一連の画像の配置や配列を一連の画像自体から認識するには、前述したスリットランプ顕微鏡1と同様の画像処理(画像解析)を利用する必要がある。
本例は、一連の画像に画像解析を適用することなく、スキャンと並行して別途に取得した動画像を利用して一連の画像の品質評価を実現するものである。なお、本例の評価項目は、前述したスリットランプ顕微鏡1と同様に、一連の画像の配列順序、画像抜け、及び位置ずれのいずれかであってよい。また、本例の評価処理と、前述したスリットランプ顕微鏡1について説明した任意の評価処理とを組み合わせることも可能である。
動画撮影部40の他の応用について説明する。本例は、例えば第1回目のスキャンで収集された画像群の品質が良好ではないと評価された後に2回以上のスキャンを行う場合において、この2回以上の追加的スキャンの開始タイミングを調整することにより、スキャン間における被検眼Eの位置ずれを防止することを目的とする。
本例においても、動画撮影部40は、被検眼Eの前眼部を固定位置から撮影する。制御部7は、2回以上の追加的スキャンのうちの第1スキャンの開始に対応して動画撮影部40により取得された基準画像と略同じ画像が動画撮影部40により取得されたことに対応してスキャン部に第2スキャンを開始させるように構成される。
より具体的に説明する。画像セット作成のために前眼部に適用される2以上のスキャンのいずれかを第1スキャンと呼ぶ。本例では、2以上のスキャンのうち最初に実行されるスキャンが第1スキャンとされる。
まず、制御部7は、第1スキャンの開始タイミングにおいて動画撮影部40により取得された画像(基準画像)を記憶する。基準画像は、例えば、第1スキャンの開始前に撮影が開始された動画像のフレーム群のうち、第1スキャンの開始時に最も近い時間に取得されたフレームであってよい。或いは、動画撮影部40は、制御部7の制御の下に、第1スキャンの開始時(直前、同時、又は直後)に前眼部を静止画撮影することで、基準画像を取得してもよい。
第1スキャンよりも後に実行される任意のスキャン(第2スキャン)は、動画撮影部40による前眼部動画撮影が行われているときに開始される。制御部7(又はデータ処理部8)は、動画撮影部40により逐次に取得されるフレームを基準画像と比較する。この比較は、例えば、ランドマークを特定するセグメンテーション、画像マッチング、画像相関など、任意の画像処理を含んでよい。
基準画像と略同じフレームが得られたと判定されると、制御部7は、第2スキャンを開始するように、照明系2、撮影系3及び移動機構6を制御する。
本例のスリットランプ顕微鏡は、前眼部に対するスキャン適用回数が、画像セット作成のためのスキャン反復回数に達するまで、上記した一連の処理を繰り返し実行する。これにより、スキャン間における被検眼Eの位置ずれを低減することができ、眼球運動による画像セットの品質低下を防止することが可能となる。また、画像選択の効率化や容易化を図ることが可能となる。
フォローアップ撮影に介在した位置ずれを求めるために、動画撮影部40により取得された画像を用いることができる。幾つかの例示的な態様において、動画撮影部40は、被検眼Eの前眼部を正面から撮影するように配置されている。つまり、動画撮影部40は、前眼部の正面画像を取得可能であってよい。
正面画像を取得するための構成は動画撮影部40に限定されない。例えば、本出願人による特開2013-248376号公報などに開示された2以上の前眼部カメラによって取得された2以上の前眼部画像を合成することによって正面画像を構築することができる。2以上の前眼部画像から構築される正面画像は、視点変換などの画像処理技術を用いて生成される仮想視点画像である。このような仮想的な正面画像を用いる場合においても、動画撮影部40によって正面画像を取得する場合と同様の処理を行うことが可能である。
本例では、照明系20、左撮影系30L、右撮影系30R、移動機構6などを用いたスリット光での前眼部スキャン(画像群の収集)とともに、動画撮影部40を用いた前眼部撮影(正面画像の取得)が行われる。
正面画像を取得するタイミングは任意である。例えば、動画撮影部40を用いた前眼部撮影は、スリット光での前眼部スキャンと並行して実行されてよい。つまり、前眼部撮影の実行期間の少なくとも一部と、前眼部スキャンの実行期間の少なくとも一部とが重複していてよい。或いは、前眼部スキャンの直前又は直後に前眼部撮影を行ってもよい。この場合、前眼部スキャンと前眼部撮影との間の時間差は、例えば、眼球運動の影響を無視できる程度に十分小さく設定される。
フォローアップ撮影が行われる前に、本態様のスリットランプ顕微鏡は、過去の撮影時に取得された被検眼Eの前眼部の正面画像(第1正面画像、基準正面画像)を取得する。取得された第1正面画像は記憶部10に保存される。このとき、撮影条件の取得及び保存も行うことができる。第1正面画像を基準画像としてフォローアップ撮影が行われる。このフォローアップ撮影においては、動画撮影部40によって被検眼Eの前眼部の正面画像(第2正面画像、フォローアップ正面画像)が取得される。フォローアップ撮影は、例えば、過去の撮影条件(スキャン条件など)を利用して実行される。
本例において、位置ずれ情報取得部86は、フォローアップ撮影で参照された第1正面画像と、このフォローアップ撮影において取得された第2正面画像とを解析することにより、これら2つの正面画像の間の位置ずれ情報を取得する。
過去の撮影における撮影条件と今回の撮影(フォローアップ撮影)における撮影条件とが同じである場合、第1正面画像と第2正面画像との間の位置ずれはスキャン位置の偏位に相当していると考えることができる。このような正面画像の比較によって、フォローアップ撮影における位置の誤差を示す情報を取得することができる。
過去の撮影条件と今回の撮影条件とが同じである必要はない。例えば、過去の撮影条件と今回の撮影条件とが比較可能である場合、2つの撮影条件の差異を考慮して位置ずれ情報を生成することができる。例えば、今回のスキャン開始位置が過去のスキャン開始位置と異なる場合、スキャン開始位置のシフト量を考慮して画像群の位置決めなどを行うことができる。また、今回のスキャン間隔(フレームレート)が過去のスキャン間隔と異なる場合、スキャン間隔の違いを考慮して画像群の配列決定(スタックデータの構築など)などを行うことができる。
本態様において、評価値算出部87は、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて、フォローアップ撮影におけるスキャン位置の誤差の評価値を算出することができる。更に、良否判定部88は、評価値算出部87により算出された評価値に基づいて、フォローアップ撮影が良好に行われたか判定することができる。
本態様のスリットランプ顕微鏡は、正面画像を利用して各種情報を表示することができる。例えば、制御部7は、基準正面画像及び/又はフォローアップ正面画像を表示デバイスに表示させるとともに、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて、基準スキャン位置を示す基準スキャン位置画像とフォローアップスキャン位置を示すフォローアップスキャン位置画像とを正面画像に重ねて表示させることが可能である。
このような表示制御において、位置ずれ情報の代わりに、又は、位置ずれ情報に加えて、位置ずれ情報と同値又は類似な相対位置情報を参照することができる。
基準正面画像とフォローアップ正面画像の一方を表示させる場合、この一方の正面画像に重ねて基準スキャン位置画像とフォローアップスキャン位置画像を表示させることができる。基準正面画像とフォローアップ正面画像の双方を表示させる場合には、これら2つの正面画像のそれぞれに重ねて基準スキャン位置画像とフォローアップスキャン位置画像とを表示させてもよいし、一方の正面画像のみに重ねて基準スキャン位置画像とフォローアップスキャン位置画像と表示させてもよい。
制御部7は、基準スキャン位置画像とフォローアップスキャン位置画像とを互いに異なる態様で表示させることができる。例えば、2つのスキャン位置画像を互いに異なる色で表示させたり、互いに異なる太さで表示させたり、互いに異なる濃度で表示させたりすることができる。また、各スキャン位置画像に対して識別情報(文字列情報、画像情報等)を付すこともできる。また、2つのスキャン位置画像を常に異なる態様で表示させてもよいし、所定のトリガに対応して異なる表示態様に切り替えるようにしてもよい。
上記の表示制御によって表示される情報の例を図11に示す。図11は、前眼部の正面画像100(例えば、フォローアップ正面画像又は基準正面画像)に、点線で示す基準スキャン位置画像101と、破線で示すフォローアップスキャン位置画像102とを重ねて表示させた状態を示している。フォローアップスキャン位置画像102は、フォローアップ撮影においてスキャンが適用された範囲を示している。また、基準スキャン位置画像101は、このフォローアップ撮影が誤差なく行われた場合におけるスキャン範囲、つまり過去の撮影においてスキャンが適用された範囲であって今回のフォローアップ撮影のスキャン目標とされた範囲を示している。このような情報表示を行うことで、フォローアップ撮影の位置の誤差(正確さ)を視覚的に理解することが可能になる。
このような情報表示は、例えば次のようにして行われる。まず、記憶部10は、基準正面画像とともに前眼部スキャンで取得された画像(画像群)の基準正面画像における位置を示す第1位置情報と、フォローアップ正面画像とともに前眼部スキャンで取得された画像(画像群)のフォローアップ正面画像における位置を示す第2位置情報とを記憶する。第1位置情報は、過去に実施された第1前眼部スキャン及び第1前眼部撮影に基づく情報であって、第1前眼部撮影で取得された正面画像(基準正面画像)における第1前眼部スキャンの適用位置(適用範囲)を示す情報である。第2位置情報は、基準正面画像を参照して行われたフォローアップ撮影(第2前眼部スキャン)及び第2前眼部撮影に基づく情報であって、第2前眼部撮影で取得された正面画像(フォローアップ正面画像)における第2前眼部スキャンの適用位置(適用範囲)を示す情報である。制御部7は、第1正面画像及び第2正面画像の少なくとも一方の正面画像を表示デバイスに表示させ、且つ、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて、第1位置情報に対応した第1位置画像と第2位置情報に対応した第2位置画像とを上記正面画像に重ねて表示させる。例えば、第1位置画像及び第2位置画像の双方をフォローアップ正面画像に重ねて表示させる場合、フォローアップ正面画像上における第2位置画像の表示位置は第2位置情報によって決定されるが、フォローアップ正面画像上における第1位置画像の表示位置は、第1位置情報が示す位置を位置ずれ情報で補正することによって決定される。
本態様で実行可能な表示制御は上記のものに限定されない。例えば、制御部7は、フォローアップ撮影におけるスキャン位置の誤差を表す任意の情報を表示させることができる。その具体例として、制御部7は、評価値算出部87により算出された評価値を表示デバイスに表示させることができる。評価値は、単独で表示されてもよいし、正面画像やスキャン位置を示す画像とともに表示されてもよい。また、評価値に代えて、又は評価値とともに、良否判定部88により得られた判定結果を表示させることができる。
<動作>
例示的な態様に係るスリットランプ顕微鏡の動作について幾つかの例を説明する。以下、スリットランプ顕微鏡1の動作を例として説明するが、図10に示す態様のスリットランプ顕微鏡又は他の態様のスリットランプ顕微鏡の動作も同じ要領で実行することが可能である。
図示は省略するが、任意の段階において、ユーザー(被検者、検者、補助者など)は、スリットランプ顕微鏡1に被検者情報を入力することができる。入力された被検者情報は、制御部7によって記憶部10に保存される。被検者情報は、典型的には、被検者の識別情報(被検者ID)を含む。
更に、背景情報の入力を行うことができる。背景情報は、被検者に関する任意の情報であって、その例として、被検者の問診情報、所定のシートに被検者が記入した情報、被検者の電子カルテに記録された情報などがある。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、屈折矯正具(眼鏡、コンタクトレンズなど)の装用歴や度数、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。
また、撮影の準備として、スリットランプ顕微鏡1が設置されているテーブル、被検者が座るイス、スリットランプ顕微鏡1の顎受け台の調整が行われる(いずれも図示を省略する)。例えば、テーブル、イス、顎受け台の高さ調整が行われる。顎受け台には、被検者の顔を安定配置させるための顎受け部及び額当てが設けられている。
準備が完了したら、被検者は、イスに腰掛け、顎受けに顎を載せ、額当てに額を当接させる。これらの動作の前又は後に、ユーザーは、被検眼の撮影を開始するための指示操作を行う。この操作は、例えば、図示しない撮影開始トリガーボタンの押下、指示音声の入力などであってよい。或いは、制御部7が準備フェーズの完了を検知して撮影フェーズに自動で移行してもよい。また、図示しない固視標を被検者(被検眼E又はその僚眼)に提示してもよい。
<第1の動作例>
以上の準備の後に実行される第1の動作例について図12及び図14を参照しつつ説明する。図12は、フォローアップ撮影によって良好な品質の画像群を取得するための動作の例を示す。図14は、フォローアップ撮影の品質(誤差)を評価するための動作の例を示す。
本例は、図12に示す動作例の後に図14に示す動作例を実行している。つまり、本例は、良好な品質の画像群を取得した後にフォローアップ撮影の品質を評価している。図示及び詳細な説明は省略するが、本例とは逆に、他の幾つかの例示的な態様は、フォローアップ撮影の品質を評価した後に画像群の品質を評価することができる。更に他の幾つかの例示的な態様は、フォローアップ撮影の品質評価と画像群の品質評価とを並行して行うことができる。本発明が属する技術分野の通常の知識を有する者(当業者)であれば、以下に説明する第1の動作例から、これらの他の例示的な態様について理解することができるであろう。
(S1:アライメント)
撮影開始に対応し、スリットランプ顕微鏡1は、まず、被検眼Eに対する照明系2及び撮影系3のアライメントを行う。被検眼Eの角膜頂点や瞳孔中心に光学系光軸を合わせるための一般的なアライメントと異なり、ステップS1のアライメントは、ステップS2で行われるスキャンの開始位置に照明系2及び撮影系3を配置させるために実行される。ステップS1のアライメントの態様は任意であってよく、前述した例のいずれかであってよい。アライメントの開始前、実行中、及び/又は終了後に、撮像素子5の調整、フォーカス調整などの動作を実行してもよい。
(S2:フォローアップ撮影(前眼部スキャン))
スリットランプ顕微鏡1は、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせることで、被検眼Eの前眼部をスキャンする。このスキャンは、前眼部の3次元領域に適用される。1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)により、例えば、図3に示す画像群(複数の前眼部画像)F1~FNが得られる。
データ処理部8は、スキャンで得られた画像に所定の処理を施してもよい。例えば、ノイズ除去、コントラスト調整、輝度調整、色補正など、任意の信号処理や任意の画像処理を適用することが可能である。
(S3:画像群の品質を評価)
画像群評価部81は、ステップS2のスキャンで収集された画像群の品質を評価する。
(S4:品質良好か?)
ステップS3において画像群の品質は良好であると判定された場合(S4:Yes)、本動作は、フォローアップ撮影の品質(誤差)の評価(S5)に移行する。一方、ステップS3において画像群の品質は良好でないと判定された場合(S4:No)、本動作はステップS6に移行する。
(S5:誤差評価に移行)
ステップS3において画像群の品質は良好であると判定された場合(S4:Yes)、制御部7は、この画像群が得られたフォローアップ撮影の品質(誤差)を評価するための処理を実行するための制御を行う。
例えば、制御部7は、誤差評価のための情報をデータ処理部8(例えば、位置ずれ情報取得部86)に送る。誤差評価のための情報は、例えば、ステップS4で品質が良好であると判定された画像群(フォローアップ画像)と、フォローアップ撮影で参照された過去の画像(基準画像)とを含む。誤差評価のための情報は、過去の撮影で適用された撮影条件、フォローアップ撮影で適用された撮影条件などを更に含んでいてもよい。誤差評価のための情報の送信先は位置ずれ情報取得部86に限定されない。例えば、加工画像を用いて位置ずれ情報を生成する場合、制御部7は、誤差評価のための情報を加工画像構築部85に送ることができる。
ステップS5の後、本動作は、図14のステップS31に移行する。
(S6:再撮影を促す)
ステップS3において画像群の品質は良好でないと判定された場合(S4:No)、制御部7は、被検眼Eの前眼部から新たな画像群を収集するための制御を行う。本例では、制御部7は、ユーザーに再撮影を促すための情報を表示及び/又は音声出力させるための制御を実行する。ユーザーは、再撮影を開始するための指示操作、又は、再撮影を行わないための指示操作を行う。
再撮影を開始するための指示操作をユーザーが行った場合、制御部7は、ステップS1(又はステップS2)からの動作を再度実行するための制御を行う。再撮影は、例えば、所定の回数を上限として繰り返される。
一方、再撮影を行わないための指示操作をユーザーが行った場合、制御部7は、例えば、良好な品質ではないと判定された画像群をフォローアップ撮影の誤差評価に提供するための制御を行ってよい。或いは、制御部7は、良好な品質ではないと判定された画像群を削除、保存、又は記録するための制御を行ってもよい。
(S31:位置ずれ情報を生成)
ステップS5の後、本動作は、図14のステップS31に移行する。ステップS31において、位置ずれ情報取得部86は、ステップS4で品質が良好であると判定された画像群(フォローアップ画像)と、フォローアップ撮影で参照された過去の画像(基準画像)とを解析して、フォローアップ画像と基準画像との間の位置ずれ情報を生成する。
(S32:評価値を算出)
次に、評価値算出部87は、ステップS31で取得された位置ずれ情報に基づいて、フォローアップ撮影におけるスキャン位置の誤差の評価値を算出する。
(S33:フォローアップ撮影の良否を判定)
続いて、良否判定部88は、ステップS32で算出された評価値に基づいて、フォローアップ撮影が良好に行われたか判定する。
(S34:良好か?)
ステップS33においてフォローアップ撮影が良好に行われたと判定された場合(S34:Yes)、本動作は、ステップS35に移行する。
一方、ステップS33においてフォローアップ撮影が良好に行われなかったと判定された場合(S34:No)、本動作は、図12のステップS6に戻る。この場合の処理は、前述したステップS6に関する処理に準ずる。
(S35:画像を出力)
ステップS33においてフォローアップ撮影が良好に行われたと判定された場合(S34:Yes)、制御部7は、この画像群を出力するための制御を行う。例えば、制御部7は、通信部9を制御することによって、この画像群を他の装置に送信することができる。出力される画像群は、過去の撮影に対する位置誤差が小さなフォローアップ撮影で取得された良好な品質の画像群である。この画像群は、読影のために好適なだけでなく、フォローアップ(過去の画像との比較)のためにも好適である。
画像群の送信先となる装置の例として情報処理装置や記憶装置がある。情報処理装置は、例えば、広域回線上のサーバ、LAN上のサーバ、コンピュータ端末などである。記憶装置は、広域回線上に設けられた記憶装置、LAN上に設けられた記憶装置などである。
ステップS35で出力される画像群は、前述した背景情報、位置ずれ情報、評価値、良否判定結果などを含んでいてよい。或いは、これらの情報は画像群の付帯情報であってもよい。一般に、ステップS35で出力される情報のデータ構造は任意である。
また、ステップS35で送信される画像群は、典型的には、被検者の右眼の前眼部の一連の画像と、左眼の前眼部の一連の画像とを含む。右眼の一連の画像及び左眼の一連の画像は、本例の動作を右眼及び左眼にそれぞれ適用することにより得られる。右眼の一連の画像及び左眼の一連の画像には前述の被検眼情報がそれぞれ付帯され、それにより右眼の一連の画像と左眼の一連の画像とが判別される。
画像群とともに被検者の識別情報が送信される。この識別情報は、スリットランプ顕微鏡1に入力された被検者IDでもよいし、被検者IDに基づき生成された識別情報でもよい。例えば、スリットランプ顕微鏡1が設置されている施設内での個人識別に用いられる被検者ID(内部識別情報)を、当該施設外にて用いられる外部識別情報に変換することができる。これにより、画像群や背景情報などの個人情報に関する情報セキュリティの向上を図ることができる。
ステップS35(又はS6)でスリットランプ顕微鏡1から送信された画像群は、直接的又は間接的に情報処理装置に送られる。この情報処理装置の典型的な例が、医師(又はオプトメトリスト)が使用する前述の読影端末である。
医師は、読影端末を用いて、画像群に含まれる一連の画像(例えば、図3に示す一連の画像F1~FN)の読影を行うことができる。また、一連の画像に基づく3次元画像を構築することや、この3次元画像のレンダリング画像を表示することや、画像群とともに送信された情報を表示することが可能である。更に、読影端末又は他の情報処理装置によって、一連の画像のいずれかを解析することや、3次元画像を解析することや、レンダリング画像を解析することや、画像群とともに送信された情報を解析することが可能である。
医師は、読影端末を用いて、読影で得た情報が記録されたレポート(読影レポート)を作成することができる。読影レポートは、例えば、スリットランプ顕微鏡1が設置されている施設、被検者等が指定した医療機関、被検者等が指定した医師が使用する情報処理装置、被検者が登録したアドレス(電子メールアドレス、住所など)などに提供される。また、所定のデータベースシステムに読影レポートを送信し、読影レポートを保管・管理するようにしてもよい。
ステップS35(又はS6)でスリットランプ顕微鏡1から送信された画像群の送信先となる情報処理装置の他の例として読影装置がある。読影装置は、読影プロセッサを含む。読影プロセッサは、例えば、読影用のプログラムにしたがって動作し、画像群に含まれる一連の画像を解析して所見を得る。更に、読影プロセッサは、取得された所見に基づきレポートを作成する。
読影プロセッサは、学習済みモデル(推論モデル)を用いて読影を行う人工知能エンジンを含んでいてよい。この人工知能エンジンは、典型的には、スリットランプ顕微鏡により取得された多数の画像及びそれらの読影情報を含む訓練データを用いて訓練された畳み込みニューラルネットワーク(CNN)を含む。
読影装置が人工知能エンジンを含み、且つ、スリットランプ顕微鏡1(データ処理部8)が人工知能エンジンを含む場合、これら人工知能エンジンが同等の能力を有するように調整することができる。つまり、読影装置の人工知能エンジンとスリットランプ顕微鏡1の人工知能エンジンとの間に差が無いように(差が小さいように)調整を行うことが可能である。更に換言すると、読影装置に設けられる人工知能エンジンは、スリットランプ顕微鏡1に設けられる前述の人工知能エンジンと少なくとも部分的に同じものであってもよい。
例えば、双方の人工知能エンジンに、同じニューラルネットワークモデルと、同じパラメータとを適用することができる。また、双方の人工知能エンジンにおけるモデルやパラメータの更新を同期させることができる。
このような人工知能エンジンの統一的調整により、スリットランプ顕微鏡1の人工知能エンジンによる出力と、読影装置の人工知能エンジンによる出力との間に矛盾や誤差が発生する不都合を防止することが可能となる。また、前述したように、スリットランプ顕微鏡1から画像群を送信する前に行われる品質評価は、読影や診断を有効に行うために必要とされる画像品質を評価するものであるから、人工知能エンジンの統一的調整を行うことによって、送信前の画像群の品質評価を適切に行うことが可能となる。つまり、読影装置の人工知能エンジンによって読影可能な画像群を、スリットランプ顕微鏡1からの送信前に「読影可能な画像群」であるとして高い確度で評価することができ、また、読影装置の人工知能エンジンによって読影不可能な画像群を、スリットランプ顕微鏡1からの送信前に「読影不可能な画像群」であるとして高い確度で評価することができる。
なお、このような人工知能エンジンの統一的調整がなされない場合や、他の読影装置(モデル及び/又はパラメータが異なる人工知能エンジンを含む)に読影を依頼する場合などにおいては、スリットランプ顕微鏡1の人工知能エンジンの処理条件(モデル、パラメータなどを表す)を画像セットに付帯させることや、読影装置の人工知能エンジンの処理条件を画像セットに付帯させることが可能である。
第1の動作例によれば、第1回目のスキャンで良好な品質の画像群が得られた場合にはこの画像群を後の処理(読影など)に提供することができる。また、第1回目のスキャンで良好な品質の画像群が得られなかった場合、第1の動作例は、再度スキャンを実行して新たな画像群を取得することができる。より一般に、第1の動作例は、良好な品質の画像群が取得されるまで撮影を繰り返すことができる。よって、第1回目のスキャンで良好な品質の画像群が得られた場合でも、得られなかった場合でも、良好な品質の画像群を後の処理に提供することが可能である。したがって、読影などの処理を好適に行うことが可能である。
更に、第1の動作例によれば、第1回目のフォローアップ撮影が良好に行われた場合には、このフォローアップ撮影で取得された画像群を後の処理(読影など)に提供することができる。また、第1回目のフォローアップ撮影が良好に行われなかった場合、第1の動作例は、フォローアップ撮影を再度実行して新たな画像群を取得することができる。より一般に、第1の動作例は、良好なフォローアップ撮影が実行されるまで撮影を繰り返すことができる。よって、第1回目のフォローアップ撮影が良好に行われた場合でも、行われなかった場合でも、過去の撮影で得られた画像(基準画像)に対する位置誤差が小さな画像群(フォローアップ画像)を後の処理に提供することが可能である。したがって、フォローアップにおける画像比較を好適に行うことが可能である。
このように、第1の動作例は、画像群の品質評価とフォローアップ撮影の品質評価との双方を行うことが可能であるから、情報処理装置(読影装置)による自動読影や医師(読影医など)による読影を好適に行うことができるとともに、フォローアップにおける画像比較を好適に行うことができる。以上で、第1の動作例の説明を終える。
<第2の動作例>
前述した準備の後に実行される第2の動作例について図13及び図14を参照しつつ説明する。図13は、フォローアップ撮影によって良好な品質の画像セットを取得するための動作の例を示す。図14は、フォローアップ撮影の品質(誤差)を評価するための動作の例を示す。
第1の動作例は、良好な品質の画像群(1回のスキャンで収集される一連の画像)が得られるまで前眼部スキャン(撮影)を繰り返すものであるが、本動作例は、良好な品質の画像セット(例えば、所定のスキャン範囲に配列された一連の画像)が得られるまでスキャン(撮影)を繰り返すものである。
換言すると、第1の動作例で最終的に得られるデータは、1回のスキャンで収集される一連の画像であるのに対し、本動作例で最終的に得られるデータは、例えば、所定のスキャン範囲(前眼部の3次元領域)に配列された複数の断面に対応する一連の画像である。すなわち、本動作例で最終的に得られるデータは、第1の動作例と同様に、1回のスキャンで得られた一連の画像であってもよいし、或いは、第1の動作例とは異なり、2回以上のスキャンで得られた2つ以上の画像群から選択された一連の画像であってもよい。
本例は、図13に示す動作例の後に図14に示す動作例を実行している。つまり、本例は、良好な品質の画像セットを取得した後にフォローアップ撮影の品質を評価している。図示及び詳細な説明は省略するが、本例とは逆に、他の幾つかの例示的な態様は、フォローアップ撮影の品質を評価した後に画像セットの品質を評価することができる。更に他の幾つかの例示的な態様は、フォローアップ撮影の品質評価と画像セットの品質評価とを並行して行うことができる。更に他の幾つかの例示的な態様は、画像群の品質評価、フォローアップ撮影の品質評価、及び、画像セットの品質評価の順に実行することができる。本発明が属する技術分野の通常の知識を有する者(当業者)であれば、以下に説明する第2の動作例から、これらの他の例示的な態様について理解することができるであろう。
本動作例のステップS11~S13は、それぞれ、第1の動作例のステップS1~S3と同じ要領で実行されてよい。したがって、ステップS11~S13についての説明は省略するものとする。また、特に言及しない限り、第1の動作例で説明された事項を本動作例に組み合わせることが可能である。
(S14:品質良好か?)
ステップS13において画像群の品質は良好であると判定された場合(S14:Yes)、本動作は、フォローアップ撮影の品質(誤差)の評価(S15)に移行する。一方、ステップS13において画像群の品質は良好でないと判定された場合(S14:No)、本動作はステップS16に移行する。
(S15:誤差評価に移行)
ステップS13において画像群の品質は良好であると判定された場合(S14:Yes)、制御部7は、この画像群が得られたフォローアップ撮影の品質(誤差)を評価するための処理を実行するための制御を行う。この制御は、例えば、第1の動作例のステップS5と同じ要領で実行されてよい。ステップS15の後、本動作は、図14のステップS31に移行する。
(S16:再撮影を促す)
ステップS13において画像群の品質は良好でないと判定された場合(S14:No)、制御部7は、ユーザーに再撮影を促すための制御を行う。ユーザーは、再撮影を開始するための指示操作、又は、再撮影を行わないための指示操作を行う。
(S17:アライメント)
再撮影を開始するための指示操作をユーザーが行うと、制御部7は、ステップS11と同じ要領でアライメントを実行する。
(S18:フォローアップ撮影(スキャン))
ステップS17のアライメントが完了したら、スリットランプ顕微鏡1は、ステップS12と同じ要領で、被検眼Eの前眼部の3次元領域をスキャンする。これにより、新たな画像群が得られる。
(S19:画像選択)
選択部821は、ステップS12のスキャンで収集された画像群と、ステップS19のスキャンで収集された画像群とを含む画像の集合から、所定の条件を満足する1以上の画像を選択する。なお、ステップS14で2回以上「No」と判定された場合、選択部821は、ステップS12のスキャンで収集された画像群と、2回以上行われたステップS19のスキャンで収集された2つ以上の画像群とを含む画像の集合から、所定の条件を満足する1以上の画像を選択する。
幾つかの例示的な態様において、ステップS18及びS19の動作は、前述したように、スキャンと画像選択とを交互に反復する動作、及び、全てのスキャンの実行後に画像選択を行う動作のいずれか一方であってよい。このようなスキャンと画像選択との連係動作により、2回以上のスキャンで得られた2つ以上の画像群から一連の画像が選択される。
(S20:画像セットを作成)
画像セット作成部82は、ステップS19で選択された一連の画像を含む画像セットを作成する。
(S21:画像セットの品質を評価)
画像セット評価部83は、ステップS20で作成された画像セットの品質を評価する。
(S14:品質良好か?)
ステップS21において画像セットの品質は良好であると判定された場合(S14:Yes)、本動作は、フォローアップ撮影の品質(誤差)の評価(S15)に移行する。一方、ステップS21において画像セットの品質は良好でないと判定された場合(S14:No)、本動作はステップS16に移行し、ステップS16~S14が再度実行される。
(S15:誤差評価に移行)
ステップS13において画像セットの品質は良好であると判定された場合(S14:Yes)、制御部7は、この画像セットが得られたフォローアップ撮影の品質(誤差)を評価するための処理を実行するための制御を行う。この制御は、例えば、第1の動作例のステップS5と同じ要領で実行されてよい。ステップS15の後、本動作は、図14のステップS31に移行する。
この画像セットが1回の前眼部スキャンで取得された1つの画像群からなる場合、つまり、ステップS14において一度も「No」と判定されなかった場合、換言すると、第1回目のステップS14において「Yes」と判定された場合、ステップS31~S35の動作は第1の動作例と同じ要領で実行されてよい。
これに対し、2回以上の前眼部スキャンで取得された2つ以上の画像群から画像セットが作成された場合、つまり、ステップS14において少なくとも1回「No」と判定された場合、換言すると、第1回目のステップS14において「No」と判定された場合、ステップS31~S35の動作は、例えば、以下に例示する態様のいずれかにしたがって実行されてよい。
第1の態様は、2回以上の前眼部スキャンから前眼部スキャンを選択し、選択された前眼部スキャンについて、ステップS31~S35の動作を第1の動作例と同じ要領で実行するものである。前眼部スキャンの選択方法は任意であってよい。例えば、最初の前眼部スキャン及び/又は最後の前眼部スキャンを選択することができる。
第2の態様は、2回以上の前眼部スキャンのそれぞれについて、ステップS31~S35の動作を第1の動作例と同じ要領で実行し、これにより得られた2以上の結果からフォローアップ撮影の誤差評価を行うものである。この誤差評価は、例えば、2以上の結果を統計的に処理することにより実行される。1つの例は、2以上の結果のいずれか(例えば、誤差が最大である評価結果)を選択し、選択された結果に基づき最終的な誤差評価を行う。他の例は、2以上の結果に所定の統計処理を施し、それにより得られたデータ(例えば、平均)に基づき最終的な誤差評価を行う。
(S31:位置ずれ情報を生成)
ステップS15の後、本動作は、図14のステップS31に移行する。ステップS31において、位置ずれ情報取得部86は、ステップS14で品質が良好であると判定された画像セット及び/又は1以上の画像群(フォローアップ画像)と、フォローアップ撮影で参照された過去の画像(基準画像)とを解析して、フォローアップ画像と基準画像との間の位置ずれ情報を生成する。
(S32:評価値を算出)
次に、評価値算出部87は、ステップS31で取得された位置ずれ情報に基づいて、フォローアップ撮影におけるスキャン位置の誤差の評価値を算出する。
(S33:フォローアップ撮影の良否を判定)
続いて、良否判定部88は、ステップS32で算出された評価値に基づいて、フォローアップ撮影が良好に行われたか判定する。
(S34:良好か?)
ステップS33においてフォローアップ撮影が良好に行われたと判定された場合(S34:Yes)、本動作は、ステップS35に移行する。
一方、ステップS33においてフォローアップ撮影が良好に行われなかったと判定された場合(S34:No)、本動作は、図13のステップS16に戻る。この場合の処理は、前述したステップS16に関する処理に準ずる。
(S35:画像を出力)
ステップS33においてフォローアップ撮影が良好に行われたと判定された場合(S34:Yes)、制御部7は、この画像セットを出力するための制御を行う。本例では、制御部7は、通信部9を制御して、画像セットを他の装置に送信する。
画像セットの送信先は、第1の動作例における画像群の送信先と同じであってもよいし、異なっていてもよい。出力される画像セットは、背景情報、位置ずれ情報、評価値、良否判定結果などを含んでいてもよい。或いは、これらの情報は画像セットの付帯情報であってもよい。画像群の場合と同様に、送信される画像セットは、被検者の右眼の前眼部の一連の画像と、左眼の前眼部の一連の画像とを含んでいてよく、更に、右眼の一連の画像及び左眼の一連の画像に被検眼情報がそれぞれ付帯されていてもよい。また、画像セットとともに被検者の識別情報が送信されてもよい。
ステップS35でスリットランプ顕微鏡1から送信された画像セットは、直接的又は間接的に情報処理装置に送られる。この情報処理装置は、例えば、読影端末及び/又は読影装置であってよい。
第2の動作例によれば、第1回目のスキャンで良好な品質の画像群が得られた場合にはこの画像群を後の処理(読影など)に提供することができる。また、第1回目のスキャンで良好な品質の画像群が得られなかった場合、第2の動作例は、新たな画像群を取得するとともに、その時点までに得られた2つ以上の画像群から一連の画像を選択して良好な品質の画像セットを作成することができる。より一般に、第2の動作例は、良好な品質の画像セットが得られるまで撮影を繰り返すことができる。よって、第1回目のスキャンで良好な品質の画像群が得られた場合にはその画像群を後の処理に提供することができる上に、第1回目のスキャンで良好な品質の画像群が得られなかった場合には2回以上のスキャンで得た2つ以上の画像群から良好な品質の画像セットを作成して後の処理に提供することが可能である。したがって、読影などの処理を好適に行うことが可能である。
更に、第2の動作例によれば、第1回目のフォローアップ撮影が良好に行われた場合には、このフォローアップ撮影で取得された画像群を後の処理(読影など)に提供することができる。また、第1回目のフォローアップ撮影が良好に行われなかった場合、第2の動作例は、フォローアップ撮影を再度実行して新たな画像群を取得し、この新たな画像群を含む2以上の画像群から画像セットを作成することができる。より一般に、第2の動作例は、良好なフォローアップ撮影に基づく画像セットが得られるまで撮影を繰り返すことができる。よって、第1回目のフォローアップ撮影が良好に行われた場合でも、行われなかった場合でも、過去の撮影で得られた画像(基準画像)に対する位置誤差が小さな画像セット又は画像群(フォローアップ画像)を後の処理に提供することが可能である。したがって、フォローアップにおける画像比較を好適に行うことが可能である。
このように、第2の動作例は、画像群の品質評価、画像セットの品質評価、及びフォローアップ撮影の品質評価を実行することが可能であるから、情報処理装置(読影装置)による自動読影や医師(読影医など)による読影を好適に行うことができるとともに、フォローアップにおける画像比較を好適に行うことができる。以上で、第2の動作例の説明を終える。
本態様のスリットランプ顕微鏡1が実行可能な動作は上記した2つの例に限定されない。例えば、スリットランプ顕微鏡1は、本態様で説明した事項、その変形、及び任意の公知技術のいずれか1つ又は2つ以上に少なくとも基づく動作を行うことが可能である。
例えば、スリットランプ顕微鏡1は、上記した2つの例のような再撮影を行うことなく、被検眼Eの前眼部に対する1回のスキャン(1回のフォローアップ撮影)で収集された画像群を直接的又は間接的に情報処理装置に送信するように構成されていてよい。
また、スリットランプ顕微鏡1は、被検眼Eの前眼部の3次元領域から収集された一連の画像(画像群、画像セット)に解析処理を適用して解析データ(例えば、前眼部パラメータ値)を求め、この解析データを直接的又は間接的に情報処理装置に送信するように構成されていてよい。或いは、スリットランプ顕微鏡1は、被検眼Eの前眼部の3次元領域から収集された一連の画像(画像群、画像セット)に解析処理を適用して解析データ(例えば、前眼部パラメータ値)を求め、この解析データと当該一連の画像とを直接的又は間接的に情報処理装置に送信するように構成されていてよい。
<効果>
上記した例示的な態様のスリットランプ顕微鏡の幾つかの特徴、幾つかの作用、及び幾つかの効果について説明する。
スリットランプ顕微鏡1は、画像取得部(照明系2、撮影系3、移動機構6など)と、記憶部10と、位置ずれ情報取得部86とを含む。画像取得部は、被検眼Eの前眼部をスリット光でスキャンして画像を取得する。記憶部10は、被検眼Eの前眼部の第1画像を記憶するとともに、この第1画像を参照して画像取得部により行われたフォローアップ撮影において取得された第2画像を記憶する。位置ずれ情報取得部86は、フォローアップ撮影が行われた後に、第1画像及び第2画像を解析して、第1画像と第2画像との間の位置ずれ情報を取得する。
このようなスリットランプ顕微鏡1によれば、被検眼Eの前眼部をスリット光でスキャンするモダリティによってフォローアップ撮影を行うことが可能であり、更に、このフォローアップ撮影の誤差に関する位置ずれ情報を取得することができる。したがって、フォローアップ撮影の確度や精度を知ること、つまり、フォローアップにおける撮影位置(撮影範囲)の誤差の情報を得ることが可能であり、フォローアップ撮影が適正に行われたか否かを示す情報や、更にはどの程度の確度や精度でフォローアップ撮影が行われたかを示す情報をユーザーに提供することができるため、診断の正確性の向上に寄与するものと言える。このように、例示的な態様のスリットランプ顕微鏡1は、フォローアップ撮影の誤差に関する有用な評価を提供することが可能である。
図10に示す光学系を有するスリットランプ顕微鏡は、被検眼Eの前眼部を撮影して正面画像を取得することが可能である(正面画像取得部)。前眼部の正面撮影は、例えば、動画撮影部40によって実行される。この場合、正面画像取得部は動画撮影部40を含む。他の例において、前眼部の正面画像は、本出願人による特開2013-248376号公報などに開示された2以上の前眼部カメラによって取得された2以上の前眼部画像を合成することによって構築される。この場合、正面画像取得部は、2以上の前眼部カメラと、画像合成を行うプロセッサ(例えば、データ処理部8)とを含む。
本例のスリットランプ顕微鏡のフォローアップ撮影で参照される第1画像は、前眼部Eの前眼部を撮影して取得された第1正面画像を含んでいてよい。第1正面画像は、本例のスリットランプ顕微鏡により取得されてもよいし、他の装置で取得(及び構築)されてもよい。更に、第1正面画像を参照して行われたフォローアップ撮影で得られる第2画像は、このフォローアップ撮影において正面画像取得部により取得された第2正面画像を含んでいてよい。本例の位置ずれ情報取得部86は、少なくとも第1正面画像及び第2正面画像に基づいて位置ずれ情報を生成することが可能である。
このように正面画像を取得可能な態様のスリットランプ顕微鏡は、位置ずれ情報に基づいてスキャン位置を正面画像上に提示することができる。そのために、記憶部10は、第1正面画像とともに画像取得部により取得された画像の第1正面画像における位置を示す第1位置情報と、第2正面画像とともに画像取得部により取得された画像の第2正面画像における位置を示す第2位置情報とを更に記憶する。第1位置情報は、例えば、フォローアップ撮影で参照された第1正面画像が取得されたときに行われた前眼部スキャンの適用位置(適用範囲)を、第1正面画像の座標系で表現したものである。第2位置情報は、例えば、第1正面画像を参照して行われたフォローアップ撮影における前眼部スキャンの適用位置(適用範囲)を、この前眼部スキャンとともに行われた正面撮影などで得られた第2正面画像の座標系で表現したものである。更に、本例のスリットランプ顕微鏡は、第1正面画像及び/又は第2正面画像を表示デバイスに表示させることができる。加えて、本例のスリットランプ顕微鏡は、位置ずれ情報取得部86により取得された位置ずれ情報に基づき、第1位置情報に対応した第1位置画像と、第2位置情報に対応した第2位置画像とを、表示された第1正面画像及び/又は第2正面画像に重ねて表示させることができる。これらの表示処理は表示制御部によって実行される。例示的な態様のスリットランプ顕微鏡では、制御部7が表示制御部として機能する。
正面画像を取得可能な態様のスリットランプ顕微鏡、又は、正面画像を取得可能ではない態様のスリットランプ顕微鏡は、次のように構成されていてもよい。フォローアップ撮影で参照される第1画像は、被検眼Eの前眼部をスリット光でスキャンして取得された第1スキャン画像を含んでいてよい。第1スキャン画像は、本例のスリットランプ顕微鏡により取得されてもよいし、他の装置で取得されてもよい。第1スキャン画像を参照して行われたフォローアップ撮影で取得される第2画像は、このフォローアップ撮影において画像取得部により取得された第2スキャン画像を含んでいてよい。本例の位置ずれ情報取得部86は、少なくとも第1スキャン画像及び第2スキャン画像に基づいて位置ずれ情報を取得することができる。本例によれば、前眼部スキャンで得られたスキャン画像から位置ずれ情報を生成することができるので、正面画像を取得するための構成(正面画像取得部)を設ける必要がなく、構成の簡略化を図ることができる。
なお、正面画像から位置ずれを求める処理と、スキャン画像から位置ずれを求める処理とを組み合わせることができる。幾つかの例示的な態様において、スリットランプ顕微鏡は、正面画像(及びスキャン画像)からXY方向の位置ずれ情報を求め、且つ、スキャン画像からZ方向の位置ずれ情報を求めるように構成されてよい。
例示的な態様のスリットランプ顕微鏡1は、評価値算出部87を含んでいてよい。評価値算出部87は、位置ずれ情報取得部86により取得された位置ずれ情報に基づいて、フォローアップ撮影におけるスキャン位置の誤差の評価値を算出する。これにより、フォローアップ撮影の誤差の程度を定量的に把握することが可能になる。
例示的な態様のスリットランプ顕微鏡1は、良否判定部88を含んでいてよい。良否判定部88は、評価値算出部87により算出された評価値に基づいて、フォローアップ撮影が良好に行われたか判定する。これにより、フォローアップ撮影の誤差の程度を定量的に且つ自動で評価することが可能になる。
例示的な態様のスリットランプ顕微鏡1は、通信部9(第1通信部)を含んでいてよい。更に、スリットランプ顕微鏡1は、フォローアップ撮影が良好に行われたと良否判定部88により判定されたことを条件として、このフォローアップ撮影で取得された画像を所定の外部装置に向けて送信することができる。これにより、良好なフォローアップ撮影で得られた画像を読影などに提供することが可能となる。なお、フォローアップ撮影で取得された画像を外部装置に送信するための条件は、ここに説明した良否判定部88の結果に基づく条件だけでもよいし、他の条件を更に含んでもよい。
幾つかの例示的な態様において、画像取得部は、被検眼Eの前眼部をスリット光でスキャンして画像群を収集するスキャン部を含む。スキャン部は、照明系(2)と、撮影系(3)と、移動機構(6)とを含む。照明系は、被検眼Eの前眼部にスリット光を照射する。撮影系は、照明系とは異なる方向から前眼部を撮影する。移動機構は、照明系及び撮影系を移動する。移動機構による照明系及び撮影系の移動と並行して、撮影系は繰り返し撮影を行う。この繰り返し撮影は、例えば、所定の撮影レートの動画撮影である。
このような構成によれば、まず、被検眼Eの前眼部を表す画像群を非接触で取得することが可能であるため、点眼麻酔や角膜保護剤(眼科用ゲル)を被検眼Eに適用する必要がなく、患者に掛かる負担の軽減を図ることが可能である。また、一断面の画像を提供する従来のスリットランプ顕微鏡とは異なり、例示的な態様のスリットランプ顕微鏡は、被検眼Eの前眼部の3次元領域をスキャンして画像群を得ることができるため、例えば、撮影後に行われる診断(読影など)において、前眼部の所望の部分を詳細に観察することが可能になる。
また、前述したように、従来のスリットランプ顕微鏡を用いて良好な画像を得るには微細で煩雑な操作が必要とされる一方、特許文献3、4に開示されたような遠隔操作技術では、このような難しい操作を遠隔地から行わねばならなかったため、診断(読影)に耐えうる品質の画像を得ることは極めて困難と考えられる。また、スリットランプ顕微鏡はスクリーニングやフォローアップ等においてその威力を発揮するが、遠隔操作の困難性を考慮すると、スリットランプ顕微鏡を遠隔医療に用いることは従来の技術では実用上不可能とさえ言える。
これに対し、例示的な態様のスリットランプ顕微鏡によれば、まず、被検眼Eをスキャンして画像群を収集するように構成されているため、従来のような医師による遠隔操作を行う必要がないという利点がある。つまり、従来においては、医師が遠隔地から操作を行いつつ診察を行っているが、スリットランプ顕微鏡1を用いる場合、医師は、事前に取得された画像群を読影するだけでよい。したがって、医師は、撮影の手間や時間から解放され、読影に集中することができる。このように、本態様は、高品質なスリットランプ顕微鏡検査の提供範囲の拡大に寄与するものである。
例示的な態様において、移動機構6は、照明系2により被検眼Eの前眼部に照射されるスリット光をこのスリット光の幅方向に移動させるように照明系2及び撮影系3を移動してよい。
例示的な態様のスリットランプ顕微鏡1は、例えば角膜前面から水晶体後面までの範囲にピントが合った画像(2次元断面画像)を取得するために、シャインプルーフカメラとしての機能を有していてよい。そのために、撮影系3は、スリット光が照射された被検眼Eの前眼部からの光(戻り光)を導く光学系4と、光学系4により導かれた光を撮像面で受光する撮像素子5とを含んでいてよい。更に、スリットランプ顕微鏡1は、照明系2の光軸に沿う物面と光学系4と撮像素子5(撮像面)とがシャインプルーフの条件を満足するように構成されていてよい。このような構成により、前眼部の3次元領域の全体にピントを合わせて撮影を行うことができ、良好な品質の画像を取得することが可能となる。
幾つかの例示的な態様において、フォローアップ撮影で取得される第2画像は、このフォローアップ撮影においてスキャン部により収集された画像群に含まれる少なくとも1つの画像を含んでいてよい。この画像群に含まれるそれぞれの画像は、典型的には2次元断面画像である。
幾つかの例示的な態様において、画像取得部は、フォローアップ撮影においてスキャン部により収集された画像群から加工画像を構築する加工画像構築部(85)を含んでいてよい。加工画像は、例えば、画像群から構築される3次元画像であってよく、また、3次元画像から構築されるレンダリング画像であってよい。フォローアップ撮影により得られる第2画像は、このような加工画像を含んでいてもよい。
このように、フォローアップ撮影で得られる第2画像は、画像群に含まれる画像(2次元断面画像)、3次元画像、レンダリング画像など、様々な形態の画像を含んでいてよい。第2画像に含まれる画像の種類は任意に決定されてよい。なお、外部装置(読影装置、読影端末、他の情報処理装置など)によって加工画像を構築してもよい。
例示的な態様のスリットランプ顕微鏡1は、スキャン部により収集された画像群を処理する画像群処理部80を含んでいてよい。これにより、スキャン部により収集された画像群に所望の処理を施すことが可能になる。
例示的な態様において、画像群処理部80は、画像群評価部81(第1評価部)を含んでいてよい。画像群評価部81は、スキャン部により収集された画像群の品質を評価するように構成されている。この構成によれば、被検眼Eの前眼部をスキャンして収集された画像群の品質をスリットランプ顕微鏡自体によって評価できるため、医師や読影装置に提供する前に画像群の品質を確認することができる。
例えば以下に説明するように、画像群評価部81による画像群の品質の評価結果に応じて制御内容を切り替えることができる。これにより、良好な品質の画像群が得られた場合にはそれに合った好適な処理を実行することができ、また、良好な品質の画像群が得られなかった場合にはそれに合った好適な処理を実行することができるようになる。
本態様のスリットランプ顕微鏡1は、スキャン部により収集された画像群の品質が良好であると画像群評価部81により評価されたことを条件として、通信部9(第2通信部)により当該画像群を所定の外部装置に向けて送信することができる。この構成によれば、良好な品質の画像群が取得されたことに対応して、例えば遠隔地に居る医師や遠隔地にある読影装置にこの画像群を提供することができる。なお、フォローアップ撮影で取得された画像群を外部装置に送信するための条件は、ここに説明した画像群の品質に関する条件だけでもよいし、他の条件を更に含んでもよい。
本態様のスリットランプ顕微鏡1は、以下のような制御部7(第1制御部)を含んでいてよい。制御部7は、画像群の品質が良好でないと画像群評価部81により評価された場合に、被検眼Eの前眼部に対する新たなスキャンをスキャン部に実行させるための制御を実行する。新たなスキャンをスキャン部に実行させるための制御は、例えば、ユーザーに再撮影を促すための制御、又は、再撮影を自動で行うための制御(再撮影に自動で移行するための制御)であってよい。この構成によれば、1回のスキャンで良好な品質の画像群が得られなかった場合に、再撮影(再スキャン)にスムースに移行することができる。
例示的な態様において、画像群処理部80は、画像セット作成部82を含んでいてよい。画像セット作成部82は、被検眼Eの前眼部に対するスキャンにより既に取得された画像群と、被検眼Eの前眼部に対する新たなスキャンで収集された新たな画像群とを含む2以上の画像群から、所定のスキャン範囲に対応する一連の画像を選択して画像セットを作成するように構成されている。この構成によれば、2回以上のスキャンが被検眼に適用された場合、それにより得られた2つ以上の画像群から選択された一連の画像によって画像セットを作成できるため、良好な品質の画像セットが得られる可能性が向上する。例えば、或るスキャンを実行しているときに瞬きや眼球運動が発生して良好な画像が得られなかった場合においても、他のスキャンで得られた画像によってこれを補完することが可能である。
例示的な態様において、画像群処理部80は、画像セット作成部82により作成された画像セットの品質を評価する画像セット評価部83(第2評価部)を含んでいてよい。例えば、画像セット評価部83は、画像セットに含まれる一連の画像について、配列順序、画像抜け、及び位置ずれのいずれかについて評価を行うことが可能である。この評価は、画像セット中の一連の画像を解析することで行われる。例えば、一連のフレーム中のランドマーク(角膜、虹彩、瞳孔、隅角などの組織に対応する画像領域)に基づいて一連の画像の品質評価が行われる。このような画像セットの評価を行うことによって、医師や読影装置による読影を有効に実施可能にする良好な品質の画像セットを準備することができる。
例示的な態様のスリットランプ顕微鏡1は、画像セットの品質が良好であると画像セット評価部83により評価されたことを条件として、通信部9により当該画像セットを所定の外部装置に向けて送信することができる。この構成によれば、良好な品質の画像セットが得られたことに対応して、例えば遠隔地に居る医師や遠隔地にある読影装置にこの画像群を提供することができる。なお、フォローアップ撮影で取得された画像セットを外部装置に送信するための条件は、ここに説明した画像セットの品質に関する条件だけでもよいし、他の条件を更に含んでもよい。
例示的な態様のスリットランプ顕微鏡1は、以下のような制御部7(第2制御部)を含んでいてよい。制御部7は、画像セットの品質が良好でないと画像セット評価部83により評価された場合に、被検眼Eの前眼部に対する新たなスキャンをスキャン部に実行させるための制御を実行する。新たなスキャンをスキャン部に実行させるための制御は、例えば、ユーザーに再撮影を促すための制御、又は、再撮影を自動で行うための制御(再撮影に自動で移行するための制御)であってよい。この構成によれば、現段階までの2回以上のスキャンで良好な品質の画像セットが得られなかった場合に、再撮影(再スキャン)にスムースに移行することができる。
〈その他の事項〉
以上に説明した幾つかの態様は本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を上記の態様に対して適宜に施すことが可能である。
以上に説明した態様では、1回のスキャンを行う度に画像群及び/又は画像セットの評価を行っている。他の態様において、スリットランプ顕微鏡は、まず複数回のスキャンを連続して実行して複数の画像群を収集し、これら画像群から画像セットを作成するように構成されてよい。すなわち、本態様のスリットランプ顕微鏡は次のように構成されていてよい:スキャン部が、被検眼の前眼部に2回以上のスキャンを適用して2以上の画像群を収集する;画像群処理部(画像セット作成部)が、収集された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。本態様によれば、複数のスキャンの全てにおいて不都合(瞬き、眼球運動など)が発生しない限り良好な画像セットが得られるので、良好な画像セットを取得できる可能性が高くなる。このような態様に、フォローアップ撮影の品質評価に関するいずれかの態様を組み合わせることが可能である。
いずれかの例示的な態様に係るスリットランプ顕微鏡の用途は任意であり、そのための機能を備えていてもよい。幾つかの例示的なスリットランプ顕微鏡は、前述したようなフォローアップ機能に加えて統計解析機能を備えていてよい。これらの機能は、被検眼の状態を定量的且つ客観的に評価するために用いられる。例示的な態様のスリットランプ顕微鏡によれば、前述したように非接触の前眼部観察を詳細且つ確実に行うことが可能であるため、フォローアップや統計解析を有効且つ好適に行うことが可能である。なお、スリットランプ顕微鏡以外の装置(情報処理装置、読影端末、読影装置、眼科装置など)が同様の機能を備えていてもよい(以下同様)。
このようなスリットランプ顕微鏡は、被検眼の前眼部のスキャンに基づき取得された画像を解析して所定のパラメータの値を算出する機能(パラメータ演算機能)を有する。解析される画像は、任意の画像であってよく、例えば、スキャンで収集された画像群、画像群に含まれる少なくとも1つの画像、画像群の少なくとも一部から構築された3次元画像、3次元画像のレンダリング画像、2つ以上の画像群から得られた画像セット、画像セットに含まれる少なくとも1つの画像、画像セットの少なくとも一部から構築された3次元画像、及び、3次元画像のレンダリング画像のいずれかであってよい。算出対象のパラメータは、任意のパラメータであってよく、例えば、前述した前眼部パラメータのいずれかを含んでいてよい。パラメータ演算は、対象のパラメータに応じた処理を含み、典型的には、セグメンテーション、特徴点検出、距離計測、比演算、角度演算などを含んでいてよい。
統計解析機能としては、例えば、正常眼データとの比較(ノーマティブデータ比較機能)、病眼データとの比較(病眼データ比較機能)などがある。
ノーマティブデータ比較機能を有するスリットランプ顕微鏡は、多数の正常眼から得られたパラメータ値を統計的に処理して得られた正常眼データベース(ノーマティブデータベース)を備えるか、又は、他の装置に格納されたノーマティブデータベースを参照可能に構成される。典型的なノーマティブデータベースは、パラメータ値の正常範囲を規定する。スリットランプ顕微鏡は、被検眼から得られたパラメータ値が正常範囲に含まれるか否か判定する。被検眼から得られたパラメータ値が正常範囲に含まれる場合、被検眼は(少なくともこのパラメータに関して)正常であると判断される。被検眼から得られたパラメータ値が正常範囲に含まれないと判定された場合、被検眼は(少なくともこのパラメータに関して)正常ではないと判断される。
病眼データ比較機能を有するスリットランプ顕微鏡は、特定の疾患についてのデータベース(病眼データベース)を備えるか、又は、他の装置に格納された病眼データベースを参照可能に構成される。病眼データベースは、特定の疾患を有すると診断された多数の眼(病眼、患眼)から得られたパラメータ値を統計的に処理して得られる。典型的な病眼データベースは、パラメータ値の異常範囲を規定する。スリットランプ顕微鏡は、被検眼から得られたパラメータ値が異常範囲に含まれるか否か判定する。被検眼から得られたパラメータ値が異常範囲に含まれない場合、被検眼は(少なくともこのパラメータに関して)正常であると判断される。被検眼から得られたパラメータ値が異常範囲に含まれないと判定された場合、被検眼は(少なくともこのパラメータに関して)正常ではないと判断される。
フォローアップ機能を有するスリットランプ顕微鏡は、典型的には、同一患者の時系列データを比較する機能又は比較可能に提示する機能を有する。例えば、そのようなスリットランプ顕微鏡は、同一患者について複数の日時に取得された複数のパラメータ値の時系列変化量を求める機能、これらのパラメータ値のトレンドを求める機能、これらのパラメータ値の時系列変化を標準的変化(正常眼又は病眼における標準的変化)と比較する機能、これらのパラメータ値(及び標準的変化)に基づき将来の値を推定する機能を有する。また、スリットランプ顕微鏡は、これらの機能のいずれかにより得られた結果を提示する機能を有する。結果の提示には、例えば、グラフ、ヒストグラム、マップ、カラーコードなど、任意の方法を採用することができる。
本開示は、いずれかの態様に係るスリットランプ顕微鏡を制御する方法を提供するものである。スリットランプ顕微鏡は、プロセッサと、記憶装置と、被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部とを含む。本制御方法は、被検眼の前眼部の第1画像を記憶装置に格納するための制御をプロセッサに実行させるステップと、第1画像を参照して画像取得部により行われたフォローアップ撮影において取得された第2画像を記憶装置に格納するための制御をプロセッサに実行させるステップとを含む。更に、本制御方法は、フォローアップ撮影が行われた後にプロセッサを制御することで、第1画像と第2画像との間の位置ずれ情報を取得するための第1画像及び第2画像の解析をプロセッサに実行させるステップを含む。
本開示は、このような制御方法をコンピュータに実行させるプログラムを提供するものである。更に、本開示は、このようなプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
本開示は、いずれかの態様に係る撮影方法及び処理方法を提供するものである。本撮影方法は、被検眼の前眼部の第1画像を取得するステップと、取得された第1画像を格納するステップとを含む。更に、本撮影方法は、第1画像を参照したフォローアップ撮影を行うステップを含む。このフォローアップ撮影は、被検眼の前眼部をスリット光でスキャンすることにより実行される。これにより第2画像が得られる。更に、本撮影方法は、フォローアップ撮影で取得された第2画像を格納するステップを含む。加えて、本撮影方法は、フォローアップ撮影が行われた後に、第1画像及び第2画像を解析して、第1画像と第2画像との間の位置ずれ情報を取得するステップを含む。
本処理方法は、被検眼の前眼部の第1画像を格納するステップと、第1画像を参照したフォローアップ撮影で取得された第2画像を格納するステップとを含む。このフォローアップ撮影は、被検眼の前眼部をスリット光でスキャンすることにより実行される。更に、本処理方法は、フォローアップ撮影が行われた後に、第1画像及び第2画像を解析して、第1画像と第2画像との間の位置ずれ情報を取得するステップを含む。
本開示は、このような撮影方法及び/又は処理方法をコンピュータに実行させるプログラムを提供するものである。更に、本開示は、このようなプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。
例示的な態様のスリットランプ顕微鏡の制御方法、例示的な態様の撮影方法、例示的な態様の処理方法、例示的な態様のプログラム、及び例示的な態様の記録媒体のいずれかに対して、前述の例示的な態様において説明された任意の事項を組み合わせることが可能である。
1 スリットランプ顕微鏡
2 照明系
3 撮影系
4 光学系
5 撮像素子
6 移動機構
7 制御部
8 データ処理部
80 画像群処理部
81 画像群評価部
82 画像セット作成部
83 画像セット評価部
85 加工画像構築部
86 位置ずれ情報取得部
87 評価値算出部
88 良否判定部
9 通信部
10 記憶部

Claims (24)

  1. 被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部と、
    前記前眼部の第1画像と、前記第1画像を参照して前記画像取得部により行われたフォローアップ撮影において取得された第2画像とを記憶する記憶部と、
    前記フォローアップ撮影が行われた後に、前記第1画像及び前記第2画像を解析して、前記第1画像と前記第2画像との間の位置ずれ情報を取得する位置ずれ情報取得部と
    を含む、スリットランプ顕微鏡。
  2. 前記前眼部を撮影して正面画像を取得する正面画像取得部を更に含み、
    前記第1画像は、前記前眼部を撮影して取得された第1正面画像を含み、
    前記第2画像は、前記第1正面画像を参照して行われた前記フォローアップ撮影において前記正面画像取得部により取得された第2正面画像を含み、
    前記位置ずれ情報取得部は、少なくとも前記第1正面画像及び前記第2正面画像に基づいて前記位置ずれ情報を取得する、
    請求項1のスリットランプ顕微鏡。
  3. 前記記憶部は、前記第1正面画像とともに前記画像取得部により取得された画像の前記第1正面画像における位置を示す第1位置情報と、前記第2正面画像とともに前記画像取得部により取得された画像の前記第2正面画像における位置を示す第2位置情報とを更に記憶し、
    前記第1正面画像及び前記第2正面画像の少なくとも一方の正面画像を表示手段に表示させ、且つ、前記位置ずれ情報に基づいて、前記第1位置情報に対応した第1位置画像と前記第2位置情報に対応した第2位置画像とを前記少なくとも一方の正面画像に重ねて表示させる表示制御部を更に含む、
    請求項2のスリットランプ顕微鏡。
  4. 前記第1画像は、前記前眼部をスリット光でスキャンして取得された第1スキャン画像を含み、
    前記第2画像は、前記第1スキャン画像を参照して行われた前記フォローアップ撮影において前記画像取得部により取得された第2スキャン画像を含み、
    前記位置ずれ情報取得部は、少なくとも前記第1スキャン画像及び前記第2スキャン画像に基づいて前記位置ずれ情報を取得する、
    請求項1~3のいずれかのスリットランプ顕微鏡。
  5. 前記位置ずれ情報に基づいて、前記フォローアップ撮影におけるスキャン位置の誤差の評価値を算出する評価値算出部を更に含む、
    請求項1~4のいずれかのスリットランプ顕微鏡。
  6. 前記評価値算出部により算出された前記評価値に基づいて、前記フォローアップ撮影が良好に行われたか判定する良否判定部を更に含む、
    請求項5のスリットランプ顕微鏡。
  7. 第1通信部を更に含み、
    前記フォローアップ撮影は良好に行われたと前記良否判定部により判定されたことを条件として、前記第1通信部は、前記フォローアップ撮影において前記画像取得部により取得された画像を所定の外部装置に向けて送信する、
    請求項6のスリットランプ顕微鏡。
  8. 前記画像取得部は、前記前眼部を前記スリット光でスキャンして画像群を収集するスキャン部を含み、
    前記スキャン部は、
    前記前眼部に前記スリット光を照射する照明系と、
    前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
    前記照明系及び前記撮影系を移動する移動機構と
    を含み、
    前記撮影系は、前記移動機構による前記照明系及び前記撮影系の移動と並行して繰り返し撮影を行う、
    請求項1~7のいずれかのスリットランプ顕微鏡。
  9. 前記撮影系は、
    前記スリット光が照射された前記前眼部からの光を導く光学系と、
    前記光学系により導かれた前記光を撮像面で受光する撮像素子と
    を含み、
    前記照明系の光軸に沿う物面と前記光学系と前記撮像面とがシャインプルーフの条件を満足する、
    請求項8のスリットランプ顕微鏡。
  10. 前記移動機構は、前記照明系により前記前眼部に照射される前記スリット光が前記スリット光の幅方向に移動するように前記照明系及び前記撮影系を移動する、
    請求項8又は9のスリットランプ顕微鏡。
  11. 前記第2画像は、前記フォローアップ撮影において前記スキャン部により収集された画像群に含まれる少なくとも1つの画像を含む、
    請求項8~10のいずれかのスリットランプ顕微鏡。
  12. 前記画像取得部は、前記画像群から加工画像を構築する加工画像構築部を更に含む、
    請求項8~11のいずれかのスリットランプ顕微鏡。
  13. 前記加工画像構築部は、前記加工画像として3次元画像を構築する、
    請求項12のスリットランプ顕微鏡。
  14. 前記加工画像構築部は、前記加工画像として前記3次元画像のレンダリング画像を構築する、
    請求項13のスリットランプ顕微鏡。
  15. 前記第2画像は、前記加工画像を含む、
    請求項12~14のいずれかのスリットランプ顕微鏡。
  16. 前記スリットランプ顕微鏡は、前記スキャン部により収集された前記画像群を処理する画像群処理部を更に含む、
    請求項8~15のいずれかのスリットランプ顕微鏡。
  17. 前記画像群処理部は、前記画像群の品質を評価する第1評価部を含む、
    請求項16のスリットランプ顕微鏡。
  18. 第2通信部を更に含み、
    前記画像群の品質が良好であると前記第1評価部により評価されたことを条件として、前記第2通信部は、前記画像群を所定の外部装置に向けて送信する、
    請求項17のスリットランプ顕微鏡。
  19. 前記画像群の品質が良好でないと前記第1評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第1制御部を更に含む、
    請求項17又は18のスリットランプ顕微鏡。
  20. 前記画像群処理部は、前記画像群と前記新たなスキャンにより収集された新たな画像群とを含む2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を更に含む、
    請求項19のスリットランプ顕微鏡。
  21. 前記スキャン部は、前記前眼部に2回以上のスキャンを適用して2以上の画像群を収集し、
    前記画像群処理部は、前記2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を含む、
    請求項16のスリットランプ顕微鏡。
  22. 前記画像群処理部は、前記画像セット作成部により作成された前記画像セットの品質を評価する第2評価部を更に含む、
    請求項20又は21のスリットランプ顕微鏡。
  23. 第3通信部を更に含み、
    前記画像セットの品質が良好であると前記第2評価部により評価されたことを条件として、前記第3通信部は、前記画像セットを所定の外部装置に向けて送信する、
    請求項22のスリットランプ顕微鏡。
  24. 前記画像セットの品質が良好でないと前記第2評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第2制御部を更に含む、
    請求項22又は23のスリットランプ顕微鏡。

JP2020131465A 2020-08-03 2020-08-03 スリットランプ顕微鏡 Pending JP2022028197A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020131465A JP2022028197A (ja) 2020-08-03 2020-08-03 スリットランプ顕微鏡
CN202180057088.9A CN116034306A (zh) 2020-08-03 2021-07-29 裂隙灯显微镜
EP21853895.7A EP4194924A1 (en) 2020-08-03 2021-07-29 Slit-lamp microscope
US18/018,582 US20230301511A1 (en) 2020-08-03 2021-07-29 Slit lamp microscope
PCT/JP2021/028178 WO2022030364A1 (ja) 2020-08-03 2021-07-29 スリットランプ顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020131465A JP2022028197A (ja) 2020-08-03 2020-08-03 スリットランプ顕微鏡

Publications (1)

Publication Number Publication Date
JP2022028197A true JP2022028197A (ja) 2022-02-16

Family

ID=80117878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020131465A Pending JP2022028197A (ja) 2020-08-03 2020-08-03 スリットランプ顕微鏡

Country Status (5)

Country Link
US (1) US20230301511A1 (ja)
EP (1) EP4194924A1 (ja)
JP (1) JP2022028197A (ja)
CN (1) CN116034306A (ja)
WO (1) WO2022030364A1 (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000116732A (ja) 1998-10-21 2000-04-25 Kowa Co 遠隔医療システム
US7281799B2 (en) * 2005-07-21 2007-10-16 Bausch & Lomb Incorporated Corneal topography slit image alignment via analysis of half-slit image alignment
JP5083758B2 (ja) 2007-05-21 2012-11-28 国立大学法人山梨大学 眼科遠隔診断システム
JP5349210B2 (ja) 2009-08-31 2013-11-20 株式会社ニデック 眼底画像処理装置
JP5570195B2 (ja) 2009-12-07 2014-08-13 株式会社ニデック Oct装置
JP5587014B2 (ja) 2010-03-31 2014-09-10 株式会社ニデック 眼科装置
JP5767026B2 (ja) * 2011-06-01 2015-08-19 株式会社ニデック 前眼部測定装置
JP5989523B2 (ja) 2012-05-01 2016-09-07 株式会社トプコン 眼科装置
DE102013207987A1 (de) * 2013-04-30 2014-10-30 Oculus Optikgeräte GmbH Verfahren und Analysesystem zur Augenuntersuchung
EP3185747A1 (en) * 2014-08-31 2017-07-05 Berestka, John Systems and methods for analyzing the eye
JP2016179004A (ja) 2015-03-24 2016-10-13 株式会社トプコン スリットランプ顕微鏡及びその制御方法
JP6518126B2 (ja) * 2015-05-13 2019-05-22 株式会社トプコン 細隙灯顕微鏡
CN110944571B (zh) * 2017-08-11 2023-09-29 卡尔蔡司医疗技术公司 用于改进眼科成像的系统和方法
JP7321678B2 (ja) * 2018-06-13 2023-08-07 株式会社トプコン スリットランプ顕微鏡及び眼科システム

Also Published As

Publication number Publication date
WO2022030364A1 (ja) 2022-02-10
US20230301511A1 (en) 2023-09-28
EP4194924A1 (en) 2023-06-14
CN116034306A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US8303115B2 (en) Method and system for retinal health management
JP6923384B2 (ja) 眼科システム及び眼科情報処理装置
JP7466607B2 (ja) スリットランプ顕微鏡
JP7321678B2 (ja) スリットランプ顕微鏡及び眼科システム
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2019240149A1 (ja) スリットランプ顕微鏡及び眼科システム
JP2021101965A (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022050738A (ja) スリットランプ顕微鏡システム
WO2021256130A1 (ja) スリットランプ顕微鏡
WO2021261103A1 (ja) スリットランプ顕微鏡
CN114364305A (zh) 裂隙灯显微镜、眼科信息处理装置、眼科系统、裂隙灯显微镜的控制方法、程序以及记录介质
JP2021097989A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022035168A (ja) スリットランプ顕微鏡システム
WO2022030364A1 (ja) スリットランプ顕微鏡
WO2021049104A1 (ja) スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体
WO2021039000A1 (ja) スリットランプ顕微鏡、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体
JP2022048413A (ja) スリットランプ顕微鏡システム
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230704