JP2020174862A - 眼科撮影装置及びその制御方法 - Google Patents

眼科撮影装置及びその制御方法 Download PDF

Info

Publication number
JP2020174862A
JP2020174862A JP2019078890A JP2019078890A JP2020174862A JP 2020174862 A JP2020174862 A JP 2020174862A JP 2019078890 A JP2019078890 A JP 2019078890A JP 2019078890 A JP2019078890 A JP 2019078890A JP 2020174862 A JP2020174862 A JP 2020174862A
Authority
JP
Japan
Prior art keywords
image
eye
light
inspected
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019078890A
Other languages
English (en)
Inventor
朋之 池上
Tomoyuki Ikegami
朋之 池上
稲生 耕久
Yasuhisa Inao
耕久 稲生
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019078890A priority Critical patent/JP2020174862A/ja
Publication of JP2020174862A publication Critical patent/JP2020174862A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 被検眼の広画角画像におけるアーチファクトを低減する。【解決手段】 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、合波光を検出して得た干渉信号を用いて、有効径外領域に相当する3次元範囲の強度が低減されている被検眼の画像を生成する生成手段と、を有する。【選択図】 図4

Description

本発明は、被検眼の撮影を行う眼科撮影装置及びその制御方法に関する。
現在、眼科撮影装置として、光波の干渉を利用したOCT(Optical Coherence Tomography)による光干渉断層撮影装置(以下、「OCT装置」と称する)が眼科分野で診断などにおいて広く利用されている。このOCT装置では、光源からの低コヒーレンス光を測定光と参照光とに分岐させ、当該測定光を被検眼に対して照射するようにしている。その後、OCT装置では、被検眼から得られる測定光の後方散乱光(以下、「戻り光」と称する)と参照光とを干渉させ、干渉により得られた干渉光から被検眼のある位置での深さ情報を取得することが出来る。さらに、被検眼に対する測定光を一軸のスキャナミラーで照射することにより、深さ方向に水平方向を加えた二次元の断層画像を取得することが出来、被検眼の各層の情報を連続的に取得することが出来る。また、二軸のスキャナミラーで照射することで、深さ方向に面方向を加えた三次元データを取得することができ、これをボリュームレンダリング表示することで、可視化することが出来る。
このOCT装置において、波長可変光源を用いることにより高深達な画像を取得できることが知られている(特許文献1)。高深達な画像を取得しようとすると、被検眼によっては、被検眼の眼底部から赤道部周辺までを一度に撮影することが可能となる。
特開2015−102537号公報
従来の眼科撮影装置では、被検眼を一度に広範囲で撮影しようとすると、例えば、装置の光学有効径外の一部の非透光部材がアーチファクトとして写り込んでしまうという問題があった。このとき、例えば、3次元画像としてボリュームレンダリング表示した際に、視点方向によっては画像における眼底等の注目部位にアーチファクトが重なってしまうことにより、検者が重要な異常箇所を見落としてしまう可能性があった。また、検者が、例えば、画像における注目部位に重なっているアーチファクトを疾患等と見誤ってしまうことにより、誤診につながる可能性もあった。
本発明の目的の一つは、このような問題点に鑑みてなされたものであり、被検眼の広画角画像におけるアーチファクトを低減することである。
本発明に係る眼科撮影装置の一つは、
光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する3次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
を有する。
本発明の一つによれば、被検眼の広画角画像におけるアーチファクトを低減することができる。
本発明の実施形態に係る眼科撮影装置の概略構成の一例を示す図である。 図1の表示制御部によって表示部に表示される第1の表示画面の一例を示す図である。 通常画角で撮影し3次元表示された眼底像の一例を示す図である。 広画角で撮影し3次元表示された眼底像の一例を示す図である。 広画角のアーチファクトを説明する図である。 マスク処理の手法を説明する図である。 アーチファクト除去効果を説明する図である。 アーチファクト除去フローを説明する図である。 フォーカス状態の異なる光束とレンズホルダとの関係を説明する図である。 アーチファクトの領域を除外したスキャンのフローを説明する図である。 解析処理に限定したマスク処理のフローを説明する図である。 解析結果表示に限定したマスク処理のフローを説明する図である。 変形例1に係る表示画面の一例を示す。 変形例6に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例6に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。
以下、添付の図面を参照して、本実施形態に係る撮像装置を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は以下の実施形態に限定されるものではない。なお、本実施形態で被検体を人眼(眼底)としているがこれに限るものではなく、例えば皮膚等に用いることとしてもよい。また、本実施形態において撮像対象は眼の眼底としているが、前眼を撮影対象とすることとしてもよい。
(実施例1)
本実施例では、光学有効径外領域を含んで広画角撮影し、それによって生じたアーチファクトをマスク処理により除去する例を示す。
(装置の概略構成)
(眼科撮影装置全体の構成)
図1は、本実施形態における光干渉断層法を用いた眼科撮影装置の構成例を示す図である。図1に示す装置は、光干渉断層信号を取得する光干渉断層取得部100と制御部143(画像処理装置の一例)を備える。制御部143は、信号処理部144、信号取得制御部145、表示部146および表示制御部149を備えて構成される。信号処理部144は、さらに画像生成部147とマップ生成部148とを備える。ここで、制御部143は、例えばコンピュータであり、コンピュータに備えられたCPUが不図示の記憶装置に記憶されたプログラムを実行することで信号処理部144、信号取得制御部145、画像生成部147、マップ生成部148および表示制御部149として機能する。なお、制御部143が備えるCPUおよび記憶装置は1つであってもよいし複数であってもよい。すなわち、少なくとも1以上の処理装置(CPU)と少なくとも1つの記憶装置(RAMおよびROM)とが接続されており、少なくとも1以上の処理装置が少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合に制御部143は上記の各手段として機能する。なお、処理装置はCPUに限定されるものではなく、FPGA等であってもよい。
(干渉系)
まず、光干渉断層取得部100の構成について説明する。図1は、本実施形態における光干渉断層取得部の例としてOCT装置の構成例を示す図である。OCT装置は、例えば、SD−OCTまたはSS−OCTである。本実施形態ではOCT装置がSS−OCTである場合の構成を示す。
(OCT装置100の構成)
OCT装置100の構成について説明する。光源101は、波長掃引型(Swept Source:以下SS)光源であり、例えば、掃引中心波長1050nm、掃引幅100nmで掃引しながら光を出射する。ここで、波長や掃引幅については例示であり、本発明は上記の値に限定されるものではない。以下の実施形態についても同様に、記載された数値は例示であり、本発明は記載された数値に限定されるものではない。
(測定光)
光源101から出射された光は光ファイバ102を介して、ビームスプリッタ110に導かれ、測定光(OCT測定光とも言う)と参照光(OCT測定光に対応する参照光とも言う)に分岐される。ビームスプリッタ110の分岐比は、90(参照光):10(測定光)である。分岐された測定光は、光ファイバ111を介して出射され、コリメータレンズ112によって平行光とされる。平行光となった測定光は、被検眼118の眼底Erにおいて測定光を走査するガルバノスキャナ114、スキャンレンズ115、対物レンズ116を介して被検眼118に入射する。ここで、ガルバノスキャナ114は単一のミラーとして記載したが、実際は被検眼118の眼底Erをラスタースキャンするように不図示の2枚のガルバノスキャナ、X軸スキャナー114aとY軸スキャナー114b、によって構成している。また、対物レンズ116はレンズホルダ106を介して装置上に固定されている。コリメータレンズ112はステージ117上に固定されており、光軸方向に動くことで、被検眼118の眼底Erに対してフォーカスを調整するように、信号取得制御部145で制御される。ガルバノスキャナ114は信号取得制御部145によって制御され、被検眼118の眼底Erの所望の範囲(断層画像の取得範囲、断層画像の取得位置、測定光の照射位置とも言う)で測定光を走査することが出来る。
(トラッキング)
なお、本実施形態では詳細な説明はしていないが、眼底Erの動きを検出し、ガルバノスキャナ114のミラーを眼底Erの動きに追従させて走査させるトラッキング機能が付与されていることが望ましい。トラッキング方法については一般的な技術を用いて行うことが可能であり、リアルタイムで行うことも、ポストプロセッシングで行うことも可能である。例えば、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)を用いる方法がある。これは眼底Erについて、SLOを用いて光軸に対して垂直な面内の2次元画像(眼底表面画像)を経時的に取得し、画像中の血管分岐などの特徴箇所を抽出する。取得する2次元画像中の特徴箇所がどのように動いたかを眼底Erの移動量として算出し、算出した移動量をガルバノスキャナ114にフィードバックすることでリアルタイムトラッキングを行うことが出来る。なお、SLOの光学系は、OCTの測定光路にダイクロイックミラー等の光路分岐部材を設けることで、配置されてもよい。また、同様に、OCTの測定光路の分岐光路に設けられた前眼部観察光学系により得た前眼部の動画像を用いてトラッキング(例えば、光学ヘッド駆動部へのフィードバック)を行ってもよい。
測定光は、対物レンズ116により、被検眼118に入射し、眼底Erにフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をビームスプリッタ110に戻る。ビームスプリッタ110に入射した測定光の戻り光は光ファイバ126を経由し、ビームスプリッタ128に入射する。
(参照光)
一方、ビームスプリッタ110で分岐された参照光は、光ファイバ119a、偏光制御器150、光ファイバ119b、を介して出射され、コリメータレンズ120によって平行光とされる。偏光制御器150には参照光の偏光を所望の偏光状態へ変化させることが出来る。参照光は分散補償ガラス122、NDフィルタ123、コリメータレンズ124を介し、光ファイバ127に入射する。コリメータレンズ124と光ファイバ127の一端はコヒーレンスゲートステージ125の上に固定されており、被検者の眼軸長の相違等に対応して光軸方向に駆動するように、信号取得制御部145で制御される。なお本実施形態では参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更出来ればよい。
光ファイバ127を通過した参照光はビームスプリッタ128に入射する。ビームスプリッタ128では参照光の戻り光と参照光が合波されて干渉光(合波光)とされた上で二つに分割される。分割される干渉光は互いに反転した位相の干渉光(以下、正の成分および負の成分と表現する)となっている。分割された干渉光の正の成分は光ファイバ129を経由してディテクタ141の一方の入力ポートに入射する。一方、干渉光の負の成分は光ファイバ130を経由してディテクタ141の他方に入射する。ディテクタ141は差動検出器となっており、位相が180°反転した二つの干渉光が入力されると、直流成分を除去し、干渉成分のみの干渉信号を出力する。
ディテクタ141で検出された干渉光は光の強度に応じた電気信号(干渉信号)として出力され、断層画像生成部の一例である信号処理部144に入力される。ここで、ディテクタ141は、測定光が照射された被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段の一例である。
(制御部)
本装置全体を制御するための制御部143について説明する。制御部143は、信号処理部144、信号取得制御部145、表示部146、表示制御部149によって構成される。また、信号処理部144はさらに、画像生成部147とマップ生成部148を持つ構成となっている。画像生成部147はディテクタ141から送られる電気信号(合波光を検出して得た干渉信号)から輝度画像を生成する機能を有し、マップ生成部148は輝度画像から層情報(網膜のセグメンテーション)を生成する機能を有する。信号取得制御部145は、上述の通りに各部を制御する。信号処理部144は、ディテクタ141から出力される干渉信号に基づき、画像の生成、生成された画像の解析、解析結果の可視情報の生成を行う。
(断層画像の撮像方法)
以上が、被検体118のある1点における断層に関する情報の取得のプロセスの説明である。このように被検体118の奥行き方向の断層に関する情報を取得することをA−scanと呼ぶ。また、A−scanと直交する方向で被検体の断層に関する情報、すなわち2次元画像を取得するための走査方向をB−scan、更にB−scanにより得られた断層像に直交する方向に走査することをC−scanと呼ぶ。これは、3次元断層像を取得する際に眼底面内に2次元ラスター走査する場合、高速な走査方向がB−scan、B−scanをその直交方向に並べて走査する低速な走査方向をC−scanと呼ぶ。A−scan及びB−scanを行うことで2次元の断層像が得られ、A−scan、B−scan及びC−scanを行うことで、3次元の断層像を得ることができる。B−scan、C−scanは、上述したガルバノスキャナ114により行われる。
なお、不図示のX軸スキャナー114a、Y軸スキャナー114bは、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。X軸スキャナー114aは、X軸方向の走査を行い、Y軸スキャナー114bは、Y軸方向の走査を行う。X軸方向、Y軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、B−scan、C−scanのようなライン走査方向と、X軸方向またはY軸方向とは、一致していなくてもよい。このため、B−scan、C−scanのライン走査方向は、撮像したい2次元の断層像あるいは3次元の断層像に応じて、適宜決めることができる。
(表示部)
表示部146は、表示制御部149の制御に基づいて、各種の画像や各種の情報を表示する。信号処理部144で生成された画像および解析結果は、表示制御部149に送られる。また、表示制御部149は、表示部146の表示画面に画像および解析結果を表示させる。ここで、表示部146は、例えば液晶等のディスプレイである。なお、信号処理部144で生成された画像データは、表示制御部149に送られた後、表示部146に有線で送信されてもよいし、無線で送信されてもよい。また、本実施形態において表示部146等は制御部143に含まれているが、本発明はこれに限らず、制御部143とは別に設けられてもよく、例えば、検者が持ち運び可能な装置の一例であるタブレットでもよい。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能に構成することが好ましい。
図2は、表示部146に表示された前眼観察画像210、眼底2次元像211、断層画像であるB−scan像212、網膜の膜厚マップ画像213、およびボリュームレンダリングされた3次元画像214である。前眼観察画像210は、測定光を被検眼の瞳孔に対してアライメントする際に用いられる。眼底2次元画像211は、測定光を眼底に対してアライメントする際や前述のトラッキング機能に用いられる。B−scan像212H、212Vはそれぞれ、眼底2次元画像211における水平方向、垂直方向の断層画像であり、網膜の深さ情報を可視化する。膜厚マップ画像213はC−scan処理で取得された網膜の深さ情報を2次元画像で可視化し、網膜の菲薄化など緑内障診断に用いられる。3次元画像214は、眼底Erの3次元形状を観察するのに用いられ、画面内をマウスドラッグすることで、C−scan範囲を表すフレーム214−2と共に、自由に視点を変えることが出来る。
(通常画角における3D撮影)
図3は、強度近視眼をOCTでC−scan処理を実行し、ボリュームレンダリングされた3次元画像である。通常、眼底OCTなどの光学系で構成された眼底撮影装置は、光学有効径以下の範囲で撮影を行う。図3においてはC−scan範囲214−2は、波線116‘で示す対物レンズ116の光学有効径の範囲内である。強度近視眼は一般に眼軸長が長く、眼底Erの範囲が広いため、通常のC−scan範囲214−2に対して、四隅などでスキャン範囲が不足し、被検眼全体の形状観察が困難である。
(広画角における3D撮影とアーチファクト)
図4は、同じ強度近視眼に対して、拡大されたC−scan範囲で撮影された3次元画像である。スキャン範囲を拡大する方法としては、例えば、ガルバノスキャナ114の振り角を広くすればよい。または、スキャンレンズ115による光学倍率を変更し、被検眼118に対する測定光の最大入射角を広げることも可能である。この場合、C−scan範囲214−2‘は眼底Erの範囲に対して広いため、被検眼全体の形状観察が可能である。一方でC−scan範囲214−2’は光学有効径116‘に対して、四隅などで外側にあり、有効径外を含んだ撮影となっている。このとき、光学有効径の周端部(有効径外領域の一例)には、対物レンズ116を保持するレンズホルダ106や押さえ環などの金物部材、すなわち非透光部材があり、これを一部含めた状態で撮影されることになる。ここで、対物レンズ116は、測定光学系における光学部材の一例である。このとき、測定光は、測定光学系における光学部材を介して、被検眼における有効径内領域に相当する範囲に対して照射される。また、測定光は、光学部材の有効径外領域に対しても照射される。すなわち、測定光は、測定光学系における光学部材の有効径外領域を含む撮影領域に対して照射される。なお、撮影領域は、正方形の矩形領域である必要はなく、長方形の矩形領域であってもよいし、楕円領域等であってもよい。測定光は、レンズホルダ106の表面上で散乱反射し、戻り光として、ビームスプリッタ110を経由してディテクタ141に到達する。レンズホルダ106の配置は眼底Erとは大きく異なり、眼底に対して参照光の光路長を最適に制御している場合は、レンズホルダ106からの戻り光は参照光と適切に干渉しない。しかしながら、本実施形態のようなSS−OCTの場合には、光源101の共振器長に起因するリバイバル干渉が生じ、干渉信号として3次元画像にアーチファクトとして写り込む。410−1〜410−4はレンズホルダ106の戻り光によるアーチファクトを示している。レンズホルダ106は非透光部材でありほぼ表面反射に限定されるため、Z方向の幅を持たないフラット状の形状になる。ただし、レンズホルダ106の表面状態が高反射面であれば、信号強度が高まり、ある程度の幅をもつことも起こり得る。アーチファクト410の3次元的な位置は、XY平面に置いては光学有効径116’の周端部にあり、奥行Z方向においては、レンズホルダ106と参照光の光路長との光路長差から決まる位置にあって、図4においてはZ=0の平面から正方向に下がった位置に示している。参照光の光路長は、信号取得制御部145で制御されるため、アーチファクト410のZ位置は、コヒーレンスゲートステージ125の制御位置で決まる。アーチファクトは一般的に不要光ではあるが、図4で示す3次元画像の視点においては、眼底Erとアーチファクト410−1〜410−4が重なっておらず、眼底Erの診断の上では大きな不都合は生じない。
(アーチファクトと眼底像の重なり)
図5は、3次元画像の視点を変更し、Z軸を基準に45度程度回転した方向から眼底形状を観察した場合である。この状態においては、アーチファクト410−3が眼底Erに重なった状態で表示される。このとき想定される問題は、図5のような観察視点方向によっては眼底Erにアーチファクトが重なってしまうことにより、検者が重要な異常箇所を見落としてしまう可能性がある。また、検者が、眼底Erに重なっているアーチファクトを疾患等と見誤ってしまうことにより、誤診につながる可能性もある。また、検者が、眼底Erの形状観察する際に、アーチファクトが妨げともなり得る。
(アーチファクトの除去)
図6、7および図8を用いて、アーチファクトを除去(低減)する処理を説明する。図6は、眼底ErのB−scan画像をC−scan方向に並べたものである。図6(a)は、除去処理(低減処理)なしのB−scan画像である。611aはC−scan開始位置であり、眼底Er中心の614aにかけて、眼底Erが出現し、一方でアーチファクト410がX方向にシフトしながら消えていく様子を示している。これらB−scan画像をボリュームレンダリング表示したものが図4および図5であり、アーチファクト410と眼底Erの位置関係は対応している。図6(b)は、アーチファクトを除去するために、各B−scan画像にマスク処理を施したものである。ここでのマスク処理とは、画像中の所定の領域のデータ値をゼロにすることである。データ値がゼロであることは、ボリュームレンダリング表示すると透過度(アルファ値)が100%に対応付けられ、データが透明表示となる。ここで重要な点は、C−scan位置によってマスク領域のサイズを変化させている点である。画像611aではアーチファクト410が画像中央寄りにあるため、画像611bにおいてマスクM1のX方向のマスクサイズが大きい。一方、画像613aにおいては、アーチファクト410が画像端にあるため、マスクM3のマスクサイズが小さい。画像614aにおいてはアーチファクトが画像内に写り込んでいないため、マスク処理は実施されない。一方でZ方向については、アーチファクトが発生するX位置においては、レンズホルダ106で入射光が遮られ、眼底Erに測定光が到達しないため、全体をマスク対象としている。これらのマスク処理されたB−scan画像を3次元に再構成することにより、図7に示すようなアーチファクトが除去され、眼底Er全体の観察が可能な3次元画像が得られる。
図8は、アーチファクト除去処理のフローチャートである。まず、ステップS811において、通常のC−scan撮影を行い、ボリュームデータを取得する。次に、ステップS812において、通常のB−scan画像再構成処理を行う。そして、ステップS813において、上述したように、各B−scan画像に対してマスク処理を行う。ここで、装置構成における測定光学系とレンズホルダ106の配置関係からこれらのマスク領域を決定することが出来る。具体的には、ガルバノスキャナ114、すなわちX軸スキャナー114a、Y軸スキャナー114bのアドレス情報と、スキャンレンズ115の焦点距離で決まるレンズホルダ106面上の光線通過座標の関係からマスク領域として求めることが出来る。まず、対物レンズの有効径外領域は、測定光学系における光学部材を保持する非透光部材の内径と、測定光学系におけるスキャンレンズの焦点距離と、測定光を走査する走査手段の走査角度とで決定されてもよい。このとき、スキャンレンズの焦点距離と走査手段の走査角度とを用いることで、対物レンズにおける測定光の照射領域を決定することができる。そして、対物レンズの有効径外領域は、該照射される領域のうち、対物レンズにおける非透光部材の内径の範囲外となる。なお、対物レンズにおける非透光部材の内径の範囲は、対物レンズの有効径内領域である。また、画像に対してマスク処理が行われるマスク領域(上記有効径外領域に相当する範囲)は、対物レンズにおける測定光の照射領域と、対物レンズの焦点距離(またはワーキングディスタンス)と、対物レンズにおける非透光部材の内径とを用いて決定されてもよい。また、画像に対するマスク処理が行われるマスク領域は、前眼部に対する測定光の最大入射角度と、対物レンズにおける非透光部材の内径とを用いて決定されてもよい。なお、XY方向(深さ方向に交差する方向)におけるマスク領域の求め方は、これらに限らず、後述する種々の手法であってもよい。また、上述したように、深さ方向におけるアーチファクトの出現位置は、コヒーレンスゲートの位置等とも関係するため、撮影毎に異なる可能性がある。このため、深さ方向におけるマスク領域は、深さ方向に対しては実質的に全域であってもよい。すなわち、マスク領域は、上述したように決定されたXY方向における範囲を底面とする少なくとも1つの柱状の領域(例えば、撮影領域を示す矩形領域の4つの端点に位置する4つの柱状の領域)であってもよい。このとき、マスク領域は、眼底等の被検眼の撮影範囲における有効径外領域に相当する範囲(3次元範囲または深さ方向を含む2次元範囲)である。そして、このような範囲に含まれる画素の画素値が低減される(例えば、ゼロになる)ように、マスク処理が行われてもよい。
なお、これらの位置関係は、設計情報に基づいてもよい。または、製品固有のバラつきを考慮し、製品出荷時に適当な遮光物体を撮影し、所定の閾値に対する輝度差情報からアーチファクトを検出して製品毎に補正する方法でもよい。すなわち、上記有効径外領域に相当する範囲は、アーチファクトの検出結果を用いて決定されてもよい。この方法により、マスク領域が最小になり、出来るだけ広い画角でOCT撮影が可能になる。具体例として、遮光物体として反射防止材を対物レンズ116付近に配置し、撮影データからバックグラウンドノイズの平均値μおよび標準偏差σを算出し、μ+9×σを閾値とし、これを超える輝度をアーチファクトと認識し、その領域にマスク処理を行う。マスク処理が完了するとステップS814において3次元データを再構成する。そして表示制御部149の制御に基づいてステップS815でレンダリング表示され、アーチファクトが除去(低減)された3次元画像(低減画像)が得られる。
または、ステップS816において、再構成された断層画像に対して、解析処理を行う。予めアーチファクトが除去されているため、通常の解析アルゴリズムを適用することが出来、網膜のセグメンテーション解析や膜厚マップ解析を行う。そして、ステップS817で解析レポート結果を表示する。
上記のように、各B−scan画像に応じた所定のサイズでマスク処理を施すことで、広画角撮影に起因するアーチファクトが適切に除去され、アーチファクトに遮られることなく眼底の3次元観察や解析処理を行うことが出来る。
なお、信号処理部144は、合波光を検出して得た干渉信号を用いて、上記有効径外領域に相当する3次元範囲の強度が低減されている被検眼の画像(低減画像)を生成する生成手段の一例である。このとき、生成手段は、干渉信号を用いて得た3次元断層情報における上記3次元範囲に対してマスク処理を実行してもよい。これにより、生成手段は、マスク処理を実行して得た3次元断層情報を用いて被検眼の2次元断層画像または3次元断層画像を生成することにより、上記低減画像を生成することができる。また、生成手段は、干渉信号を用いて得た3次元断層情報を用いて被検眼の3次元断層画像を生成し、生成された3次元断層画像における3次元範囲に対してマスク処理を実行してもよい。また、信号処理部144は、合波光を検出して得た干渉信号を用いて、上記有効径外領域に相当する2次元範囲であって、被検眼の深さ方向における2次元範囲の強度が低減されている被検眼の画像(低減画像)を生成する生成手段の一例である。このとき、生成手段は、干渉信号を用いて得た3次元断層情報を用いて被検眼の2次元断層画像を生成し、生成された2次元断層画像における2次元範囲に対してマスク処理を実行してもよい。また、生成手段は、干渉信号を用いて得た2次元断層情報における2次元範囲に対してマスク処理を実行してもよい。これにより、生成手段は、マスク処理を実行して得た2次元断層情報を用いて被検眼の2次元断層画像を生成することにより、上記低減画像を生成することができる。
また、上述した生成手段は、上記低減画像に対して解析処理を実行して得た解析結果を生成してもよい。なお、生成手段は、合波光を検出して得た干渉信号を用いて生成された3次元断層情報または2次元断層情報の解析結果であって、該解析結果における上記有効径外領域に相当する範囲に対してマスク処理を実行してもよい。
(実施例2)
本実施例においては、コリメータレンズ112のフォーカス調整によってマスク領域が変化する点が異なる。すなわち、生成手段は、被検眼に対する測定光のフォーカス調整の状態に応じた処理を行うことにより、上記低減画像を生成してもよい。図9は、フォーカス状態の異なる光束とレンズホルダ106のエッジとの関係を示している。測定光のフォーカスは被検眼118の眼底Erに対して制御されるが、同時にレンズホルダ106に対する測定光束の集光の度合いも変化する。図9(a)のように近視眼の眼底Erにフォーカスを合わせる場合、レンズホルダ106面上においてはより集光する。逆に、図9(b)のように遠視眼の場合は発散する。正視眼の場合はその中間である。レンズホルダ106のエッジに対して、光束が集光している場合は大部分の光線が戻り光となるが、光束が発散している場合は、一部の光線が戻り光となるだけで、大部分は眼底Erに到達し、OCT撮影が可能である。同時に戻り光の強度も変化し、近視眼の場合は光束が集光するため強く、遠視眼の場合は光束が発散するため弱い。従って、最小のマスク領域を決定するためにはフォーカス調整の制御の状態を考慮する必要がある。本実施例においては、フォーカスを変化させながら、フォーカス位置毎に閾値判定を行い、マスク領域を設定する。このようにすることにより、フォーカス状態に応じて、出来るだけ広い画角でのOCT撮影が可能になる。さらには、強い戻り光も漏れなく検出することが出来る。
(実施例3)
本実施例においては、マスク処理の対象が3次元データではなく2次元データである点が異なる。OCT撮影においては、クロススキャン、ラジアルスキャン、サークルスキャン等のB−scan断層像の撮影が主に行われる。クロススキャンは、主に黄斑部を中心とした水平方向および垂直方向の断層像を取得する。ラジアルスキャンは、主に黄斑部を中心とした放射状の角度方向の断層像を取得する。サークルスキャンは、主に視神経乳頭を中心とした円周上の断層像を取得する。いずれのスキャン方法も表示部146の眼底二次元画像211上で、検者が位置指定することにより、撮影領域が決定される。
ここで、B−scan断層像を広画角撮影する際には、撮影領域によって、レンズホルダ106によるアーチファクト410が発生し、マスク処理が必要になる場合がある。クロススキャンで、黄斑を眼底二次元画像211の中心に固視誘導した状態で、黄斑中心部を位置指定して撮影する場合においては、水平方向および垂直方向において十分に光学有効径が足りるため、アーチファクト410は生じず、マスク処理の必要はない。一方で、周辺の網膜を観察するために、固視誘導はそのままに、クロススキャンの中心を上下左右いずれかの端部付近に指定した場合は、スキャン範囲の端部がレンズホルダ106にかかり、アーチファクト410が発生する(例:図6(a)の画像613a)。B−scan断層像の場合、視点方向の概念が無いため、アーチファクト410が眼底Erの観察を遮ることは無い。しかしながら、異物として誤認識したり、眼底Erの断層像と近接したりして、解析処理エラーにつながることがある。従って、B−scan断層像においてもマスク処理は必要になる。クロススキャンの中心が指定されると、中心点を基準に水平スキャン領域および垂直スキャン領域が設定される。この両スキャン領域が、実施例1に記載の通り、予め決定されているボリュームスキャンのマスク領域に含まれていれば、当該領域にマスク処理を行い、アーチファクト104を除去すればよい。
ラジアルスキャン、サークルスキャンも同様で、眼底二次元画像211の中心を位置指定した状態でB−scan断層像を取得する場合には、アーチファクト410は発生せず、マスク処理は不要である。一方で、周辺部を位置指定した状態でB−scan断層像を取得する場合には、スキャン範囲の一部がレンズホルダ106にかかり、アーチファクト410が発生する。この場合も、中心点を基準にラジアルスキャンまたはサークルスキャン領域が設定され、この両スキャン領域が、予め決定されているボリュームスキャンのマスク領域に含まれていれば、当該領域にマスク処理を行い、アーチファクト410を除去すればよい。
このように、広画角OCTにおけるB−scan断層像においても、レンズホルダ106によるアーチファクト410に対するマスク処理は有効である。
(実施例4)
本実施例においては、マスク処理は行わず、スキャン範囲の限定でアーチファクト410を発生しないようにする点が異なる。図10は、アーチファクト410の領域を除外したスキャンのフローを説明する図である。アーチファクト410の発生するスキャン範囲は、装置固有のものとして決まるため、指定されたスキャン範囲に当該領域が含まれていた場合には、ステップS1011でガルバノスキャナ114を制御し、当該領域を除外して信号取得すればよい。このようにすることにより、ステップS1012で取得されたC−scanデータにはすでにアーチファクト410が含まれていないため、マスク処理をする必要はない。これをステップS1013で断層像再構成をする際には、除外した領域はゼロ値データで埋めればよい。そしてS1014および3次元再構成を行い、ステップS1015で通常のレンダリング画像表示を行う。または解析処理においても同様にマスク処理が不要で、ステップS1016にて膜厚マップ等の解析処理を行い、ステップS1017で解析結果を表示する。このようにすれば、不要な領域の信号取得およびマスク処理を削減し、処理時間が短縮する利点もある。
(実施例5)
本実施例においては、表示部146でB−scan像212および3次元画像214に対してはマスク処理を行わないが、解析処理に対してのみマスク処理を行う点が異なる。図11は、解析処理に限定したマスク処理のフローを説明する図である。OCT検査においては、膜厚マップ画像213には正確性を重視し、ボリュームレンダリング画像の3次元画像表示214には高速性を重視する場合がある。このような場合においては、ステップS1111のボリュームデータ取得からステップS1114の3次元画像レンダリング表示までは、通常の処理を行う。この場合、マスク処理を行わないため、全体の処理時間を短縮することが出来る。ただし、画像中にアーチファクト410が含まれる可能性があるため、眼底形状全体のおおまかな観察に留めるなどの注意を要する。一方、解析処理においては、解析処理S1116の直前にステップS1115でマスク処理を行い、アーチファクト410を除去した上で、ステップS1116で通常の解析処理を行い、ステップS1117で正確性の高い解析結果を表示すればよい。
(実施例6)
本実施例においては、解析結果表示に対してのみマスク処理を行う点が異なる。図12は、解析結果表示に限定したマスク処理のフローを説明する図である。この例は、3次元画像表示214だけでなく、解析結果表示にも高速性の効果を生む場合である。実施例5と同様にステップS1211のボリュームデータ取得からステップS1214の3次元画像レンダリング表示までは、通常の処理を行う。ステップ1215の解析処理においてはステップS1212で再構成された断層画像に対して通常通りの網膜セグメンテーション解析および膜厚マップ解析を行う。このとき、マスク処理を介さないため、処理時間は短い。一方、断層画像中にはアーチファクト410が含まれ、当該領域においては網膜のセグメンテーションエラーが生じた状態で膜厚マップ解析が行われる可能性がある。そしてステップS1216でマスク処理が行われるが、この場合は、既に解析処理が行われ、XY平面にマッピングされた1枚の膜厚マップ画像に対して行う。そのためマスクデータもXY平面にマッピングされた単一データでよく、3次元データに対してマスク処理を行うのに比較して高速に処理を完了することが出来る。
(実施例7)
本実施例においては、解析処理の対象がOCTA(OCTアンギオグラフィ)である点が異なる。OCTAは、OCT装置を用いた網膜の血管を描出する画像診断であり、2次元または3次元のOCTデータを一定の時間間隔で複数取得し、その差分データ(モーションコントラストデータ)を輝度値として可視化する手法が主に用いられている。血管中の血流には赤血球が移動しており、時間毎に位置や戻り光の強度が異なるため、OCTデータに差が生じ、差分情報が強くなる。一方、他の網膜構造は静止しているため、差分情報は弱い。そのような差分情報の強弱をモーションコントラストデータとして画像化する。ここで、レンズホルダ106は静止した構造であり、これによるアーチファクト401も位置及び戻り光強度が一定であるため、OCTA解析する際には差分情報としては微弱であり、マスク処理の必要性は低い。従って、信号処理部144がOCTA解析処理を実行する場合には、マスク処理は無効とし、無駄な処理を省き、全体の処理の効率化を図ることが出来る。すなわち、生成手段は、合波光を検出して得た干渉信号を用いてモーションコントラストデータに基づく画像を生成する場合には、マスク処理を実行しなくてもよい。
(変形例1)
上述した様々な実施例に適用可能な表示画面(レポート画面)の一例について、図13を用いて説明する。ここで、図13は、XY方向に対する正面視の視点から斜め方向に角度をつけた視点で三次元モーションコントラストデータをボリュームレンダリングしたレンダリング画像1101´の一例を示す。なお、本変形例に係る画像処理装置では、レンダリング部が、被検体の断層の情報を含む三次元の断層データの少なくとも一部をボリュームレンダリングすることで断層データに基づくレンダリング画像を生成する。このとき、レンダリング画像1101´を表示する際に、不図示のレンダリング部は、決定された視点に基づいてレンダリング画像1101´を生成する。
まず、表示画面800には、ビューモードのタブ823、824が設けられている。タブ823は、検者からの指示に応じて、ボリュームデータの深度範囲の少なくとも一部を用いて生成された正面画面や、不図示の範囲選択部による深度範囲の選択等に関する表示を行うための表示画面の表示を実行(表示に変更)させるための選択部の一例である。また、タブ824では、図13で示す表示画面の表示(表示への変更)が実行される。
タブ824には、レンダリング画像を表示する領域1100、レンダリング画像1101´、オリエンテーションキューブ(Orientation Cube)1102が示されている。ここで、オリエンテーションキューブ1102は、ボリュームレンダリングの視点に対応するレンダリングデータ(レンダリング画像)の姿勢を示している。オリエンテーションキューブ1102のそれぞれの面には、T,S,N,I,A,Pを一文字ずつ表示している。これらはそれぞれ、Temporal、Superior、Nasal、Inferior、Anterior、Posteriorを意味しており、それぞれの姿勢に対応する。検者はオリエンテーションキューブ1102を確認することにより、レンダリングデータの姿勢を把握することができる。なお、検者が領域1100においてマウスをドラッグしたり、マウスホイールを回転させたりすることで、ボリュームレンダリングの視点方向や画像の表示倍率を変更できるように、UIが構成されることができる。また、視点方向や表示倍率の変更用のボタン等が設けられてもよい。また、タブ824には、ラジオボタン1110、1118、スライダー1111,1112、リセットボタン1113、層の種類1114、チェックボックス1115,1116、及びチェックボックスの全選択のボタン1117が示されている。ラジオボタン1110は、ボリュームレンダリングを行うモードを選択するために用いられる。図13に示すように、モーションコントラストデータのレンダリング画像1101´を表示する際には、ラジオボタン1110において、表示モードとしてAngiographyを選択する。本変形例では、Angiographyが選択された場合の初期画像として、不図示の視点決定部がXY面方向に対して斜め方向に角度をつけた所定の視点でボリュームレンダリングを行ったレンダリング画像1101´を表示する。
スライダー1111、1112は、表示されるレンダリング画像の輝度とコントラストを調整するためのスライダーである。また、リセットボタン1113は調整した値をデフォルトの値にリセットするためのボタンを示している。層の種類1114は、チェックボックス1115、1116で選択される層の種類を示している。チェックボックス1115、1116は、層の可視化の選択とPeeling選択のチェックボックスを表している。また、ボタン1117は、チェックボックス1115、1116を全て選択するボタンである。なお、図示しないが、別途、チェックボックス1115、1116の選択を全て解除するボタンがあってもよい。また、ボタン1117にチェックボックス1115,1116の選択を全て解除する機能を追加してもよい。範囲選択部は、チェックボックス1115の選択に応じてボリュームレンダリングに用いるデータ範囲についての検者からの指定を取得してもよい。また、範囲選択部がチェックボックス1115の選択とは独立してデータ範囲の指定を取得してもよい。この場合には、チェックボックス1115の選択に対応するデータを他の手法により、可視化したり、非表示したりしてもよい。なお、本変形例では、Angiographyが選択された場合の初期画像として、範囲選択部が三次元モーションコントラストデータの全てをデータ範囲として選択してボリュームレンダリングを行ったレンダリング画像1101´を表示する。ラジオボタン1118は、表示される画像についての投影方法を選択するために用いられる。ラジオボタン1118を用いることで、レイキャスティング法等のボリュームレンダリングによる投影や最大値投影(MIP)法を選択することができる。ラジオボタン1118において、最大値投影法が選択された場合には、三次元データについて最大値投影を行った不図示の画像が領域1100に表示される。
なお、本変形例においては、投影方法に関して2種類の選択肢を示しているが、投影方法の種類はこれに限らない。ここで、前述のように、最大値投影法により投影されたOCTA画像では、血管の交差部の深さ方向の位置関係を把握しづらい。そのため、タブ824においてAngiographyの表示モードの場合の投影方法としては、最大値投影法以外の方法で表示することが好ましい。ただし、比較的大きなOCTA画像を確認することが所望される場合等に応じて、Angiographyの表示モードにおいて、最大値投影法が選択されてもよい。また、ラスタースキャンによって取得された三次元断層データをボリュームレンダリングしたレンダリング画像1101´には、ピーリングコントロール(Peeling Control)1103が重畳されている。検者はピーリングコントロール1103を操作することで、チェックボックス1116で選択されている層だけをボリュームデータから剥きとる(Peeling)することができる。なお、図13では、斜め方向に角度を設定した場合のオリエンテーションキューブ1102’も示されており、検者はオリエンテーションキューブ1102’を確認することで、視点の角度を確認することができる。
ここで、本変形例における表示画面では、Angiographyが選択された場合について説明したが、通常のOCTのボリュームレンダリング画像の表示であってもよい。また、本変形例における表示画面では、通常画角における3D撮影で得たボリュームレンダリング画像の表示について説明したが、広画角における3D撮影で得たボリュームレンダリング画像の表示であってもよい。このとき、本変形例における表示画面では、上述した様々な実施例におけるアーチファクトの低減処理(マスク処理)が適用されたボリュームレンダリング画像の表示であってもよい。また、検者からの指示に応じて、アーチファクトの低減処理の適用・非適用のボリュームレンダリング画像の表示を変更可能に構成されてもよい。また、第一の画角の一例である通常画角と、第一の画角よりも広画角である第二の画角とが変更可能に構成されてもよい。このとき、第一の画角で得た画像には上記低減処理が非適用であるが、一方、第二の画角で得た画像には上記低減処理が適用されるように構成されてもよい。また、画角の変更は、対物レンズの交換、測定光路における変倍光学系の挿脱、複数の変倍光学系の択一的な挿入、変倍光学系の光路上での移動等の構成で実行されてもよい。また、画角の変更は、検者からの指示に応じて、第一の画角による撮影モードと、第二の画角による撮影モードとを含む複数の撮影モードのいずれかの選択をトリガーとして(自動的に)実行されてもよい。なお、上述した各種構成については、本変形例に限らず、後述する様々な変形例についても同様に適用することが可能である。
(変形例2)
上述した様々な実施例及び変形例において、複数の医用画像(例えば、複数の種類の医用画像)の少なくとも1つを入力データとし、ボリュームレンダリングの視点に関する情報(視点の角度、視線方向等)を正解データ(教師データ)とする学習データを学習して得た学習済モデル(後述)が用いられるように構成されてもよい。このとき、学習済モデルを用いて、撮影して得た少なくとも1つの医用画像(例えば、少なくとも1つの種類の医用画像)からボリュームレンダリングの初期視点に関する情報を生成することができる。これにより、ボリュームレンダリングの表示画面が表示されると、決定された初期視点に関する情報を用いて生成されたボリュームレンダリング画像がデフォルト表示されるように構成させることができる。このため、医用画像によって診断したい注目部位等に応じた初期表示ができるため、検者の利便性が向上する。なお、視点は、検者からの指示に応じて、初期視点から変更可能に構成されてもよい。また、学習時及び推定時(予測時)の入力データは、共通の種類の画像であればよく、例えば、断層撮影して得た3次元画像、少なくとも1つのBスキャン画像、各種の正面画像等の複数の種類の画像の少なくとも1つであれば何でもよい。また、学習時の入力データとしては、医用画像だけでなく、撮影モード等の撮影条件が含まれていてもよい。この場合には、推定時(予測時)の入力データとしても、撮影条件が含まれることが好ましい。また、学習時の正解データとしては、表示されるレンダリング画像の輝度またはコントラストの初期値、表示される層の種類の初期設定が含まれていてもよい。この場合には、推定時(予測時)の生成データとしても、これらの初期値や初期設定が含まれていてもよい。もちろん、これらの設定についても、検者からの指示に応じて、初期値や初期設定から変更可能に構成されてもよい。
また、検者からの指示に応じて、現在表示されているボリュームレンダリングの視点に関する情報を、医用画像と関連付けて学習データとして保存するための指示ボタン等があってもよい。また、ボリュームレンダリングの表示画面から別の表示画面に変更された場合に、最後に表示されていたボリュームレンダリングの視点に関する情報を、医用画像と関連付けて学習データとして保持するように構成されてもよい。また、このような学習データが、ネットワークを介して、病院や研究所等の外部施設のサーバ(学習用サーバ)等に送信可能に構成されてもよい。そして、学習済モデルは、保存された学習データを用いて追加学習が行われるように構成されてもよい。これにより、より検者に適した学習済モデルを生成することができる。
(変形例3)
上述した様々な実施例及び変形例におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル(解析結果生成エンジン、解析結果生成用の学習済モデル)を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のEn−Face画像に対応し、モーションコントラスト正面画像はOCTAのEn−Face画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理(例えば、位置合わせして得た複数の第一の画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値(例えば、平均値や中央値等)、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果(例えば、カーティン分類)を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報(例えば、割合を示す数値)が表示されてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル(診断結果生成エンジン、診断結果生成用の学習済モデル)を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見(読影所見等)、診断名の根拠(肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例におけるレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果(物体検出結果)やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け(アノテーション)した学習データを学習して得た学習済モデルを用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元OCT画像(三次元断層画像)と眼底の視神経乳頭のサークルスキャン(又はラスタースキャン)断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも1つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも1つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。また、学習には、バックプロパゲーション(誤差逆伝搬法)に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルであれば何でもよい。
また、高画質化エンジン(高画質化用の学習済モデル)は、高画質化エンジンにより生成された少なくとも1つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。また、正解データの生成には、ラベル付け(アノテーション)等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け(アノテーション)して得た正解データを(順次)追加学習することにより得られたものであってもよい。
(変形例4)
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶(保存)された動画像であってもよい。このとき、例えば、記憶部に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、XZ方向の断層画像(Bスキャン像)である。そして、選択された基準フレームに対して他のフレームがXZ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも1つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像(高画質フレーム)を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、X方向の位置合わせの手法とZ方向(深度方向)の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像(Bスキャン像)をセグメンテーション処理して得た網膜層境界を用いた(Z方向の粗い)位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報(類似度)を用いた(X方向やZ方向の精密な)位置合わせ、断層画像(Bスキャン像)毎に生成した1次元投影像を用いた(X方向の)位置合わせ、2次元正面画像を用いた(X方向の)位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質動画像の表示(高画質フレームの連続表示)を自動的に開始するように構成してもよい。また、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態(アクティブ状態)に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た1つの高画質化用の学習済モデルが用いられてもよい。
(変形例5)
上述した様々な実施例及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け(アノテーション)されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時(予測時)の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報(例えば、割合を示す数値)と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理(例えば、位置合わせして得た複数の低画質画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれても良い。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部143は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部143は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部143のCPUやMPU等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
(変形例6)
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、モニタ上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、モニタ周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ(波形データ)等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるRNNに関して、図14(a)及び(b)を参照して説明する。また、RNNの一種であるLong short−term memory(以下、LSTM)に関して、図15(a)及び(b)を参照して説明する。
図14(a)は、機械学習モデルであるRNNの構造を示す。RNN3520は、ネットワークにループ構造を持ち、時刻tにおいてデータx3510を入力し、データh3530を出力する。RNN3520はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図14(b)には時刻tにおけるパラメータベクトルの入出力の一例を示す。データx3510にはN個(Params1〜ParamsN)のデータが含まれる。また、RNN3520より出力されるデータh3530には入力データに対応するN個(Params1〜ParamsN)のデータが含まれる。
しかし、RNNでは誤差逆伝搬時に長期時間の情報を扱うことができないため、LSTMが用いられることがある。LSTMは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図15(a)にLSTMの構造を示す。LSTM3540において、ネットワークが次の時刻tに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ct−1と出力データht−1である。なお、図の小文字(c、h、x)はベクトルを表している。
次に、図15(b)にLSTM3540の詳細を示す。図15(b)において、FGは忘却ゲートネットワーク、IGは入力ゲートネットワーク、OGは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が0から1の値となるベクトルを出力する。忘却ゲートネットワークFGは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークIGはどの値を更新するかを判定するものである。CUは、セル更新候補ネットワークであり、活性化関数tanh層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークOGは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したLSTMのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。LSTMではなく、QRNN(Quasi Recurrent Neural Network)を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術(例えば、Sequence toSequence)が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン(対話モデル、対話用の学習済モデル)が適用されてもよい。
(変形例7)
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、検者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて記憶部に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ1つの画像としてレポート画面が記憶部に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報(例えば、文字)を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域(例えば、画像の端)であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態(高画質化処理がオン)となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時(例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合)に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに(自動的に)送信されるように構成されてもよい。このとき、デフォルト設定における各種設定(例えば、レポート画面の初期表示画面におけるEn−Face画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも1つに関する設定)に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
(変形例8)
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)を用いて、第1の種類の学習済モデルに入力した画像から、第1の種類とは異なる第2の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第2の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第2の種類の学習済モデルに入力して得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)の精度を向上することができる。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似画像検索エンジン(類似画像検査モデル、類似画像検索用の学習済モデル)が用いられてもよい。
(変形例9)
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、光干渉断層取得部(OCT撮影部)100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、OCT撮影部100の構成は、上記の構成に限られず、OCT撮影部100に含まれる構成の一部をOCT撮影部100と別体の構成としてもよい。
また、上記実施例及び変形例では、OCT撮影部100の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、OCT装置1の干渉光学系はマイケルソン干渉計の構成を有していてもよい。
さらに、上記実施例及び変形例では、OCT装置として、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS−OCT)装置について述べたが、本発明によるOCT装置の構成はこれに限られない。例えば、SLDを光源として用いたスペクトラルドメインOCT(SD−OCT)装置等の他の任意の種類のOCT装置にも本発明を適用することができる。また、ライン光を用いたLine−OCT装置に対して本発明を適用することもできる。
また、上記実施例及び変形例では、制御部143は、OCT撮影部100で取得された干渉信号や画像処理部で生成された三次元断層画像等を取得した。しかしながら、制御部143がこれらの信号や画像を取得する構成はこれに限られない。例えば、制御部143は、LAN、WAN、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理装置である制御部143に設けられることができる。学習済モデルは、例えば、CPU等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部143と接続される別のサーバ等に設けられてもよい。この場合には、制御部143は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。
(変形例10)
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者(被検体)の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(三次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn−Face画像を含む。En−Face画像は、三次元のOCTAデータ(三次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn−Face画像(モーションコントラスト正面画像)でもよい。また、三次元のOCTデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS−SLO)装置や偏光OCT(PS−OCT)装置等を含んでよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能(例えば制御・処理部160の機能)を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

Claims (21)

  1. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
    前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する3次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
    を有する、眼科撮影装置。
  2. 前記生成手段は、前記干渉信号を用いて得た3次元断層情報における前記3次元範囲に対してマスク処理を実行し、前記マスク処理を実行して得た3次元断層情報を用いて前記被検眼の2次元断層画像または3次元断層画像を生成することにより、前記低減されている前記被検眼の画像を生成する、請求項1に記載の眼科撮影装置。
  3. 前記生成手段は、前記干渉信号を用いて得た3次元断層情報を用いて前記被検眼の3次元断層画像を生成し、前記生成された3次元断層画像における前記3次元範囲に対してマスク処理を実行することにより、前記低減されている前記被検眼の画像を生成する、請求項1に記載の眼科撮影装置。
  4. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
    前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する2次元範囲であって、前記被検眼の深さ方向における前記2次元範囲の強度が低減されている前記被検眼の画像を生成する生成手段と、
    を有する、眼科撮影装置。
  5. 前記生成手段は、前記干渉信号を用いて得た3次元断層情報を用いて前記被検眼の2次元断層画像を生成し、前記生成された2次元断層画像における前記2次元範囲に対してマスク処理を実行することにより、前記低減されている前記被検眼の画像を生成する、請求項4に記載の眼科撮影装置。
  6. 前記生成手段は、前記干渉信号を用いて得た2次元断層情報における前記2次元範囲に対してマスク処理を実行し、前記マスク処理を実行して得た2次元断層情報を用いて前記被検眼の2次元断層画像を生成することにより、前記低減されている前記被検眼の画像を生成する、請求項4に記載の眼科撮影装置。
  7. 前記生成手段は、前記低減されている画像に対して解析処理を実行して得た解析結果を生成する、請求項1乃至6のいずれか1項に記載の眼科撮影装置。
  8. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する検出手段と、
    前記合波光を検出して得た干渉信号を用いて3次元断層情報または2次元断層情報を生成し、前記生成された3次元断層情報または前記生成された2次元断層情報に対して解析処理を実行して得た解析結果であって、該解析結果における前記有効径外領域に相当する範囲に対してマスク処理を実行することにより、前記マスク処理が実行されている前記被検眼の画像を生成する生成手段と、
    を有する、眼科撮影装置。
  9. 前記有効径外領域に相当する範囲は、前記光学部材を保持する非透光部材の内径と、前記測定光学系におけるスキャンレンズの焦点距離と、前記測定光を走査する走査手段の走査角度とを用いて決定される、請求項1乃至8のいずれか1項に記載の眼科撮影装置。
  10. 前記有効径外領域に相当する範囲は、前記光学部材である対物レンズにおける前記測定光の照射領域と、前記対物レンズの焦点距離と、前記対物レンズを保持する非透光部材の内径とを用いて決定される、請求項1乃至9のいずれか1項に記載の眼科撮影装置。
  11. 前記有効径外領域に相当する範囲は、前記被検眼の前眼部に対する前記測定光の最大入射角度と、前記光学部材である対物レンズを保持する非透光部材の内径とを用いて決定される、請求項1乃至10のいずれか1項に記載の眼科撮影装置。
  12. 前記有効径外領域に相当する範囲は、アーチファクトの検出結果を用いて決定される、請求項1乃至11のいずれか1項に記載の眼科撮影装置。
  13. 前記生成手段は、前記被検眼に対する前記測定光のフォーカス調整の状態に応じた処理を行うことにより、前記被検眼の画像を生成する、請求項1乃至12のいずれか1項に記載の眼科撮影装置。
  14. 前記生成手段は、前記合波光を検出して得た干渉信号を用いてモーションコントラストデータに基づく画像を生成する場合には、前記マスク処理を実行しない、請求項1乃至13のいずれか1項に記載の眼科撮影装置。
  15. 前記マスク処理は、前記有効径外領域に相当する範囲に含まれる画素の画素値が低減されることにより実行される、請求項1乃至14のいずれか1項に記載の眼科撮影装置。
  16. 前記生成された画像を表示手段に表示させる表示制御手段を更に有する、請求項1乃至15のいずれか1項に記載の眼科撮影装置。
  17. 複数の画像の少なくとも1つを入力データとし、ボリュームレンダリングの視点に関する情報を正解データとする学習データを学習して得た学習済モデルを用いて、前記断層撮影して得た複数の画像の少なくとも1つから、ボリュームレンダリングの初期視点に関する情報が生成されるように構成され、
    前記表示制御手段は、前記生成された初期視点に関する情報を用いて、ボリュームレンダリング画像を前記表示手段に表示させる、請求項16に記載の眼科撮影装置。
  18. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
    前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する3次元範囲の強度が低減されている前記被検眼の画像を生成する工程と、
    を有する、眼科撮影装置の制御方法。
  19. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
    前記合波光を検出して得た干渉信号を用いて、前記有効径外領域に相当する2次元範囲であって、前記被検眼の深さ方向における前記2次元範囲の強度が低減されている前記被検眼の画像を生成する工程と、
    を有する、眼科撮影装置の制御方法。
  20. 光干渉を用いて被検眼の断層撮影を行う眼科撮影装置の制御方法であって、
    測定光学系における光学部材の有効径外領域を含む撮影領域に対して測定光が照射された前記被検眼からの戻り光と参照光とを合波して得た合波光を検出する工程と、
    前記合波光を検出して得た干渉信号を用いて3次元断層情報または2次元断層情報を生成し、前記生成された3次元断層情報または前記生成された2次元断層情報に対して解析処理を実行して得た解析結果であって、該解析結果における前記有効径外領域に相当する範囲に対してマスク処理を実行することにより、前記マスク処理が実行されている前記被検眼の画像を生成する工程と、
    を有する、眼科撮影装置の制御方法。
  21. 請求項18乃至20のいずれか1項に記載の眼科撮影装置の制御方法をコンピュータに実行させるプログラム。
JP2019078890A 2019-04-17 2019-04-17 眼科撮影装置及びその制御方法 Pending JP2020174862A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019078890A JP2020174862A (ja) 2019-04-17 2019-04-17 眼科撮影装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019078890A JP2020174862A (ja) 2019-04-17 2019-04-17 眼科撮影装置及びその制御方法

Publications (1)

Publication Number Publication Date
JP2020174862A true JP2020174862A (ja) 2020-10-29

Family

ID=72935622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019078890A Pending JP2020174862A (ja) 2019-04-17 2019-04-17 眼科撮影装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP2020174862A (ja)

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20210041046A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2020183791A1 (ja) 画像処理装置および画像処理方法
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021037239A (ja) 領域分類方法
JP2019054992A (ja) 眼科装置及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7254682B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2022132898A (ja) 眼科データ処理方法、眼科データ処理装置、その制御方法、眼科検査装置、その制御方法、プログラム、及び記録媒体
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020174862A (ja) 眼科撮影装置及びその制御方法
JP2020031873A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP7488934B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7446730B2 (ja) 画像処理装置、画像処理方法及びプログラム