JP2020146433A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2020146433A
JP2020146433A JP2019133788A JP2019133788A JP2020146433A JP 2020146433 A JP2020146433 A JP 2020146433A JP 2019133788 A JP2019133788 A JP 2019133788A JP 2019133788 A JP2019133788 A JP 2019133788A JP 2020146433 A JP2020146433 A JP 2020146433A
Authority
JP
Japan
Prior art keywords
image
motion contrast
dimensional
image processing
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019133788A
Other languages
English (en)
Other versions
JP7446730B2 (ja
JP2020146433A5 (ja
Inventor
裕之 今村
Hiroyuki Imamura
裕之 今村
弘樹 内田
Hiroki Uchida
弘樹 内田
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2019/034685 priority Critical patent/WO2020054524A1/ja
Publication of JP2020146433A publication Critical patent/JP2020146433A/ja
Publication of JP2020146433A5 publication Critical patent/JP2020146433A5/ja
Application granted granted Critical
Publication of JP7446730B2 publication Critical patent/JP7446730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 被検眼の画像におけるアーチファクトを低減する。【解決手段】 画像処理装置は、被検眼の3次元断層画像または3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を2次元の変換処理を実行して得た第1の概略値分布と、少なくとも1つの正面画像を1次元の変換処理を実行して得た第2の概略値分布との演算により、補正係数の値の分布を取得する取得手段と、補正係数の値の分布を用いて、3次元断層画像または3次元モーションコントラスト画像の少なくとも一部を補正する補正手段と、補正された少なくとも一部の画像を生成する生成手段と、を備える。【選択図】 図8

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
光干渉断層計(OCT;Optical Coherence Tomography)などの断層画像撮影装置を用いると、被検眼内部の状態を三次元的に観察できる。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから眼科診療に広く用いられている。OCTの形態として、例えば広帯域な光源とマイケルソン干渉計を組み合わせたTD−OCT(Time domain OCT)がある。これは、参照ミラーの位置を一定速度で移動させて信号アームで取得した後方散乱光との干渉光を計測し、深度方向の反射光強度分布を得るように構成されている。しかし、このようなTD−OCTでは機械的な走査が必要となるため高速な画像取得は難しい。そこで、より高速な画像取得法として広帯域光源を用い、分光器で干渉信号を取得するSD−OCT(Spectral domain OCT)や高速波長掃引光源を用いることで時間的に分光するSS−OCT(Swept Source OCT)が開発され、より広画角な断層画像を取得できるようになっている。
被検眼の血管に関する病態を把握するためにOCTを用いて非侵襲に眼底血管を3次元で描出するOCT Angiography(以下、OCTAと表記)技術が用いられる。OCTAでは測定光で同一位置を複数回走査し、赤血球の変位と測定光との相互作用により得られるモーションコントラストを画像化する。図4(a)は速軸方向が水平(x軸)方向で、遅軸方向(y軸方向)の各位置(yi;1≦i≦n)においてr回連続でBスキャンを行うOCTA撮影の例を示している。なおOCTA撮像において同一位置で複数回走査することをクラスタ走査、同一位置で得られた複数枚の断層画像のことをクラスタと呼び、クラスタ単位でモーションコントラスト画像が生成される。
特許文献1には、OCTA画像(血管領域が強調されたen−face画像)において、固視ずれに起因してX方向(速軸方向)に延びる白線の帯状アーチファクトを抑制するために、輝度値をX方向に積算することによりY方向(遅軸方向)に沿った1次元輝度プロファイルと、該1次元輝度プロファイルを平滑化した平滑化1次元輝度プロファイルとの比または差に基づいて、断層画像に対して輝度補正する方法が開示されている。すなわち、特許文献1には、OCTA画像において速軸方向に沿って全域に存在する帯状アーチファクトを抑制する技術について開示されている。
特開2018−15189号公報
しかしながら、従来の手法では、速軸方向に沿って部分的に存在する帯状アーチファクトを低減することはできない。また、速軸方向に沿って存在する血管領域等の輝度値を過補正もしくは誤抑制してしまう可能性があった。
本発明は上記課題に鑑みてなされたものであり、被検眼の画像におけるアーチファクトを低減することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の一つとして位置付けることができる。
本発明の目的を達成するために、例えば本発明の画像処理装置の一つは、被検眼の3次元断層画像または3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を2次元の変換処理を実行して得た第1の概略値分布と、前記少なくとも1つの正面画像を1次元の変換処理を実行して得た第2の概略値分布との演算により、補正係数の値の分布を取得する取得手段と、
前記補正係数の値の分布を用いて、前記3次元断層画像または前記3次元モーションコントラスト画像の少なくとも一部を補正する補正手段と、
前記補正された少なくとも一部の画像を生成する生成手段と、を備える。
本発明の一つによれば、被検眼の画像におけるアーチファクトを低減することができる。
本発明の第一実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施形態に係る画像処理システムや、該画像処理システムを構成する断層画像撮影装置に含まれる測定光学系を説明する図である。 本発明の第一実施形態に係る画像処理システムが実行可能な処理のフローチャートである。 本発明の実施形態におけるOCTA撮影の走査方法や、OCT断層画像及びOCTA画像上に生じる輝度段差アーチファクトを説明する図である。 本発明の第一実施形態のS303及びS304で実行される処理を説明する図である。 本発明の第一実施形態のS303で実行される処理を説明する図である。 本発明の第一実施形態において実行される画像処理内容を説明する図である。 本発明の第一実施形態において実行される画像処理の効果について説明する図である。 本発明の第二実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第二実施形態に係る画像処理システムが実行可能な処理のフローチャートである。 本発明の第二実施形態において実行される画像処理内容を説明する図である。 本発明の第二実施形態において実行される画像処理の効果について説明する図である。 本発明の第二実施形態のS1007において表示手段に表示するレポート画面を説明する図である。 本発明の第三実施形態における確認画面を説明する図である。 本発明の第三実施形態における確認画面に表示される正面モーションコントラスト画像を説明する図である。 本発明の第四実施形態のS1003で実行される処理を説明する図である。 本発明の第四実施形態において実行される画像処理内容を説明する図である。 本発明の第四実施形態において実行される画像処理の効果について説明する図である。
[第1の実施形態]
本実施形態に係る画像処理装置は、OCTを用いて撮影した被検眼の断層画像の遅軸方向に生じた様々な輝度段差アーチファクトをロバストに抑制するために、以下の画像補正処理を行う。すなわち、断層画像の網膜表層と網膜外層間の輝度減衰率に基づいて血管候補領域の分布情報を生成する。次に、高次元平滑化断層画像の輝度値に対して、該血管候補領域に対して重み付けした低次元(速軸方向のみ)平滑化断層画像の輝度値を除算することにより、輝度補正係数値分布を生成する。さらに、断層画像の各画素に対して輝度補正係数値を乗算することで、断層画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する場合について説明する。ここで、遅軸方向に生じた輝度段差アーチファクトとは、例えば、固視ずれに起因してX方向(速軸方向)に延びる帯状アーチファクトのことである。なお、速軸方向は、例えば、3次元断層画像を取得する際に使用される測定光の主走査の軸方向のことである。
また、本実施形態で補正対象とする被検眼の断層画像の遅軸方向に生じた輝度段差の例について説明する。OCT断層画像の撮影中に被検眼の固視ずれが生じた場合には再走査が行われる。例えば、長時間にわたる撮影などでは、被検眼の睫毛や瞳孔の位置が初回走査時と再走査時とで異なる等の理由で再走査した領域の輝度が低くなり、図4(b)の白矢印で示すような帯状の低輝度な段差が生じやすい。なお、図4(b)において横方向が速軸方向、縦方向が遅軸方向である。また、帯状の輝度段差アーチファクトが画像の速軸方向の全域に生じるとは限らず、以下に示すようなケースにおいて速軸方向の一部に限局した帯状の輝度段差アーチファクトが生じるという課題がある。すなわち、再走査時に硝子体混濁を含む領域が走査され、影領域が生じた場合に断層画像上の再走査した領域内に速軸方向の一部に限局した帯状の低輝度段差が生じることがある(図4(e)の白矢印で示した低輝度段差)。
以下、図面を参照しながら、本発明の第1実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。
断層画像撮影装置100は、被検眼の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD−OCTを用いるものとする。これに限らず、例えばSS−OCTを用いて構成しても良い。
図2(a)において、測定光学系100−1は前眼部像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。
画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近の波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。なお、本実施形態では、X方向(速軸方向)が、Xスキャナが測定光を被検眼の眼底上で走査する方向のことであり、また、Y方向(遅軸方向)が、Yスキャナが測定光を眼底上で走査する方向のことである。ただし、本実施形態のようにラスタスキャンではない場合には(例えば、サークルスキャン、ラジアルスキャン)、この限りではない。
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
光カプラー219によって、測定光と参照光は合波され干渉光となる。
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101−01、記憶部101−02、撮影制御部101−03、画像処理部101−04、表示制御部101−05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05を実現するソフトウェアモジュールを実行することで機能を実現する。本発明はこれに限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
画像取得部101−01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101−01は断層画像生成部101―11を有する。断層画像生成部101―11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。
撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
画像処理部101−04は、位置合わせ部101−41、画像特徴取得部101−42、投影部101−43、補正部101−44を有する。先に述べた画像取得部101−01は、本発明に係る第1の取得手段の一例である。画像特徴取得部101−42は断層画像から網膜や脈絡膜の層境界、血管候補領域、中心窩や視神経乳頭中心の位置を取得する。投影部101−43は画像特徴取得部101−42が取得した層境界の位置に基づく深度範囲で画像投影し、正面画像を生成する。補正部101−44は変換部101−441と重みづけ部101−442、演算部101−443を有する。補正部101−44は高次元平滑化断層画像と、血管候補領域の輝度を重み付けした断層画像を速軸方向に平滑化した低次元平滑化画像との演算処理により算出した輝度補正係数を用いて断層画像の遅軸方向に生じた輝度段差を抑制する処理を行う。変換部101−441は、高次元の概略輝度値分布を生成する高次元変換部101−4411と、低次元の概略輝度値分布を生成する低次元変換部101−4412とを備える。重み付け部101−442は、血管取得部101−421が取得した血管候補領域の分布情報に基づいて断層画像の輝度値を重み付けする。演算部101−443は、高次元変換部101−4411が生成した高次元平滑化画像と、低次元変換部101−4412が生成した低次元平滑化画像とを演算することで輝度補正係数値分布を算出する。
外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した断層画像及びSLO画像や撮影パラメータ、該画像を処理して得られた画像、血管候補領域の分布データ、輝度補正係数値分布、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像(3次元断層画像)の撮影条件を設定する。
具体的には
1)スキャンモードの選択
2)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してOCT撮影を実行する。
1)Macula 3Dスキャンモードを選択
2)以下の撮影パラメータを設定
2−1)走査領域サイズ:10x10mm
2−2)主走査方向:水平方向
2−3)走査間隔:0.01mm
2−4)固視灯位置:中心窩と視神経乳頭との中間
2−5)同一撮影位置でのBスキャン数:1
2−6)コヒーレンスゲート位置:硝子体側
次に、操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、上記設定した撮影条件によるOCT断層画像の撮影を開始する。
撮影制御部101−03は断層画像撮影装置100に対して上記設定に基づいてOCT撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。なお、本実施形態では同一走査位置における断層画像の撮像回数を1回(繰り返さない)とする。これに限らず、同一走査位置における撮像回数は任意の回数に設定してよい。
<ステップ302>
画像取得部101−01及び画像処理部101−04は、S301で取得された断層画像を再構成する。
まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで断層画像を生成する。次に位置合わせ部101−41はBスキャン断層画像間の位置合わせを行う。
さらに、画像特徴取得部101−42が断層画像から網膜及び脈絡膜の層境界、篩状板部の前面・後面の境界(非図示)を取得する。本実施形態では、図6(a)に示すように層境界として内境界膜1、神経線維層‐神経節細胞層境界2、神経節細胞層‐内網状層境界3、視細胞内節外節接合部4、網膜色素上皮5、ブルッフ膜6、脈絡膜−強膜境界7を取得する。また検出したブルッフ膜6の端部(ブルッフ膜開口端部)を視神経乳頭部のDisc境界として特定する。本実施形態では網膜及び脈絡膜の層境界及び篩状板部の前面・後面境界の取得法として可変形状モデルを用いるが、任意の公知のセグメンテーション手法を用いてよい。また取得する層境界は上記に限らない。例えば網膜の内網状層−内顆粒層境界、内顆粒層−外網状層境界、外網状層‐外顆粒層境界、外境界膜、視細胞外節先端(COST)を任意の公知のセグメンテーション法により取得してもよい。あるいは、脈絡膜の脈絡膜毛細血管板‐Sattler層境界、Sattler層‐Haller層境界を任意の公知のセグメンテーション法により取得する場合も本発明に含まれる。また、篩状板部の前面・後面境界は手動で設定してもよい。例えば、特定の層境界(例えば内境界膜1)の位置を所定量だけ動かすことにより手動で設定できる。
なお、層境界及び篩状板の前面・後面境界の取得処理は本ステップでなくS303の血管候補領域取得時に実施してもよい。
<ステップ303>
血管取得部101−421は、異なる所定の深度範囲間の輝度統計値を比較した結果に基づいて血管候補領域の分布に関する情報を生成する。
血管領域は図6(a)の601に示すように存在する深度範囲(層の種類)がおおよそ決まっており、かつ該領域下に影602が生じやすいという特徴がある。一方、断層画像の再走査領域上に生じる輝度段差アーチファクトや、硝子体混濁などの場合は、図6(a)の603に示すようにほとんどの深度範囲にわたって低輝度になりやすい。
そこで、本実施形態では「血管が存在する可能性の高い深度範囲(網膜表層)」と「影による輝度低下が最も顕著に現れる深度範囲(網膜外層)」における輝度の相違度(差もしくは比率)に基づいて血管候補領域を特定する。
血管候補領域マップ生成処理の詳細はS501〜S506で説明する。なお、マップとは、被検眼の深度方向に交差する面内方向の分布情報の一例である。
<ステップ304>
重み付け部101−442は、S303で血管取得部101−421が生成した血管候補領域の分布に関する情報を用いて断層画像の血管候補領域における輝度値を重み付けした重み付き断層画像を生成する。次に、高次元変換部101−4411が高次元平滑化断層画像を生成し、低次元変換部101−4412が該重み付き断層画像に対して速軸方向に平滑化処理を行った低次元平滑化断層画像を生成する。さらに演算部101−443が該高次元平滑化断層画像と該低次元平滑化断層画像との演算処理により断層画像用の輝度補正係数マップを生成する。
輝度補正係数マップ生成処理の詳細はS511〜S516で説明する。
<ステップ305>
補正部101−44は、断層画像の各画素に対してS304で算出した輝度補正係数値を乗算することにより、輝度段差補正済の断層画像を生成する。なお、輝度補正係数の適用方法は乗算に限定されるものではなく、任意の公知の演算方法を適用してよい。例えば加算、減算、除算のいずれかを適用してもよい。また、輝度補正係数値を用いて3次元断層画像の少なくとも一部が補正されれば良い。このとき、3次元断層画像の少なくとも一部には、Cスキャン画像等も含まれる。
<ステップ306>
表示制御部101−05は、S305で生成した輝度補正済の断層画像を表示部104に表示する。また、操作者が入力部103を用いて表示部104に表示された非図示のボタンもしくはショートカットメニューを選択することで、該輝度補正済の断層画像を記憶部101−02もしくは外部記憶部102に保存する。なお、画像生成手段の一例である画像処理部101−04が、補正された少なくとも一部の3次元断層画像に基づく少なくとも1つの正面画像(正面断層画像)を生成することが好ましい。このとき、表示制御部101−05は、生成された少なくとも1つの正面画像を表示部104に表示させることが好ましい。
次に、図5(a)に示すフローチャートを参照しながら、S303で実行される処理の詳細について説明する。
<ステップ501>
血管取得部101−421は、S302で断層画像生成部101−11が生成した断層画像を取得する。
<ステップ502>
血管取得部101−421はS302で画像特徴取得部101−42が特定した網膜及び脈絡膜の層境界、篩状板部の前面・後面の境界データを取得する。
<ステップ503>
血管取得部101−421は断層画像撮影装置100のロールオフ特性により生じる深度方向の信号減衰を補償するための補正処理(以下、ロールオフ補正と表記)を補正部101−44に対して指示し、補正部101−44が該ロールオフ補正処理を行う。
ロールオフ補正を行うための深度方向の補正係数H(z)は、深度位置zを引数とする正規化ロールオフ特性関数をRoF(z)とした場合に、例えば式(1)のように表せ、該補正係数H(z)を断層画像の各画素値に対して乗じることでロールオフ補正が行われる。
H(z)={(BGa+2σ)/(BGa(z)+2σ(z))}/(1+RoF(z)−RoF(z0))・・・(1)
BGa及びσは、各々被検査物がない状態で取得したBスキャンデータ全体の輝度分布BGの平均値及び標準偏差を示す。またBGa(z)及びσ(z)は、被検査物がない状態で取得したBスキャンデータにおいて各深度位置(z)で算出した、z軸に直交する方向に関する輝度分布の平均値及び標準偏差を示す。z0はBスキャン範囲に含まれる基準の深度位置を示す。z0は任意の定数を設定してよいが、ここではzの最大値の1/4の値に設定するものとする。なおロールオフ補正式は上記に限られるものではなく、断層画像撮影装置100のロールオフ特性により生じる深度方向の信号減衰を補償する効果を持つ処理であれば任意の公知の補正処理を実行してよい。
<ステップ504>
血管取得部101−421は異なる深度範囲の輝度統計値を比較するための準備として投影部101−43に網膜表層の正面断層画像と網膜外層の正面断層画像を生成するよう指示し、投影部101−43が該正面断層画像を生成する。投影法として任意の公知の投影法を用いてよいが、本実施形態では平均値投影を行うものとする。図6(b)に網膜表層の正面断層画像、同図6(c)に網膜外層の正面断層画像の例を示す。網膜表層の正面断層画像では(測定光と血管領域内の赤血球との相互作用により)血管領域における輝度値が高く、網膜外層の正面断層画像では影が生じることにより血管領域における輝度値が低くなることがわかる。
<ステップ505>
情報生成手段の一例である血管取得部101−421は、異なる深度範囲の輝度統計値を比較するために、S504で算出した2種類の正面断層画像の輝度値に基づいて輝度減衰率Arの分布を算出する。異なる深度範囲における輝度統計値の比較に関する指標として、本実施形態では、(網膜表層正面断層画像の輝度)÷(網膜外層正面断層画像の輝度)を各画素(x,y)で算出し、輝度減衰率Ar(x,y)のマップ(図6(d))を生成する。
<ステップ506>
血管取得部101−421は、S505で生成した輝度減衰率マップAr(x,y)を正規化することにより、血管領域らしさを表わす血管候補領域マップV(x,y)を生成する。
本実施形態では、S505で算出した輝度減衰率マップAr(x,y)に対して所定の値WLとWWを用いて正規化することで、血管候補領域マップV(x,y)を
V(x,y)=(Ar(x,y)−WL)/WW
として算出し、0≦V(x,y)≦1を満たすようにする。図6(e)に血管候補領域マップV(x,y)の例を示す。血管候補領域がハイライトされていることがわかる。なお、正規化処理は上記に限らず任意の公知の正規化法を用いてよい。
全ての深度範囲の輝度値を加算したProjection画像や、網膜外層の深度範囲で生成した正面断層画像における低輝度領域を血管領域とみなす場合には硝子体混濁による影(図6(a)の603)や白斑による影(図6(a)の605)も含まれてしまう。それに対し、本実施形態のS303で示した方法では血管候補領域(及び該血管から生じた出血領域)のみの分布情報を生成できる。また、OCTAのようなクラスタスキャンは不要で、単回スキャンの断層画像でも血管候補領域に関する分布情報を生成できる。
なお、血管以外の遮蔽物(影の発生原因となる物体)、例えば白斑等の高輝度病変(図6(a)の604)の分布情報を生成する場合は、Aスキャン単位で例えば(網膜深層における輝度平均値)÷(網膜外層における輝度平均値)のような輝度減衰率を算出すればよい。ここで、血管領域、出血領域、高輝度病変等は、被検眼に含まれる領域であって、被検眼の深度方向に沿って発生する影の原因となる領域の一例である。
また、輝度減衰率の算出においては正面断層画像の生成は必須ではなく、3次元断層画像のままAスキャン単位で算出してもよい。さらに、輝度減衰率は異なる深度範囲の輝度統計値同士の比率に限定されるものではなく、例えば(異なる深度範囲の輝度統計値同士の)差分量に基づいて算出してもよい。
さらに、図5(b)に示すフローチャートを参照しながら、S304で実行される処理の詳細について説明する。
<ステップ511>
補正部101−44は、S302で断層画像生成部101−11が生成した断層画像を取得する。次に、操作者が表示部104に表示されたユーザインターフェースを介して所望の投影深度範囲と該投影深度範囲に対応する正面断層画像の生成を指示する。投影部101−43は、ロールオフ補正適用後の3次元断層画像に対して指示された深度範囲で投影し、正面断層画像(図7(a))を生成する。
なお本実施形態では、3次元断層画像の投影処理として、眼底正面に対応する面内の各画素に対応する深度方向の断層データの平均値を該画素の画素値としている。しかしながら投影処理はこのような平均値投影に限られず、任意の公知の投影方法を用いてよい。例えば、各画素に対応する深度方向の断層データの中央値や最大値、最頻値等を画素値としてもよい。さらに、背景輝度値に相当するノイズ閾値を超えた画素の輝度値のみを投影することで、背景領域の影響を除いた(眼底組織の輝度値に由来する)画素値を取得できる。
<ステップ512>
高次元変換部101−4411は、正面断層画像の輝度値を2次元で平滑化することにより、第1の概略値分布の一例である高次元概略値分布を算出する。ここで、2次元での平滑化処理は、第1の概略値分布を取得する際に、正面画像を2次元で変換する処理(2次元の変換処理)の一例である。本実施形態では、高次元変換部101−4411は、S511で生成した正面断層画像における各画素の輝度値を2次元で平滑化することにより、図7(c)に示すような断層画像の輝度値に関する高次元概略値分布を算出する。
なお、本実施形態では、概略値分布を算出する処理の例として平滑化処理を行ったが、後述するようにClosing処理やOpening処理等のモルフォロジー演算を行ってもよい。また平滑化処理は任意の空間フィルタを用いて平滑化もよいし、高速フーリエ変換(FFT)等を用いて断層データを周波数変換した上で、高周波成分を抑制することで平滑化してもよい。FFTを用いる場合、畳み込み演算が不要になるため、高速に平滑化処理を実行できる。断層データを周波数変換した上で高周波成分を抑制することで平滑化する場合、リンギングを抑制するために周波数領域で所定の窓関数(Hamming窓もしくはHanning窓)を適用したり、Butterworthフィルタ等を適用したりすることによって高周波成分を抑制してもよい。
<ステップ513>
重み付け部101−442は、血管取得部101−421から血管候補領域マップV(x,y)(図7(d))を取得する。
<ステップ514>
重み付け部101−442は、血管候補領域マップV(x,y)の値を用いて断層画像の該血管候補領域における輝度値を重み付けする。なお、この重み付けは、第2の概略値分布の一例である低次元概略値分布を取得する際に、3次元断層画像を取得する際に使用される測定光の速軸方向に沿って存在する血管もしくは出血領域である所定の組織と、それ以外の領域とに対して実行される異なる算出処理の一例である。また、この重み付けは、本発明において必須ではない。
本実施形態では、血管候補領域マップV(x,y)の値(血管らしさ)が高い領域ほど、S511で取得した正面断層画像における該高い領域に対応する領域の輝度値が、S512で算出した高次元概略値I_2ds(x,y)に近づくように、また、該V(x,y)の値が低い領域ほど、S511で取得した正面断層画像の輝度値I(x,y)をできるだけ維持するように、正面断層画像を重み付けした重み付き正面画像I_w(x,y)を生成する。具体的には、以下として算出すれば良い。
I_w(x,y)=(1.0−V(x,y))*I(x,y)+V(x,y)*I_2ds(x,y)
図7(e)に重み付き正面断層画像I_w(x,y)の例を示す。
なお、ここで示した血管候補領域の輝度値に対する重み付け法はあくまで例であり、速軸方向に走行する血管候補領域の輝度値を増加させる処理もしくは該血管候補領域近傍の輝度値に近づける処理であれば任意の重み付けを行ってもよい。
<ステップ515>
低次元変換部101−4412は、断層画像の輝度値に関する低次元の概略値分布を算出する。具体的には、血管候補領域の輝度値を重み付けした正面断層画像の各画素の輝度値に対し、速軸方向に関する概略値分布を算出する処理(平滑化処理やモルフォロジー演算)を行う。図7(f)に本ステップで算出した低次元概略値分布の例を示す。速軸方向に走行する血管領域の輝度値が底上げされた画像に対して低次元変換(速軸方向の平滑化)処理を行うために、「速軸方向に走行する血管領域」が帯状の低輝度領域として残存する問題を回避できる。ここで、低次元での平滑化処理は、第2の概略値分布を取得する際に、正面画像を1次元で変換する処理(1次元の変換処理)の一例である。なおS512と同様に平滑化処理を周波数領域で実施する場合、リンギングを抑制するために周波数領域で所定の窓関数(Hamming窓やHanning窓等)を適用したり、Butterworthフィルタ等を適用したりすることによって高周波成分を抑制して平滑化してもよい。
<ステップ516>
演算部101−443は、断層画像の高次元概略値分布と低次元概略値分布とを演算することにより、断層画像用の輝度補正係数分布を算出する。
本実施形態では、S512で生成した2次元平滑化断層画像の輝度値をS515で生成した重み付き速軸方向平滑化断層画像の輝度値で除算することにより、断層画像用の輝度補正係数マップ(図7(g))を生成する。
次に、図8(a)〜図8(g)を用いて血管候補領域に対する輝度重み付けの効果(輝度段差アーチファクトのみを選択的に抑制しやすくする)について説明する。図8(a)は速軸方向の一定範囲に限局した帯状の輝度段差と、速軸方向に走行する血管領域の双方を含む断層画像の例である。速軸方向に走行する血管領域の輝度値を過補正することなく、帯状の輝度段差のみ選択的に抑制する必要がある。
血管候補領域に対する輝度重み付けを実施せずにS515の低次元変換処理、S516の輝度補正係数マップ算出処理、S305の輝度段差補正処理を各々実行した場合の処理結果の例を図8(b)、同図(d)、同図(f)に示す。図8(b)の白矢印で示した(速軸方向に走行する)血管領域において低輝度領域が帯状に残存し、輝度段差に類似している。そのため、図8(d)の白矢印で示した血管領域では輝度段差でないにも関わらず高い補正係数値が算出されてしまい、S305の輝度段差補正処理において速軸方向に走行する血管及びその近傍領域の輝度値の過補正が生じる(図8(f)の白矢印で示した領域)。
一方、血管候補領域に対する輝度重み付けを実施してからS515の低次元変換処理、S516の輝度補正係数マップ算出処理、S305の輝度段差補正処理を各々実行した場合の処理結果を図8(c)、同図(e)、同図(g)に示す。図8(c)において、速軸方向に走行する血管領域に対応する帯状の低輝度領域は生じていない。そのため、図8(e)でも血管領域に対して適切な補正係数値が算出され、S305の輝度段差補正処理においても速軸方向に走行する血管及びその近傍領域の輝度値に対する過補正は見られない(図8(g))。
なお、本実施形態においては正面断層画像上に生じた帯状の輝度段差を抑制する(輝度段差補正済の正面断層画像を生成する)方法について説明したが、本発明はこれに限定されない。以下の手順で3次元断層画像上に生じた帯状の輝度段差を抑制し、輝度段差補正済の3次元断層画像を生成してもよい。
すなわち、多数の異なる投影深度範囲で正面断層画像を生成しておき、各正面断層画像に対して輝度段差補正係数マップを生成しておく。次に3次元断層画像上の各画素の輝度値に対して、該各画素が属する投影深度範囲に対応する輝度段差補正係数マップの値(補正係数値)を演算することによって輝度段差補正済の3次元断層画像を生成できる。異なる投影深度範囲として、例えば網膜表層・網膜深層・網膜外層・脈絡膜の4種類が挙げられる。あるいは、網膜及び脈絡膜に属する各層の種類を指定してもよい。
なお、Cスキャン画像に生じた輝度段差アーチファクトを抑制する場合、画像内に複数種の層が含まれるために(層境界付近の画素値に悪影響を及ぼさずに)輝度段差アーチファクトのみ選択的に抑制するのが難しい場合がある。輝度段差補正済の3次元断層画像を生成しておき、該輝度段差補正済の3次元断層画像からCスキャン画像を生成することにより、輝度段差補正済Cスキャン画像を得られる。
また、本発明は、いわゆる3−Dスキャンで断層画像を撮影した場合に生じる帯状の輝度段差の補正処理に限定されるものではなく、種々のスキャンパターンで断層画像を撮影した場合の遅軸方向に生じる輝度段差の補正にも適用できる。例えば、半径の異なる多数のサークルスキャンや、ラジアルスキャンで撮影した場合の遅軸方向に生じる輝度段差を補正する場合も本発明に含まれる。なお、サークルスキャンの場合には、例えば、円周方向が速軸方向で、円周方向に直交する方向が遅軸方向と考えられる。また、ラジアルスキャンの場合には、例えば、所定の点を通り、放射状の各スキャン方向が速軸方向で、所定の点を中心とする円周方向が遅軸方向と考えられる。
以上述べた構成によれば、画像処理装置101はOCTを用いて撮影した被検眼の断層画像の遅軸方向に生じた様々な輝度段差アーチファクトをロバストに抑制するために、以下の画像補正処理を行う。すなわち、画像処理装置は、被検眼の深度方向に交差する面内方向の分布情報であって、3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較することにより、深度方向に沿って発生する影の原因となる被検眼における所定の領域(血管候補領域)に関する分布情報を生成する。例えば、画像処理装置は、断層画像の網膜表層と網膜外層間の輝度減衰率に基づいて血管候補領域の分布情報を生成する。次に高次元平滑化断層画像の輝度値に対して、該血管候補領域の輝度値を重み付けした後に速軸方向に平滑化した断層画像の輝度値を除算することにより、輝度補正係数マップを生成する。さらに断層画像に対して輝度補正係数を乗算することで、断層画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する。なお、最終的に分布情報が生成されていればよく、生成の途中においては複数の分布情報として例えば画像(マップ)を生成する必要はない。
これにより、被検眼の断層画像の遅軸方向に生じた輝度段差をロバストに抑制できる。
[第2の実施形態]
本実施形態に係る画像処理装置は、OCTを用いたクラスタ撮影により得られた被検眼の断層画像から生成したモーションコントラスト画像の遅軸方向に生じた様々な輝度段差アーチファクトをロバストに抑制するために、以下の画像処理を行う。すなわち、高次元平滑化モーションコントラスト画像の輝度値に対して、第1実施形態と同様の方法で取得した血管候補領域の輝度値を重み付けした後に速軸方向に平滑化したモーションコントラスト画像の輝度値を除算することで、輝度補正係数マップを生成する。さらに、断層画像に対して輝度補正係数を乗算することで、モーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する場合について説明する。
ここで、本実施形態で補正対象とする被検眼のモーションコントラスト画像の遅軸方向に生じた輝度段差の例について説明する。図4(b)に示した再走査領域が低輝度であるような断層画像を用いてモーションコントラスト画像を生成すると、図4(c)に示すようにモーションコントラスト画像上の対応する(白矢印で示した)領域に帯状の低輝度な段差を生じる。また、図4(e)に示すような再走査領域に短い低輝度な段差領域を含む断層画像を用いてモーションコントラスト画像を生成すると、モーションコントラスト画像上の対応する領域に短い帯状の低輝度な段差を生じるという課題がある。
さらに、同一位置で複数回走査した断層画像間の位置ずれが生じている場合には、実際には赤血球の変位が生じてない領域に対しても高いモーションコントラスト値が算出されてしまうため、図4(d)の白矢印で示すような帯状の高輝度な段差が生じる。なお、同一のモーションコントラスト画像上に低輝度な段差と高輝度な段差の双方が含まれる場合もある。また、網膜や脈絡膜等の眼組織が画像上の速軸方向の一部の範囲にしか含まれない場合や、層境界検出不良の領域が存在する場合などでは帯状の高輝度な段差が途中で途切れたり、該輝度段差の太さや高さが途中で変化したりする課題がある。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図9に示す。画像取得部101−01にモーションコントラストデータ生成部101−12を、画像処理部101−04に合成部101−45を備える点が第一実施形態の場合と異なる。また本実施形態での画像処理フローを図10に示す。なお図10においてS1002とS1003は第1実施形態の場合と同様であるので説明は省略する。
<ステップ1001>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。
具体的には
1)スキャンモードの選択
2)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してOCT撮影を実行する。
1)OCTAスキャンモードを選択
2)以下の撮影パラメータを設定
2−1)走査領域サイズ:10x10mm
2−2)主走査方向:水平方向
2−3)走査間隔:0.01mm
2−4)固視灯位置:中心窩と視神経乳頭との中間
2−5)同一撮影位置でのBスキャン数:4
2−6)コヒーレンスゲート位置:硝子体側
次に、操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、上記設定した撮影条件による繰り返しOCTA撮影を開始する。
撮影制御部101−03は断層画像撮影装置100に対して上記設定に基づいて繰り返しOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
なお、本実施形態では本ステップにおける繰り返し撮像回数(クラスタ数)を5回とする。これに限らず、繰り返し撮像回数(クラスタ数)は任意の回数に設定してよい。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。
なおクラスタ数が2以上の場合、繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目のクラスタ撮影時に設定した基準SLO画像とし、全てのクラスタ撮影において共通の基準SLO画像を用いる。また2回目以降のクラスタ撮影中は、
・左右眼の選択
・追尾処理の実行有無
について1回目のクラスタ撮影の場合と同じ設定値を用いる(変更しない)ものとする。
<ステップ1004>
画像取得部101−01及び画像処理部101−04は、位置合わせ部101−41が同一クラスタに属する断層画像同士の位置合わせとクラスタ間の断層画像の位置合わせを行い、該位置合わせ済断層画像を用いてモーションコントラスト画像を生成する。
モーションコントラストデータ生成部101−12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(2)に基づき求める。
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。式(2)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算しても良いし、二つの値の比に基づいてモーションコントラストを計算してもよい。
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成しても良い。
画像処理部101−04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を2次元的に行う場合も本発明に含まれる。
なお、合成部101−45が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や中央値)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
本実施形態では合成部101−45がモーションコントラスト画像を3次元的に合成した後、補正部101−44がモーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。補正部101−44は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクトを抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態ではStep−down Exponential Filteringを用いる。Step−down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(3)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、D(x,y,z)は該抑制処理後の脱相関値を表す。
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成したモーションコントラスト画像と付随する生成条件データを検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
<ステップ1005>
重み付け部101−442は、S1003で血管取得部101−421が生成した血管候補領域の分布に関する情報を用いてモーションコントラスト画像の血管候補領域における輝度値を重み付けした重み付きモーションコントラスト画像を生成する。次に、高次元変換部101−4411が高次元平滑化モーションコントラスト画像を生成し、低次元変換部101−4412が該重み付きモーションコントラスト画像に対して速軸方向に平滑化処理を行った低次元平滑化モーションコントラスト画像を生成する。さらに演算部101−443が該高次元平滑化モーションコントラスト画像と該低次元平滑化モーションコントラスト画像との演算処理によりモーションコントラスト画像用の輝度補正係数マップを生成する。
なお、輝度補正係数マップ生成処理の詳細はS511〜S516で説明する。
<ステップ1006>
補正部101−44は、モーションコントラスト画像の各画素に対してS1005で算出した輝度補正係数値を乗算することにより、輝度段差補正済のモーションコントラスト画像を生成する。なお、輝度補正係数の適用方法は乗算に限定されるものではなく、任意の公知の演算方法を適用してよい。また、輝度補正係数値を用いて3次元モーションコントラスト画像の少なくとも一部が補正されれば良い。このとき、3次元モーションコントラスト画像の少なくとも一部には、Cスキャンのモーションコントラスト画像等も含まれる。
<ステップ1007>
表示制御部101−05は、S1006で生成した輝度補正済のモーションコントラスト画像を表示部104に表示する。また操作者が入力部103を用いて表示部104に表示された非図示のボタンもしくはショートカットメニューを選択することで、該輝度補正済モーションコントラスト画像を記憶部101−02もしくは外部記憶部102に保存する。なお、画像生成手段の一例である画像処理部101−04が、補正された少なくとも一部の3次元モーションコントラスト画像に基づく少なくとも1つの正面画像(正面モーションコントラスト画像)を生成することが好ましい。このとき、表示制御部101−05は、生成された少なくとも1つの正面画像を表示部104に表示させることが好ましい。
本実施形態では、図13のReportボタン1312を押下することにより、レポート画面1300を表示部104に表示する。レポート画面1300の左下に輝度段差補正済正面断層画像1309を表示しており、投影範囲に関してはリストボックス1310に表示されたリストから操作者が選択することで変更できる。該レポート画面1300左上のSLO画像上に、輝度段差補正済の正面断層画像もしくは正面モーションコントラスト画像を重畳表示する。またレポート画面1300中央の上下に投影深度範囲の異なる輝度段差補正済モーションコントラスト画像1301、1305を表示している。輝度段差補正済正面モーションコントラスト画像の投影範囲はリストボックスに表示された既定の深度範囲セット(1302及び1306)から操作者が選択することで変更できる。また、投影範囲の指定に用いる層境界の種類とオフセット位置を1303や1307のようなユーザインターフェースから変更したり、断層像上に重畳した層境界データ(1304及び1308)を入力部103から操作して移動させたりして投影範囲を変更できる。
さらに、輝度段差補正済モーションコントラスト画像の画像投影法やプロジェクションアーチファクト抑制処理の有無を例えばコンテキストメニューのようなユーザインターフェースから選択することにより変更してもよい。
さらに操作者が複数のモーションコントラスト画像を合成するための合成指示ボタン1311を押下することにより、輝度段差補正済の合成モーションコントラスト画像を生成してもよい。図13の合成指示ボタンは重ね合わせ処理の場合の例を示しているが、これに限らず貼り合わせ処理に関する合成指示である場合も本発明に含まれる。
なお断層画像もしくはモーションコントラスト画像に対する輝度段差補正処理の適用可否を指定するユーザインターフェース(1313)を選択することで、輝度段差補正処理の適用可否を変更した断層画像もしくはモーションコントラスト画像を表示させてもよい。例えば、図13の1313に示したようなチェックボックスの選択/非選択に応じて、レポート画面1300に表示する断層画像やモーションコントラスト画像に対する輝度段差補正処理の適用状態(適用する/適用しない)を切り替えてよい。ユーザインターフェースはチェックボックスに限定されるものではなく、任意の公知のユーザインターフェースを用いてよい。また、輝度段差補正処理の適用可否を断層画像とモーションコントラスト画像とで独立に指示可能なユーザインターフェースを備えてもよい。例えば断層画像とモーションコントラスト画像とで別々の指示ボタンを備えてもよいし、単独のユーザインターフェースで、4種類の選択肢((1)両方に対して適用(2)断層画像に対してのみ適用(3)モーションコントラスト画像に対してのみ(4)どちらに対しても適用しない)の中から選択するよう構成してもよい。あるいは、輝度段差補正処理を適用した断層画像もしくはモーションコントラスト画像と、輝度段差補正処理を適用していない断層画像もしくはモーションコントラスト画像とを並べて表示部104に表示させてもよい。
次に、図5(b)に示すフローチャートを参照しながら、S1005で実行される処理の詳細について説明する。
<ステップ511>
補正部101−44は、S1004でモーションコントラストデータ生成部101−12及び合成部101−45が生成したモーションコントラスト画像及び合成モーションコントラスト画像を取得する。次に、操作者が表示部104に表示されたユーザインターフェースを介して所望の投影深度範囲と該投影深度範囲に対応する正面モーションコントラスト画像の生成を指示する。投影部101−43は、指示された深度範囲で投影し、正面モーションコントラスト画像(図11(a))を生成する。なお、本実施形態では、3次元モーションコントラスト画像の投影処理として、眼底正面に対応する面内の各画素に対応する深度方向のモーションコントラストデータの最大値を該画素の画素値としている。しかしながら投影処理はこのような最大値投影に限られず、任意の公知の投影方法を用いてよい。例えば、各画素に対応する深度方向のモーションコントラストデータの中央値や最大値、最頻値等を画素値としてもよい。
<ステップ512>
高次元変換部101−4411は、正面モーションコントラスト画像の輝度値を2次元で平滑化することにより、高次元概略値分布を算出する。本実施形態では、高次元変換部101−4411は、S511で生成した正面モーションコントラスト画像における各画素の輝度値を2次元で平滑化することにより、図11(c)に示すようなモーションコントラスト画像の輝度値に関する高次元概略値分布を算出する。
なお、本実施形態では、概略値分布を算出する処理の例として平滑化処理を行ったが、後述するようにClosing処理やOpening処理等のモルフォロジー演算を行ってもよい。また平滑化処理は任意の空間フィルタを用いて平滑化もよいし、高速フーリエ変換(FFT)等を用いてモーションコントラストデータを周波数変換した上で、高周波成分を抑制することで平滑化してもよい。FFTを用いる場合、畳み込み演算が不要になるため、高速に平滑化処理を実行できる。
<ステップ513>
重み付け部101−442は、血管取得部101−421から血管候補領域マップV(x,y)(図7(d))を取得する。
<ステップ514>
重み付け部101−442は、血管候補領域マップV(x,y)の値を用いてモーションコントラスト画像の該血管候補領域における輝度値を重み付けする。なお、この重み付けは、第2の概略値分布の一例である低次元概略値分布を取得する際に、3次元モーションコントラスト画像を取得する際に使用される測定光の速軸方向に沿って存在する血管もしくは出血領域である所定の組織と、それ以外の領域とに対して実行される異なる算出処理の一例である。また、この重み付けは、本発明において必須ではない。
本実施形態では、血管候補領域マップV(x,y)の値(血管らしさ)が高い領域ほど、S511で取得した正面モーションコントラスト画像における該高い領域に対応する領域の輝度値が、S512で算出した高次元概略値M_2ds(x,y)に近づくように、また、該V(x,y)の値が低い領域ほど、S511で取得した正面モーションコントラスト画像の輝度値M(x,y)をできるだけ維持するように、正面モーションコントラスト画像を重み付けした重み付き正面モーションコントラスト画像M_w(x,y)を生成する。具体的には、以下として算出すれば良い。
M_w(x,y)=(1.0−V(x,y))*M(x,y)+V(x,y)*M_2ds(x,y)
図11(e)に重み付き正面モーションコントラスト画像M_w(x,y)の例を示す。
なお、ここで示した血管候補領域の輝度値に対する重み付け法はあくまで例であり、速軸方向に走行する血管候補領域の輝度値を減少させる処理もしくは該血管候補領域近傍の輝度値に近づける処理であれば任意の重み付けを行ってもよい。
<ステップ515>
低次元変換部101−4412は、モーションコントラスト画像の輝度値に関する低次元の概略値分布を算出する。具体的には、血管候補領域の輝度値を重み付けした正面モーションコントラスト画像の各画素の輝度値に対し、速軸方向に関する概略値分布を算出する処理(平滑化処理やモルフォロジー演算)を行う。図11(f)に本ステップで算出した低次元概略値分布の例を示す。速軸方向に走行する血管領域の輝度値が抑制された画像に対して、低次元変換(速軸方向の平滑化)処理を行うために、「速軸方向に走行する血管領域」が帯状の高輝度領域として残存する問題を回避できる。
<ステップ516>
演算部101−443は、モーションコントラスト画像の高次元概略値分布と、モーションコントラスト画像の低次元概略値分布とを演算することにより、モーションコントラスト画像用の輝度補正係数分布を算出する。
本実施形態ではS512で生成した2次元平滑化モーションコントラスト画像の輝度値とS515で生成した重み付き速軸方向平滑化モーションコントラスト画像の輝度値との除算により、モーションコントラスト画像用の輝度補正係数マップ(図11(g))を生成する。
次に、図12(a)〜図12(g)を用いて血管候補領域に対する輝度重み付けの効果(輝度段差アーチファクトのみを選択的に抑制しやすくする)について説明する。図12(a)は帯状の輝度段差(白線)と、速軸方向に走行する血管領域の双方を含むモーションコントラスト画像の例である。速軸方向に走行する血管領域の輝度値を過抑制することなく、帯状の輝度段差のみ選択的に抑制する必要がある。
血管候補領域に対する輝度重み付けを実施せずにS515の低次元変換処理、S516の輝度補正係数マップ算出処理、S1006の輝度段差補正処理を各々実行した場合の処理結果の例を図12(b)、同図(d)、同図(f)に示す。図12(b)の白矢印で示した(速軸方向に走行する)血管領域において高輝度領域が帯状に残存し、輝度段差に類似している。そのため、図12(d)の白矢印で示した血管領域では輝度段差でないにも関わらず低い補正係数値が算出され、S1006の輝度段差補正処理において速軸方向に走行する血管及びその近傍領域の輝度値の過抑制が生じる(図12(f)の白矢印で示した領域)。
一方、血管候補領域に対する輝度重み付けを実施してからS515の低次元変換処理、S516の輝度補正係数マップ算出処理、S1006の輝度段差補正処理を各々実行した場合の処理結果を図12(c)、同図(e)、同図(g)に示す。図12(c)において、速軸方向に走行する血管領域に対応する帯状の高輝度領域は生じていない。そのため、図12(e)でも血管領域に対して適切な補正係数値が算出され、S1006の輝度段差補正処理においても速軸方向に走行する血管及びその近傍領域の輝度値に対する過抑制は見られない(図12(g))。
なお、本実施形態においては正面モーションコントラスト画像上に生じた帯状の輝度段差を抑制する(輝度段差補正済の正面モーションコントラスト画像を生成する)方法について説明したが、本発明はこれに限定されない。以下の手順で3次元モーションコントラスト画像上に生じた帯状の輝度段差を抑制し、輝度段差補正済の3次元モーションコントラスト画像を生成してもよい。
すなわち、多数の異なる投影深度範囲で正面モーションコントラスト画像を生成しておき、各正面モーションコントラスト画像に対して輝度段差補正係数マップを生成しておく。次に3次元モーションコントラスト画像上の各画素の輝度値に対して、該各画素が属する投影深度範囲に対応する輝度段差補正係数マップの値(補正係数値)を演算することによって輝度段差補正済の3次元モーションコントラスト画像を生成できる。異なる投影深度範囲として、例えば網膜表層・網膜深層・網膜外層・脈絡膜の4種類が挙げられる。あるいは、網膜及び脈絡膜に属する各層の種類を指定してもよい。
また、輝度段差を補正するタイミングは、予め上述の手順で輝度段差補正済の3次元断層画像もしくは3次元モーションコントラスト画像を生成しておき、操作者から正面断層画像もしくは正面モーションコントラスト画像の生成指示があった時点でその正面画像を生成・表示してよい。輝度段差補正済の3次元断層画像もしくは3次元モーションコントラスト画像の生成タイミングの例として、例えば断層画像の撮影直後、再構成時、保存時が挙げられる。あるいは、操作者から正面断層画像もしくは正面モーションコントラスト画像の生成指示があった時点で(該指示で指定された投影深度範囲に対して)輝度段差補正を実施し、輝度段差補正済の正面断層画像もしくは正面モーションコントラスト画像を表示してもよい。正面断層画像の生成指示ユーザインターフェースとして、例えば図13に示したリストボックス1310が挙げられる。また、正面モーションコントラスト画像の生成指示ユーザインターフェースとして、例えば図13に示した投影深度範囲指定・変更用ユーザインターフェース(1302、1303、1304、1306、1307、1308)が挙げられる。なお事前に、もしくは操作者からの合成(重ね合わせもしくは貼り合わせ)指示に基づいて、各断層画像もしくはモーションコントラスト画像に対して輝度段差補正を実行し、それから合成してもよい。あるいは、合成画像(重ね合わせ画像もしくは貼り合わせ画像)に対して輝度段差補正を実施して表示部104に表示させてもよい。
さらに、本発明はいわゆる3−Dスキャンで撮影した場合に生じるモーションコントラスト画像上の帯状輝度段差の補正に限られるものではなく、種々のスキャンパターンで撮影した場合のモーションコントラスト画像上の遅軸方向に生じる輝度段差補正にも適用できる。例えば、半径の異なる多数のサークルスキャンや、ラジアルスキャンで撮影した場合の遅軸方向に生じる輝度段差を補正する場合も本発明に含まれる。
以上述べた構成によれば、画像処理装置101はOCTを用いたクラスタ撮影により得られた被検眼の断層画像から生成したモーションコントラスト画像の遅軸方向に生じた様々な輝度段差アーチファクトをロバストに抑制するために、以下の画像処理を行う。すなわち、高次元平滑化モーションコントラスト画像の輝度値に対して、第1実施形態と同様の方法で取得した血管候補領域の輝度値を重み付けした後に速軸方向に平滑化したモーションコントラスト画像の輝度値を除算することで、輝度補正係数マップを生成する。さらに、断層画像に対して輝度補正係数を乗算することで、モーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する。これにより、被検眼のモーションコントラスト画像の遅軸方向に生じた輝度段差をロバストに抑制できる。
[第3の実施形態]
本実施形態に係る画像処理装置は、撮影確認画面において、上述した輝度段差アーチファクト抑制処理等の各種のアーチファクト低減処理が適用されていない正面画像(正面断層画像または正面モーションコントラスト画像)等の医用画像を表示し、一方、レポート画面では、アーチファクト低減処理が適用された医用画像を表示するものである。これにより、操作者は、例えば、撮影後の表示画面(撮影確認画面)においては、撮影成否(あるいは撮影失敗の程度)を容易に把握するために、各種処理ができるだけ施されていない状態の医用画像を確認することができる。また、操作者は、例えば、他の表示画面(レポート画面)においては、解析結果等を把握するために、解析に対しては不要な各種のアーチファクトができるだけ低減された医用画像を確認することができる。このため、操作者が目的に適した医用画像を確認可能とすることができる。
なお、本実施形態におけるアーチファクトは、上述した輝度段差アーチファクトに限らず、上述した目的の範囲であれば何でも良い。例えば、本実施形態におけるアーチファクトは、OCTAにおけるプロジェクションアーチファクト(上層の血管の影の揺らぎをモーションコントラストとして誤検出することによって、下層において本来存在しない血管が描出されたもの)であっても良い。また、各種のアーチファクト低減処理自体は、撮影直後に実行開始されても良いし、撮影確認画面からレポート画面に遷移後に実行開始されても良い。また、画像処理部101−04は、各種のアーチファクトが低減された正面画像を生成する生成手段の一例である。また、撮影確認画面は、第1の正面画像の一例であり、レポート画面は第2の表示画面の一例である。また、レポート画面は、撮影確認画面から切り換わった後の表示画面の一つであり、各種処理後の画像や解析結果等を操作者が確認するための表示画面である。
また、本実施形態に係る画像処理装置は、断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクト抑制処理の適用要否に関する指示を受け付ける受付部を備えても良い。これにより、該受付部が撮影確認画面・レポート画面の各々で受け付けた該抑制処理の適用要否に関する指示に応じ、表示制御部が断層画像もしくはモーションコントラスト画像を該輝度段差アーチファクト抑制処理適用済、もしくは非適用の状態で表示部に表示させることができる。具体的には、撮影確認画面とレポート画面とで、断層画像及びモーションコントラスト画像を表示する際の輝度段差アーチファクト抑制処理の適用に関する設定を異ならせる場合について説明する。
本実施形態に係る画像処理装置は、受付部(非図示)を備える点が第1実施形態もしくは第2実施形態の場合と異なる。また、本実施形態での画像処理フローは第2実施形態の場合(図10)と同様である。なお、図10においてS1001〜S1004は第2実施形態の場合と同様であるので説明は省略する。
<ステップ1005>
重み付け部101−442は、第2実施形態のS1005と同様の処理を行うことによりモーションコントラスト画像用の輝度補正係数マップを生成する。なお、本実施形態では重み付け部101−442が第1実施形態のS304と同様の処理を行うことにより、断層画像用の輝度補正係数マップも生成するものとする。
<ステップ1006>
補正部101−44は、モーションコントラスト画像の各画素に対してS1005で算出したモーションコントラスト画像用の輝度補正係数値を乗算することにより、輝度段差補正済のモーションコントラスト画像を生成する。また、本実施形態では補正部101−44が断層画像の各画素に対してS1005で算出した断層画像用の輝度補正係数値を乗算することにより、輝度段差補正済の断層画像も生成しておく。
<ステップ1007>
S1002で生成した断層画像やS1004で生成したモーションコントラスト画像、補正部101−44が生成した輝度段差補正済のモーションコントラスト画像及び断層画像に基づき、表示制御部101−05が表示部104に撮影確認画面(図14)を表示する。本撮影確認画面においては、左上に眼底画像1401、左下に正面断層画像1402、該正面断層画像の各走査位置(1402a・1402b・1402c)に対応するBスキャン断層画像(1406a・1406b・1406c)を表示する。また取得した断層画像の画質指標値1405や、取得した3次元の断層画像の各スライスを自動で連続表示するための指示ボタン1404も備える。操作者は、該撮影確認画面に表示された断層画像やモーションコントラスト画像に基づき、撮影した断層画像の保存可否に関する指示(OKボタン1407もしくはNGボタン1408の押下)や繰り返し撮影の継続に関する指示(Repeatボタン1409の押下)を行う。受付部が受け付けた該指示に基づいて画像処理装置が対応するデータ保存・撮影継続処理を行う。さらに、第2実施形態のS1007と同様にReportボタン1312を押下することで、表示制御部101−05がレポート画面1300を表示部104に表示する。
撮影確認画面(図14)においては左下に正面断層画像1402を表示し、モーションコントラスト画像の生成及び輝度段差補正処理が終わった段階で正面モーションコントラスト画像(図15(b))の表示に切り替える。本実施形態では、撮影確認画面の左側最下部に該撮影確認画面に表示する断層画像もしくはモーションコントラスト画像に対する輝度段差補正処理の適用可否を指示するためのユーザインターフェース1403を備えるものとする。図14では該ユーザインターフェース1403の例としてImage Quality Enhancementと表記されたチェックボックスが表示され、該チェックボックスを非選択の状態(OFFの状態)を表している。このような選択状態の場合には、表示制御部101−05は断層画像やモーションコントラスト画像を輝度段差補正処理非適用の状態(例えばモーションコントラスト画像においては、図15(b)のような状態)で表示部104に表示する。一方、該チェックボックスが選択された状態(ON)の場合は断層画像やモーションコントラスト画像を輝度段差補正処理適用済の状態(図15(a)や図15(c))で表示部104に表示する。なお、第2実施形態の場合と同様に、本撮影確認画面における輝度段差補正処理の適用可否を断層画像とモーションコントラスト画像とで独立に指示可能なユーザインターフェースを備えてもよい。例えば断層画像とモーションコントラスト画像とで別々の該指示ユーザインターフェースを備えてもよいし、単独のユーザインターフェースで、4種類の選択肢((1)両方に対して適用(2)断層画像に対してのみ適用(3)モーションコントラスト画像に対してのみ(4)どちらに対しても適用しない)の中から選択するよう構成してもよい。例えば(1)を選択することで実際の診療で用いる断層画像及びモーションコントラスト画像の画質を把握した上で断層画像の保存や繰り返し撮影継続の可否を指示できる。また(4)を選択することにより、断層画像の撮影不良箇所(低輝度領域)やモーションコントラスト画像を生成する際に白線を生じる原因となる断層画像間の位置ずれがどの程度、どこに存在するか把握した上で断層画像の保存や繰り返し撮影継続の可否を指示できる。あるいは、(3)を選択することで断層画像の撮影不良個所を把握しつつ、最終的なモーションコントラスト画像の画質を理解した状態で断層画像の保存や繰り返し撮影継続の可否を指示できる。細かな断層画像間の位置ずれのみ把握したい場合は、(2)を選択すればよい。
また、断層画像やモーションコントラスト画像に対する輝度段差補正処理の適用可否に関するユーザインターフェースは、撮影確認画面とレポート画面との間で独立に設定可能に構成してよい。例えば、断層画像やモーションコントラスト画像に対する該輝度段差補正処理を撮影画面においては非適用の状態、レポート画面においては適用済の状態で各々表示するような指示が選択された状態を該ユーザインターフェースのデフォルト設定としてよい。このように構成することで、撮影確認時には撮影失敗箇所を容易に把握でき、レポート画面においては診療に適した高画質な断層画像やモーションコントラスト画像を観察できる。
このとき、表示画面が遷移した際に、表示画面の遷移前に選択された指示が遷移後にも反映されるように構成されても良い。例えば、撮影確認画面において選択された指示が、レポート画面に遷移された後にも反映されるように構成されても良い。また、例えば、レポート画面であって、所定の日時に得た画像が表示されている表示画面において選択された指示が、経過観察用の表示画面に遷移された後にも反映されるように構成されても良い。また、経過観察用の表示画面において選択された指示が、異なる日時の複数の画像に対して一括して反映されるように構成されても良い。これらにより、操作者の利便性を向上することができる。
さらに、撮影確認画面やレポート画面において適用可否を指定するユーザインターフェースが対象とする補正処理は輝度段差補正処理に限定されず、任意の公知の高画質化処理を選択可能に構成してもよい。例えば、撮影確認画面において機械学習による高画質化処理の適用可否の指示を受け付けるユーザインターフェースを備え、該ユーザインターフェースの選択状態に応じて断層画像もしくはモーションコントラスト画像に対する該高画質化処理の適用/非適用を切り替えて表示してもよい。
なお撮影確認画面やレポート画面において、所定のユーザインターフェースもしくはスクリプトにより輝度段差補正処理の適用・非適用を切り替えて断層画像もしくはモーションコントラスト画像を表示してもよい。あるいは、輝度段差補正処理適用済の断層画像もしくはモーションコントラスト画像と、輝度段差補正処理を適用していない断層画像もしくはモーションコントラスト画像とを並べて表示するよう画像処理装置101を構成してもよい。
以上述べた構成によれば、画像処理装置101は断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクト抑制処理の適用要否に関する指示を受け付ける受付部を備えてもよい。これにより、該受付部が撮影確認画面・レポート画面の各々で受け付けた該抑制処理の適用要否に関する指示に応じ、表示制御部が断層画像もしくはモーションコントラスト画像を該輝度段差アーチファクト抑制処理適用済、もしくは非適用の状態で表示部に表示させることができる。このため、撮影確認時には撮影失敗箇所を容易に確認でき、レポート画面観察時には診療に適した高画質な断層画像やモーションコントラスト画像を観察できる。
(変形例1)
上述した様々な実施形態における撮影確認画面において、表示制御部が、正面画像(正面断層画像または正面モーションコントラスト画像)における各種アーチファクト(例えば、輝度段差アーチファクト)の状態の判定結果(分類結果)を、正面画像と一緒に表示させても良い。ここで、アーチファクトの状態とは、例えば、アーチファクトの有無である。このとき、例えば、少なくとも1つの被検眼の複数の正面画像に対して各種アーチファクトの状態(例えば、有無)のラベルを付けておき、そのラベルを付けた複数の正面画像による機械学習により得た学習済モデルを用いて、入力された正面画像において各種アーチファクトの状態(例えば、各種アーチファクトが存在すること)が撮影確認画面に表示される。すなわち、上述した学習済モデルを用いて得たアーチファクトの状態の判定結果を撮影確認画面に表示させることができる。これにより、例えば、学習済モデルを用いることにより、精度良く判定しつつ、処理時間を短縮することができる。このため、検者は、撮影直後であっても精度の良い判定結果を確認することができる。また、例えば、撮影直後であっても再撮影の要否等の検者による判断効率を向上させることができる。このため、診断の精度や効率を向上させることができる。なお、各種アーチファクトの状態のラベルは、ユーザインターフェースを介して操作者がマニュアル入力しても良いし、各種アーチファクトを自動または半自動で判定するルールベースの解析による実行結果であっても良い。また、アーチファクトの状態の判定結果が表示される表示画面は、撮影確認画面に限らず、例えば、レポート画面、経過観察用の表示画面、撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されても良い。
ここで、機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも1層には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることができる。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルであれば何でも良い。このとき、学習済モデルは、例えば、各種アーチファクトの状態に関する情報を正解データ(教師データ)とし、正面画像等の医用画像を入力データとする学習データを用いた教師あり学習により得ても良い。また、学習済モデルは、上述した正解データ(教師データ)を用いずに、例えば、少なくとも1つの被検眼の複数の正面画像等の複数の医用画像を学習データとして用いた教師なし学習により得ても良い。また、学習済モデルは、追加学習により更新されることで、例えば、操作者に適したモデルとしてカスタマイズされても良い。
また、画像処理部101−04は、正面画像等の医用画像における各種アーチファクトの状態を判定する判定手段(分類手段)の一例である。このとき、判定手段は、例えば、医用画像におけるアーチファクトの有無を、アーチファクトの状態として判定(有無に分類)することができる。また、判定手段は、例えば、医用画像におけるアーチファクトの程度に応じた段階を、アーチファクトの状態として判定(医用画像を複数の段階のいずれかに分類)しても良い。このとき、複数の段階は、例えば、アーチファクトの有無であっても良いし、アーチファクトが多寡や存在範囲の大きさ等に応じた複数のレベルであっても良い。また、判定手段は、例えば、医用画像におけるアーチファクトの種類を、アーチファクトの状態として評価(医用画像を複数の種類のいずれかに分類)しても良い。
また、上述した学習済モデルは、互いに対応する複数の種類の医用画像をセットとする学習データを用いた学習により得ても良い。このとき、学習済モデルは、例えば、同一被検眼の同一部位の(あるいは所定部位の少なくとも一部が共通する干渉信号により得た)正面断層画像と正面モーションコントラスト画像とをセットとする学習データを用いた学習により得ることができる。このように、互いに異なる種類である複数の医用画像をセットとする学習データを用いた学習によって、アーチファクトの状態の判定だけでなく、医用画像の特徴量に対応する種類に分類することができ、この分類の精度を向上させることができる。
また、上述した様々な実施形態におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させても良い。このとき、例えば、各種のアーチファクト低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されても良い。なお、上述した学習済モデルは、医用画像の解析結果を学習データとして用いた学習により得たものであっても良い。また、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであっても良い。また、学習済モデルは、正面断層画像及び正面モーションコントラスト画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであっても良い。
また、上述した様々な実施形態におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させても良い。このとき、例えば、各種のアーチファクト低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位の位置を画像上に表示されても良いし、また、異常部位の状態等を文字等によって表示されても良い。なお、上述した学習済モデルは、医用画像の診断結果を学習データとして用いた学習により得たものであっても良い。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであっても良い。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データや、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるもモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でも良い。また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データや、眼底の黄斑の3次元OCT画像と眼底の視神経乳頭のサークルスキャン(またはラスタスキャン)断層画像とをセットとする入力データ等が考えられる。なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であっても良い。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであっても良い。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであっても良い。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであっても良い。
また、上述した解析結果と診断結果とのうち少なくとも1つの結果が表示される表示画面は、レポート画面に限らず、例えば、撮影確認画面、経過観察用の表示画面、撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されても良い。例えば、上述した学習済モデルを用いて得た解析結果と診断結果とのうち少なくとも1つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。
(変形例2)
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した学習済モデルが用いられるように構成されても良い。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されても良い。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等である。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶(保存)された動画像であっても良い。このとき、例えば、記憶部に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されても良い。例えば、硝子体を好適に観察したい場合には、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択し、選択された基準フレームに対して他のフレームが位置合わせされた動画像が表示画面に表示されても良い。
(変形例3)
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することが良い。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意しても良い。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることが良い。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えれば良い。また、問題があれば、予備の学習済モデルが用いられるようにしても良い。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしても良い。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択手段を有しても良い。このとき、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位(ヘッダの情報や、操作者により手動入力されたもの)と該撮影部位の撮影画像とがペアとなるデータを(例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して)検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する制御手段と、を有しても良い。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出しても良い。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。
(変形例4)
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示(例えば、ユーザインターフェース等を用いた指示)以外にも、音声等による指示であっても良い。このとき、例えば、機械学習により得た音声認識エンジンを含む機械学習エンジンが用いられても良い。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力による指示であっても良い。このとき、例えば、機械学習により得た文字認識エンジンを含む機械学習エンジンが用いられても良い。また、検者からの指示は、ジェスチャーによる指示であっても良い。このとき、機械学習により得たジェスチャー認識エンジンを含む機械学習エンジンが用いられても良い。ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも1層には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。
(変形例5)
上述した様々な実施形態及び変形例においては、被検査物は被検眼に限らず、被検者の所定部位であればどこでも良い。また、被検者の所定部位の正面画像は、医用画像であれば、何でも良い。このとき、処理される医用画像は、被検者の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(3次元のOCTデータ)について撮影対象の深度方向における少なくとも一部の範囲のデータを用いて生成したEn−Face画像を含む。なお、En−Face画像は、3次元のOCTAデータ(3次元のモーションコントラストデータ)について撮影対象の深度方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn−Face画像(モーションコントラスト正面画像)であっても良い。また、3次元のOCTデータや3次元のモーションコントラストデータは、3次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。
[第4の実施形態]
本実施形態に係る画像処理装置は、広画角な断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制するために、異なる深度範囲で算出した輝度統計値を、該輝度統計値の面内方向の分布に関する局所代表値で正規化した値に基づき血管候補領域の分布情報を生成する。すなわち、本実施形態に係る画像処理装置は、3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較して得た分布情報と、複数の分布情報を比較して得た分布情報を局所代表値で正規化して(例えば、平滑化処理を行って)得た分布情報とを比較することにより、所定の領域(血管候補領域)に関する分布情報を生成することができる。なお、最終的に分布情報が生成されていればよく、生成の途中においては分布情報として例えば画像(マップ)を生成する必要はない。次に、高次元平滑化断層画像もしくはモーションコントラスト画像の輝度値に対して、該血管候補領域に対して重み付けした低次元(速軸方向のみ)平滑化断層画像もしくはモーションコントラスト画像の輝度値を除算することにより、輝度補正係数値分布を生成する。さらに、断層画像もしくはモーションコントラスト画像の各画素に対して輝度補正係数値を乗算することで、広画角な断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する場合について説明する。
ここで、本実施形態で補正対象とする輝度段差のうち広画角モーションコントラスト画像の遅軸方向に生じた輝度段差の例について説明する。同一位置で複数回走査した断層画像間の位置ずれが生じている場合には、実際には赤血球の変位が生じてない領域に対しても高いモーションコントラスト値が算出されてしまうため、帯状の高輝度な段差(白線)が生じる。本実施形態のように広画角なモーションコントラスト画像を取得する場合は、撮影時間が経過するに従って固視が不良になりやすいため、同一のモーションコントラスト画像上に輝度段差(白線)が多数生じることがある(図17(a)及び図18(a))。また、固視不良によって断層画像間の位置ずれだけでなく被検眼の瞬目や睫毛位置低下も生じるため、広画角モーションコントラスト画像においては高輝度な段差(白線)だけでなく低輝度な段差(黒帯)も多数含まれる場合がある。
一方、広画角モーションコントラスト画像に対して第1実施形態のS303で説明した手順で血管候補領域の分布に関する情報を生成して第2実施形態のS1004〜S1006で説明した手順で輝度段差補正済のモーションコントラスト画像を生成する場合、輝度減衰率が神経線維層厚の影響を受けやすくなるという課題がある。断層画像やモーションコントラスト画像の画角が小さい場合には部位ごとの神経線維層厚の相違が小さく、輝度減衰率に与える影響は小さい。しかし、断層画像やモーションコントラスト画像が広画角である場合には部位ごとの神経線維層厚の相違が大きく、輝度減衰率に与える影響が無視できなくなる。例えば図18(b)に示すように、血管の有無に関わらず(神経線維層厚の大きい)視神経乳頭部近傍(白色矢印部)では輝度減衰率が大きくなりやすく、(神経線維層厚の小さい)周辺部(灰色矢印部)では輝度減衰率が小さくなりやすい。従ってこのような血管候補領域の分布に関する情報に基づいて輝度段差補正を行うと、視神経乳頭部付近で高輝度な輝度段差(白線)が残存(図18(f)の白矢印部)する場合がある。また、周辺部では速軸方向に走行する血管領域のモーションコントラスト値が過抑制されたりする(図18(f)の灰色矢印部)場合が生じ得る。
そこで、本実施形態ではS501からS505の手順で各Aスキャン位置における輝度減衰率(相違度を示す値であれば何でもよいが、本実施形態では差分値とする)を算出した後、各Aスキャン位置を中心とした面内方向の近傍領域における輝度減衰率の代表値(例えば平均値や中央値)を算出する。本実施形態では各Aスキャン位置において該代表値を用いて正規化することにより、輝度減衰率が神経線維層厚の影響を受けることを防止する。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成及び本実施形態での画像処理フローは第2実施形態の場合と同様であるので省略する。なお図10においてS1003、S1005以外は第2実施形態の場合と同様であるので説明は省略する。
<ステップ1003>
血管取得部101−421は、異なる所定の深度範囲間の輝度統計値を比較した結果に基づいて血管候補領域の分布に関する情報を生成する。本実施形態では「血管が存在する可能性の高い深度範囲(網膜表層)」と「影による輝度低下が最も顕著に現れる深度範囲(網膜外層)」における輝度の相違度(差もしくは比率)に基づいて血管候補領域を特定する。
輝度減衰率が神経線維層厚の影響を受けるのを避けるため、本実施形態ではS501からS505の手順で各Aスキャン位置における輝度減衰率を算出した後、各Aスキャン位置を中心とした面内方向の近傍領域における輝度減衰率の代表値(局所平均値)を算出する。各Aスキャン位置で算出した輝度減衰率を該局所平均値で除算して正規化することにより、広画角断層画像に対してもロバストに血管候補領域の分布に関する情報を生成できる。なお、本発明における輝度減衰率の正規化は輝度減衰率の局所代表値に基づく方法に限定されるものではなく、例えば各Aスキャン位置で算出した輝度減衰率を神経線維層厚もしくは神経線維層厚の局所代表値(局所平均値等)で除算して正規化してもよい。すなわち、本実施形態に係る画像処理装置は、3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較して得た分布情報と、被検眼の所定の層の層厚に関する分布情報とを比較することにより、所定の領域(血管候補領域)に関する分布情報を生成してもよい。
さらに、図5(a)に示すフローチャートを参照しながら、S1003で実行される処理の詳細について説明する。なお、S501からS504までは第1実施形態及び第2実施形態の場合と同様であるので省略する。
<ステップ505>
情報生成手段の一例である血管取得部101−421は、異なる深度範囲の輝度統計値を比較するために、S504で算出した2種類の正面断層画像(図16(a)及び図16(b))の輝度値に基づいて輝度減衰率Arの分布を算出する。異なる深度範囲における輝度統計値の比較に関する指標として、本実施形態では、(網膜表層正面断層画像の輝度)―(網膜外層正面断層画像の輝度)を各画素(x,y)で算出し、輝度減衰率Ar(x,y)のマップ(図16(c))を生成する。
<ステップ506>
血管取得部101−421は、S505で生成した輝度減衰率マップAr(x,y)を正規化することにより、血管領域らしさを表わす血管候補領域マップV(x,y)を生成する。
本実施形態では、S505で算出した輝度減衰率マップAr(x,y)の各画素位置(x,y)において所定サイズの近傍領域で該輝度減衰率に関する代表値を算出する。本実施形態では、代表値として局所平均を算出する。算出した局所平均値分布の例を図16(d)に示す。代表値はこれに限らず、任意の公知の代表値(例えば中央値)を算出してよい。次に、各画素位置(x,y)において輝度減衰率Ar(x,y)の値に対して該代表値を用いた正規化処理を行う。本実施形態では、正規化処理として減算処理を行う。本発明はこれに限定されず、例えば輝度減衰率として(網膜表層輝度代表値÷網膜外層輝度代表値)を算出する場合には本ステップでの該代表値を用いた正規化処理として除算処理を行ってもよい。また前述したように、本発明における輝度減衰率の正規化は輝度減衰率の局所代表値に基づく方法に限定されるものではなく、例えば各Aスキャン位置で算出した輝度減衰率を神経線維層厚もしくは神経線維層厚の局所代表値(局所平均値等)で除算して正規化してもよい。
さらに、該正規化した輝度減衰率マップAr(x,y)に対して所定の値WLとWWを用いて正規化することで、血管候補領域マップV(x,y)を
V(x,y)=(Ar(x,y)−WL)/WW
として算出し、0≦V(x,y)≦1を満たすようにする。図16(e)に血管候補領域マップV(x,y)の例を示す。血管候補領域が部位によらず安定して描出されていることがわかる。なお、正規化処理は上記に限らず任意の公知の正規化法を用いてよい。
<ステップ1005>
重み付け部101−442は、S1003で血管取得部101−421が生成した血管候補領域の分布に関する情報(図17(d))を用いて広画角モーションコントラスト画像(図17(a))の血管候補領域における輝度値を重み付けした重み付きモーションコントラスト画像(図17(e))を生成する。次に、高次元変換部101−4411が高次元平滑化モーションコントラスト画像(図17(c))を生成し、低次元変換部101−4412が該重み付きモーションコントラスト画像に対して速軸方向に平滑化処理を行った低次元平滑化モーションコントラスト画像(図17(f))を生成する。さらに演算部101−443が該高次元平滑化モーションコントラスト画像と該低次元平滑化モーションコントラスト画像との演算処理によりモーションコントラスト画像用の輝度補正係数マップ(図17(g))を生成する。
さらに、図5(b)に示すフローチャートを参照しながら、S1005で実行される処理の詳細について説明する。なお、S514以外は第2実施形態の場合と同様であるので省略する。
<ステップ514>
重み付け部101−442は、血管候補領域マップV(x,y)の値を用いてモーションコントラスト画像の該血管候補領域における輝度値を重み付けする。なお、この重み付けは、第2の概略値分布の一例である低次元概略値分布を取得する際に、3次元モーションコントラスト画像を取得する際に使用される測定光の速軸方向に沿って存在する血管もしくは出血領域である所定の組織と、それ以外の領域とに対して実行される異なる算出処理の一例である。また、この重み付けは、本発明において必須ではない。
本実施形態では、血管候補領域マップV(x,y)の値(血管らしさ)が高い領域ほど、S511で取得した正面モーションコントラスト画像における該高い領域に対応する領域の輝度値が、S512で算出した高次元概略値M_2ds(x,y)に近づくように、また、該V(x,y)の値が低い領域ほど、S511で取得した正面モーションコントラスト画像の輝度値M(x,y)をできるだけ維持するように、正面モーションコントラスト画像を重み付けした重み付き正面モーションコントラスト画像M_w(x,y)を生成する。具体的には、以下として算出すれば良い。
M_w(x,y)=(1.0−V(x,y))*M(x,y)+V(x,y)*M_2ds(x,y)
図17(e)に重み付き正面モーションコントラスト画像M_w(x,y)の例を示す。
ここで示した血管候補領域の輝度値に対する重み付け法はあくまで例であり、速軸方向に走行する血管候補領域の輝度値を減少させる処理もしくは該血管候補領域近傍の輝度値に近づける処理であれば任意の重み付けを行ってもよい。
なお広画角断層画像に生じる輝度段差は広画角モーションコントラスト画像に生じる輝度段差よりも輝度段差の深さ(高さ)のばらつきが大きいため、広画角断層画像に生じる輝度段差を抑制する場合には(広画角モーションコントラスト画像に生じる輝度段差を抑制する場合よりも)M_2dsに対する重みを小さく(M(x,y)に対する重みを大きく)することが望ましい。あるいは広画角断層画像用の血管候補領域マップVt(x,y)と広画角モーションコントラスト画像用の血管候補領域マップVm(x,y)とを別々に生成しておき、Vt(x,y)<Vm(x,y)となるようにしてもよい。
次に、図18(a)〜図18(g)を用いて輝度減衰率の正規化処理を適用した血管候補領域マップにより算出した血管候補領域に対する輝度重み付けの効果(広画角画像において、神経線維層厚の影響を受けずに輝度段差アーチファクトのみを選択的に抑制しやすくする)について説明する。図18(a)は多数の帯状の輝度段差(白線)と、速軸方向に走行する血管領域の双方を含むモーションコントラスト画像の例である。神経線維層厚が大きい領域(視神経乳頭近傍)においても小さい領域(広画角画像の周辺部)においても、安定して輝度段差のみ選択的に抑制する必要がある。
輝度減衰率の局所平均値による正規化処理を実施せずに生成した血管候補領域マップに基づいてS1003の血管候補領域マップ生成処理、S514の血管領域に対する重み付き画像生成処理、S1006の輝度段差補正処理を各々実行した場合の処理結果の例を図18(b)、同図(d)、同図(f)に示す。図18(b)の神経層厚の大きい領域(視神経乳頭部近傍(白矢印))においては非血管領域でも輝度減衰率が高く算出される一方で、神経線維層厚の小さい領域(血管候補領域マップ周辺部(灰色矢印))においては血管領域であるにも関わらず輝度減衰率が過少に算出されている。そのため、図18(d)の視神経乳頭部近傍(白矢印)では血管・非血管領域間の相違が小さくなりやすく、画像周辺部(灰色矢印)では血管領域が高輝度なまま残っている。結果的に、図18(f)の視神経乳頭部近傍(白矢印)では輝度段差の抑制が不十分となり、画像周辺部(灰色矢印)では血管領域の過抑制が生じている。
一方、輝度減衰率の局所平均値による正規化処理を実施してからS1003の血管候補領域マップ生成処理、S514の血管領域に対する重み付き画像生成処理、S1006の輝度段差補正処理を各々実行した場合の処理結果を図18(c)、同図(e)、同図(g)に示す。図18(c)において、神経線維層厚が大きい領域(視神経乳頭部近傍)においても小さい領域(画像周辺部)においても、安定して血管領域が描出されている。そのため、図18(e)でも血管領域に対して適切な重み付けがなされ、S1006の輝度段差補正処理においても視神経乳頭部付近の輝度段差抑制不足や画像周辺部の血管領域の輝度値に対する過抑制は見られない(図18(g))。
なお、本実施形態においては広画角正面モーションコントラスト画像上に生じた帯状の輝度段差を抑制する(輝度段差補正済の正広画角面モーションコントラスト画像を生成する)方法について説明したが、本発明はこれに限定されない。以下の手順で広画角3次元モーションコントラスト画像上に生じた帯状の輝度段差を抑制し、輝度段差補正済の広画角3次元モーションコントラスト画像を生成してもよい。
すなわち、多数の異なる投影深度範囲で正面モーションコントラスト画像を生成しておき、各正面モーションコントラスト画像に対して輝度段差補正係数マップを生成しておく。次に3次元モーションコントラスト画像上の各画素の輝度値に対して、該各画素が属する投影深度範囲に対応する輝度段差補正係数マップの値(補正係数値)を演算することによって輝度段差補正済の3次元モーションコントラスト画像を生成できる。異なる投影深度範囲として、例えば網膜表層・網膜深層・網膜外層・脈絡膜の4種類が挙げられる。あるいは、網膜及び脈絡膜に属する各層の種類を指定してもよい。
また、輝度段差を補正するタイミングは、予め上述の手順で輝度段差補正済の広画角3次元断層画像もしくはモーションコントラスト画像を生成しておき、操作者から正面断層画像もしくはモーションコントラスト画像の生成指示があった時点でその正面画像を生成・表示してよい。輝度段差補正済の広画角3次元断層画像もしくはモーションコントラスト画像の生成タイミングの例として、例えば断層画像の撮影直後、再構成時、保存時が挙げられる。あるいは、操作者から広画角正面断層画像もしくはモーションコントラスト画像の生成指示があった時点で(該指示で指定された投影深度範囲に対して)輝度段差補正を実施し、輝度段差補正済の広画角正面断層画像もしくはモーションコントラスト画像を表示してもよい。
なお、本実施形態では広画角画像の例として広画角モーションコントラスト画像に対する輝度段差抑制処理について説明したが、本発明はこれに限定されるものではない。すなわち、本実施形態のS1003で説明した手順で生成した血管候補領域マップを用いて、第1実施形態のS304からS305で説明した画像処理を実施することにより、広画角断層画像に生じた輝度段差を(神経線維層厚が高い部位においても神経線維層厚が低い部位においても)ロバストに抑制することも本発明に含まれる。
以上述べた構成によれば、広画角な断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制するために、異なる深度範囲で算出した輝度統計値を、該輝度統計値の面内方向の分布に関する局所代表値で正規化した値に基づき血管候補の分布情報を生成する。次に、高次元平滑化断層画像もしくはモーションコントラスト画像の輝度値に対して、該血管候補領域に対して重み付けした低次元(速軸方向のみ)平滑化断層画像もしくはモーションコントラスト画像の輝度値を除算することにより、輝度補正係数値分布を生成する。さらに、断層画像もしくはモーションコントラスト画像の各画素に対して輝度補正係数値を乗算することで、広画角な断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差アーチファクトをロバストに抑制する。
これにより、被検眼の広画角な断層画像もしくはモーションコントラスト画像の遅軸方向に生じた輝度段差をロバストに抑制できる。
[その他の実施形態]
上記の各実施形態では、本発明を画像処理装置101として実現したが、本発明の実施形態は画像処理装置101のみに限定されるものではない。例えば、本発明はシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることができる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施形態及び変形例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (31)

  1. 被検眼の3次元断層画像または3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を2次元の変換処理を実行して得た第1の概略値分布と、前記少なくとも1つの正面画像を1次元の変換処理を実行して得た第2の概略値分布との演算により、補正係数の値の分布を取得する取得手段と、
    前記補正係数の値の分布を用いて、前記3次元断層画像または前記3次元モーションコントラスト画像の少なくとも一部を補正する補正手段と、
    前記補正された少なくとも一部の画像を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記1次元の変換処理は、前記3次元断層画像または前記3次元モーションコントラスト画像を取得する際に使用される測定光の速軸方向における変換処理であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記演算は、前記第1の概略値分布を前記第2の概略値分布で除算または減算する演算であることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記生成手段は、前記補正された少なくとも一部の前記3次元断層画像または前記3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を生成し、
    前記正面画像は、前記3次元断層画像から生成された正面断層画像と前記3次元モーションコントラスト画像から生成された正面モーションコントラスト画像とのいずれかであることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記取得手段は、前記被検眼の所定の層境界に基づいて指定される複数の深度範囲の各々に対して補正係数の値の分布を取得し、
    前記補正手段は、前記複数の深度範囲の各々に対して取得した補正係数の値の分布を用いて、前記3次元断層画像または前記3次元モーションコントラスト画像の少なくとも一部を補正することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記取得手段は、前記3次元断層画像または前記3次元モーションコントラスト画像を取得する際に使用される測定光の速軸方向に沿って存在する血管に関する領域もしくは出血領域である所定の領域と、それ以外の領域とで異なる算出処理により、前記第2の概略値分布を取得することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記取得手段は、前記少なくとも1つの正面画像における前記所定の領域の輝度値を、前記所定の領域に対して遅軸方向の側の近傍領域の輝度値に近づける算出処理を行うことにより、前記第2の概略値分布を取得することを特徴とする請求項6に記載の画像処理装置。
  8. 前記取得手段は、前記第2の概略値分布を取得するために前記少なくとも1つの正面画像における前記所定の領域の輝度値を、前記所定の領域に対して遅軸方向の側の近傍領域の輝度値に近づける算出処理を行う場合に、前記少なくとも1つの正面画像が正面断層画像である場合の方が、前記少なくとも1つの正面画像がモーションコントラスト正面画像である場合よりも、前記所定の領域の輝度値を、前記所定の領域に対して遅軸方向の側の近傍領域の輝度値により近づける重みが小さくなるように前記算出処理を行うことを特徴とする請求項7に記載の画像処理装置。
  9. 前記生成手段は、前記被検眼の深度方向に交差する面内方向の分布情報であって、前記3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較することにより、前記所定の領域に関する分布情報を生成し、
    前記取得手段は、前記生成された分布情報に基づいて、前記所定の領域と、それ以外の領域とで異なる算出処理により、前記第2の概略値分布を取得することを特徴とする請求項6乃至8のいずれか1項に記載の画像処理装置。
  10. 被検眼の3次元断層画像を取得する取得手段と、
    前記被検眼の深度方向に交差する面内方向の分布情報であって、前記3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較することにより、前記深度方向に沿って発生する影の原因となる前記被検眼における所定の領域に関する分布情報を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
  11. 前記生成手段は、前記複数の分布情報を比較して得た分布情報と、前記複数の分布情報を比較して得た分布情報を局所代表値で正規化して得た分布情報とを比較することにより、前記所定の領域に関する分布情報を生成することを特徴とする請求項9または10に記載の画像処理装置。
  12. 前記生成手段は、前記複数の分布情報を比較して得た分布情報と、前記被検眼の所定の層の層厚に関する分布情報とを比較することにより、前記所定の領域に関する分布情報を生成することを特徴とする請求項9または10に記載の画像処理装置。
  13. 前記複数の分布情報は、前記3次元断層画像における異なる2つ深度範囲それぞれで算出した輝度値を前記深度方向に平均することで得た2つの平均値であり、
    前記生成手段は、前記2つの平均値を比較することにより、前記所定の領域に関する分布情報を生成することを特徴とする請求項9乃至12のいずれか1項に記載の画像処理装置。
  14. 前記所定の領域に関する分布情報は、前記被検眼の血管に関する領域の分布情報であることを特徴とする請求項9乃至13のいずれか1項に記載の画像処理装置。
  15. 前記生成された分布情報を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項9乃至14のいずれか1項に記載の画像処理装置。
  16. 被検者の所定部位の医用画像を取得する取得手段と、
    前記取得された医用画像におけるアーチファクトが低減された医用画像を生成する生成手段と、
    前記取得された医用画像を表示手段に表示される撮影確認画面に表示させ、前記表示手段に表示される表示画面が前記撮影確認画面からレポート画面に切り換わった後、前記生成された医用画像を前記レポート画面に表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  17. 被検者の所定部位の医用画像を取得する取得手段と、
    前記取得された医用画像におけるアーチファクトが低減された医用画像を生成する生成手段と、
    前記取得された医用画像を表示手段に表示される第1の表示画面に表示させ、前記表示手段に表示される表示画面が前記第1の表示画面から第2の表示画面に切り換わった後、前記生成された医用画像を前記表示手段に表示される第2の表示画面に表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  18. 前記取得された医用画像におけるアーチファクトの低減の要否に関する指定を受け付ける受付手段を更に備え、
    前記表示制御手段は、前記要否に関する指定に応じて、前記表示手段に表示される医用画像として、前記取得された医用画像と前記生成された医用画像とを切り換える表示制御を実行することを特徴とする請求項16または17に記載の画像処理装置。
  19. 前記所定部位の3次元断層画像または3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を2次元の変換処理を実行して得た第1の概略値分布と、前記少なくとも1つの正面画像を1次元の変換処理を実行して得た第2の概略値分布との演算により、補正係数の値の分布を取得する第2の取得手段と、
    前記補正係数の値の分布を用いて、前記3次元断層画像または前記3次元モーションコントラスト画像の少なくとも一部を補正する補正手段と、を更に備え、
    前記生成手段は、前記補正された少なくとも一部の前記3次元断層画像または前記3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を生成することを特徴とする請求項16乃至18のいずれか1項に記載の画像処理装置。
  20. 複数の医用画像を学習して得た学習済モデルを用いて、前記取得された医用画像におけるアーチファクトの状態を判定する判定手段を更に備え、
    前記表示制御手段は、前記取得された医用画像と前記判定手段による判定結果とを前記表示手段に表示させることを特徴とする請求項16乃至19のいずれか1項に記載の画像処理装置。
  21. 被検者の所定部位の医用画像を取得する取得手段と、
    複数の医用画像を学習して得た学習済モデルを用いて、前記取得された医用画像におけるアーチファクトの状態を判定する判定手段と、
    前記取得された医用画像と前記判定手段による判定結果とを表示手段に表示される表示制御手段と、
    を備えることを特徴とする画像処理装置。
  22. 前記判定手段は、前記取得された医用画像を、前記アーチファクトの程度に応じた複数の段階のいずれかに分類することにより、前記アーチファクトの状態を判定することを特徴とする請求項20または21に記載の画像処理装置。
  23. 前記判定手段は、前記取得された医用画像を、前記アーチファクトの複数の種類のいずれかに分類することにより、前記アーチファクトの状態を判定することを特徴とする請求項20乃至22のいずれか1項に記載の画像処理装置。
  24. 前記学習済モデルは、互いに異なる種類である複数の医用画像をセットとする学習データにより学習して得られることを特徴とする請求項20乃至23のいずれか1項に記載の画像処理装置。
  25. 前記学習済モデルは、医用画像と解析結果とをセットとする学習データにより学習して得られることを特徴とする請求項20乃至24のいずれか1項に記載の画像処理装置。
  26. 被検眼の3次元断層画像または3次元モーションコントラスト画像に基づく少なくとも1つの正面画像を2次元の変換処理を実行して得た第1の概略値分布と、前記少なくとも1つの正面画像を1次元の変換処理を実行して得た第2の概略値分布との演算により、補正係数の値の分布を取得する工程と、
    前記補正係数の値の分布を用いて、前記3次元断層画像または前記3次元モーションコントラスト画像の少なくとも一部を補正する工程と、
    前記補正された少なくとも一部の画像を生成する工程と、
    を有することを特徴とする画像処理方法。
  27. 被検眼の3次元断層画像を取得する工程と、
    前記被検眼の深度方向に交差する面内方向の分布情報であって、前記3次元断層画像における複数の深度範囲に対応する複数の分布情報を比較することにより、前記深度方向に沿って発生する影の原因となる前記被検眼における所定の領域に関する分布情報を生成する工程と、
    を有することを特徴とする画像処理方法。
  28. 被検者の所定部位の医用画像を取得する工程と、
    前記取得された医用画像におけるアーチファクトが低減された医用画像を生成する工程と、
    前記取得された医用画像を表示手段に表示される撮影確認画面に表示させ、前記表示手段に表示される表示画面が前記撮影確認画面からレポート画面に切り換わった後、前記生成された医用画像を前記レポート画面に表示させる工程と、
    を有することを特徴とする画像処理方法。
  29. 被検者の所定部位の医用画像を取得する工程と、
    前記取得された医用画像におけるアーチファクトが低減された医用画像を生成する工程と、
    前記取得された医用画像を表示手段に表示される第1の表示画面に表示させ、前記表示手段に表示される表示画面が前記第1の表示画面から第2の表示画面に切り換わった後、前記生成された医用画像を前記表示手段に表示される第2の表示画面に表示させる工程と、
    を有することを特徴とする画像処理方法。
  30. 被検者の所定部位の医用画像を取得する工程と、
    複数の医用画像を学習して得た学習済モデルを用いて、前記取得された医用画像におけるアーチファクトの状態を判定する工程と、
    前記取得された医用画像と前記判定する工程による判定結果とを表示手段に表示される工程と、
    を有することを特徴とする画像処理方法。
  31. 請求項26乃至30のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2019133788A 2018-09-13 2019-07-19 画像処理装置、画像処理方法及びプログラム Active JP7446730B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034685 WO2020054524A1 (ja) 2018-09-13 2019-09-04 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018171736 2018-09-13
JP2018171736 2018-09-13
JP2019044264 2019-03-11
JP2019044264 2019-03-11

Publications (3)

Publication Number Publication Date
JP2020146433A true JP2020146433A (ja) 2020-09-17
JP2020146433A5 JP2020146433A5 (ja) 2022-04-07
JP7446730B2 JP7446730B2 (ja) 2024-03-11

Family

ID=72431219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133788A Active JP7446730B2 (ja) 2018-09-13 2019-07-19 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7446730B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7535564B2 (ja) 2022-03-28 2024-08-16 オプトス ピーエルシー Octaデータ処理の方法、コンピュータプログラム、及び装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010110656A (ja) * 2010-02-15 2010-05-20 Canon Inc 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体
JP2012161427A (ja) * 2011-02-04 2012-08-30 Nidek Co Ltd 眼科撮影装置
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2018015189A (ja) * 2016-07-27 2018-02-01 株式会社トプコン 眼科画像処理装置及び眼科撮影装置
JP2018138159A (ja) * 2017-01-11 2018-09-06 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010110656A (ja) * 2010-02-15 2010-05-20 Canon Inc 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体
JP2012161427A (ja) * 2011-02-04 2012-08-30 Nidek Co Ltd 眼科撮影装置
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2018015189A (ja) * 2016-07-27 2018-02-01 株式会社トプコン 眼科画像処理装置及び眼科撮影装置
JP2018138159A (ja) * 2017-01-11 2018-09-06 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7535564B2 (ja) 2022-03-28 2024-08-16 オプトス ピーエルシー Octaデータ処理の方法、コンピュータプログラム、及び装置

Also Published As

Publication number Publication date
JP7446730B2 (ja) 2024-03-11

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
KR20210041046A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
US9615734B2 (en) Ophthalmologic apparatus
WO2021029231A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP7362403B2 (ja) 画像処理装置および画像処理方法
WO2020183791A1 (ja) 画像処理装置および画像処理方法
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7009265B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020050308A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020054524A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7387812B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7246862B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP7446730B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7262929B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP7488934B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R151 Written notification of patent or utility model registration

Ref document number: 7446730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151