JP2019209136A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2019209136A
JP2019209136A JP2019097162A JP2019097162A JP2019209136A JP 2019209136 A JP2019209136 A JP 2019209136A JP 2019097162 A JP2019097162 A JP 2019097162A JP 2019097162 A JP2019097162 A JP 2019097162A JP 2019209136 A JP2019209136 A JP 2019209136A
Authority
JP
Japan
Prior art keywords
image
blood vessel
dimensional
motion contrast
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019097162A
Other languages
English (en)
Other versions
JP7374615B2 (ja
JP2019209136A5 (ja
Inventor
裕之 今村
Hiroyuki Imamura
裕之 今村
律也 富田
Ritsuya Tomita
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2019/020876 priority Critical patent/WO2019230643A1/ja
Publication of JP2019209136A publication Critical patent/JP2019209136A/ja
Publication of JP2019209136A5 publication Critical patent/JP2019209136A5/ja
Application granted granted Critical
Publication of JP7374615B2 publication Critical patent/JP7374615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】 3次元の血管領域等の所望の領域を精度よく得る。【解決手段】 情報処理装置は、眼底の3次元モーションコントラストデータを取得する取得手段と、3次元モーションコントラストデータを高画質化する高画質化手段と、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出する算出手段と、を備える。【選択図】 図1

Description

本明細書の開示は、情報処理装置、情報処理方法及びプログラムに関する。
光干渉断層計(OCT;Optical Coherence Tomography)を用いて非侵襲に眼底血管を描出するOCT Angiography(以下、OCTAと表記)が知られている。OCTAでは測定光で同一位置を複数回走査(クラスタ走査)し、複数のOCT断層画像を取得する。この複数のOCT断層画像(クラスタ)に基づいて赤血球の変位と測定光との相互作用により得られるモーションコントラストデータがOCTA画像として画像化される。
特許文献1では3次元モーションコントラストデータを処理して3次元的に血管計測結果を得ることが開示されている。
特開2017−77413号公報
しかしながら、例えば、モーションコントラストデータに含まれるノイズによっては3次元の血管領域を精度よく得ることが難しいために、血管計測結果の精度が低下することがあった。
本明細書の開示の目的の一つは、3次元の血管領域等の所望の領域を精度よく得ることである。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本明細書に開示の情報処理装置の一つは、眼底の3次元モーションコントラストデータを取得する取得手段と、前記3次元モーションコントラストデータを高画質化する高画質化手段と、前記高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出する算出手段と、を備える。
本明細書の開示の一つによれば、3次元の血管領域等の所望の領域を精度よく得ることができる。
第1の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第1の実施形態及び第2の実施形態に係る画像処理システムの一例を示す図である。 第1の実施形態に係る画像処理システムの処理手順の一例を示すフローチャートである。 第1の実施形態及び第2の実施形態におけるOCTA撮影の走査方法の一例を説明する図である。 第1の実施形態のS307で実行される処理の一例を説明する図である。 第1の実施形態のS308で実行される処理の一例を説明する図である。 第1の実施形態において表示手段に表示する撮影画面の一例を説明する図である。 第1の実施形態のS304における画像処理内容の一例及びS305において表示手段に表示するレポート画面の一例を説明する図である。 第1の実施形態及び第2の実施形態において表示手段に表示する計測操作画面の一例と、第2の実施形態のS1210において表示する計測レポート画面の一例を説明する図である。 第1の実施形態及び第2の実施形態において特定された血管領域をユーザが手動修正する場合の操作手順の一例と実行される画像処理内容の一例を説明する図である。 第2の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第2の実施形態に係る画像処理システムの処理手順の一例を示すフローチャートである。 第2の実施形態のS1205で実行される高画質化処理の一例を説明する図である。 第2の実施形態のS1208で実行される計測処理の一例を説明する図である。 変形例16に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例16に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例11に係るユーザーインターフェースの一例を示す。
[第1の実施形態]
本実施形態に係る画像処理装置は、網膜外層に脈絡膜新生血管(CNV)を含む被検眼から3次元の合成モーションコントラスト画像を取得し、3次元の血管強調フィルタを適用して2値化することで例えばCNVを含む血管領域を3次元で特定する。さらに特定したCNV領域の体積を算出し、正確に計測する場合について説明する。
以下、図面を参照しながら、本実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD−OCTを用いるものとする。これに限らず、例えばSS−OCTを用いて構成しても良い。
図2(a)において、測定光学系100−1は前眼部像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。
画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近の波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
光カプラー219によって、測定光と参照光は合波され干渉光となる。
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
(画像処理装置の構成)
本実施形態の画像処理装置(情報処理装置)101の構成について図1を用いて説明する。
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101−01、記憶部101−02、撮影制御部101−03、画像処理部101−04、表示制御部101−05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05を実現するソフトウェアモジュールを実行することで機能を実現する。当該ソフトウェアモジュールは例えば記憶部101−02に記憶されている。本発明はこれに限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。なお、CPU等のプロセッサは複数であってもよいし、プロセッサが実行するプログラムを記憶するメモリは1つであってもよいし複数であってもよい。
画像取得部101−01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101−01は断層画像生成部101―11及びモーションコントラストデータ生成部101−12を有する。断層画像生成部101―11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。
撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
画像処理部101−04は、位置合わせ部101−41、合成部101−42、補正部101−43、画像特徴取得部101−44、投影部101−45、解析部101−46を有する。先に述べた画像取得部101−01は、本発明に係る取得手段の一例である。また、合成部101−42は、モーションコントラストデータ生成部101−12により生成された複数のモーションコントラストデータを位置合わせ部101−41により得られた位置合わせパラメータに基づいて合成し、合成モーションコントラスト画像を生成する。ここで、合成部101−42は、3次元モーションコントラストデータを高画質化する高画質化手段の一例である。なお、本実施形態においても、高画質化手段による処理として、合成部101−42による処理の他に、例えば、後述する第2の実施形態における機械学習による高画質化処理を適用することが可能である。また、補正部101−43はモーションコントラスト画像内に生じるプロジェクションアーチファクトを2次元もしくは3次元的に抑制する処理を行う(プロジェクションアーチファクトについてはS304で説明する)。例えば、補正部101−43は合成された3次元モーションコントラストデータにおけるプロジェクションアーチファクトを低減する処理を行う。すなわち、補正部101−43は、合成された3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段の一例に相当する。画像特徴取得部101−44は断層画像から網膜や脈絡膜の層境界、中心窩や視神経乳頭中心の位置を取得する。投影部101−45は画像特徴取得部101−44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像を生成する。解析部101−46は強調部101−461・抽出部101−462・計測部101−463を有し、3次元もしくは正面モーションコントラスト画像から血管領域の抽出や計測処理を行う。強調部101−461は血管強調処理を実行する。また、抽出部101−462は血管強調画像に基づいて血管領域を抽出する。さらに、計測部101−463は抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出する。すなわち、本実施形態に係る画像処理装置は、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域を抽出することができる。なお、抽出部101−462は、3次元の血管領域を抽出する抽出手段の一例である。また、本実施形態に係る画像処理装置は、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出することができる。なお、3次元の血管領域に関する情報は、例えば、高画質化された3次元モーションコントラストデータにおける3次元の血管領域の位置情報等である。ただし、3次元の血管領域に関する情報は、高画質化された3次元モーションコントラストデータから血管計測値を算出可能な情報であれば何でもよい。
外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、血管領域や血管中心線の位置データ、計測値、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。なお、個々のOCTA撮影に関する撮影条件としては以下の3)に示すような設定項目があり、これらの設定項目を基準検査と同一の値に設定した上で、S302において基準検査と同一撮像条件のOCTA撮影を所定の回数だけ繰り返し実行する。図4は走査パターンの一例を示す図である。図4では主走査方向が水平(x軸)方向で、副走査(y軸)方向の各位置(yi;1≦i≦n)においてr回連続でBスキャンを行うOCTA撮影の例を示している。
具体的には
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
1)Macular Disease検査セットを登録
2)OCTAスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査パターン:Small Square
3−2)走査領域サイズ:3x3mm
3−3)主走査方向:水平方向
3−4)走査間隔:0.01mm
3−5)固視灯位置:中心窩
3−6)1クラスタあたりのBスキャン数:4
3−7)コヒーレンスゲート位置:硝子体側
3−8)既定表示レポート種別:単検査用レポート
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得したOCT画像やOCTA画像の既定の表示法を指す。また、上記の数値は例示であり他の数値であってもよい。ここで、OCTAにおいて同一位置で複数回走査することをクラスタ走査と呼ぶ。なお、異なるクラスタ間の断層画像を用いて脱相関は計算しない。また、瞬き等で再走査を行う単位はクラスタ単位である。
黄斑疾患眼向けの設定がなされたOCTAスキャンモードを含む検査セットが「Macular Disease」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
本実施形態においては、図7の撮影画面710に示すように、検査セットとして「Maucular Disease」(711)、スキャンモードとして「OCTA」モード712を選択する。
<ステップ302>
操作者は入力部103を操作して図7に示す撮影画面710中の撮影開始(Capture)ボタン713を押下することにより、S301で指定した撮影条件による繰り返しOCTA撮影を開始する。
撮影制御部101−03は断層画像撮影装置100に対してS301で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
なお、本実施形態では、本ステップにおける繰り返し撮像回数を3回とする。これに限らず、繰り返し撮像回数は任意の回数に設定してよい。また、本発明は繰り返し撮影間の撮影時間間隔が各繰り返し撮影内の断層像の撮影時間間隔よりも長い場合に限定されるものではなく、両者が略同一である場合も本発明に含まれる。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目の繰り返しOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。
またOCTA繰り返し撮影中は、S301で設定した撮影条件に加えて
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
<ステップ303>
画像取得部101−01及び画像処理部101−04は、S302で取得されたOCT断層画像に基づいてモーションコントラスト画像(モーションコントラストデータ)を生成する。具体的には、画像処理部101−04は、繰り返しOCTA撮影に基づいて、複数の3次元モーションコントラストデータを取得する。すなわち、画像処理部101−04は、眼底の3次元モーションコントラストデータを複数取得する取得手段の一例に相当する。
まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。
次に位置合わせ部101−41は同一クラスタに属する断層画像同士を位置合わせし、重ねあわせ処理を行う。画像特徴取得部101−44が該重ね合わせ断層画像から層境界データを取得する。本実施形態では、層境界の取得法として可変形状モデルを用いるが、任意の公知の層境界取得手法を用いてよい。なお層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を3次元のみで行い、深度方向に投影した2次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。モーションコントラストデータ生成部101−12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。式(1)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また、本実施形態では、モーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算しても良いし、二つの値の比に基づいてモーションコントラストを計算してもよい。
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成しても良い。
<ステップ304>
画像処理部101−04は、繰り返しOCTA撮影を通して得られた複数の3次元モーションコントラスト画像群(図8(a))を3次元的に位置合わせし、加算平均することで図8(b)に示すように、高画質な(例えば、高コントラストな)モーションコントラスト画像の一例である合成モーションコントラスト画像を生成する。すなわち、画像処理部101−04は、複数の3次元モーションコントラストデータを合成することにより、3次元モーションコントラストを高画質化する高画質化手段の一例に相当する。ここで、本実施形態においても、高画質化手段による処理として、画像処理部101−04による処理の他に、例えば、後述する第2の実施形態における機械学習による高画質化処理を適用することが可能である。
なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また、位置合わせ処理を2次元的に行う場合も本発明に含まれる。
また、合成部101−42が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や、fSNR)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
本実施形態では、合成部101−42がモーションコントラスト画像を3次元的に合成した後、補正部101−43がモーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。図8(c)に、3次元OCT断層画像上に3次元モーションコントラストデータを重畳表示した例を示す。網膜表層血管領域に対応する高い脱相関値を持つ領域801の深層側(視細胞層)に、高い脱相関値を持つ領域802が生じている。本来視細胞層に血管は存在しないにもかかわらず、網膜表層で生じている血管領域の明滅が視細胞層に血管影の明滅として映り込み、視細胞層の輝度値が変化することでアーチファクト802が生じる。
補正部101−43は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクト802を抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態では、Step−down Exponential Filteringを用いる。Step−down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、D(x,y,z)は該抑制処理後の脱相関値を表す。
図8(d)にプロジェクションアーチファクト抑制処理後の3次元合成モーションコントラストデータ(灰色)を断層画像上に重畳表示した例を示す。プロジェクションアーチファクト抑制処理前(図8(c))に視細胞層上に見られたアーチファクトが、該抑制処理によって除去されたことがわかる。
次に、投影部101−45はS303で画像特徴取得部101−44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像を生成する。任意の深度範囲で投影してよいが、本実施形態においては網膜表層及び網膜外層の深度範囲で2種類の正面合成モーションコントラスト画像を生成する。また、投影法としては最大値投影(MIP;Maximum Intensity Projection)・平均値投影(AIP;Average Intensity Projection)のいずれかを選択でき、本実施形態では最大値投影で投影するものとする。
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元及び正面モーションコントラスト画像と付随する生成条件データを検査日時、被検眼を同定する情報と関連付けて外部記憶部102へ保存する。
<ステップ305>
表示制御部101−05は、S303で生成した断層画像や、S304で合成した3次元及び正面モーションコントラスト画像、撮影条件や合成条件に関する情報を表示部104に表示させる。
図8(e)にレポート画面803の例を示す。本実施形態では、SLO画像及び断層画像、S304で合成及び投影することにより生成した異なる深度範囲の正面モーションコントラスト画像、対応する正面OCT画像を表示する。図8(e)では上段に網膜表層、下段に網膜外層を各々投影深度範囲として生成した正面モーションコントラスト画像を表示しており、網膜外層の正面モーションコントラスト画像808には脈絡膜毛細血管(CNV)が描出されている。
なお、表示部104に表示するモーションコントラスト画像は正面モーションコントラスト画像に限定されるものではなく、3次元的にレンダリングした3次元モーションコントラスト画像を表示してもよい。
正面モーションコントラスト画像の投影範囲はリストボックスに表示された既定の深度範囲セット(805及び809)から操作者が選択することで変更できる。また、投影範囲の指定に用いる層境界の種類とオフセット位置を806や810のようなユーザーインターフェースから変更したり、断層像上に重畳された層境界データ(807及び811)を入力部103から操作して移動させたりすることで投影範囲を変更できる。
さらに、画像投影法やプロジェクションアーチファクト抑制処理の有無を例えばコンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。例えば、プロジェクションアーチファクト抑制処理後のモーションコントラスト画像を3次元画像として表示部104に表示してもよい。
<ステップ306>
操作者が入力部103を用いてOCTA計測処理の開始を指示する。
本実施形態では、図8(e)のレポート画面803のモーションコントラスト画像上をダブルクリックすることで、図9(a)のようなOCTA計測画面に移行する。モーションコントラスト画像が拡大表示され、解析部101−46が計測処理を開始する。
計測処理の種類として任意の計測処理を行ってよく、本実施形態では図9(a)のDensity Analysis903もしくはToolsボタン904を選択して表示される項目905に示す解析の種類と、必要に応じて解析の次元数に関する項目912を選択することにより、所望の計測の種類を指定する。
例えばToolsボタン904を選択して表示される項目905からArea/Volumeを選択した状態で血管領域もしくは無血管領域のうちの1点をユーザが入力部103を用いて選択することにより、解析の種類として血管もしくは無血管領域の面積を指定できる。ここで、3D Analysisの項目も選択している場合には、解析の種類として血管もしくは無血管領域の体積を指定できる。あるいは、Density Analysis903のArea Density(もしくはSkeleton Density)を選択することで、解析の種類として2次元のVAD(もしくはVLD)を指定できる。ここで、3D Analysisの項目も選択している場合には、解析の種類として3次元のVAD(もしくはVLD)を指定できる。なおArea Density、Skeleton Densityは後述するVAD、VLDと各々同義である。また、3次元のArea Density(VAD)はVolume Density(VVD)と言い換えてもよい。
ここで、3次元画像処理による計測は大きく、以下のように大別できる。
1)3次元で強調し、2次元で特定した血管領域もしくは血管中心線データに対する2次元計測(投影強調画像を2値化した画像上の2次元位置に基づく計測)
2)3次元で強調及び特定した血管領域もしくは血管中心線データに対する2次元計測(投影2値画像上の2次元位置に基づく計測、所定の条件をみたすAスキャン群に対する計測)
3)3次元で強調及び特定された血管領域もしくは血管中心線データに対する3次元計測(3次元2値画像上の3次元位置に基づく計測)
1)及び2)の例として、投影画像上で上記無血管領域の面積や血管密度、血管領域の面積や径、長さ、曲率を計測したり、投影画像を生成せずに所定の条件を満たすAスキャン群の本数や水平方向の距離、水平方向の面積等を用いて2次元計測値を算出したりすることが挙げられる。計測内容は正面モーションコントラスト画像に対する計測と同様であるものの、正面モーションコントラスト画像を強調・特定して計測する場合よりも血管抽出能が向上するため計測精度が向上する。
また、3)の例として
3−1)血管の体積計測
3−2)任意方向の断面画像もしくは曲断面画像上の計測(血管の径もしくは断面積計測も含む)
3−3)血管の長さや曲率計測
が挙げられる。
本実施形態では、上記の3)に示した計測を行う。すなわち、本実施形態では、3次元で血管強調及び血管領域の特定処理を実行した後、3次元モーションコントラストデータから網膜表層の深度範囲で3次元の血管密度(VAD)、網膜外層の深度範囲で血管領域の体積を各々計測する。このように、深さ方向に投影した2次元モーションコントラストデータから血管密度等を算出するのではなく、3次元モーションコントラストデータから直接血管密度等を算出するため、血管が深さ方向に重なっている部分も正確に評価することが可能となる。
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Densityの略であり、2次元の場合は単位面積あたりに含まれる血管の長さの総和(単位:mm−1)として、また3次元の場合は単位体積あたりに含まれる血管の長さの総和(単位:mm−2)として定義される血管密度である。すなわち、血管密度にはVADとVLDとが含まれる。
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、糖尿病網膜症のように毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel DiameterIndexを計測してもよい。
次に、解析部101−46は計測処理の前処理を行う。任意の公知の画像処理を前処理として適用できるが、本実施形態では、前処理として画像拡大及びモルフォロジー演算(トップハットフィルタ処理)を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。具体的には、合成モーションコントラスト画像の画素サイズが約3μmになるように3次元Bicubic補間を用いて画像拡大し、球形の構造要素を用いてトップハットフィルタ処理を行うものとする。
<ステップ307>
解析部101−46が血管領域の特定処理を行う。本実施形態では、強調部101−461が3次元ヘシアンフィルタ及び3次元エッジ選択鮮鋭化に基づく血管強調処理を行う。次に抽出部101−462が2種類の血管強調画像を用いて2値化処理を行い、整形処理を行うことで血管領域を特定する。
血管領域特定処理の詳細はS510〜S560で説明する。
<ステップ308>
計測部101−463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する血管密度の計測を行う。引き続いて表示制御部101−05が、計測結果を表示部104に表示する。より具体的には、計測部101−463は、加算平均された複数の3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、3次元空間における血管密度等を算出する。すなわち、計測部101−463は、合成された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、3次元空間における血管密度を算出する算出手段の一例に相当する。より具体的には計測部101−463はプロジェクションアーチファクトを低減する処理が実行された後に血管密度の算出を行う。すなわち、算出手段の一例である計測部101−463は、処理手段によりプロジェクションアーチファクトが低減された後の合成された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、3次元空間における血管密度を算出する。
血管密度としてはVADとVLDの2種類の指標があり、本実施形態ではVADを計算する場合の手順を例に説明する。なお、VLDを計算する場合の手順についても後述する。
操作者が入力部103から血管領域もしくは血管中心線データを手動修正するよう指示を入力した場合には、解析部101−46が操作者から入力部103を介して指定された位置情報に基づいて血管領域もしくは血管中心線データを手動修正し、計測値を再計算する。
網膜表層におけるVAD計測、網膜外層における脈絡膜新生血管の体積計測についてはS810〜S820、網膜表層におけるVLD計測、網膜外層における脈絡膜新生血管の総血管長計測についてはS830〜S850で各々説明する。
<ステップ309>
解析部101−46は、S307で特定した血管領域や血管中心線のデータを手動修正するか否かの指示を外部から取得する。この指示は例えば入力部103を介して操作者により入力される。手動修正処理が指示された場合はS308へ、手動修正処理が指示されなかった場合はS310へと処理を進める。
<ステップ310>
表示制御部101−05は、S308で実施した計測結果に関するレポートを表示部104に表示する。
本実施形態では、単検査(Single)計測レポートの上段に網膜表層において計測したVADマップとVADセクタマップを重畳表示し、下段に網膜外層深層において特定した脈絡膜新生血管領域の2値画像や計測した体積値を表示する。これにより異なる深度位置の血管病態を一覧して把握できる。また、網膜外層におけるCNVの3次元的な位置を特定したり、存在量を正確に定量化したりできる。
また各計測対象画像に関して、略同一位置における断層画像数やOCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)に関する情報を表示部104に表示させてもよい。
なお、本実施形態では異なる深度範囲として網膜表層及び網膜外層の画像及び計測値を表示したが、これに限らず例えば網膜表層・網膜深層・網膜外層・脈絡膜の4種類の深度範囲の画像及び計測値を表示してもよい。
またモーションコントラスト画像や特定された血管領域もしくは血管中心線の2値画像は正面画像として投影表示することに限定されるものではなく、3次元的にレンダリングして3次元画像として表示してもよい。
あるいは、異なる指標の計測結果を並置して表示してもよい。例えば、上段にVADマップの時系列表示、下段にVLDマップ(もしくは無血管領域のサイズや形状値)を表示してもよい。
また、同様に投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても例えばコンテキストメニューから選択するなどの方法により変更してもよい。
<ステップ311>
画像処理装置101はS301からS311に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS302に処理を戻し、次の被検眼に対する処理(または同一被検眼に対する再処理)を行う。
さらに、図5(a)に示すフローチャートを参照しながら、S307で実行される処理の詳細について説明する。
<ステップ510>
強調部101−461は、ステップ306の前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti−scale line filterが挙げられる。本実施形態ではMulti−scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
ヘシアンフィルタは強調したい血管の径に適したサイズで画像を平滑化した上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(3)で与えられるような正方行列であり、該行列の各要素は例えば式(4)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2、λ3)の1つが0に近く、その他が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。
3次元ヘシアンフィルタを用いると、深度方向に屈曲した血管に関しても「血管走行方向の輝度変化が小さく、血管走行方向に直交する2方向の輝度が大きく低下する」という性質が成り立つため、良好に血管強調できるという利点がある。眼底血管の中には、深度方向に屈曲した血管として例えば
・脈絡膜側から網膜内に侵入する脈絡膜新生血管(CNV)
・視神経乳頭部の血管
・網膜表層毛細血管と網膜深層毛細血管との接続部
が挙げられる。
上記血管に対して正面モーションコントラスト画像上で2次元のヘシアンフィルタを適用すると、2次元平面内では「該平面内での血管走行方向の輝度変化が小さく、血管走行方向に直交する方向の輝度が大きく低下する」という性質が成り立たないため十分強調されず、血管領域として特定できないという課題がある。3次元ヘシアンフィルタを用いることにより、上記血管についても良好に強調でき、血管検出能が向上する。
またモーションコントラスト画像には毛細血管から細動静脈まで様々な径の血管が含まれることから、複数のスケールでガウスフィルタにより平滑化した画像に対してヘッセ行列を用いて線強調画像を生成する。次に式(5)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に強調された血管領域が太くなりやすいという欠点がある。
そこで、本実施形態ではS530で述べる別の血管強調手法で血管領域を強調した画像と演算することにより、血管領域が太くなりすぎることを防止する。
<ステップ520>
抽出部101−462は、S510で生成した3次元ヘシアンフィルタによる血管強調画像(以下、3次元ヘシアン強調画像と表記)を2値化する。
本実施形態では、3次元ヘシアン強調画像の輝度統計値(平均値や中央値等)を閾値として2値化する。大血管の高輝度領域の影響を受けて閾値が高くなって毛細血管の抽出不足が生じたり、閾値が低すぎて無血管領域を血管として誤検出したりするのを避けるために、2値化する際の閾値に上限値や下限値を設定してよい。あるいは、例えばロバスト推定法のように輝度統計値を算出する際に所定の輝度レンジ外にある輝度値の寄与が低くなるように算出した指標値に基づいて閾値を決定してもよい。また任意の公知の閾値決定法を用いてよい。
あるいは、本発明は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって2値化してよい。
本実施形態では、合成モーションコントラスト画像をヘシアンフィルタで強調しているため、単独のモーションコントラスト画像をヘシアンフィルタで強調する場合に比べて2値化した血管領域の連続性がさらに向上する。
さらに、本発明は3次元血管強調画像を3次元データとして2値化することに限定されるものではない。例えば、3次元血管強調画像を所定の投影深度範囲で投影した正面血管強調画像を2値化する場合も本発明に含まれる。正面血管強調画像を2値化する場合も、任意の公知の閾値決定法を用いてよい。また該正面血管強調画像を2値化する際の閾値に上限値や下限値を設定してよい。あるいは、該正面血管強調画像の2値化は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法を用いて2値化してよい。
<ステップ530>
強調部101−461は、S306で生成したトップハットフィルタ適用後の合成モーションコントラスト画像に対して3次元エッジ選択鮮鋭化処理を行う。
ここで、エッジ選択鮮鋭化処理とは画像のエッジ部分に重みを大きく設定した上で重みづけ鮮鋭化処理を行うことを指す。本実施形態では、前記合成モーションコントラスト画像に対して3次元のSobelフィルタを適用した画像を重みとして3次元のアンシャープマスク処理を行うことにより、エッジ選択鮮鋭化処理を実施する。
小さなフィルタサイズで鮮鋭化処理を実施すると、細い血管のエッジが強調され2値化した際により正確に血管領域を特定できる(血管領域が太くなる現象を防止できる)。一方で特に同一撮影位置での断層像数が少ないモーションコントラスト画像の場合にはノイズが多いため、特に血管内のノイズも一緒に強調してしまう恐れがある。そこで、エッジ選択鮮鋭化を行うことによってノイズの強調を抑制する。
<ステップ540>
抽出部101−462は、S530で生成したエッジ選択鮮鋭化処理を適用した鮮鋭化画像を2値化する。任意の公知の2値化法を用いてよいが、本実施形態では該3次元鮮鋭化画像上の各3次元局所領域内で算出した輝度統計値(平均値もしくは中央値)を閾値として2値化する。
ただし、視神経乳頭部の大血管領域においては設定される閾値が高すぎて2値画像上の血管領域内に多数の穴が空くため、上記閾値の上限値を設定することにより特に視神経乳頭部において閾値が高くなりすぎるのを防止する。
また、S520の場合と同様に該3次元局所領域が無血管領域中にある場合には閾値が低すぎて無血管領域の一部を血管として誤検出する場合が生じる。そこで、上記閾値の下限値を設定することにより誤検出を抑制する。
なお、S520の場合と同様に合成モーションコントラスト画像をエッジ選択鮮鋭化しているため、単独のモーションコントラスト画像をエッジ選択鮮鋭化する場合に比べて2値化した場合のノイズ状の誤検出領域をより減らすことができる。
さらに、本発明は3次元鮮鋭化画像を3次元データとして2値化することに限定されるものではない。例えば、3次元鮮鋭化画像を所定の投影深度範囲で投影した正面鮮鋭化画像を2値化する場合も本発明に含まれる。正面鮮鋭化画像を2値化する場合も、任意の公知の閾値決定法を用いてよい。また該正面鮮鋭化画像を2値化する際の閾値に上限値や下限値を設定してよい。あるいは、該正面鮮鋭化画像の2値化は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法を用いて2値化してよい。
<ステップ550>
抽出部101−462は、S520で生成した3次元ヘシアン強調画像の2値画像の輝度値と、S540で生成した3次元エッジ選択鮮鋭化画像の2値画像の輝度値の双方が0より大きい場合に血管候補領域として抽出する。当該演算処理により、ヘシアン強調画像に見られる血管径を過大評価している領域と、エッジ選択鮮鋭化画像上に見られるノイズ領域がともに抑制され、血管の境界位置が正確かつ血管の連続性が良好な2値画像を取得できる。
また双方の2値画像とも合成モーションコントラスト画像に基づく2値画像であることから、単独のモーションコントラスト画像に基づく2値画像に比べて2値化した場合のノイズ状の誤検出領域が減少するとともに、特に毛細血管領域の連続性が向上する。
<ステップ560>
抽出部101−462は、血管領域の整形処理として2値画像の3次元オープニング処理(収縮処理後に膨張処理を行うこと)及び3次元クロージング処理(膨張処理後に収縮処理を行うこと)を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの体積に基づく小領域除去を行ってもよい。
なお、様々な径の血管が含まれるモーションコントラスト画像において血管強調する際のスケールを適応的に決定する方法はS510〜S560に述べた方法に限定されない。例えば、図5(b)のS610〜S650に示すように、3次元ヘシアン強調画像の輝度値と3次元エッジ選択鮮鋭化による血管強調画像の輝度値を乗じる演算を適用した画像に対する輝度統計値(例えば平均値)を閾値として2値化することによって血管領域を特定してもよい。該閾値には下限値や上限値を設定できる。
あるいは、図5(c)のS710〜S740に示すように、固視位置や深度範囲等に基づく各画素の3次元位置に応じてヘシアンフィルタ適用時の平滑化パラメータσの範囲を適応的に変えてヘシアンフィルタを適用し、2値化することで血管強調してもよい。例えば、乳頭部網膜表層ではσ=1〜10、黄斑部網膜表層ではσ=1〜8、黄斑部網膜深層ではσ=1〜6のように設定できる。
また、2値化処理は閾値処理に限定されるものではなく任意の公知のセグメンテーション手法を用いてよい。
さらに、図6(a)に示すフローチャートを参照しながら、S308で実行される処理の詳細について説明する。
<ステップ810>
操作者は、入力部103を介して計測処理における関心領域を設定する。すなわち、血管密度を算出する3次元空間は、ユーザにより指定される。本実施形態では計測内容として
1)網膜表層におけるVADマップ及びVADセクタマップ
2)網膜外層における脈絡膜新生血管の体積
を算出する。
従って、関心領域として網膜表層においては(i)画像全体(ii)固視灯位置を中心とするセクタ領域(直径1mmの内円と直径3mmの外円で規定される環状領域内をSuperior・Inferior・Nasal・Temporalの4つの扇形に分割した領域及び該内円領域)を選択する。ただし、本実施形態でいう画像全体は深度方向に関して図9(a)の910で設定されるような層境界を用いて規定される有限の範囲に限定される。また、本実施形態でいうセクタ領域は「水平方向に関して上記のような扇形の分割領域及び内円領域、深度方向に関して図9(a)の910で設定されるような層境界で規定される3次元領域」を指す。前者は図9(a)のDensityMap/Sector902の項目の中からMap、次元数に関して3D Analysisチェックボックス912を選択することによって、また後者はDensityMap/Sector902の項目の中からSector、次元数に関して3D Analysisチェックボックスを選択することによって自動で設定される。また網膜外層においては網膜外層に相当する層境界(OPL/ONL境界と、ブルッフ膜境界を該境界深層側に20μm移動させた位置で囲まれる範囲)を指定する。関心領域の指定は眼底表面の2次元方向はセクタの移動により指定可能であり、眼底の深さ方向は表示されているEn−Face画像の深さ範囲の指定により指定することができる。なお、3次元モーションコントラストデータが表示されて状態で3次元モーションコントラストデータに対して直接関心領域を指定することとしてもよい。
なお、これに限らず例えば操作者が図9(a)の904に示すようなボタンを指定した上で関心領域を手動設定してもよい。該ボタン904を押した場合に表示される設定画面905から計測の種類(ここではDensity)を選択し、入力部103を介して図10(b)の灰色線部1001に示すような関心領域を設定してOKボタンを押下する。
深度方向に関して、本実施形態では網膜表層に関しては図9(a)の910に示すような層境界を用いて規定される深度範囲とする。また網膜外層については外網状層(OPL)−外顆粒層(ONL)境界とブルッフ膜(BM)で規定される深度範囲とする。該領域内に示された数値は該領域内で計測した値(この場合は図9(a)のDensityAnalysisの項目903でArea Densityが選択されているため、VAD値)を示している。なお、関心領域は3次元領域に限られるものではなく、投影画像上で2次元領域を設定して該2次元領域内で計測値を算出してもよい。
<ステップ820>
計測部101−463は、S307で得られた血管領域の2値画像に基づいて計測処理を行う。本実施形態では、S307で特定された該血管領域の2値画像を網膜表層の範囲で投影することなく、3次元のデータの各画素位置において当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出する。さらに、各画素で算出した血管密度(VAD)の値を持つ画像(VADマップ)を生成する。
なお、該投影2値画像上の(S810で設定した)各セクタ領域における非0画素(白画素)の割合を当該セクタにおける血管密度(VAD)として算出してもよい。さらに、各セクタ領域で算出した血管密度(VAD)の値を持つマップ(VADセクタマップ)を生成してもよい。
また、網膜外層では、S810で設定した網膜外層に相当する関心領域内における非0画素(白画素)の体積を算出する。なお、本発明は体積の算出に限定されるものではなく、例えば網膜外層に相当する関心領域内で脈絡膜新生血管領域を強調もしくは2値化した画像を投影し、該投影強調画像を2値化した画像、もしくは投影した2値画像上で脈絡膜新生血管領域の面積を算出してもよい。
上記では特定された3次元血管領域に基づいて網膜表層で3次元のVADを、網膜外層で体積を計測する場合の手順を例に説明したが、3次元の血管中心線に基づいて網膜表層で3次元のVLDを、網膜外層で総血管長を計測する場合には、上記S810〜820の代わりに図6(b)に示すS830〜850を実行する。
<ステップ830>
計測部101−463は、S307で生成した血管領域の2値画像を3次元細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。
<ステップ840>
操作者は、入力部103を介してS810と場合と同様の関心領域を設定する。本実施形態では計測内容としてVLDマップとVLDセクタマップを算出するものとする。なお、VLDもしくはVLDセクタマップをモーションコントラスト画像上に重畳表示したくない場合は、図9(a)のDensity Map/Sector902のMapもしくはSectorの項目のチェックボックスを非選択に設定すればよい。
<ステップ850>
計測部101−463はS830で得られたスケルトン画像に基づいて計測処理を行う。すなわち、網膜表層において特定された3次元スケルトンから計測する。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位体積当たりの非0画素(白画素)の長さの総和[mm−2]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ)を生成する。
また、該スケルトン画像上の(S840で設定した)各セクタ領域における単位体積当たりの非0画素(白画素)の長さの総和[mm−2]を当該セクタにおける血管密度(VLD)として算出する。さらに、各セクタ領域で算出した血管密度(VLD)の値を持つマップ(VLDセクタマップ)を生成する。
さらに、網膜外層では、S810で設定した網膜外層に相当する関心領域内における非0画素(白画素)の長さの総和を算出する。なお、本発明は3次元的な血管の長さの算出に限定されるものではなく、例えば網膜外層に相当する関心領域内でスケルトン画像を投影し、該投影2値画像上で血管の長さの総和を算出してもよい。
以上述べた構成によれば、画像処理装置101は網膜外層に脈絡膜新生血管(CNV)を含む被検眼から3次元の合成モーションコントラスト画像を取得し、3次元の血管強調フィルタを適用して2値化することでCNVを含む血管領域を3次元で特定する。さらに特定したCNV領域の体積を算出し、正確に計測する。
これにより、OCT断層画像の信号強度や画質の影響を抑制しながら3次元の血管領域等の所望の領域を強調もしくは特定し、正確に計測できる。
また、血管密度を算出する対象のデータは合成された3次元モーションコントラストデータであるため、1つの3次元モーションコントラストデータに比べてノイズが低減されている。従って、本実施形態によれば、合成された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、精度の良い血管密度等の指標を算出することが可能となる。また、上記血管密度等を算出する場合に精度を低下させる要因となるプロジェクションアーチファクトが除去された後に、血管密度等を算出するため、血管密度を精度よく算出することができる。
(変形例1)
上述した実施形態において、血管計測値の算出を、高画質化された3次元モーションコントラストデータを所定の深さ範囲で投影した2次元モーションコントラストデータから行うこととしてもよい。
例えば、ユーザはユーザーインターフェースを介して、血管計測を2次元で行うか3次元で行うかを選択し、画像処理装置101(計測部101−463)はユーザによる選択を受付ける。そして、計測部101−463はユーザの選択に応じて2次元モーションコントラストデータまたは3次元モーションコントラストデータのいずれかから血管計測を行う。すなわち、計測部101−463は、高画質化された3次元モーションコントラストデータを深さ方向に投影することで得られた2次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、2次元領域における血管計測値を算出することとしてもよい。
なお、計測部101−463は算出した血管計測値に対して、2次元モーションコントラストデータから算出したものか3次元モーションコントラストデータから算出したものかを識別可能な識別情報を対応付けることとしてもよい。すなわち、計測部101−463は、算出した血管計測値に対して、3次元空間上で算出した血管計測値であることを示す情報を対応付ける。具体的には、計測部101−463は、算出した血管計測値(例えば血管密度や血管領域の径、長さ、面積、体積)に対して、3次元の計測値であるか2次元の計測値であるかを識別可能な識別情報を対応付ける。
(変形例2)
上述した実施形態や変形例において、表示制御部101−05は、表示部104に算出された血管計測値等を時系列に沿って複数表示させることとしてもよい。このようにすれば、例えば異なる日に算出された血管密度をユーザは一覧することが可能となり被検者の状態の変化を簡単に把握することが可能となる。
時系列に沿って複数の血管計測値を表示する場合、2次元モーションコントラストデータから算出された血管計測値と3次元モーションコントラストデータから算出された血管計測値が混在してしまうと、被検者の経過を正確に把握することができなくなってしまう。そこで、表示制御部101−05は、変形例1で上述した識別情報に基づいて2次元モーションコントラストデータから算出された血管計測値と3次元モーションコントラストデータから算出された血管計測値が混在しないように時系列に沿った複数の血管計測値を表示部104に表示させる。表示制御部101−05は、2次元モーションコントラストデータから算出された血管計測値と3次元モーションコントラストデータから算出された血管計測値のうち、識別情報に基づいて例えば3次元モーションコントラストデータから算出された血管計測値のみを時系列に沿って表示部104に表示させる。すなわち、表示制御手段は、算出手段により算出された血管計測値を時系列に沿って複数表示させる場合、識別情報に基づいて、3次元空間における血管計測値と2次元領域における血管計測値とが混在しないように表示部に表示させる。
(変形例3)
上述した実施形態や各変形例においては、深度方向に屈曲した血管に対して3次元モーションコントラスト画像を用いて3次元的に血管強調もしくはセグメンテーションして計測を行う場合の対象症例として脈絡膜新生血管の場合について説明したが、本発明はこれに限られるものではない。
例えば、視神経乳頭部の動静脈及び毛細血管に対してS307に示した手順で強調・セグメンテーションし、解析部101−46が特定された血管領域の径や断面積、長さ、曲率、血管密度等を計測してもよい。
あるいは網膜の表層毛細血管及び深層毛細血管をS307に示した手順で強調・セグメンテーションし、深度方向に走行する(接合部の)毛細血管領域の色を変えて表示したり、解析部101−46が該接合部の毛細血管の本数を計測したりしてもよい。
(変形例4)
上述した実施形態や各変形例においては、3次元モーションコントラスト画像に対して3次元での強調処理及び特定処理を行って得られた画像に対して計測する場合について説明したが、本発明はこれに限定されない。
例えば該3次元強調処理した画像を所定の深度範囲で投影して得られる正面強調画像に対して任意の公知のセグメンテーション法を用いて2値化処理を行い、該2次元の2値領域に関する計測(面積や円形度、血管密度等)を行う場合も本発明に含まれる。なお、S520やS540、S820で説明したように、3次元セグメンテーション処理により特定した3次元の血管領域を所定の深度範囲で投影した画像に対して計測(面積や円形度、2次元の血管密度等)を行う場合も本発明に含まれる。
(変形例5)
上述した実施形態や各変形例においては、3次元モーションコントラスト画像に対して3次元での強調処理及び特定処理を行って得られた画像を所定の深度範囲で投影して生成した正面画像上で計測する場合について説明したが、本発明はこれに限定されない。
例えば、特定された3次元血管領域に対して任意方向の断面(MPR;Multi Planar Reconstruction)もしくは任意形状の曲断面を設定し、該断面もしくは該曲断面における血管領域の面積や直径、領域数等を計測してもよい。
(変形例6)
上述した実施形態や各変形例においては、正面画像におけるセクタ単位の血管密度計測を黄斑部に対して行ったが、本発明はこれに限定されない。例えば、視神経乳頭部に対してセクタ状の関心領域を設定し、該関心領域内で計測値を算出する場合も本発明に含まれる。
また、本発明では3次元的な関心領域としてスラブ(slab;2つの層境界曲面間で囲まれる3次元領域)単位で血管体積計測を行う場合について説明したが、計測の際に用いる関心領域の設定法はこれに限定されない。例えば、3次元のグリッド(立方体領域もしくは四角柱領域)領域や3次元のセクタ領域(2次元のセクタ領域を深度方向に拡張して得られる領域)を3次元の関心領域として設定し、該3次元関心領域単位で計測してもよい。あるいは、該スラブ領域と該3次元グリッドもしくは3次元セクタを組み合わせて得られる3次元関心領域単位で計測する場合も本発明に含まれる。
なお、該3次元関心領域単位で計測した計測値は所定の深度範囲ごとに(深度方向に計測値が1つの場合は計測値をそのまま、深度方向に複数ある場合は平均値投影もしくは最大値投影して)2次元マップとして表示するか、3次元マップとして表示してよい。
(変形例7)
上述した実施形態や各変形例において、解析部101−46が3次元血管領域に対して算出する計測値の例は、血管体積や血管長、血管曲率、断面積や血管径に限定されない。例えば
・3次元の血管密度(3次元関心領域内に占める血管領域に属する画素の割合、または「単位体積あたりの総血管長」のセクタ内での平均)
・Vessel Cross Section Index(単位血管長あたりの血管断面積)
・3次元のFractal Dimension
を算出してもよい。
(変形例8)
上述した実施形態や各変形例においては、単検査での血管領域特定及び計測結果の表示法として正面モーションコントラスト画像上に計測マップを重畳表示する場合について説明したが、本発明はこれに限定されるものではない。例えば血管強調画像、特定された血管領域の2値画像、スケルトン画像のうちの少なくとも1つを図9(b)の906や908に表示させてもよい。あるいは、906や908にモーションコントラスト画像を表示しておき、その上に血管強調画像、特定された血管領域の2値画像、スケルトン画像の少なくとも1つを色もしくは透明度を適宜調整した上で重畳表示するよう構成する場合も本発明に含まれる。あるいは、正面断層画像もしくはBスキャン断層画像上に血管強調画像、特定された血管領域の2値画像、スケルトン画像のうちの少なくとも1つを色もしくは透明度を適宜調整した上で重畳表示してもよい。適宜906や908に断層画像の位置を示す線を表示しておき、該線を操作者が入力部103を用いて移動させることにより、対応する断層画像上の強調画像、血管領域の2値画像、スケルトンのうちの少なくとも1つを表示させるよう構成してもよい。
(変形例9)
上述した実施形態や各変形例において、S309で操作者が入力部103から血管領域もしくは血管中心線データを手動修正するよう指示を入力した場合に、以下のような手順で手動修正してもよい。
例えば、図10(a)に示すような合成モーションコントラスト画像に対して同図(c)に示すような過抽出領域を含む2値画像が得られた場合に、操作者が入力部103を経由して指定した位置の白画素を解析部101−46が削除する。追加・移動・削除手順として、例えば「d」キーを押しながらマウスで指定した位置の白画素を削除する、「a」キーを押しながらマウスで指定した位置に白画素を追加する、「s」キーを押しながらマウスで指定した白画素をドラッグして移動させる等の方法がある。あるいは、同図(d)に示すようにモーションコントラスト画像に基づく画像上に手動修正対象である2値画像(血管領域もしくは血管中心線)の色や透明度を適宜調整して重畳表示し、過抽出もしくは抽出不足の領域が判別しやすい状態にしておく。同図(d)の矩形領域1002内を拡大した画像を同図(e)に示す。灰色が過抽出した領域で、白色が元のモーションコントラスト画像の脱相関値を示す。該過抽出(もしくは抽出不足)の領域を操作者が入力部103を用いて指定することにより、正確かつ効率的に2値画像上の血管もしく血管中心線領域を手動修正するよう構成してもよい。なお、2値画像の手動修正処理は正面画像に限定されない。例えば図9(a)の右側に示すような任意のスライス位置のBスキャン断層像上にモーションコントラストデータや血管領域の2値データもしくは血管中心線領域を色や透明度の調整後に重畳する。このように過抽出もしくは抽出不足の領域が判別しやすい状態にした上で、操作者が手動修正(追加・移動・削除)する2値データの3次元位置(x,y,z座標)を、入力部103を用いて指定して手動修正してもよい。さらに、手動修正した2次元もしくは3次元の2値データを表示部104に表示したり、外部記憶部102に保存したりしてもよい。
さらに、2値画像(血管領域の2値画像もしくはスケルトン画像)が手動修正済であることを示す情報もしくは手動修正位置に関する情報を該2値画像と関連付けて外部記憶部102に保存しておき、S870で血管特定結果及び計測結果を表示部104に表示する際に該手動修正済であることを示す情報もしくは手動修正位置に関する情報を表示部104に表示してもよい。
(変形例10)
上述した実施形態や各変形例において、画像処理装置101が略同一走査位置で取得した断層画像の枚数が所定値未満のモーションコントラスト画像もしくは所定値未満相当の合成モーションコントラスト画像に対する血管領域の特定もしくは計測に関する指示を受け付けた場合に、表示部104に警告表示を行うよう構成してもよい。
また、上述した実施形態や各変形例においては、合成部101−42が繰り返しOCTA撮影終了時に合成モーションコントラスト画像を生成する場合について説明したが、合成モーションコントラスト画像の生成手順はこれに限定されない。例えば図8(e)のレポート画面803上に合成モーションコントラスト画像生成指示ボタン812を配置しておく。OCTA撮影完了後(撮影日より後の日でもよい)に操作者が明示的に該生成指示ボタン812を押下した場合に合成部101−42が合成モーションコントラスト画像を生成するよう画像処理装置101を構成してもよい。操作者が明示的に合成画像生成指示ボタン812を押下して合成画像を生成する場合、図8(e)に示すようなレポート画面803上に合成モーションコントラスト画像804や合成条件データ、検査画像リスト上に合成画像に関する項目を表示させる。
また、操作者が明示的に該生成指示ボタン812を押下する場合は、表示制御部101−05が以下の処理を行う。すなわち、合成対象画像選択画面を表示させ、操作者が入力部103を操作して合成対象画像群を指定し、許容ボタンを押下した場合に合成部101−42が合成モーションコントラスト画像を生成し、表示部104に表示させる。なお、生成済の合成モーションコントラスト画像を選択して合成する場合も本発明に含まれる。
また操作者が合成画像生成指示ボタン812を押下した場合、3次元モーションコントラスト画像を投影した2次元画像同士を合成することにより2次元合成画像を生成してもよいし、3次元合成画像を生成後に投影することで2次元合成画像を生成してもよい。
また、上述した様々な実施形態及び変形例においては、3次元モーションコントラストデータを合成することを前提としていたが、1つの3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理及び血管密度等の血管計測値を算出する処理(または血管領域を抽出する処理)を施してもよい。
また、上述した様々な実施形態及び変形例において、補正部101−43は、高画質化された3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段の一例に相当する。ただし、処理手段による処理を実行する上で、高画質化処理は必須ではない。すなわち、処理手段は、眼底の3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行えば何でもよい。そして、抽出手段は、処理手段によりプロジェクションアーチファクトが低減された後の3次元モーションコントラストデータの少なくとも一部における3次元の血管領域を抽出してもよい。これにより、精度良く3次元の血管領域を得ることができる。また、算出手段は、処理手段によりプロジェクションアーチファクトが低減された後の3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出してもよい。
また、上述した実施形態や各変形例においては、高画質化した3次元モーションコントラストデータから取得した3次元血管領域に基づき、網膜外層において脈絡膜新生血管の体積を計測したが、これに限らず網膜外層において3次元血管密度(VADもしくはVLD)を算出してもよい。新生血管は面内方向だけでなく深度方向にも走行しやすいため、3次元で血管密度を算出するメリットがあると考えられる。3次元VADの場合は細線化処理が不要で簡便に3次元血管密度を算出でき、3次元VLDの場合は血管のセグメンテーションの良否の影響をより受けにくくできる。
[第2の実施形態]
本実施形態に係る画像処理装置は、取得した被検眼の3次元モーションコントラスト画像に対して機械学習による高画質化処理を適用し、3次元の血管領域を特定する。該3次元血管領域に基づいて、正面画像を生成することなく2次元の血管計測値として網膜の表層における2次元の血管密度、網膜外層における脈絡膜新生血管(CNV)の面積等を算出する場合について説明する。すなわち、本実施形態に係る画像処理装置は、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域を抽出することができる。なお、抽出部101−462は、3次元の血管領域を抽出する抽出手段の一例である。また、本実施形態に係る画像処理装置は、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出することができる。なお、3次元の血管領域に関する情報は、例えば、高画質化された3次元モーションコントラストデータにおける3次元の血管領域の位置情報等である。ただし、3次元の血管領域に関する情報は、高画質化された3次元モーションコントラストデータから血管計測値を算出可能な情報であれば何でもよい。
以下、図面を参照しながら、本実施形態に係る画像処理装置を備える画像処理システムについて説明する。本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図11に示す。画像処理部101−04に高画質化部101−47を備える点が第1の実施形態と異なっている。ここで、高画質化部101−47は、3次元モーションコントラストデータを高画質化する高画質化手段の一例である。なお、本実施形態においても、高画質化手段として、高画質化部101−47の他に、例えば、後述する第1の実施形態における合成部101−42を適用することが可能である。次に、本実施形態における画像処理フローを図12に示す。なお、本実施形態の画像処理フローのうちS1207、S1209、S1211については第1の実施形態の場合と同様であるので説明を省略する。
<ステップ1201>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。
撮影条件のうちほとんどは第1の実施形態と同様であり、繰り返しOCTA撮影を行わない、すなわち、本ステップで取得するクラスタ数が1である点が第1の実施形態と異なる。すなわち、
1)Macular Disease検査セットを登録
2)OCTAスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査パターン:Small Square
3−2)走査領域サイズ:3x3mm
3−3)主走査方向:水平方向
3−4)走査間隔:0.01mm
3−5)固視灯位置:中心窩
3−6)1クラスタあたりのBスキャン数:4
3−7)コヒーレンスゲート位置:硝子体側
3−8)既定表示レポート種別:単検査用レポート
を撮影条件として設定する。
<ステップ1202>
操作者は入力部103を操作して図7に示す撮影画面710中の撮影開始(Capture)ボタン713を押下することにより、S1201で指定した撮影条件によるOCTA撮影を開始する。撮影制御部101−03は断層画像撮影装置100に対してS1201で操作者が指示した設定に基づいてOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。また、断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。
<ステップ1203>
画像取得部101−01及び画像処理部101−04は、S1202で取得されたOCT断層画像に基づいてモーションコントラスト画像(モーションコントラストデータ)を生成する。第1の実施形態のS303と同様の手順でモーションコントラスト画像を生成した後、第1の実施形態のS304と同様の手順で補正部101−43が、モーションコントラスト画像上に生じたプロジェクションアーチファクト802を抑制する処理を実行する。
<ステップ1204>
表示制御部101−05は、S1203で生成した断層画像や、3次元及び正面モーションコントラスト画像、撮影条件に関する情報を表示部104に表示させる。
<ステップ1205>
高画質化部101−47は、少ない枚数の断層画像から生成した低画質なモーションコントラスト画像を機械学習モデルに入力することにより、多数枚の断層画像から生成した場合と同等の高画質な(低ノイズかつ高コントラストな)モーションコントラスト画像を生成する。ここで機械学習モデルとは、処理対象として想定される所定の撮影条件で取得された低画質な画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いて機械学習を行うことにより生成した関数のことを指す。
なお、所定の撮影条件には撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
また、本実施形態では、ユーザが図9(a)のレポート画面右上に示すボタン911(Denoiseボタン)を押下することにより、高画質化部101−47がモーションコントラスト画像に対する高画質化処理を実施するものとする。
本実施形態において教師データとして用いる入力データは断層画像数の少ない単一クラスタから生成された低画質モーションコントラスト画像とし、(教師データとして用いる)出力データは位置合わせ済の複数のモーションコントラストデータを加算平均して得られた高画質モーションコントラスト画像とする。なお、教師データとして用いる出力データはこれに限らず、例えば、多数枚の断層画像で構成される単一クラスタから生成された高画質なモーションコントラスト画像でもよい。また、教師データとして用いる出力データは、入力画像より高解像度な(高倍率な)モーションコントラスト画像を入力画像と同解像度(同倍率)にすることによって得られた高画質なモーションコントラスト画像でもよい。なお、機械学習モデルのトレーニングに用いる入力画像と出力画像のペアは上記に限られるものではなく、任意の公知の画像の組み合わせを用いてよい。例えば撮影装置10や他の装置で取得したモーションコントラスト画像に第一のノイズ成分を付加した画像を入力画像とし、該(撮影装置10や他の装置で取得した)モーションコントラスト画像に(第一のノイズ成分とは異なる)第二のノイズ成分を付加した画像を出力画像として機械学習モデルのトレーニングに用いてもよい。すなわち、高画質化部101−47は、眼底の3次元のモーションコントラストデータを含む学習データを学習して得た高画質化用の学習済モデルを用いて、入力画像として入力された3次元モーションコントラストデータを高画質化するものであれば何でもよい。
本実施形態に係る高画質化部101−47における機械学習モデルの構成例を図13に示す。該機械学習モデルは畳み込みニューラルネットワーク(Convolutional Newural Network;CNN)であり、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお前記構成に含まれる層の種類として、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力画像1301を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力画像1301を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像1302に成形される。なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしても良い。
なお、図13では説明を簡単にするため処理対象画像を2次元画像として説明しているが、本発明はこれに限定されない。例えば、3次元の低画質モーションコントラスト画像を高画質化部101−47に入力して3次元の高画質モーションコントラスト画像を出力する場合も本発明に含まれる。
<ステップ1206>
操作者が入力部103を用いてOCTA計測処理の開始を指示する。
本実施形態では、レポート画面のモーションコントラスト画像上をダブルクリックすることで、OCTA計測画面に移行する。モーションコントラスト画像が拡大表示され、解析部101−46が計測処理を開始する。
計測処理の種類として任意の計測処理を行ってよく、本実施形態では、図9(a)のDensity Analysis903もしくはToolsボタン904を選択して表示される項目905に示す解析の種類と、必要に応じて解析の次元数に関する項目912を選択することにより、所望の計測の種類を指定する。
本実施形態では、3次元で強調及び特定した血管領域もしくは血管中心線データに対して2次元の計測値を算出する場合について説明する。具体的には、網膜の表層において2次元血管密度(VAD)、網膜外層において血管の面積を計測するものとする。
網膜や脈絡膜の血管は(他の器官と異なり)層構造に沿って走行するため、2次元の計測値として算出されることが多い。しかし、2次元のモーションコントラスト画像、特に正面モーションコントラスト画像を用いて血管を強調する画像処理を適用した場合には血管以外の線状構造も強調されてしまい、結果的に血管として誤検出される場合がある。例えば嚢胞領域の境界(エッジ)は2次元画像上では曲線状であるため血管領域として誤検出されやすいものの、3次元画像上では曲面状であるため誤検出されにくい。本実施形態のように、血管領域を3次元的に検出した上で2次元の計測値として算出することにより、他構造物の誤検出を減らしつつ、ユーザが理解しやすい2次元の計測値として算出できる。
次に、解析部101−46は計測処理の前処理を行う。任意の公知の画像処理を前処理として適用できるが、本実施形態では、第1実施形態と同様に前処理として画像拡大及びモルフォロジー演算(トップハットフィルタ処理)を行う。
<ステップ1208>
計測部101−463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する血管密度の計測を行う。引き続いて表示制御部101−05が、計測結果を表示部104に表示する。より具体的には、計測部101−463は、補正部101−43によりプロジェクションアーチファクトが低減され、高画質化部101−47により高画質化処理された後の3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、3次元的に取得された血管領域に対して2次元の血管計測値を算出する。具体的には、網膜の表層における2次元血管密度、網膜の外層における新生血管領域の面積を算出する。すなわち、計測部101−463は、高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、2次元空間における血管計測値を算出する算出手段の一例に相当する。
2次元の血管密度としてはVADとVLDの2種類の指標があり、本実施形態では、VADを計算する場合の手順を例に説明する。なお、VLDを計算する場合の手順についても後述する。
操作者が入力部103から血管領域もしくは血管中心線データを手動修正するよう指示を入力した場合には、解析部101−46が操作者から入力部103を介して指定された位置情報に基づいて血管領域もしくは血管中心線データを手動修正し、計測値を再計算する。
網膜表層における2次元VAD計測、網膜外層における脈絡膜新生血管の面積計測についてはS810〜S820、網膜表層における2次元VLD計測、網膜外層における脈絡膜新生血管の水平方向に関する総血管長計測についてはS830〜S850で各々説明する。
<ステップ1210>
表示制御部101−05は、S1208で実施した計測結果に関するレポートを表示部104に表示する。
本実施形態では、図9(b)に示す単検査(Single)計測レポートの上段に網膜表層において計測したVADマップとVADセクタマップを重畳表示し、下段に網膜外層において特定した脈絡膜新生血管領域の2値画像や計測した面積値を表示する。これにより異なる深度位置の血管病態を一覧して把握できる。また、網膜外層におけるCNVの位置を特定したり、正確に定量化したりできる。
さらに、図6(a)に示すフローチャートを参照しながら、S1208で実行される処理の詳細について説明する。
<ステップ810>
操作者は、入力部103を介して計測処理における関心領域を設定する。すなわち、血管密度を算出する対象領域は、ユーザにより指定される。本実施形態では、計測内容として
1)網膜の表層における2次元VADマップ及び2次元VADセクタマップ
2)網膜外層における脈絡膜新生血管(CNV)の面積
を算出する。
従って、網膜表層の関心領域として面内方向に関しては(i)画像全体(ii)固視灯位置を中心とするセクタ領域(直径1mmの内円と直径3mmの外円で規定される環状領域内をSuperior・Inferior・Nasal・Temporalの4つの扇形に分割した領域及び該内円領域)とする。また、深度方向に関しては第1実施形態のS810の場合と同様の深度範囲とする。深度方向の深度範囲が図9(a)の層境界910で指定されているため、図9(a)のDensity Map/Sector902の項目の中からMap及びSector、Density Analysis903の項目の中からArea Densityを各々選択することによって自動で設定される。眼底表面の2次元方向はセクタの移動により指定可能であり、眼底の深さ方向は表示されているEn−Face画像の深さ範囲の指定により指定することができる。また網膜外層においては網膜外層に相当する層境界(OPL/ONL境界と、ブルッフ膜境界を該境界深層側に20μm移動させた位置で囲まれる範囲)を指定する。面内方向の関心領域の指定は画像全体としてもよいし、操作者が関心領域を手動設定してもよい。例えば図9(a)の904に示すようなボタン904を押した場合に表示される設定画面905から計測の種類(ここではArea/Volume)を選択した上で、入力部103を介して関心領域を設定してもよい。なお、3次元モーションコントラストデータが表示されて状態で3次元モーションコントラストデータに対して直接関心領域を指定することとしてもよい。
<ステップ820>
計測部101−463は、S1207で得られた血管領域の2値画像に基づいて計測処理を行う。本実施形態では、S1207で特定された3次元血管領域の2値画像に対して投影画像を生成することなく所定の条件を満たすAスキャン群に関する演算処理もしくは(Aスキャン方向に)直交する方向での計測を行うことで、2次元計測値を算出する。
例えば2次元VADを算出する場合には計測部101−463が3次元血管領域の2値画像に対して以下のような処理を行う。すなわち、まず各Aスキャンを中心に近傍のAスキャンを含めた単位Aスキャン群Agを考える。(単位Aスキャン群Agは任意の本数のAスキャンで規定できるが、本実施形態では9本とする)単位Aスキャン群に含まれる各Aスキャンの中にS810で指定された3次元の関心領域が規定する深度範囲(図14(a)の表層側曲面Buと深層側曲面Bl)内に血管領域V1に属する画素(非0画素、すなわち図14(a)の白画素)が1画素でも含まれるようなAスキャンの本数を数える。上記のような(所定深度範囲内に非0画素を含む)Aスキャンの本数を単位Aスキャン群の本数(本実施形態では9)で除算して100を乗算することにより、当該Aスキャンが持つX−Y座標における2次元VADの値(単位:%)を算出できる。例えば単位Aスキャン群の中に上記条件を満たすAスキャンが1本だけであれば、当該Aスキャンの位置で算出される2次元VADの値は(1/9)×100%≒11.11%と算出する。本実施形態では、網膜表層で2次元VADを算出するので、網膜表層における計測では表層側曲面Buとして内境界膜境界で規定される曲面、深層側曲面Blとして神経節細胞層(GCL)−内網状層(IPL)境界で規定される曲面を指定する。なおこれに限らず、任意の深度範囲、例えば網膜深層を計測対象の深度範囲として指定してよい。さらに、各X−Y位置で算出した2次元血管密度(VAD)の値を持つ画像(2次元VADマップ)を生成する。
また3次元血管領域の2値画像上のS810で設定した各3次元セクタ領域(図14(c)の円柱状領域Cや部分円環柱状領域(S/I/N/T))において、表層側曲面Buと深層側曲面Blの深度範囲内に血管領域に属する画素(図14(c)の白画素)が1画素でも含まれるようなAスキャンAwの本数を算出する。該算出したAwの本数を該3次元セクタ領域に属するAスキャンの本数で除算し、100を乗算した値を当該セクタにおける2次元血管密度(VAD)として算出する。さらに、各セクタ領域で算出した2次元血管密度(VAD)の値を持つマップ(2次元VADセクタマップ)を生成する。
また網膜外層では、S810で設定した網膜外層に相当する関心領域内におけるAスキャン群に含まれる各Aスキャンの中にS810で指定した関心領域が規定する深度範囲(図14(a)の表層側曲面Buと深層側曲面Bl)において血管領域に属する画素(図14(a)の白画素)が1画素でも含まれるようなAスキャンの本数を数える。該所定深度範囲内に非0画素を含むAスキャンの本数に対してAスキャン1本が占める面内方向の面積(単位:mm)を乗算することで、3次元血管領域の(所定深度範囲における)面内方向に占める面積を算出できる。なお、本発明の2次元血管計測値の算出法は上記に限定されるものではない。例えば網膜外層に相当する関心領域内で脈絡膜新生血管領域を強調した画像を投影して2値化することで生成した正面2値画像、もしくは3次元で2値化した画像を投影することで生成した正面2値画像上で脈絡膜新生血管領域の面積を算出してもよい。
上記では特定された3次元血管領域に基づいて網膜表層で2次元VADを、網膜外層で血管面積を計測する場合の手順を例に説明したが、3次元の血管中心線に基づいて網膜表層で2次元VLDを、網膜外層で2次元血管長を計測する場合には、上記S810〜820の代わりに図6(b)に示すS830〜850を実行する。
<ステップ830>
計測部101−463は、S1207で生成した血管領域の2値画像を3次元細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。
<ステップ840>
操作者は、入力部103を介してS820と場合と同様の関心領域を設定する。本実施形態では計測内容として2次元VLDマップと2次元VLDセクタマップを算出するものとする。なお、VLDマップもしくはVLDセクタマップをモーションコントラスト画像上に重畳表示したくない場合は、図9(a)のDensity Map/Sector902のMapもしくはSectorの項目のチェックボックスを非選択に設定すればよい。
<ステップ850>
計測部101−463はS830で得られたスケルトン画像に基づいて計測処理を行う。すなわち、網膜表層において特定された3次元スケルトンから計測する。本実施形態では、該3次元スケルトン画像の各Aスキャン位置に対してS820と同様に当該Aスキャンを中心として近傍のAスキャンを含めた単位Aスキャン群Agを考える。(単位Aスキャン群Agは任意の本数のAスキャンで規定できるが、本実施形態では9本とする)単位Aスキャン群に含まれる各Aスキャンの中にS840で指定された3次元の関心領域が規定する深度範囲(図14(b)の表層側曲面Buと深層側曲面Bl)内に血管領域に属する画素(図14(b)の白画素)が1画素でも含まれるようなAスキャンの本数を算出する。算出した該Aスキャンの本数に対して、1本のAスキャンが占める(該Aスキャンに直交する方向の)サイズ(単位:mm)を乗算し、単位Aスキャン群が該Aスキャン群に直交する方向に占める面積(単位:mm)で除算することにより2次元VLDを算出する。(単位:mm−1)さらに、各X−Y位置で算出した血管密度(2次元VLD)の値を持つ画像(2次元VLDマップ)を生成する。
また3次元スケルトン画像上のS840で設定した各3次元セクタ領域(図14(c)の円柱状領域Cや部分円環柱状領域(S/I/N/T))において、表層側曲面Buと深層側曲面Blの深度範囲内に3次元スケルトン領域V2に属する画素が1画素でも含まれるようなAスキャンAwの本数を算出する。該算出したAwの本数に対して1本のAスキャンが占める(該Aスキャンに直交する方向の)サイズ(単位:mm)を乗算し、該3次元セクタ領域に属するAスキャン群が占める(該Aスキャン群に直交する方向の)面積(単位:mm)で除算した値を当該セクタにおける2次元VLD(単位:mm−1)として算出する。さらに、各セクタ領域で算出した2次元VLDの値を持つマップ(2次元VLDセクタマップ)を生成する。
また網膜外層では、S840で設定した網膜外層に相当する関心領域内におけるAスキャン群に含まれる各Aスキャンの中にS840で指定した関心領域が規定する深度範囲(図14(b)の表層側曲面Buと深層側曲面Bl)において3次元スケルトン領域に属する画素(図14(b)の白画素)が1画素でも含まれるようなAスキャンの本数を数える。該所定深度範囲内に非0画素を含むAスキャンの本数に対してAスキャン1本が占める面内方向の長さ(単位:mm)を乗算することで、血管領域の(所定深度範囲における)面内方向の長さの和を算出できる。なお、本発明の2次元血管計測値の算出法は上記に限定されるものではない。例えば網膜外層に相当する関心領域内で脈絡膜新生血管領域を強調した画像を投影して2値化し、細線化することで生成した正面2値画像、もしくは3次元で2値化し、細線化した画像を投影することで生成した正面2値画像上で脈絡膜新生血管領域の長さを算出してもよい。
以上述べた構成によれば、画像処理装置101は、取得した被検眼の3次元モーションコントラスト画像に対して機械学習による高画質化処理を適用し、3次元血管領域を特定する。該3次元血管領域に基づいて、正面画像を生成することなく2次元の血管計測値として網膜の表層における2次元の血管密度、網膜外層における脈絡膜新生血管(CNV)の面積を算出する。これにより、OCT断層画像の信号強度や画質の影響を抑制しながら3次元の血管領域等の所望の領域を強調もしくは特定し、正確に計測できる。
(変形例11)
上述した様々な実施形態及び変形例における画面遷移における高画質化処理の実行について、図9(a)と(b)を用いて説明を行う。図9(a)は、図9(b)におけるOCTA画像を拡大表示した画面例である。図9(a)においても、図9(b)と同様にボタン911を表示する。図9(b)から図9(a)への画面遷移は、例えば、OCTA画像をダブルクリックすることで遷移し、図9(a)から図9(b)へは閉じるボタン(不図示)で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
画面遷移の際に高画質化処理の実行が指定されている場合(ボタン911がアクティブ)、画面遷移時においてもその状態を保つ。すなわち、図9(b)の画面で高画質画像を表示している状態で図9(a)の画面に遷移する場合、図9(a)の画面においても高画質画像を表示する。そして、ボタン911はアクティブ状態にする。図9(a)から図9(b)へ遷移する場合にも同様である。図9(a)において、ボタン911を指定して低画質画像に表示を切り替えることもできる。
画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン911の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン911がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン911のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン911がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時(異なる検査日)で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン911がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
なお、経過観察用の表示画面の例を、図17に示す。検者からの指示に応じてタブ3801が選択されると、図17のように、経過観察用の表示画面が表示される。このとき、計測対象領域の深度範囲を、リストボックスに表示された既定の深度範囲セット(3802及び3803)から検者が選択することで変更できる。例えば、リストボックス3802では網膜表層が選択され、また、リストボックス3803では網膜深層が選択されている。上側の表示領域には網膜表層のモーションコントラスト画像の解析結果が表示され、また、下側の表示領域には網膜深層のモーションコントラスト画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のモーションコントラスト画像の解析結果の並列表示に一括して変更される。
このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のモーションコントラスト画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン911が指定されると、複数のモーションコントラスト画像の表示が複数の高画質画像の表示に一括して変更される。
また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン911が指定されると、複数のモーションコントラスト画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、3805,3806のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のモーションコントラスト画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、1つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。
また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。
また、選択ボタン3807を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図17の上部に表示されている矢印3804は現在選択されている検査であることを示す印であり、基準検査(Baseline)はFollow−up撮影の際に選択した検査(図17の一番左側の画像)である。もちろん、基準検査を示すマークを表示部に表示させてもよい。
また、「Show Difference」チェックボックス3808が指定された場合には、基準画像上に基準画像に対する計測値分布(マップもしくはセクタマップ)を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ(経時変化計測によって得られた各検査日の画像に対する計測値のグラフ)を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ(例えば、時系列グラフ)が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で(例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる)時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線(曲線)や対応する数式をレポート画面に表示させてもよい。
本変形例においては、モーションコントラスト画像に関して説明を行ったが、これに限らない。本変形例に係る表示、高画質化、及び画像解析等の処理に関する画像は、断層画像でもよい。さらには、断層画像だけではなく、SLO画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
このような構成により、本変形例に係る高画質化部101−47が処理した画像を表示制御部101−05が表示部104に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも1つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
また、上述したように、複数の条件のうち少なくとも1つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも1つが選択された状態が維持されてもよい。例えば、表示制御部101−05は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン911が指定されると)、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン911の指定が解除されると)、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
また、表示制御部101−05は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、高画質画像の表示が非選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部101−05は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、低画質画像の第1の種類の解析結果の表示を低画質画像の第2の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部101−05は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、高画質画像の第1の種類の解析結果の表示を高画質画像の第2の種類の解析結果の表示に変更してもよい。
なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
(変形例12)
上述した様々な実施形態及び変形例において、表示制御部101−05は、高画質化部101−47によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部104に表示させることができる。また、表示制御部101−05は、検者からの指示に応じて、表示部104上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部101−05は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、高画質化部101−47が、高画質化エンジン(高画質化用の学習済モデル)による高画質化処理の開始(高画質化エンジンへの画像の入力)を検者からの指示に応じて実行し、表示制御部101−05が、高画質化部101−47によって生成された高画質画像を表示部104に表示させてもよい。これに対し、撮影装置(断層画像撮影装置100)によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部101−05が、検者からの指示に応じて高画質画像を表示部104に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理(高画質化処理)を行う学習済モデルを含む。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、表示制御部101−05は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部101−05は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
(変形例13)
上述した様々な実施形態及び変形例におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクタ等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル(解析結果生成エンジン、解析結果生成用の学習済モデル)を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、正面断層画像及び正面モーションコントラスト画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、正面断層画像は断層画像のEn−Face画像に対応し、正面モーションコントラスト画像はOCTAのEn−Face画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理(例えば、位置合わせして得た複数の第一の画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値(例えば、平均値や中央値等)、解析値を含む表、解析マップ、画像におけるセクタ等の解析領域の位置等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
また、上述した様々な実施形態及び変形例におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果(例えば、Curtin分類)を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報(例えば、割合を示す数値)が表示されてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル(診断結果生成エンジン、診断結果生成用の学習済モデル)を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見(読影所見等)、診断名の根拠(肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付け(アノテーション)したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施形態及び変形例におけるレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果(物体検出結果)やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け(アノテーション)した学習データを学習して得た学習済モデル(物体認識エンジン、物体認識用の学習済モデルセグメンテーションエンジン、セグメンテーション用の学習済モデル)を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元OCT画像(三次元断層画像)と眼底の視神経乳頭のサークルスキャン(又はラスタースキャン)断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも1つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも1つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。また、学習には、バックプロパゲーション(誤差逆伝搬法)に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルであれば何でもよい。
また、高画質化エンジン(高画質化用の学習済モデル)は、高画質化エンジンにより生成された少なくとも1つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。また、正解データの生成には、ラベル付け(アノテーション)等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け(アノテーション)して得た正解データを(順次)追加学習することにより得られたものであってもよい。
(変形例14)
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶(保存)された動画像であってもよい。このとき、例えば、記憶部に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、XZ方向の断層画像(Bスキャン像)である。そして、選択された基準フレームに対して他のフレームがXZ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも1つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像(高画質フレーム)を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、X方向の位置合わせの手法とZ方向(深度方向)の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像(Bスキャン像)をセグメンテーション処理して得た網膜層境界を用いた(Z方向の粗い)位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報(類似度)を用いた(X方向やZ方向の精密な)位置合わせ、断層画像(Bスキャン像)毎に生成した1次元投影像を用いた(X方向の)位置合わせ、2次元正面画像を用いた(X方向の)位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質動画像の表示(高画質フレームの連続表示)を自動的に開始するように構成してもよい。また、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態(アクティブ状態)に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た1つの高画質化用の学習済モデルが用いられてもよい。
(変形例15)
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け(アノテーション)されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時(予測時)の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報(例えば、割合を示す数値)と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理(例えば、位置合わせして得た複数の低画質画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれても良い。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、画像処理部101−04は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、画像処理部101−04は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、画像処理部101−04のCPUやMPU等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
(変形例16)
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、音声認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、モニタ上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、モニタ周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ(波形データ)等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるRNNに関して、図15(a)及び(b)を参照して説明する。また、RNNの一種であるLong short−term memory(以下、LSTM)に関して、図16(a)及び(b)を参照して説明する。
図15(a)は、機械学習モデルであるRNNの構造を示す。RNN3520は、ネットワークにループ構造を持ち、時刻tにおいてデータx3510を入力し、データh3530を出力する。RNN3520はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図15(b)には時刻tにおけるパラメータベクトルの入出力の一例を示す。データx3510にはN個(Params1〜ParamsN)のデータが含まれる。また、RNN3520より出力されるデータh3530には入力データに対応するN個(Params1〜ParamsN)のデータが含まれる。
しかし、RNNでは誤差逆伝搬時に長期時間の情報を扱うことができないため、LSTMが用いられることがある。LSTMは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図16(a)にLSTMの構造を示す。LSTM3540において、ネットワークが次の時刻tに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ct−1と出力データht−1である。なお、図の小文字(c、h、x)はベクトルを表している。
次に、図16(b)にLSTM3540の詳細を示す。図16(b)において、FGは忘却ゲートネットワーク、IGは入力ゲートネットワーク、OGは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が0から1の値となるベクトルを出力する。忘却ゲートネットワークFGは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークIGはどの値を更新するかを判定するものである。CUは、セル更新候補ネットワークであり、活性化関数tanh層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークOGは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したLSTMのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。LSTMではなく、QRNN(Quasi Recurrent Neural Network)を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術(例えば、Sequence toSequence)が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン(対話モデル、対話用の学習済モデル)が適用されてもよい。
(変形例17)
上述した様々な実施形態及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、検者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて記憶部に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ1つの画像としてレポート画面が記憶部に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報(例えば、文字)を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域(例えば、画像の端)であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態(高画質化処理がオン)となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時(例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合)に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに(自動的に)送信されるように構成されてもよい。このとき、デフォルト設定における各種設定(例えば、レポート画面の初期表示画面におけるEn−Face画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも1つに関する設定)に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
(変形例18)
上述した様々な実施形態及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)を用いて、第1の種類の学習済モデルに入力した画像から、第1の種類とは異なる第2の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第2の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第2の種類の学習済モデルに入力して得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)の精度を向上することができる。
また、上述したような種々の学習済モデルは、被検体の2次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の3次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似画像検索エンジン(類似画像検査モデル、類似画像検索用の学習済モデル)が用いられてもよい。
(変形例19)
なお、上記実施形態及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、断層画像撮影装置100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
分割手段としてカプラーを使用したファイバー光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、断層画像撮影装置100の構成は、上記の構成に限られず、断層画像撮影装置100に含まれる構成の一部を断層画像撮影装置100と別体の構成としてもよい。
また、上記実施形態及び変形例では、断層画像撮影装置100の干渉光学系としてマイケルソン型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、断層画像撮影装置100の干渉光学系はマッハツェンダー干渉計の構成を有していてもよい。
さらに、上記実施形態及び変形例では、OCT装置として、SLDを光源として用いたスペクトラルドメインOCT(SD−OCT)装置について述べたが、本発明によるOCT装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS−OCT)装置等の他の任意の種類のOCT装置にも本発明を適用することができる。また、ライン光を用いたLine−OCT装置に対して本発明を適用することもできる。
また、上記実施形態及び変形例では、画像処理部101−04は、断層画像撮影装置100で取得された干渉信号や画像処理部で生成された三次元断層画像等を取得した。しかしながら、画像処理部101−04がこれらの信号や画像を取得する構成はこれに限られない。例えば、画像処理部101−04は、LAN、WAN、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理部101−04に設けられることができる。学習済モデルは、例えば、CPU等のプロセッサによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、画像処理部101−04と接続される別のサーバ等に設けられてもよい。この場合には、画像処理部101−04は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。
(変形例20)
また、上述した様々な実施形態及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施形態及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者(被検体)の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(三次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn−Face画像を含む。En−Face画像は、三次元のOCTAデータ(三次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn−Face画像(モーションコントラスト正面画像)でもよい。また、三次元のOCTデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS−SLO)装置や偏光OCT(PS−OCT)装置等を含んでよい。
[その他の実施形態]
以上、様々な実施形態及び変形例について詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した様々な実施形態及び変形例の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した様々な実施形態及び変形例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

Claims (20)

  1. 眼底の3次元モーションコントラストデータを取得する取得手段と、
    前記3次元モーションコントラストデータを高画質化する高画質化手段と、
    前記高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出する算出手段と、
    を備える、情報処理装置。
  2. 前記取得手段は、前記3次元モーションコントラストデータを複数取得し、
    前記高画質化手段は、複数の前記3次元モーションコントラストデータを合成することにより、前記3次元モーションコントラストデータを高画質化する、請求項1に記載の情報処理装置。
  3. 前記高画質化手段は、眼底の3次元のモーションコントラストデータを含む学習データを学習して得た高画質化用の学習済モデルを用いて、前記3次元モーションコントラストデータを高画質化する、請求項1に記載の情報処理装置。
  4. 前記高画質化された3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段を更に備え、
    前記算出手段は、前記処理手段によりプロジェクションアーチファクトが低減された後の前記高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、前記血管計測値を算出する、請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 眼底の3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段と、
    前記処理手段によりプロジェクションアーチファクトが低減された後の前記3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出する算出手段と、
    を備える、情報処理装置。
  6. 前記血管計測値は、3次元空間における血管計測値であり、血管の体積と、3次元の血管密度と、3次元空間において計測した血管の径と長さと曲率とのうち少なくとも1つに基づく計測値とのうち少なくとも1つである、請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記3次元空間は、ユーザにより指定される、請求項6に記載の情報処理装置。
  8. 前記算出手段は、前記3次元の血管領域に関する情報を用いて前記3次元空間における血管計測値を算出し、更に、前記3次元モーションコントラストデータを深さ方向に投影することで得られた2次元モーションコントラストデータから2次元領域における血管計測値を算出する、請求項6または7に記載の情報処理装置。
  9. 前記算出手段は、前記算出された血管計測値に対して、前記3次元空間における血管計測値であるか前記2次元領域における血管計測値であるかを識別可能な識別情報を対応付ける、請求項8に記載の情報処理装置。
  10. 前記算出された血管計測値を表示部に表示させる表示制御手段を更に備え、
    前記表示制御手段は、前記算出された血管計測値を時系列に沿って複数表示させる場合、前記識別情報に基づいて、3次元空間における血管計測値と2次元領域における血管計測値とが混在しないように前記表示部に表示させる、請求項9に記載の情報処理装置。
  11. 前記算出手段は、前記算出された血管計測値に対して、前記3次元空間における血管計測値であることを示す情報を対応付ける、請求項6乃至8のいずれか1項に記載の情報処理装置。
  12. 前記血管計測値は、2次元領域における血管計測値であり、血管領域または無血管領域の面積、2次元の血管密度、2次元領域において計測した血管の径と長さと曲率とのうち少なくとも1つに基づく計測値のうち少なくとも1つである、請求項1乃至5のいずれか1項に記載の情報処理装置。
  13. 前記少なくとも一部における3次元の血管領域を抽出する抽出手段を更に備える、請求項1乃至12のいずれか1項に記載の情報処理装置。
  14. 眼底の3次元モーションコントラストデータを高画質化する高画質化手段と、
    前記高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域を抽出する抽出手段と、
    を備える、情報処理装置。
  15. 眼底の3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段と、
    前記処理手段によりプロジェクションアーチファクトが低減された後の前記3次元モーションコントラストデータの少なくとも一部における3次元の血管領域を抽出する抽出手段と、
    を備える、情報処理装置。
  16. 前記抽出手段は、眼底の3次元のモーションコントラストデータを含む学習データを学習して得た物体認識用の学習済モデル、または眼底の3次元のモーションコントラストデータを含む学習データを学習して得たセグメンテーション用の学習済モデルを用いて、前記少なくとも一部における3次元の血管領域を抽出する、請求項13乃至14のいずれか1項に記載の情報処理装置。
  17. 眼底の3次元のモーションコントラストデータを含む学習データを学習して得た解析結果生成用の学習済モデルを用いて前記3次元の血管領域の解析結果を生成する、または眼底の3次元のモーションコントラストデータを含む学習データを学習して得た診断結果生成用の学習済モデルを用いて前記3次元の血管領域の診断結果を生成する生成手段を更に備える、請求項1乃至16のいずれか1項に記載の情報処理装置。
  18. 眼底の3次元モーションコントラストデータを取得する取得工程と、
    前記3次元モーションコントラストデータを高画質化する高画質化工程と、
    前記高画質化された3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、3次元空間における血管計測値を算出する算出工程と、
    を含む、情報処理方法。
  19. 眼底の3次元モーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理工程と、
    前記処理手段によりプロジェクションアーチファクトが低減された後の前記3次元モーションコントラストデータの少なくとも一部における3次元の血管領域に関する情報を用いて、血管計測値を算出する算出工程と、
    を含む、情報処理方法。
  20. 請求項18または19に記載の情報処理方法をコンピュータに実行させる、プログラム。
JP2019097162A 2018-05-31 2019-05-23 情報処理装置、情報処理方法及びプログラム Active JP7374615B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020876 WO2019230643A1 (ja) 2018-05-31 2019-05-27 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018105487 2018-05-31
JP2018105487 2018-05-31

Publications (3)

Publication Number Publication Date
JP2019209136A true JP2019209136A (ja) 2019-12-12
JP2019209136A5 JP2019209136A5 (ja) 2022-03-17
JP7374615B2 JP7374615B2 (ja) 2023-11-07

Family

ID=68846123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019097162A Active JP7374615B2 (ja) 2018-05-31 2019-05-23 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7374615B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN111493853A (zh) * 2020-04-24 2020-08-07 天津恒宇医疗科技有限公司 一种针对血管性皮肤病的血管参数评价方法及系统
JP2021180838A (ja) * 2020-05-14 2021-11-25 株式会社トプコン 光コヒーレンストモグラフィアンギオグラフィのための方法
WO2023032887A1 (ja) * 2021-08-31 2023-03-09 DeepEyeVision株式会社 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090194A (ja) * 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
JP2017042443A (ja) * 2015-08-27 2017-03-02 キヤノン株式会社 眼科装置、情報処理方法及びプログラム
JP2017077414A (ja) * 2015-10-21 2017-04-27 株式会社ニデック 眼科解析装置、眼科解析プログラム
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2017221525A (ja) * 2016-06-16 2017-12-21 株式会社ニデック 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2018038611A (ja) * 2016-09-07 2018-03-15 株式会社ニデック 眼科解析装置、眼科解析プログラム
US20180140257A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Retinal Scan Processing for Diagnosis of a Subject

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090194A (ja) * 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
JP2017042443A (ja) * 2015-08-27 2017-03-02 キヤノン株式会社 眼科装置、情報処理方法及びプログラム
JP2017077414A (ja) * 2015-10-21 2017-04-27 株式会社ニデック 眼科解析装置、眼科解析プログラム
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
JP2017221525A (ja) * 2016-06-16 2017-12-21 株式会社ニデック 光コヒーレンストモグラフィ装置、および光コヒーレンストモグラフィ制御プログラム
JP2018038611A (ja) * 2016-09-07 2018-03-15 株式会社ニデック 眼科解析装置、眼科解析プログラム
US20180140257A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Retinal Scan Processing for Diagnosis of a Subject

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN111354031B (zh) * 2020-03-16 2023-08-29 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN111493853A (zh) * 2020-04-24 2020-08-07 天津恒宇医疗科技有限公司 一种针对血管性皮肤病的血管参数评价方法及系统
JP2021180838A (ja) * 2020-05-14 2021-11-25 株式会社トプコン 光コヒーレンストモグラフィアンギオグラフィのための方法
WO2023032887A1 (ja) * 2021-08-31 2023-03-09 DeepEyeVision株式会社 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP7374615B2 (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102543875B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020036182A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US10973406B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11887288B2 (en) Image processing apparatus, image processing method, and storage medium
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP2021037239A (ja) 領域分類方法
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP2021122559A (ja) 画像処理装置、画像処理方法及びプログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020050308A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7195745B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019230643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7009265B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7106304B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
WO2020049828A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022062619A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022121202A (ja) 画像処理装置および画像処理方法
JP2023010308A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R151 Written notification of patent or utility model registration

Ref document number: 7374615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151