JP2019208851A - 眼底画像処理装置および眼底画像処理プログラム - Google Patents

眼底画像処理装置および眼底画像処理プログラム Download PDF

Info

Publication number
JP2019208851A
JP2019208851A JP2018107281A JP2018107281A JP2019208851A JP 2019208851 A JP2019208851 A JP 2019208851A JP 2018107281 A JP2018107281 A JP 2018107281A JP 2018107281 A JP2018107281 A JP 2018107281A JP 2019208851 A JP2019208851 A JP 2019208851A
Authority
JP
Japan
Prior art keywords
fundus image
image processing
processing apparatus
region
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018107281A
Other languages
English (en)
Other versions
JP2019208851A5 (ja
Inventor
涼介 柴
Ryosuke Shiba
涼介 柴
佳紀 熊谷
Yoshinori Kumagai
佳紀 熊谷
祐輔 坂下
Yusuke Sakashita
祐輔 坂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to JP2018107281A priority Critical patent/JP2019208851A/ja
Priority to US16/427,446 priority patent/US20190365314A1/en
Publication of JP2019208851A publication Critical patent/JP2019208851A/ja
Publication of JP2019208851A5 publication Critical patent/JP2019208851A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】眼底画像における動脈と静脈の検出結果を適切に取得することが可能な眼底画像処理装置および眼底画像処理プログラムを提供する。【解決手段】PCのCPUは、眼底画像撮影部によって撮影された眼底画像を取得する(S2)。CPUは、機械学習アルゴリズムによって訓練された数学モデルに眼底画像の少なくとも一部を入力することで、眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する(S3)。【選択図】図2

Description

本開示は、被検眼の眼底画像を処理する眼底画像処理装置、および、眼底画像処理装置において実行される眼底画像処理プログラムに関する。
眼底を観察することで、生体の動脈の静脈の状態を非侵襲で把握することが可能である。従来、眼底画像から得られた動脈と静脈(以下、まとめて「動静脈」という場合もある)の検出結果が、種々の診断等に利用されている。例えば、特許文献1に記載の眼底画像処理装置は、眼底画像に対して画像処理を行うことで、動静脈を検出する。詳細には、特許文献1に記載の眼底画像処理装置は、眼底画像における全画素の各々に対して、周囲の画素との輝度値差を算出することで、眼底における血管を検出する。次いで、検出した血管を構成する画素の輝度、および径の少なくともいずれかを用いて、血管が動脈および静脈のいずれであるかを判別する。
特開2014−193225号公報
本開示における技術の1つの側面について説明する。眼底画像に対する画像処理を用いて動静脈を検出する場合には、種々の問題が生じ得る。例えば、動脈と静脈が交差している場合、白内障等の影響で眼底画像が暗い場合、および、眼底に疾患が存在する場合等には、画像処理によって動静脈を検出することが困難な場合があり得る。
他の側面について説明する。眼底画像における広い領域から動静脈を検出する場合には、処理量を削減することが困難となり、検出に時間を要する。特に、それぞれの画素毎に処理を行う場合には、処理量が莫大な量となり易い。
本開示は、上記複数の側面の少なくともいずれかを解決し、眼底画像における動脈と静脈の検出結果を適切に取得することが可能な眼底画像処理装置および眼底画像処理プログラムを提供することである。
本開示における典型的な実施形態が提供する眼底画像処理装置は、被検眼の眼底画像を処理する眼底画像処理装置であって、前記眼底画像処理装置の制御部は、眼底画像撮影部によって撮影された前記眼底画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼底画像の少なくとも一部を入力することで、前記眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する。
本開示における典型的な実施形態が提供する眼底画像処理プログラムは、被検眼の眼底画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、眼底画像撮影部によって撮影された前記眼底画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼底画像の少なくとも一部を入力することで、前記眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する動静脈検出結果取得ステップと、を前記眼底画像処理装置に実行させる。
本開示に係る眼底画像処理装置および眼底画像処理プログラムによると、眼底画像における動脈と静脈の検出結果が適切に取得される。
眼底画像処理システム100の概略構成を示すブロック図である。 眼底画像処理のフローチャートである。 関心領域25が設定された眼底画像20の一例を示す図である。 訓練データセット30の一例を説明するための説明図である。
<概要>
本開示で例示する眼底画像処理装置の制御部は、眼底画像撮影部によって撮影された眼底画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼底画像の少なくとも一部を入力することで、眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する。この場合、例えば、動脈と静脈が交差している眼底画像、白内障等の影響で明るさが不足している眼底画像、および、疾患が存在する眼底画像等の少なくともいずれかを訓練データとして数学モデルが訓練されることで、種々の眼底画像に対しても適切に動静脈の検出結果が得られる。
数学モデルに入力される眼底画像には、種々の眼底画像撮影部によって撮影された画像を用いることができる。例えば、眼底カメラによって撮影された画像、レーザ走査型検眼装置(SLO)によって撮影された画像、OCT装置によって取得された画像等の少なくともいずれかが、数学モデルに入力されてもよい。
数学モデルは、過去に撮影された被検眼の眼底画像を入力用訓練データとし、且つ、入力用訓練データの眼底画像における動脈と静脈を示すデータを出力用訓練データとして訓練されていてもよい。数学モデルに1つの眼底画像が入力されることで、動脈と静脈の検出結果が取得されてもよい。この場合、例えば、まず血管を検出してその後に血管を動脈と静脈に分類する方法、および、1つの眼底画像から抽出した複数の部位の各々を数学モデルに入力する方法等を用いる場合に比べて、簡易な処理で適切に動静脈が検出される。
数学モデルを訓練するために用いられる入力用訓練データと出力用訓練データの態様は、適宜選択できる。例えば、前述したように、眼底カメラによって撮影された被検眼のカラー眼底画像が、入力用訓練データとされてもよい。また、SLOによって撮影された被検眼の眼底画像が、入力用訓練データとされてもよい。また、入力用訓練データの眼底画像における動脈と静脈の位置が、眼底画像上で作業者によって指定される(例えば、動脈および静脈の各々を示すラベルが眼底画像上で付与される)ことで、出力用訓練データが作成されてもよい。
制御部は、取得した眼底画像の領域内の一部に関心領域を設定してもよい。制御部は、数学モデルに関心領域の画像を入力することで、関心領域に存在する動脈と静脈の検出結果を取得してもよい。この場合、取得した眼底画像の全体を数学モデルに入力する場合に比べて少ない演算処理で動静脈の検出結果が取得される。
制御部は、眼底画像の領域内のうち、乳頭を中心とする領域を関心領域として設定してもよい。乳頭には、動脈および静脈を含む複数の血管が出入りする。従って、乳頭を中心とする領域を関心領域として設定することで、動脈および静脈の適切な情報(例えば、動脈および静脈の各々の径の情報等)が効率よく取得される。なお、従来の画像処理を用いた動静脈の検出処理では、広範囲の眼底画像の大局的な情報(例えば、種々の部位の位置関係等)が必要となるため、関心領域の情報のみを用いて正確に動静脈を検出することは困難であった。これに対し、数学モデルを用いる場合には、それぞれの画素を中心とする局所的な領域に基づく検出処理が行われるため、関心領域の画像を用いた効率の良い検出処理が可能である。
ただし、関心領域を変更することも可能である。例えば、本開示における関心領域は、乳頭を中心とする環状の領域である。しかし、関心領域の形状を環状以外の形状(例えば、円形状、矩形状等)としてもよい。また、関心領域の位置を変更してもよい。例えば、中心窩を中心として関心領域が設定されてもよい。詳細には、関心領域が中心窩を中心として設定されることで、中心窩無灌流領域周囲の血管密度等が算出されてもよい。この場合、眼底画像としてOCTアンジオ画像(例えば、OCTモーションコントラスト画像)が用いられることで、血管密度がより正確に算出される。
また、制御部は、ユーザによって入力された指示に応じて、眼底画像に対する関心領域の位置および大きさの少なくともいずれかを設定してもよい。この場合、ユーザは、関心領域を任意に設定することができる。また、制御部は、眼底画像に対する画像処理等を行うことで、眼底の所定位置(例えば乳頭等)を検出し、検出した所定位置に基づいて関心領域を自動的に設定してもよい。また、制御部は、眼底の所定部位の大きさを検出し、検出した大きさに基づいて関心領域の大きさを決定してもよい。例えば、制御部は、略円形である乳頭の径を検出し、検出した乳頭の径のN倍(Nは任意に設定できるが、例えば「3」等)を、関心領域の径に決定してもよい。また、過去に撮影された被検眼の眼底画像を入力用訓練データとし、且つ、入力用訓練データの眼底画像における所定位置(例えば乳頭の位置等)または所定領域(例えば乳頭を中心とする環状の領域)を示すデータを出力用訓練データとして訓練された数学モデルが用いられてもよい。この場合、眼底画像が数学モデルに入力されることで、関心領域が設定されてもよい。
制御部は、検出結果に基づいて、動脈および静脈の少なくとも一方に関するデータを算出してもよい。この場合、ユーザは、より良好に診断等を行うことができる。算出するデータは適宜選択できる。例えば、動脈の径の平均値および標準偏差、静脈の径の平均値および標準偏差、動脈および静脈を含む血管の径の平均値および標準偏差、動脈の輝度の平均値および標準偏差、静脈の輝度の平均値および標準偏差、動脈および静脈を含む血管の輝度の平均値および標準偏差等の少なくともいずれかが、血管のデータとして算出されてもよい。
制御部は、検出された動脈の径と静脈の径の比(以下、「動静脈径比」という)を算出してもよい。この場合、ユーザは、動静脈径比を参照することで、動脈硬化等の各種診断をより適切に行うことができる。
<実施形態>
(システム構成)
以下、本開示における典型的な実施形態の1つについて、図面を参照して説明する。一例として、本実施形態では、パーソナルコンピュータ(以下、「PC」という)1が、眼底画像撮影装置11から被検眼の眼底画像のデータ(以下、単に「眼底画像」という)を取得し、取得した眼科画像に対して各種処理を行う。つまり、本実施形態では、PC1が眼底画像処理装置として機能する。しかし、眼底画像処理装置として機能するデバイスは、PC1に限定されない。例えば、眼底画像撮影装置11が眼底画像処理装置として機能してもよい。タブレット端末またはスマートフォン等の携帯端末が、眼底画像処理装置として機能してもよい。ネットワークを介して眼底画像撮影装置11から眼底画像を取得可能なサーバが、眼底画像処理装置として機能してもよい。また、複数のデバイスの制御部(例えば、PC1のCPU3と、眼底画像撮影装置11のCPU13)が協働して各種画像処理を行ってもよい。
図1に示すように、本実施形態で例示する眼底画像処理システム100は、PC1と眼底画像撮影装置11を備える。PC1は、各種制御処理を行う制御ユニット2を備える。制御ユニット2は、制御を司るコントローラであるCPU3と、プログラムおよびデータ等を記憶することが可能な記憶装置4を含む。記憶装置4には、後述する眼底画像処理を実行するための眼底画像処理プログラムが記憶されている。PC1は、操作部7およびモニタ8に接続されている。操作部7は、ユーザが各種指示をPC1に入力するために、ユーザによって操作される。操作部7には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部7と共に、または操作部7に代えて、各種指示を入力するためのマイク等が使用されてもよい。モニタ8は、各種画像を表示することが可能な表示部の一例である。
PC1は、眼底画像撮影装置11との間で各種データ(例えば眼底画像のデータ)のやり取りを行うことができる。PC1が眼底画像撮影装置11との間でデータのやり取りを行う方法は、適宜選択できる。例えば、PC1は、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼底画像撮影装置11との間でデータのやり取りを行ってもよい。
眼底画像撮影装置11には、被検眼の眼底の画像を撮影する種々の装置を用いることができる。一例として、本実施形態で使用される眼底画像撮影装置11は、可視光を用いて眼底のカラー画像を撮影することが可能な眼底カメラである。従って、後述する動静脈の検出処理が、カラーの眼底画像に基づいて適切に行われる。しかし、眼底カメラ以外の装置(例えば、OCT装置、レーザ走査型検眼鏡(SLO)等の少なくともいずれか)が用いられてもよい。眼底画像は、眼底を被検眼の正面側から撮影した二次元正面画像でもよいし、眼底の三次元画像でもよい。
眼底画像撮影装置11は、各種制御処理を行う制御ユニット12と、眼底画像撮影部16を備える。制御ユニット12は、制御を司るコントローラであるCPU13と、プログラムおよびデータ等を記憶することが可能な記憶装置14を備える。眼底画像撮影部16は、被検眼の眼底画像を撮影するための光学部材等を備える。
(眼底画像処理)
以下、本実施形態の眼底画像処理について詳細に説明する。本実施形態の眼底画像処理では、機械学習アルゴリズムによって訓練された数学モデルが用いられることで、眼底画像に存在する動脈と静脈の検出結果が取得される。眼底画像処理は、記憶装置4に記憶された眼底画像処理プログラムに従って、CPU3によって実行される。
図2に示すように、CPU3は、眼底画像処理を開始すると、被検眼の眼底画像を取得する(S1)。本実施形態では、CPU3は、眼底画像撮影装置11の眼底画像撮影部16によって撮影された眼底画像(本実施形態では、眼底のカラー正面画像)を、眼底画像撮影装置11から取得する。しかし、眼底画像の取得方法は適宜変更できる。例えば、眼底画像撮影装置11が眼底画像処理を実行する場合には、眼底画像撮影装置11のCPU13は、記憶装置14に記憶されている眼底画像を取得してもよい。
次いで、CPU3は、S1で取得した眼底画像の領域内の一部に関心領域を設定する(S2)。図3に、関心領域25が設定された眼底画像20の一例を示す。図3に示すように、本実施形態の眼底画像20は、眼底のカラー正面画像であり、被検眼の視神経乳頭(以下、「乳頭」という)21、黄斑22、および眼底血管23が表れている。本実施形態では、CPU3は、眼底画像20の領域内のうち、乳頭21を中心とする領域(詳細には、乳頭21を中心とする環状の領域)を関心領域25として設定する。図3で例示する関心領域25は、破線で示す2つの同心円に囲まれた領域である。乳頭21には、動脈および静脈が出入りする。従って、乳頭21を中心とする領域を関心領域25として設定することで、動脈および静脈の適切な情報が効率よく取得される。
なお、CPU3は、眼底画像20に対する画像処理を行うことで乳頭21の位置を検出し、検出した乳頭21の位置に基づいて関心領域25を自動的に設定する。ただし、関心領域25の具体的な設定方法を変更することも可能である。例えば、CPU3は、機械学習アルゴリズムによって訓練された数学モデルを用いて、関心領域25を自動的に設定してもよい。また、関心領域25の位置を変更することも可能である。例えば、中心窩(黄斑22の中心)を中心として関心領域25が設定されてもよい。関心領域25の形状を変更することも可能である。また、本実施形態では、関心領域25の大きさは予め定められている。しかし、CPU3は、眼底における所定の部位の大きさに基づいて、関心領域25の大きさを決定してもよい。例えば、CPU3は、略円形である乳頭21の径を検出し、検出した径のN倍(例えば3倍等)を、関心領域25の径として決定してもよい。Nの値は、予め定められていてもよいし、ユーザによって入力される指示に応じて設定されてもよい。この場合、所定の部位(本実施形態では乳頭21)の大きさに応じて、関心領域25の大きさが適切に決定される。また、CPU3は、ユーザが操作部7等を介して入力した指示に応じて、眼底画像20における関心領域25の位置および大きさの少なくともいずれかを設定してもよい。
次いで、CPU3は、機械学習アルゴリズムによって訓練された数学モデルに眼底画像20の少なくとも一部(本実施形態では、関心領域25の画像)を入力することで、動脈と静脈の検出結果を取得する(S3)。本実施形態における動静脈の検出結果の取得方法について、詳細に説明する。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン(SVM)等が一般的に知られている。
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード(順伝播型)ニューラルネットワーク、RBFネットワーク(放射基底関数)、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット等)、確率的ニューラルネット(ボルツマンマシン、ベイシアンネットワーク等)等がある。
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均(あるいは多数決)を取る。
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
SVMは、線形入力素子を利用して2クラスのパターン識別器を構成する手法である。SVMは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準(超平面分離定理)で、線形入力素子のパラメータを学習する。
本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の1つ以上の隠れ層を含む。各層には、複数のノード(ユニットとも言われる)が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)が用いられている。
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ(例えば、重み)が更新される。
図4を参照して、本実施形態の数学モデルを構築するために用いられる訓練データセット30について説明する。本実施形態では、入力用訓練データ31として、過去に撮影された複数の被検眼の眼底画像20Pが用いられる。また、出力用訓練データ32として、入力用訓練データ31の眼底画像20Pにおける動脈23Aと静脈23Vを示すデータが用いられる。本実施形態では、入力用訓練データ31の眼底画像20P上で、動脈23Aおよび静脈23Vの各々を示すラベルを作業者が付与することで、出力用訓練データ32が作成される。図4に示す例では、動脈23Aが実線、静脈23Vが点線で示されている。なお、図4に示す例では、入力用訓練データ31は、関心領域25Pよりも広範囲の眼底画像20Pである。また、出力用訓練データ32は、関心領域25P内の動脈23Aおよび静脈23Vに加えて、関心領域25P以外の動脈23Aおよび静脈23Vも示す。従って、例えば、眼底画像20に設定される関心領域25の位置が変更される場合等であっても、動静脈が適切に検出される。しかし、入力用訓練データ31は関心領域25Pの画像であってもよいし、出力用訓練データ32は関心領域25P内の動静脈を示してもよい。
複数の訓練データセット30には、動脈と静脈が交差している部分のデータも含まれる。従って、構築された数学モデルが用いられることで、動脈と静脈が交差している部分においても適切に動静脈の検出結果が得られる。さらに複数の訓練データセット30には、白内障等の影響で明るさが不足している眼底画像20Pについての訓練データセット30、および、疾患等が存在する眼底の画像20Pについての訓練データセット30も含まれる。よって、暗い眼底画像20、または、疾患が存在する眼底の画像20であっても、動静脈の検出結果が適切に得られる。
CPU3は、構築された数学モデルに眼底画像20(図2参照)の少なくとも一部(本実施形態では、関心領域25の画像)を入力する。その結果、入力された画像に含まれる動静脈の検出結果が出力される。本実施形態では、入力された画像の各画素が、動脈、静脈、およびそれ以外の組織の3つのいずれかに分類されることで、動静脈の検出結果が出力される。つまり、数学モデルに1つの画像が入力されることで、容易に検出結果が得られる。従って、血管を検出した後で、検出した血管を動脈と静脈に分類する場合に比べて、簡易な処理で適切に動静脈が検出される。また、眼底画像から抽出した複数の部位(パッチ)の各々を数学モデルに入力する場合よりも、処理量が削減されやすい。
前述したように、本実施形態では、眼底画像20における関心領域25の画像が数学モデルに入力される。従って、眼底画像20の全体が数学モデルに入力される場合に比べて、少ない演算処理で動静脈の検出結果が取得される。
また、本実施形態では、数学モデルに1つの眼底画像20(関心領域25の画像)が入力されると、入力された画像の一部の領域から他の領域に順に演算処理が行われる。CPU3は、演算処理が完了した領域の検出結果を、モニタ8に順次表示する。また、CPU3は、演算処理が完了した領域の検出結果を用いて、後述するデータ算出処理(S4)および動静脈径比算出処理(S5)を順次実行し、結果をモニタ8に順次表示する。S4およびS5の処理が実行されている間も、残りの領域に対する演算処理が行われる。よって、より効率よく処理が行われる。なお、本実施形態では、入力された画像のうち、優先度が高い領域から低い領域へ向けて順に(例えば、関心領域25の内側から外側へ向けて順に)演算処理が行われる。よって、ユーザは、優先度が高い領域の処理結果を、より早い段階で把握することができる。
次いで、CPU3は、検出された動脈および静脈の少なくとも一方に関するデータを算出する(S4)。詳細には、本実施形態では、CPU3は、動脈の径の平均値および標準偏差、静脈の径の平均値および標準偏差、動脈および静脈を含む血管の径の平均値および標準偏差、動脈の輝度の平均値および標準偏差、静脈の輝度の平均値および標準偏差、動脈および静脈を含む血管の輝度の平均値および標準偏差を算出する。
次いで、CPU3は、動脈の径と静脈の径の比である動静脈径比を算出する(S5)。ユーザは、動静脈径比を参照することで、動脈硬化等の各種診断をより適切に行うことができる。なお、動静脈径比の具体的な算出方法は、適宜選択できる。例えば、CPU3は、乳頭21から上方に延びる動脈と静脈の径の比と、乳頭21から下方に延びる動脈と静脈の径の比を、別々に算出してもよい。眼底の血管には、乳頭21から上方と下方の各々に動脈と静脈が並走しやすいという特性がある。従って、上方と下方の各々の動静脈径比を算出することで、並走していない動脈と静脈から動静脈径比が算出される可能性が低下する。その結果、より有用な結果が得られる。
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、上記実施形態で例示した方法で構築した数学モデルを使用せずに、関心領域25の画像を数学モデルに入力する処理のみを実行してもよい。逆に、関心領域25の画像を数学モデルに入力する処理を実行せずに(つまり、眼底画像20の全体を数学モデルに入力し)、上記実施形態で例示した方法で構築した数学モデルを使用して動静脈の検出結果が取得されてもよい。
なお、図2のS1で眼底画像を取得する処理は、「画像取得ステップ」の一例である。図2のS3で動静脈の検出結果を取得する処理は、「動静脈検出結果取得ステップ」の一例である。
1 PC
3 CPU
11 眼底画像撮影装置
16 眼底画像撮影部
20 眼底画像
21 乳頭
23 眼底血管
23A 動脈
23V 静脈
25 関心領域
30 訓練データセット
31 入力用訓練データ
32 出力用訓練データ
100 眼底画像処理システム

Claims (7)

  1. 被検眼の眼底画像を処理する眼底画像処理装置であって、
    前記眼底画像処理装置の制御部は、
    眼底画像撮影部によって撮影された前記眼底画像を取得し、
    機械学習アルゴリズムによって訓練された数学モデルに前記眼底画像の少なくとも一部を入力することで、前記眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得することを特徴とする眼底画像処理装置。
  2. 請求項1に記載の眼底画像処理装置であって、
    前記数学モデルは、過去に撮影された被検眼の眼底画像を入力用訓練データとし、且つ、前記入力用訓練データの前記眼底画像における動脈と静脈を示すデータを出力用訓練データとして訓練されており、
    前記数学モデルに1つの前記眼底画像が入力されることで、動脈と静脈の検出結果が取得されることを特徴とする眼底画像処理装置。
  3. 請求項1または2に記載の眼底画像処理装置であって、
    前記制御部は、
    取得した前記眼底画像の領域内の一部に関心領域を設定し、
    前記数学モデルに前記関心領域の画像を入力することで、前記関心領域に存在する動脈と静脈の検出結果を取得することを特徴とする眼底画像処理装置。
  4. 請求項1から3のいずれかに記載の眼底画像処理装置であって、
    前記制御部は、
    前記眼底画像の領域内のうち、乳頭を中心とする領域を前記関心領域として設定することを特徴とする眼底画像処理装置。
  5. 請求項1から4のいずれかに記載の眼底画像処理装置であって、
    前記制御部は、
    前記検出結果に基づいて、検出された動脈および静脈の少なくとも一方に関するデータを算出することを特徴とする眼底画像処理装置。
  6. 請求項1から5のいずれかに記載の眼底画像処理装置であって、
    前記制御部は、
    検出された動脈の径と静脈の径の比を算出することを特徴とする眼底画像処理装置。
  7. 被検眼の眼底画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、
    前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、
    眼底画像撮影部によって撮影された前記眼底画像を取得する画像取得ステップと、
    機械学習アルゴリズムによって訓練された数学モデルに前記眼底画像の少なくとも一部を入力することで、前記眼底画像の少なくとも一部に存在する動脈と静脈の検出結果を取得する動静脈検出結果取得ステップと、
    を前記眼底画像処理装置に実行させることを特徴とする眼底画像処理プログラム。

JP2018107281A 2018-06-04 2018-06-04 眼底画像処理装置および眼底画像処理プログラム Pending JP2019208851A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018107281A JP2019208851A (ja) 2018-06-04 2018-06-04 眼底画像処理装置および眼底画像処理プログラム
US16/427,446 US20190365314A1 (en) 2018-06-04 2019-05-31 Ocular fundus image processing device and non-transitory computer-readable medium storing computer-readable instructions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018107281A JP2019208851A (ja) 2018-06-04 2018-06-04 眼底画像処理装置および眼底画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2019208851A true JP2019208851A (ja) 2019-12-12
JP2019208851A5 JP2019208851A5 (ja) 2021-06-17

Family

ID=68692970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018107281A Pending JP2019208851A (ja) 2018-06-04 2018-06-04 眼底画像処理装置および眼底画像処理プログラム

Country Status (2)

Country Link
US (1) US20190365314A1 (ja)
JP (1) JP2019208851A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011912A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563910B (zh) * 2020-05-13 2023-06-06 上海鹰瞳医疗科技有限公司 眼底图像分割方法及设备
CN111968083B (zh) * 2020-08-03 2024-05-14 上海美沃精密仪器股份有限公司 一种基于深度学习的在线泪膜破裂时间检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145604A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の動静脈識別方法及び装置
US20060257031A1 (en) * 2005-03-31 2006-11-16 Michael Abramoff Automatic detection of red lesions in digital color fundus photographs
JP2007319403A (ja) * 2006-05-31 2007-12-13 Topcon Corp 診療支援システム、診療支援装置及び診療支援プログラム
US20100142767A1 (en) * 2008-12-04 2010-06-10 Alan Duncan Fleming Image Analysis
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
JP2014504523A (ja) * 2011-01-20 2014-02-24 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
JP2018011726A (ja) * 2016-07-20 2018-01-25 大日本印刷株式会社 眼底画像処理装置
US20180047159A1 (en) * 2015-03-02 2018-02-15 Medizinische Universität Wien Computerized device and method for processing image data
JP2018046959A (ja) * 2016-09-21 2018-03-29 株式会社トプコン 眼科撮影装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145604A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の動静脈識別方法及び装置
US20060257031A1 (en) * 2005-03-31 2006-11-16 Michael Abramoff Automatic detection of red lesions in digital color fundus photographs
JP2007319403A (ja) * 2006-05-31 2007-12-13 Topcon Corp 診療支援システム、診療支援装置及び診療支援プログラム
US20100142767A1 (en) * 2008-12-04 2010-06-10 Alan Duncan Fleming Image Analysis
JP2014504523A (ja) * 2011-01-20 2014-02-24 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
US20120257164A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
US20180047159A1 (en) * 2015-03-02 2018-02-15 Medizinische Universität Wien Computerized device and method for processing image data
JP2018011726A (ja) * 2016-07-20 2018-01-25 大日本印刷株式会社 眼底画像処理装置
JP2018046959A (ja) * 2016-09-21 2018-03-29 株式会社トプコン 眼科撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011912A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7344847B2 (ja) 2020-06-30 2023-09-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20190365314A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US11633096B2 (en) Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
JP6907563B2 (ja) 画像処理装置、および画像処理プログラム
WO2018143180A1 (ja) 画像処理装置、および画像処理プログラム
JP6878923B2 (ja) 画像処理装置、画像処理システム、および画像処理プログラム
US20190365314A1 (en) Ocular fundus image processing device and non-transitory computer-readable medium storing computer-readable instructions
JP7196908B2 (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2024040372A (ja) 眼科画像処理プログラムおよび眼科画像処理装置
WO2020026535A1 (ja) 眼科画像処理装置、oct装置、および眼科画像処理プログラム
JP2024045441A (ja) 眼科画像処理装置、および眼科画像処理プログラム
WO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
JP6703319B1 (ja) 眼科画像処理装置、およびoct装置
JP6747617B2 (ja) 眼科画像処理装置、およびoct装置
JP7147888B2 (ja) 眼科画像処理装置、oct装置、および眼科画像処理プログラム
JP2022138552A (ja) 眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置
US20220358640A1 (en) Medical image processing device and medical image processing program
JP2021074095A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP2020036837A (ja) 眼科画像処理装置、および眼科撮影装置
JP2023149095A (ja) 眼底画像処理装置および眼底画像処理プログラム
WO2020241794A1 (ja) 眼科画像処理装置、眼科画像処理プログラム、および眼科画像処理システム
JP7302184B2 (ja) 眼科画像処理装置、および眼科画像処理プログラム
JP2023149742A (ja) 眼底画像処理装置および眼底画像処理プログラム
JP2021186466A (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP2020018794A (ja) 眼科画像処理装置、oct装置、および眼科画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230925

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231124