JP2022550669A - 網膜血管の動静脈を判別する方法及び装置 - Google Patents

網膜血管の動静脈を判別する方法及び装置 Download PDF

Info

Publication number
JP2022550669A
JP2022550669A JP2022512438A JP2022512438A JP2022550669A JP 2022550669 A JP2022550669 A JP 2022550669A JP 2022512438 A JP2022512438 A JP 2022512438A JP 2022512438 A JP2022512438 A JP 2022512438A JP 2022550669 A JP2022550669 A JP 2022550669A
Authority
JP
Japan
Prior art keywords
vessel
image
arteriovenous
segments
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022512438A
Other languages
English (en)
Other versions
JP7333465B2 (ja
Inventor
黎明 代
泓羊 姜
冬冬 張
雷 于
Original Assignee
北京至真互聯網技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京至真互聯網技術有限公司 filed Critical 北京至真互聯網技術有限公司
Publication of JP2022550669A publication Critical patent/JP2022550669A/ja
Application granted granted Critical
Publication of JP7333465B2 publication Critical patent/JP7333465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本出願は網膜血管の動静脈を判別する方法及び装置を開示し、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて、主要血管を切り取って、複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対して、いずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際場における実施を可能にした。【選択図】図１

Description

本出願は、２０２０年０８月１４日に中国特許庁に出願された出願番号が２０２０１０８１５６９８．８であり、発明名称が「網膜血管の動静脈を判別する方法及び装置」の中国特許出願の優先権を主張し、その全ての内容が本出願に参照として組み込まれている。
本開示は、コンピュータ支援診断の技術分野に関し、特に、網膜血管の動静脈を判別する方法及び装置に関する。
眼底網膜血管の動静脈径比の指数は、医師が動脈硬化性疾患を診断する際に重要な参考となっている。しかし、医師は実際に読影する際には、依然として目視で動静脈管径比を１／２より大きい、１／３より大きい且つ１／２より小さい、１／３より小さいなどと大まかな比率を評価する。しかし、目視検査方法には大きな誤差があり、特に新しい眼科医や一般の眼科医が読影する過程で誤判断は避けられない。したがって、網膜の主要血管の動静脈径比の比率をコンピュータで正確に測定することは、医師が動脈硬化症を臨床的に診断するのに非常に役立ち、医師の読影効率を向上できる。また、動脈硬化症など血管の形態に異常がある疾患のさらなるコンピュータ支援診断にも大きな意義がある。
機械学習法に基づく網膜血管の動静脈を判別する方法には、アルゴリズムの普遍性とロバスト性が低いという問題がある。
これを考慮して、本開示は網膜血管の動静脈を判別する方法を提案し、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
前記血管抽出画像の切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管骨格を抽出し；
前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、前記連結された血管から血管骨格を抽出する。
一つの可能な実施方法では、不適合な動静脈血管対を除去することには更に、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去することには、
前記血管骨格を二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。
一つの可能な実施方法では、前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得した。
一つの可能な実施方法では、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれる。
一つの可能な実施方法では、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。
本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成され；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記いずれかに記載の方法を実現するように構成されている。
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。
本開示の他の特徴及び態様は、図面を参照した例示的な実施形態の以下の詳細な説明に照らして明らかになる。
図面は、本明細書に含まれ、本明細書とともにその一部を構成し、本開示の例示的な実施形態、特徴および態様を示し、本開示の原理を説明するために使用される。
本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャート； 本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの眼底画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの血管抽出画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト結果画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の他のフローチャート； 本開示の一実施形態の網膜血管の動静脈を判別する方法の眼底画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト結果画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管方向の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の黄斑部の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法のリングテンプレートの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の小血管セグメントの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の輪郭直線フィッティングの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管径の概略図； 本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図； 本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図。
本開示の様々な例示的な実施形態、特徴および態様を、図面を参照して以下に詳細に説明する。図中の同じ記号の表記は、同じまたは類似の機能を持つ要素を示している。実施形態の様々な態様が図面に示されているが、特に明記しない限り、図面は必ずしも一定の縮尺で描かれているわけではない。
ここで、「例示的」という言葉は、専ら「例、実施形態または実例として使用される」という意味で使用されている。本明細書で「例示的」として記載される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。
さらに、本開示をよりよく説明するために、以下の詳細な説明において多くの特定の詳細が与えられる。本開示は、ある特定の詳細がなくても同様に実施できることは、当業者には理解されるべきである。いくつかの実例では、本開示の主旨を現すために、当業者に知られている方法、手段、構成要素および回路は詳細に説明されていない。
図１は本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャートである。図１に示すように、当該網膜血管の動静脈を判別する方法には、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップＳ１００と、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得するステップＳ２００と、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られるステップ３００とが含まれる。
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際の場面における実施を可能にした。
まず、本願実施形態の網膜血管動静脈判別方法は、機械学習に基づいて実現されることに留意されたい。ここで、本出願の実施例に対応する網膜血管の動静脈を判別する方法において、血管抽出画像と視神経円板の中心の座標の取得は、対応するネットワークモデルを使用して実現できる。
具体的には、血管抽出画像をＵ－ｎｅｔのネットワーク構造を使用して実現でき、視神経円板の中心の座標についても同様にＵ－ｎｅｔのネットワーク構造を使用して実現できる。
Ｕ－ｎｅｔネットワーク構造を使用して血管抽出画像と視神経円板の中心の座標を取得する前に、まず採用したネットワークモデルをトレーニングして最終的な収束ネットワーク構造を取得する必要がある。
その中で、採用したネットワークモデルをトレーニングする際には、まず血管抽出と視神経円板検出用のトレーニングデータセットを構築し、血管抽出用のトレーニングデータセットの構築では、ＤＲＩＶＥパブリックデータセットから２０枚のトレーニングセットと１８枚のテストセットを使用し、データ拡張後、合計３００４枚、テストセット２枚、合計２枚、そのうちの写真は全てか５６５×５８４ピクセルであり、視神経円板検出用のトレーニングデータセットの構築では、トレーニングセットはｒｅｆｕｇｅ２０１８トレーニングセットと検証セット８００枚、ｄｒｉｓｈｔｉ－ｇｓｌトレーニングデータセット５０枚、ｒｉｍ－ｏｎｅ－ｒ３トレーニングデータセット１５９枚であり、データ拡張後は合計４０３６枚、テストセットには、ｒｅｆｕｇｅ２０１８テストセット４００枚、ｄｒｉｓｈｔｉ－ｇｓｌテストセット５１枚、合計４５１枚が含まれ、さらに、血管抽出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補強を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを３００４枚に拡張し、その中で、血管抽出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔであり、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは２、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈ、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムが追加され、モデルテスト画像は図６を参照し、モデル結果画像は図７を参照する。同様に、視神経円板検出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にメディアンフィルタリングを行い、画像を５１２×５１２のサイズに拡大し、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補正を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを４０３６枚に拡張し、視神経円板検出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔ、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは４、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈで、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムを追加し、モデルテスト画像は図８を参照し、テスト結果の画像は図９を参照する。
ネットワークモデルに対するトレーニングが完了した後、トレーニングされたネットワークモデルを使用して、血管抽出画像と視神経円板の中心の座標を取得できる。即ち、図１を参照すると、ステップＳ１００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得する。
一つの可能な実施方法では、まず一枚の眼底網膜のカラー画像を入力し、図３を参照して前処理操作を実行し、次に血管抽出と視神経円板検出を実行して、血管抽出結果と視神経円板検出結果を取得し、上記の操作すべてが完了すると、前処理されたカラー眼底画像、網膜血管抽出画像、視神経円板座標は入力として静脈を判別するために動静脈識別モジュールに送信される。例えば、図２を参照して、ステップＳ１００を実行し、図４および図５を参照して、血管抽出結果と視神経円板検出結果から５１２×５１２サイズであり且つ黒いエッジのクリッピングされた後のカラーの網膜眼底画像、５１２×５１２サイズの血管抽出画像、および５１２×５１２サイズの画像に基づく視神経円板の中心の座標が得られる。
更に、図１を参照すると、ステップＳ２００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得する。
一つの可能な実施方法では、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づく主要血管の抽出には、図２を参照して、血管抽出画像での切断された血管を除去し、連結された最大の血管を取得するステップＳ２００ａ、連結された血管に基づいて血管骨格を抽出するステップＳ２００ｂ、血管骨格に基づいて血管の交点を抽出し、交点を除去し、視神経円板の中心の座標及び眼底画像に基づいて血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ、その中で、連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、連結された血管から血管骨格を抽出するステップＳ２００ｃ、ステップＳｄ及びステップＳ２００ｅを実行する。
具体的には、血管骨格に基づいて血管の交点を抽出し、交点を除去することには、血管骨格を二値化してグレースケール画像を取得し、３×３テンプレートを使用してグレースケール画像をトラバースし、列挙法によってグレースケール画像の交点を抽出し、交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。
さらに、視神経円板の中心の座標及び眼底画像に基づいて血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、視神経円板の中心の座標と眼底画像の黄斑部を結ぶ線を正の半軸とし、正の半軸の時計回りに１１０°のエリアと正の半軸の反時計回りに１１０°のエリアを保持し、３×３ＥＬＬＩＰＳＥを使用してグレースケール画像を精細化し、主要血管を取得した。
さらに、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得することには、図２を参照して、視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取るステップＳ２００ｆ、微細な除去を確実に行うために、小血管セグメントを上のアーチと下のアーチに分割されるステップＳ２００ｇを実行して、さらに複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し、複数の滑らかな血管セグメントから所定の屈曲度閾値より大きい滑らかな血管セグメントを除去して直線状の血管セグメントを得て、Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して直線状の血管セグメントを検出して、血管角度を取得し、所定の血管角度の範囲に従って、複数の単一血管セグメントを取得するステップＳ２００ｈを実行する。
例えば、主要血管を抽出する場合は、まず、血管抽出画像の最大の連結された血管を保持し、次に小血管の分岐を徐々に除去し、その中で、血管骨格の抽出は、Ｏｐｅｎｃｖの形態学的操作によりｍｏｒｐｈｏｌｏｇｙライブラリの骨格抽出関数ｓｋｅｌｅｔｏｎｉｚｅ（）によって実現され、３×３テンプレートを使用して血管骨格の全体のグレースケール画像をトラバースし、図１０を参照すると、３×３エリアにおける交差点の状態は３種類及び４方向、合計１２種類があるので、血管骨格内のすべての交点は、列挙法によって抽出でき、グレースケール画像（血管２値画像）の３×３ＥＬＬＩＰＳＥ型モルフォロジー演算Ｋｅｒｎｅｌによる微細化との組み合わせで、微細化後の小さな分岐血管の状態は：完全に腐食し、不連続である。このとき、小エリアを除去する操作と組み合わせることで、小血管分岐の初期除去を実現できる。さらに、上記の操作ではすべての小血管分岐を完全に除去できないため、そこで、ここでは主要血管の交点のトラバースを繰り返し、そして、交差点を中心とし、半径の４ピクセルの円形テンプレートを取り、主要血管のバイナリ画像の交差点位置の円形エリアのピクセルを０に設定し、この環状エリアのグレースケール画像（血管バイナリ画像）を維持し、小さなエリアを削除する操作により、残りの小さな血管セグメントの分岐の二次除去が実現され、その後、保存された血管交差点位置の円形エリアの画像を元の位置に敷き詰めて、血管画像交差点位置の画像復元が実現される。次に、図１１を参照して、視神経円板の中心の座標を選択し、視神経円板の中心の座標と黄斑部を結ぶ線を正の半軸とし、上下０～１１０°エリアの血管を切り取り、更に残りの視神経円板側の非主要血管の分岐を除去すると主要血管が得られ、次に、視神経円板の中心の座標を円の中心として、特定のステップサイズで円環エリアを外側へトラバースし、交差点を切り取った後の主要血管から、小血管セグメントを切り取る。
円環切り取りの全範囲は、図１２の円環で囲まれたエリアを参照し、ここで、大きな円環は円環の切り取りエリアの下限を表し、小さな円環は円環の切り取りエリアの上限を表し、円環のトラバースする過程で切り取られた小さな血管セグメントは図１３を参照する。さらに、小血管セグメントに対して凸包検出を行う必要があり、即ち、抽出された小血管セグメントの凸包を計算し、凸包輪郭のピクセルと当該血管のピクセル数をカウントし、両者の差を計算し、閾値を設定することにより、不規則な血管セグメントの除去が実現でき、滑らかな血管セグメントを取得する。その中で、不規則な血管セグメントの中には、分岐点の位置、バリの位置、極端に不規則な血管形状などがある。次に、凸包検出に適格な小血管セグメント、即ち滑らかな血管セグメントについて、その中心線を抽出し、直線フィッティング操作を実行し、中心線上のピクセル点とフィットした直線との間の距離の累積和と偏差を計算し、閾値を設定することで、過度に湾曲した小血管セグメントを除去し、直線状の血管セグメントが得られる。次に、血管セグメントの方向の条件制限により、主要血管の血管の全体的な方向とは反対の、主血管上の直線状の血管セグメントを排除し、具体的には、Ｏｐｅｎｃｖの長方形検出ＡＰＩによって血管セグメントの角度測定を実現し、小さな血管セグメントが５～８５度の範囲に保持されるように制限し、単一の血管セグメントが取得される。また、血管セグメントの長さ制限を行い、円環テンプレートから切り取られた交差点操作の拒否により不完全となった小血管セグメントを除去できる。
さらに、ステップＳ３００を実行して、複数の単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得する。
一つの可能な実施方法では、図２を参照して、複数の前記単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得するステップＳ３００ａを実行して、さらにステップＳ３００ｂを実行して、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各単一血管セグメントの中線を取り、中線の中点を単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得て、中線セグメントの両端の端点の垂直線方程式を計算し、垂直線方程式間の単一血管セグメントの１本の輪郭線に直線をフィッティングして第１直線を得、第１直線傾きに基づいて、最小二乗法で別の輪郭線に直線をフィッティングして第２直線を得、第１直線と第２直線の間の距離を計算して、血管の血管径を得、複数の単一血管セグメントの中で最大の血管径を持つものを静脈として選択し、静脈と他の単一血管セグメントとの間の距離を計算し、静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。例えば、グレースケール画像をテンプレートとして、主要血管から当該単一血管セグメントの正中線を切り取り、それに対して直線フィッティング操作を行い、次に、当該血管セグメントの正中線の中点の位置座標を見つけて、両側に延長し、図１４を参照して、５ピクセルの正中線セグメントを保持し、血管正中線セグメントの２つの端点で、それぞれ血管セグメントの垂直線方程式を計算し、そして、血管セグメントの垂直線線方程式から特定長の垂直線セグメントを切り取り、図面に実際の効果を表示し、さらに、図１５を参照して、２つの垂直線セグメントにより単一の血管セグメントの輪郭ピクセルを切り取り、次に切り取った２つの血管輪郭から一つを選んで直線をフィッティングし、前記単一の輪郭直線をフィッティングしした後の傾きを固定し、最小二乗法を使用して、当該単一血管セグメントの２つの垂直線セグメントの間の一方の輪郭の直線フィッティングを実現し、２本の直線間の距離を計算することで血管径の測定が実現でき、次に、単一の血管セグメントをループし、その血管径の値をそれぞれ計算し、最大直径の値を選択して、それが静脈血管であると想定し、当該静脈血管セグメントの中心点から他の血管セグメントの中心点までの距離を計算し、静脈血管セグメントに最も近い単一の血管セグメントを選択して、それを動脈と想定すると、２つの血管セグメントは一対の動静脈血管対を構成し、関連するデータが保存される。
なお、上記の５ピクセル点の中線セグメントを選択する理由は、実際の血管セグメントの切り取り長さに基づいて設置すると、実際の血管セグメントの長さに応じて変更できるからである。
さらに、図２を参照し、ステップＳ３００ｃの床復帰メカニズムの実行はまた、複数の動静脈血管対から不適合な動静脈血管対を除去し、適合な動静脈血管対を保持することを含み、その中で、不適合な動静脈血管対の除去には、単一血管セグメントに対する各動静脈血管対の画像輝度の平均を取得し、画像輝度の平均に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。例えば、計算アルゴリズムによって識別された動静脈血管対の単一の血管セグメントの画像輝度の平均は、動脈血管の輝度が静脈血管の輝度よりも高い場合、当該動静脈血管対が保持される。
なお、輝度の算出アルゴリズムは、先行技術により算出可能であるため、ここでは説明しない。
一つの可能な実施方法では、不適格な動静脈血管対を除去することは、さらに、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、角度に基づいて、複数の動静脈血管対から不適合な動静脈血管対を除去し、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、距離に基づいて、複数の動静脈血管対から不適合な動静脈血管対を除去することが含まれる。
たとえば、角度の閾値を３０度に設定して、除去アルゴリズムにより、一つの主要血管とその分枝血管を動静脈血管の対として誤って判断したことを除去して、即ち、動静脈血管対の動脈血管と静脈血管の間の角度が３０度より大きい場合、該一つの動静脈血管の対を除去し、さらに、アルゴリズムによって識別された一つの動静脈血管対の動脈血管セグメントと静脈の血管セグメントの間の距離が大きい場合、当該動静脈血管セグメント対は非動静脈血管の対である確率が高いので、当該動静脈血管対を除去し、ステップＳ３００ｄを実行して、残りの動静脈対を保持する。
なお、上記のような網膜血管動静脈を鑑別する方法は、上記の各ステップを例として紹介されているが、本開示がこれに限定されるべきでないことは、当業者には理解されるところである。実際、ユーザは、必要な機能が達成されている限り、個人の好みや実際のアプリケーションシナリオに応じて、網膜血管の動静脈識別方法を柔軟に設定できる。
このように、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。
さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置１００が提供され、本開示の実施形態における網膜血管の動静脈を判別する装置１００の動作原理は、本開示の実施形態における網膜血管の動静脈を判別するための方法の原理と同じまたは類似しているので、ここでは繰り返しの説明は省略する。図１６を参照すると、本開示の一実施形態による網膜血管の動静脈を判別する装置１００には、データ取得モジュール１１０、血管スクリーニングモジュール１２０、および動静脈血管対選択モジュー１３０ルを含み、
データ取得モジュール１１０は、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され、
血管スクリーニングモジュール１２０は、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され、
動静脈血管対選択モジュール１３０は、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成される。
さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置２００が提供される。図１７を参照すると、本開示の一実施形態による網膜血管を動脈から判別するための装置２００は、プロセッサ２１０と、プロセッサ２１０の実行可能な命令を格納するためのメモリ２２０とを含む。ここで、プロセッサ２１０は、実行可能命令を実行する際に、網膜血管動静脈判別方法のいずれかを実施するように構成される。
ここで、プロセッサ２１０の数は、１つまたは複数個であり得ることに留意されたい。同時に、本開示の実施形態における網膜血管の動静脈を判別装置２００には、入力装置２３０および出力装置２４０をさらに含むことができる。その中で、プロセッサ２１０、メモリ２２０、入力装置２３０、および出力装置２４０の間はバスを介して接続でき、または他の方法で接続でき、ここでは、特に限定しない。
コンピュータ可読記憶媒体として、コンピュータ可読記憶媒体としてのメモリ２２０は、ソフトウェアプログラム、コンピュータ実行可能プログラム及び各種モジュール、例えば：本開示の実施形態の網膜血管動静脈判別法に対応するプログラム又はモジュールを格納するために使用されてもよい。プロセッサ２１０は、メモリ２２０に格納されたソフトウェアプログラムまたはモジュールを実行することによって、網膜血管動静脈判別装置２００の様々な機能のアプリケーションおよびデータ処理を実行する。
入力装置２３０は、入力番号または信号を受信するために使用できる。ここで、信号は、デバイス／端末／サーバーのユーザ設定および機能制御に関連し、生成されたキー信号であってもよい。出力装置２４０は、表示画面などの表示装置を含むことができる。
本開示の別の態様によれば、さらに不揮発性のコンピュータ可読記憶媒体であって、その上にコンピュータプログラム命令が格納され、コンピュータプログラム命令がプロセッサ２１０によって実行される場合、上記のいずれかを実行する網膜血管の動静脈の判別方法を提供した。
本開示の様々な実施形態が上に記載されており、前述の説明は例示的なものであり、網羅的ではなく、開示された実施形態を限定するものではない。多数の修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、様々な実施形態の原理、実用化または市場における技術的改良を最もよく説明するため、または当業者が本明細書に開示された様々な実施形態を理解させるために選択されている。
本出願は、２０２０年０８月１４日に中国特許庁に出願された出願番号が２０２０１０８１５６９８．８であり、発明名称が「網膜血管の動静脈を判別する方法及び装置」の中国特許出願の優先権を主張し、その全ての内容が本出願に参照として組み込まれている。
本開示は、コンピュータ支援診断の技術分野に関し、特に、網膜血管の動静脈を判別する方法及び装置に関する。
眼底網膜血管の動静脈径比の指数は、医師が動脈硬化性疾患を診断する際に重要な参考となっている。しかし、医師は実際に読影する際には、依然として目視で動静脈管径比を１／２より大きい、１／３より大きい且つ１／２より小さい、１／３より小さいなどと大まかな比率を評価する。しかし、目視検査方法には大きな誤差があり、特に新しい眼科医や一般の眼科医が読影する過程で誤判断は避けられない。したがって、網膜の主要血管の動静脈径比の比率をコンピュータで正確に測定することは、医師が動脈硬化症を臨床的に診断するのに非常に役立ち、医師の読影効率を向上できる。また、動脈硬化症など血管の形態に異常がある疾患のさらなるコンピュータ支援診断にも大きな意義がある。
機械学習法に基づく網膜血管の動静脈を判別する方法には、アルゴリズムの普遍性とロバスト性が低いという問題がある。
これを考慮して、本開示は網膜血管の動静脈を判別する方法を提案し、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
前記血管抽出画像の切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管スケルトンを抽出し；
前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管スケルトンを抽出する場合、Ｏｐｅｎｃｖ（登録商標、オープンソースのコンピュータビジョン向けライブラリ）を用いて予め用意されたスケルトン抽出関数を使用して、前記連結された血管から血管スケルトンを抽出する。
一つの可能な実施方法では、不適格な動静脈血管対を除去することには更に、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
一つの可能な実施方法では、前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去することには、
前記血管スケルトンを二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。
一つの可能な実施方法では、前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得した。
一つの可能な実施方法では、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖを用いて予め用意された長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれる。
一つの可能な実施方法では、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。
本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成され；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。
本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記いずれかに記載の方法を実現するように構成されている。
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。
本開示の他の特徴及び態様は、図面を参照した例示的な実施形態の以下の詳細な説明に照らして明らかになる。
図面は、本明細書に含まれ、本明細書とともにその一部を構成し、本開示の例示的な実施形態、特徴および態様を示し、本開示の原理を説明するために使用される。
本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャート； 本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの眼底画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの血管抽出画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト結果画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の他のフローチャート； 本開示の一実施形態の網膜血管の動静脈を判別する方法の眼底画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト結果画像の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管方向の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の黄斑部の概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法のリングテンプレートの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の小血管セグメントの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の輪郭直線フィッティングの概略図； 本開示の一実施形態の網膜血管の動静脈を判別する方法の血管径の概略図； 本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図； 本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図。
本開示の様々な例示的な実施形態、特徴および態様を、図面を参照して以下に詳細に説明する。図中の同じ記号の表記は、同じまたは類似の機能を持つ要素を示している。実施形態の様々な態様が図面に示されているが、特に明記しない限り、図面は必ずしも一定の縮尺で描かれているわけではない。
ここで、「例示的」という言葉は、専ら「例、実施形態または実例として使用される」という意味で使用されている。本明細書で「例示的」として記載される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。
さらに、本開示をよりよく説明するために、以下の詳細な説明において多くの特定の詳細が与えられる。本開示は、ある特定の詳細がなくても同様に実施できることは、当業者には理解されるべきである。いくつかの実例では、本開示の主旨を現すために、当業者に知られている方法、手段、構成要素および回路は詳細に説明されていない。
図１は本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャートである。図１に示すように、当該網膜血管の動静脈を判別する方法には、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップＳ１００と、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得するステップＳ２００と、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られるステップ３００とが含まれる。
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際の場面における実施を可能にした。
まず、本願実施形態の網膜血管動静脈判別方法は、機械学習に基づいて実現されることに留意されたい。ここで、本出願の実施例に対応する網膜血管の動静脈を判別する方法において、血管抽出画像と視神経円板の中心の座標の取得は、対応するネットワークモデルを使用して実現できる。
具体的には、血管抽出画像をＵ－ｎｅｔのネットワーク構造を使用して実現でき、視神経円板の中心の座標についても同様にＵ－ｎｅｔのネットワーク構造を使用して実現できる。
Ｕ－ｎｅｔネットワーク構造を使用して血管抽出画像と視神経円板の中心の座標を取得する前に、まず採用したネットワークモデルをトレーニングして最終的な収束ネットワーク構造を取得する必要がある。
その中で、採用したネットワークモデルをトレーニングする際には、まず血管抽出と視神経円板検出用のトレーニングデータセットを構築し、血管抽出用のトレーニングデータセットの構築では、ＤＲＩＶＥパブリックデータセットから２０枚のトレーニングセットと１８枚のテストセットを使用し、データ拡張後、合計３００４枚、テストセット２枚、合計２枚、そのうちの写真は全てか５６５×５８４ピクセルであり、視神経円板検出用のトレーニングデータセットの構築では、トレーニングセットはｒｅｆｕｇｅ２０１８トレーニングセットと検証セット８００枚、ｄｒｉｓｈｔｉ－ｇｓｌトレーニングデータセット５０枚、ｒｉｍ－ｏｎｅ－ｒ３トレーニングデータセット１５９枚であり、データ拡張後は合計４０３６枚、テストセットには、ｒｅｆｕｇｅ２０１８テストセット４００枚、ｄｒｉｓｈｔｉ－ｇｓｌテストセット５１枚、合計４５１枚が含まれ、さらに、血管抽出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補強を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを３００４枚に拡張し、その中で、血管抽出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔであり、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは２、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈ、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムが追加され、モデルテスト画像は図６を参照し、モデル結果画像は図７を参照する。同様に、視神経円板検出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にメディアンフィルタリングを行い、画像を５１２×５１２のサイズに拡大し、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補正を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを４０３６枚に拡張し、視神経円板検出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔ、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは４、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈで、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムを追加し、モデルテスト画像は図８を参照し、テスト結果の画像は図９を参照する。
ネットワークモデルに対するトレーニングが完了した後、トレーニングされたネットワークモデルを使用して、血管抽出画像と視神経円板の中心の座標を取得できる。即ち、図１を参照すると、ステップＳ１００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得する。
一つの可能な実施方法では、まず一枚の眼底網膜のカラー画像を入力し、図３を参照して前処理操作を実行し、次に血管抽出と視神経円板検出を実行して、血管抽出結果と視神経円板検出結果を取得し、上記の操作すべてが完了すると、前処理されたカラー眼底画像、網膜血管抽出画像、視神経円板座標は入力として静脈を判別するために動静脈識別モジュールに送信される。例えば、図２を参照して、ステップＳ１００を実行し、図４および図５を参照して、血管抽出結果と視神経円板検出結果から５１２×５１２サイズであり且つ黒いエッジのクリッピングされた後のカラーの網膜眼底画像、５１２×５１２サイズの血管抽出画像、および５１２×５１２サイズの画像に基づく視神経円板の中心の座標が得られる。
更に、図１を参照すると、ステップＳ２００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得する。
一つの可能な実施方法では、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づく主要血管の抽出には、図２を参照して、血管抽出画像での切断された血管を除去し、連結された最大の血管を取得するステップＳ２００ａ、連結された血管に基づいて血管スケルトン（図中では「血管骨格」と表示する。以下同じ）を抽出するステップＳ２００ｂ、血管スケルトンに基づいて血管の交点を抽出し、交点を除去し、視神経円板の中心の座標及び眼底画像に基づいて血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ、その中で、連結された血管に基づいて血管スケルトンを抽出する場合、Ｏｐｅｎｃｖを用いて予め用意されたスケルトン抽出関数を使用して、連結された血管から血管スケルトンを抽出するステップＳ２００ｃ、ステップＳｄ及びステップＳ２００ｅを実行する。
具体的には、血管スケルトンに基づいて血管の交点を抽出し、交点を除去することには、血管スケルトンを二値化してグレースケール画像を取得し、３×３テンプレートを使用してグレースケール画像をトラバースし、列挙法によってグレースケール画像の交点を抽出し、交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。
さらに、視神経円板の中心の座標及び眼底画像に基づいて血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、視神経円板の中心の座標と眼底画像の黄斑部を結ぶ線を正の半軸とし、正の半軸の時計回りに１１０°のエリアと正の半軸の反時計回りに１１０°のエリアを保持し、３×３ＥＬＬＩＰＳＥを使用してグレースケール画像を精細化し、主要血管を取得した。
さらに、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得することには、図２を参照して、視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取るステップＳ２００ｆ、微細な除去を確実に行うために、小血管セグメントを上のアーチと下のアーチに分割されるステップＳ２００ｇを実行して、さらに複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し、複数の滑らかな血管セグメントから所定の屈曲度閾値より大きい滑らかな血管セグメントを除去して直線状の血管セグメントを得て、Ｏｐｅｎｃｖを用いて予め用意された長方形検出ＡＰＩを使用して直線状の血管セグメントを検出して、血管角度を取得し、所定の血管角度の範囲に従って、複数の単一血管セグメントを取得するステップＳ２００ｈを実行する。
例えば、主要血管を抽出する場合は、まず、血管抽出画像の最大の連結された血管を保持し、次に小血管の分岐を徐々に除去し、その中で、血管スケルトンの抽出は、ＯｐｅｎｃｖのMorphological operationsにおけるｍｏｒｐｈｏｌｏｇｙライブラリのスケルトン抽出関数ｓｋｅｌｅｔｏｎｉｚｅ（）によって実現され、３×３テンプレートを使用して血管スケルトンの全体のグレースケール画像をトラバースし、図１０を参照すると、３×３エリアにおける交差点の状態は３種類及び４方向、合計１２種類があるので、血管スケルトン内のすべての交点は、列挙法によって抽出でき、グレースケール画像（血管２値画像）の３×３ＥＬＬＩＰＳＥ型モルフォロジー演算Ｋｅｒｎｅｌによる微細化との組み合わせで、微細化後の小さな分岐血管の状態は：完全に腐食し、不連続である。このとき、小エリアを除去する操作と組み合わせることで、小血管分岐の初期除去を実現できる。さらに、上記の操作ではすべての小血管分岐を完全に除去できないため、そこで、ここでは主要血管の交点のトラバースを繰り返し、そして、交差点を中心とし、半径の４ピクセルの円形テンプレートを取り、主要血管のバイナリ画像の交差点位置の円形エリアのピクセルを０に設定し、この環状エリアのグレースケール画像（血管バイナリ画像）を維持し、小さなエリアを削除する操作により、残りの小さな血管セグメントの分岐の二次除去が実現され、その後、保存された血管交差点位置の円形エリアの画像を元の位置に敷き詰めて、血管画像交差点位置の画像復元が実現される。次に、図１１を参照して、視神経円板の中心の座標を選択し、視神経円板の中心の座標と黄斑部を結ぶ線を正の半軸とし、上下０～１１０°エリアの血管を切り取り、更に残りの視神経円板側の非主要血管の分岐を除去すると主要血管が得られ、次に、視神経円板の中心の座標を円の中心として、特定のステップサイズで円環エリアを外側へトラバースし、交差点を切り取った後の主要血管から、小血管セグメントを切り取る。
円環切り取りの全範囲は、図１２の円環で囲まれたエリアを参照し、ここで、大きな円環は円環の切り取りエリアの下限を表し、小さな円環は円環の切り取りエリアの上限を表し、円環のトラバースする過程で切り取られた小さな血管セグメントは図１３を参照する。さらに、小血管セグメントに対して凸包検出を行う必要があり、即ち、抽出された小血管セグメントの凸包を計算し、凸包輪郭のピクセルと当該血管のピクセル数をカウントし、両者の差を計算し、閾値を設定することにより、不規則な血管セグメントの除去が実現でき、滑らかな血管セグメントを取得する。その中で、不規則な血管セグメントの中には、分岐点の位置、バリの位置、極端に不規則な血管形状などがある。次に、凸包検出に適格な小血管セグメント、即ち滑らかな血管セグメントについて、その中心線を抽出し、直線フィッティング操作を実行し、中心線上のピクセル点とフィットした直線との間の距離の累積和と偏差を計算し、閾値を設定することで、過度に湾曲した小血管セグメントを除去し、直線状の血管セグメントが得られる。次に、血管セグメントの方向の条件制限により、主要血管の血管の全体的な方向とは反対の、主血管上の直線状の血管セグメントを排除し、具体的には、Ｏｐｅｎｃｖの長方形検出ＡＰＩによって血管セグメントの角度測定を実現し、小さな血管セグメントが５～８５度の範囲に保持されるように制限し、単一の血管セグメントが取得される。また、血管セグメントの長さ制限を行い、円環テンプレートから切り取られた交差点操作の拒否により不完全となった小血管セグメントを除去できる。
さらに、ステップＳ３００を実行して、複数の単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得する。
一つの可能な実施方法では、図２を参照して、複数の前記単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得するステップＳ３００ａを実行して、さらにステップＳ３００ｂを実行して、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各単一血管セグメントの中線を取り、中線の中点を単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得て、中線セグメントの両端の端点の垂直線方程式を計算し、垂直線方程式間の単一血管セグメントの１本の輪郭線に直線をフィッティングして第１直線を得、第１直線傾きに基づいて、最小二乗法で別の輪郭線に直線をフィッティングして第２直線を得、第１直線と第２直線の間の距離を計算して、血管の血管径を得、複数の単一血管セグメントの中で最大の血管径を持つものを静脈として選択し、静脈と他の単一血管セグメントとの間の距離を計算し、静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。例えば、グレースケール画像をテンプレートとして、主要血管から当該単一血管セグメントの正中線を切り取り、それに対して直線フィッティング操作を行い、次に、当該血管セグメントの正中線の中点の位置座標を見つけて、両側に延長し、図１４を参照して、５ピクセルの正中線セグメントを保持し、血管正中線セグメントの２つの端点で、それぞれ血管セグメントの垂直線方程式を計算し、そして、血管セグメントの垂直線線方程式から特定長の垂直線セグメントを切り取り、図面に実際の効果を表示し、さらに、図１５を参照して、２つの垂直線セグメントにより単一の血管セグメントの輪郭ピクセルを切り取り、次に切り取った２つの血管輪郭から一つを選んで直線をフィッティングし、前記単一の輪郭直線をフィッティングしした後の傾きを固定し、最小二乗法を使用して、当該単一血管セグメントの２つの垂直線セグメントの間の一方の輪郭の直線フィッティングを実現し、２本の直線間の距離を計算することで血管径の測定が実現でき、次に、単一の血管セグメントをループし、その血管径の値をそれぞれ計算し、最大直径の値を選択して、それが静脈血管であると想定し、当該静脈血管セグメントの中心点から他の血管セグメントの中心点までの距離を計算し、静脈血管セグメントに最も近い単一の血管セグメントを選択して、それを動脈と想定すると、２つの血管セグメントは一対の動静脈血管対を構成し、関連するデータが保存される。
なお、上記の５ピクセル点の中線セグメントを選択する理由は、実際の血管セグメントの切り取り長さに基づいて設置すると、実際の血管セグメントの長さに応じて変更できるからである。
さらに、図２を参照し、ステップＳ３００ｃの床復帰メカニズムの実行はまた、複数の動静脈血管対から不適格な動静脈血管対を除去し、適合な動静脈血管対を保持することを含み、その中で、不適格な動静脈血管対の除去には、単一血管セグメントに対する各動静脈血管対の画像輝度の平均を取得し、画像輝度の平均に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。例えば、計算アルゴリズムによって識別された動静脈血管対の単一の血管セグメントの画像輝度の平均は、動脈血管の輝度が静脈血管の輝度よりも高い場合、当該動静脈血管対が保持される。
なお、輝度の算出アルゴリズムは、先行技術により算出可能であるため、ここでは説明しない。
一つの可能な実施方法では、不適格な動静脈血管対を除去することは、さらに、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、角度に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去し、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、距離に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。
たとえば、角度の閾値を３０度に設定して、除去アルゴリズムにより、一つの主要血管とその分枝血管を動静脈血管の対として誤って判断したことを除去して、即ち、動静脈血管対の動脈血管と静脈血管の間の角度が３０度より大きい場合、該一つの動静脈血管の対を除去し、さらに、アルゴリズムによって識別された一つの動静脈血管対の動脈血管セグメントと静脈の血管セグメントの間の距離が大きい場合、当該動静脈血管セグメント対は非動静脈血管の対である確率が高いので、当該動静脈血管対を除去し、ステップＳ３００ｄを実行して、残りの動静脈対を保持する。
なお、上記のような網膜血管動静脈を鑑別する方法は、上記の各ステップを例として紹介されているが、本開示がこれに限定されるべきでないことは、当業者には理解されるところである。実際、ユーザは、必要な機能が達成されている限り、個人の好みや実際のアプリケーションシナリオに応じて、網膜血管の動静脈識別方法を柔軟に設定できる。
このように、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。
さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置１００が提供され、本開示の実施形態における網膜血管の動静脈を判別する装置１００の動作原理は、本開示の実施形態における網膜血管の動静脈を判別するための方法の原理と同じまたは類似しているので、ここでは繰り返しの説明は省略する。図１６を参照すると、本開示の一実施形態による網膜血管の動静脈を判別する装置１００には、データ取得モジュール１１０、血管スクリーニングモジュール１２０、および動静脈血管対選択モジュー１３０ルを含み、
データ取得モジュール１１０は、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され、
血管スクリーニングモジュール１２０は、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され、
動静脈血管対選択モジュール１３０は、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成される。
さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置２００が提供される。図１７を参照すると、本開示の一実施形態による網膜血管を動脈から判別するための装置２００は、プロセッサ２１０と、プロセッサ２１０の実行可能な命令を格納するためのメモリ２２０とを含む。ここで、プロセッサ２１０は、実行可能命令を実行する際に、網膜血管動静脈判別方法のいずれかを実施するように構成される。
ここで、プロセッサ２１０の数は、１つまたは複数個であり得ることに留意されたい。同時に、本開示の実施形態における網膜血管の動静脈を判別装置２００には、入力装置２３０および出力装置２４０をさらに含むことができる。その中で、プロセッサ２１０、メモリ２２０、入力装置２３０、および出力装置２４０の間はバスを介して接続でき、または他の方法で接続でき、ここでは、特に限定しない。
コンピュータ可読記憶媒体として、コンピュータ可読記憶媒体としてのメモリ２２０は、ソフトウェアプログラム、コンピュータ実行可能プログラム及び各種モジュール、例えば：本開示の実施形態の網膜血管動静脈判別法に対応するプログラム又はモジュールを格納するために使用されてもよい。プロセッサ２１０は、メモリ２２０に格納されたソフトウェアプログラムまたはモジュールを実行することによって、網膜血管動静脈判別装置２００の様々な機能のアプリケーションおよびデータ処理を実行する。
入力装置２３０は、入力番号または信号を受信するために使用できる。ここで、信号は、デバイス／端末／サーバーのユーザ設定および機能制御に関連し、生成されたキー信号であってもよい。出力装置２４０は、表示画面などの表示装置を含むことができる。
本開示の別の態様によれば、さらに不揮発性のコンピュータ可読記憶媒体であって、その上にコンピュータプログラム命令が格納され、コンピュータプログラム命令がプロセッサ２１０によって実行される場合、上記のいずれかを実行する網膜血管の動静脈の判別方法を提供した。
本開示の様々な実施形態が上に記載されており、前述の説明は例示的なものであり、網羅的ではなく、開示された実施形態を限定するものではない。多数の修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、様々な実施形態の原理、実用化または市場における技術的改良を最もよく説明するため、または当業者が本明細書に開示された様々な実施形態を理解させるために選択されている。

Claims (9)

  1. 網膜血管の動静脈を判別する方法であって、
    血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
    前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
    複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
    複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
    その中で、不適合な動静脈血管対を除去することには、
    各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれることを特徴とする方法。
  2. 前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
    前記血管抽出画像での切断された血管を除去して、最大の連結された血管を取得し；
    前記連結された血管に基づいて血管骨格を抽出し；
    前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去し；
    前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格から小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
    その中で、前記連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、前記連結された血管から血管骨格を抽出することを特徴とする請求項１に記載の方法。
  3. 不適合な動静脈血管対を除去することには、
    各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去し；
    各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去することが含まれることを特徴とする請求項１に記載の方法。
  4. 前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去することは、
    前記血管骨格を二値化してグレースケール画像を取得し；
    ３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
    前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれることを特徴とする請求項２に記載の方法。
  5. 前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格から小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
    前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
    前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
    ３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得することを特徴とする請求項４に記載の方法。
  6. 前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
    視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
    複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
    複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きいな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
    Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
    所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれることを特徴とする請求項１に記載の方法。
  7. 複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
    各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
    前記中線セグメントの両端の端点の垂直線方程式を計算し；
    前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
    前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
    第１直線と第２直線の間の距離を計算して、血管の血管径を得；
    複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
    前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれることを特徴とする請求項１に記載の方法。
  8. 網膜血管の動静脈を判別する装置であって、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
    前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
    前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
    前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成されることが含まれることを特徴とする装置。
  9. 網膜血管の動静脈を判別する装置であって、
    プロセッサと；
    プロセッサの実行可能な命令を格納するためのメモリと；を含み、
    ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記請求項１～７のいずれか一項に記載の方法を実現するように構成されていることが含まれることを特徴とする装置。
JP2022512438A 2020-08-14 2021-08-13 網膜血管の動静脈を判別する方法及び装置 Active JP7333465B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010815698.8 2020-08-14
CN202010815698.8A CN111681242B (zh) 2020-08-14 2020-08-14 视网膜血管动静脉区分方法和装置、设备
PCT/CN2021/112487 WO2022033580A1 (zh) 2020-08-14 2021-08-13 视网膜血管动静脉区分方法和装置、设备

Publications (2)

Publication Number Publication Date
JP2022550669A true JP2022550669A (ja) 2022-12-05
JP7333465B2 JP7333465B2 (ja) 2023-08-24

Family

ID=72438772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022512438A Active JP7333465B2 (ja) 2020-08-14 2021-08-13 網膜血管の動静脈を判別する方法及び装置

Country Status (4)

Country Link
JP (1) JP7333465B2 (ja)
KR (1) KR20220076507A (ja)
CN (1) CN111681242B (ja)
WO (1) WO2022033580A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681242B (zh) * 2020-08-14 2020-11-17 北京至真互联网技术有限公司 视网膜血管动静脉区分方法和装置、设备
CN111932535A (zh) * 2020-09-24 2020-11-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN112652011B (zh) * 2020-12-25 2023-04-14 北京阅影科技有限公司 目标血管的提取方法、提取装置与计算机可读存储介质
CN116236150A (zh) * 2020-12-28 2023-06-09 深圳硅基智能科技有限公司 基于眼底图像的动静脉血管图像分割方法
CN113269737B (zh) * 2021-05-17 2024-03-19 北京鹰瞳科技发展股份有限公司 一种眼底视网膜动静脉血管直径计算方法及系统
CN113344897B (zh) * 2021-06-24 2022-01-11 推想医疗科技股份有限公司 肺部图像的管径测量方法及装置、图像处理方法及装置
CN114973207B (zh) * 2022-08-01 2022-10-21 成都航空职业技术学院 一种基于目标检测的路标识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243924A (ja) * 1997-03-05 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
JP2007097740A (ja) * 2005-10-03 2007-04-19 Hitachi Omron Terminal Solutions Corp 眼底画像診断支援装置
WO2008010305A1 (fr) * 2006-07-19 2008-01-24 Gifu University Analyseur d'images et programme d'analyse d'images
JP2014504529A (ja) * 2011-02-01 2014-02-24 イマジン・アイズ 高解像度網膜結像方法および装置
JP2014193225A (ja) * 2013-03-29 2014-10-09 Nidek Co Ltd 眼底画像処理装置および眼底画像処理プログラム
JP2016043155A (ja) * 2014-08-26 2016-04-04 株式会社トプコン 眼底解析装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7122007B2 (en) * 2003-05-12 2006-10-17 Caritas St. Elizabeth Medical Center Of Boston, Inc. Methods of and systems and devices for assessing intracranial pressure non-invasively
US8080593B2 (en) * 2006-11-29 2011-12-20 University Of Southern California Reversible thermoresponsive adhesives for implants
AU2009234503B2 (en) * 2008-04-08 2014-01-16 National University Of Singapore Retinal image analysis systems and methods
CN101999885B (zh) * 2010-12-21 2011-12-21 中国人民解放军国防科学技术大学 一种自动分离动静脉血管的内源光学成像方法
WO2012136079A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
CN108073918B (zh) * 2018-01-26 2022-04-29 浙江大学 眼底视网膜的血管动静脉交叉压迫特征提取方法
CN108765418A (zh) * 2018-06-14 2018-11-06 四川和生视界医药技术开发有限公司 视网膜动静脉等效管径比检测方法及检测装置
CN110874597B (zh) * 2018-08-31 2023-03-24 福州依影健康科技有限公司 一种眼底图像血管特征提取方法、设备、系统和存储介质
CN109166124B (zh) * 2018-11-20 2021-12-14 中南大学 一种基于连通区域的视网膜血管形态量化方法
CN110956107B (zh) * 2019-11-21 2023-05-30 佛山科学技术学院 一种基于oct扫描系统的三维血管类型区分方法
CN111000563B (zh) * 2019-11-22 2020-12-11 北京理工大学 一种视网膜动脉静脉直径比自动测量方法及装置
CN111681242B (zh) * 2020-08-14 2020-11-17 北京至真互联网技术有限公司 视网膜血管动静脉区分方法和装置、设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243924A (ja) * 1997-03-05 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
JP2007097740A (ja) * 2005-10-03 2007-04-19 Hitachi Omron Terminal Solutions Corp 眼底画像診断支援装置
WO2008010305A1 (fr) * 2006-07-19 2008-01-24 Gifu University Analyseur d'images et programme d'analyse d'images
JP2014504529A (ja) * 2011-02-01 2014-02-24 イマジン・アイズ 高解像度網膜結像方法および装置
JP2014193225A (ja) * 2013-03-29 2014-10-09 Nidek Co Ltd 眼底画像処理装置および眼底画像処理プログラム
JP2016043155A (ja) * 2014-08-26 2016-04-04 株式会社トプコン 眼底解析装置

Also Published As

Publication number Publication date
KR20220076507A (ko) 2022-06-08
JP7333465B2 (ja) 2023-08-24
CN111681242B (zh) 2020-11-17
WO2022033580A1 (zh) 2022-02-17
CN111681242A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
JP7333465B2 (ja) 網膜血管の動静脈を判別する方法及び装置
SujithKumar et al. Automatic detection of diabetic retinopathy in non-dilated RGB retinal fundus images
Fleming et al. Automatic detection of retinal anatomy to assist diabetic retinopathy screening
Mary et al. An empirical study on optic disc segmentation using an active contour model
Aquino Establishing the macular grading grid by means of fovea centre detection using anatomical-based and visual-based features
Kavitha et al. Automatic detection of optic disc and exudates in retinal images
CN111932535A (zh) 用于处理图像的方法、装置、设备以及存储介质
Oloumi et al. Computer-aided diagnosis of plus disease via measurement of vessel thickness in retinal fundus images of preterm infants
WO2010030159A2 (en) A non invasive method for analysing the retina for ocular manifested diseases
Suero et al. Locating the Optic Disc in Retinal Images Using Morphological Techniques.
Poshtyar et al. Automatic measurement of cup to disc ratio for diagnosis of glaucoma on retinal fundus images
Zhou et al. Automatic hemorrhage detection in color fundus images based on gradual removal of vascular branches
Uribe-Valencia et al. Automated Optic Disc region location from fundus images: Using local multi-level thresholding, best channel selection, and an Intensity Profile Model
Morales et al. Segmentation and analysis of retinal vascular tree from fundus images processing
Tan et al. Automatic notch detection in retinal images
Mangrulkar Retinal image classification technique for diabetes identification
Agarwal et al. Automatic imaging method for optic disc segmentation using morphological techniques and active contour fitting
JP4822527B2 (ja) 画像解析装置及び画像解析プログラム
Cao et al. Fast automatic optic disc localization in retinal images
Hunter et al. Tram-line filtering for retinal vessel segmentation
Hunter et al. Non-linear filtering for vascular segmentation and detection of venous beading
Samawi et al. Optic disc segmentation in retinal fundus images using morphological techniques and intensity thresholding
CN114549395A (zh) 基于视计算的图像特征确定的方法、装置、介质和设备
Joshi et al. Fundus image analysis for detection of fovea: A review
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R150 Certificate of patent or registration of utility model

Ref document number: 7333465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150