CN115222638B - 一种基于神经网络模型的视网膜血管图像分割方法及系统 - Google Patents

一种基于神经网络模型的视网膜血管图像分割方法及系统 Download PDF

Info

Publication number
CN115222638B
CN115222638B CN202210973573.7A CN202210973573A CN115222638B CN 115222638 B CN115222638 B CN 115222638B CN 202210973573 A CN202210973573 A CN 202210973573A CN 115222638 B CN115222638 B CN 115222638B
Authority
CN
China
Prior art keywords
image
blood vessel
retinal
model
retinal blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210973573.7A
Other languages
English (en)
Other versions
CN115222638A (zh
Inventor
杨卫华
张少冲
陈璐
张哲�
李王婷
李坤珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN OPHTHALMOLOGY HOSPITAL
Original Assignee
SHENZHEN OPHTHALMOLOGY HOSPITAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN OPHTHALMOLOGY HOSPITAL filed Critical SHENZHEN OPHTHALMOLOGY HOSPITAL
Priority to CN202210973573.7A priority Critical patent/CN115222638B/zh
Publication of CN115222638A publication Critical patent/CN115222638A/zh
Application granted granted Critical
Publication of CN115222638B publication Critical patent/CN115222638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于神经网络模型的视网膜血管图像分割方法及系统，涉及图像分割技术领域，首先获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像，进行图像融合，得到融合图像；对融合图像进行图像预处理，得到待分割图像；训练得到血管图像分割模型和血管目标检测模型；将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回继续训练模型，当输出结果相符时，输出分割结果。本发明能够准确、高效地对视网膜血管图像进行分割，并且当输出结果有误时可以及时进行提示，降低了误判的风险。

Description

一种基于神经网络模型的视网膜血管图像分割方法及系统
技术领域
本发明涉及图像分割技术领域，更具体的说是涉及一种基于神经网络模型的视网膜血管图像分割方法及系统。
背景技术
视网膜血管是全身血管中唯一可以以非侵入性方式观察到的部分。眼科医生通常通过检查视网膜眼底图像来评估视网膜血管的临床状况，这是诊断各种眼科疾病的重要指标。然而，这些图像中视网膜血管的手工标记费时、繁琐，需要较丰富的临床经验。因此，视网膜血管的实时自动分割是非常必要的。
视网膜图像通常是由手持和接触视网膜摄像机拍摄的，因此视网膜图像的特征会由于拍摄模式、传感器灵敏度和光照等因素而受到干扰。由于光线不均匀、图像模糊和对比度低等问题，使得毛细血管与眼底背景的对比度较小，极易混淆，这就导致对视网膜血管图像进行分割的结果往往存在出入，这些原因使得眼底视网膜血管图像分割十分困难。
因此，如何克服由于获取的视网膜图像清晰度和对比度较低而导致的眼底视网膜血管图像分割精确度低、容易出现误判等技术缺陷，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于神经网络模型的视网膜血管图像分割方法及系统。
为了实现上述目的，本发明提供如下技术方案：
一种基于U-net神经网络模型的视网膜血管图像分割方法，包括以下步骤：
步骤1、获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像；
步骤2、对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像；
步骤3、对所述融合图像进行图像预处理，得到待分割图像；
步骤4、对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
步骤5、将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
步骤6、比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回步骤4，当输出结果相符时，输出显示血管图像分割模型的输出结果。
可选的，所述步骤1中，不同拍摄模式包括红外模式和可见光模式，所拍摄的图像分别为红外视网膜血管图像和可见光视网膜血管图像。
可选的，所述步骤2中，对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像的方法为：
步骤2.1、对所述红外视网膜血管图像和可见光视网膜血管图像进行配准；
步骤2.2、将配准后的红外视网膜血管图像和可见光视网膜血管图像进行多尺度分解和高频提取，分别得到红外视网膜血管背景图像、多尺度红外视网膜血管细节图像、可见光视网膜血管背景图像、多尺度可见光视网膜血管细节图像；
步骤2.3、对红外视网膜血管背景图像和可见光视网膜血管背景图像进行融合，得到视网膜血管背景融合图像；对多尺度红外视网膜血管细节图像和多尺度可见光视网膜血管细节图像进行融合，得到视网膜血管细节融合图像；
步骤2.4、将所述视网膜血管背景融合图像和视网膜血管细节融合图像进行合并，得到最终的融合图像。
可选的，所述步骤3中，图像预处理包括边界剪裁和像素值调整。
可选的，所述边界剪裁是指：确定图像中视网膜区域的边界，依据边界对融合图像进行剪裁。
可选的，所述像素值调整是指：根据图像中每一类像素点的累积分布密度，调整每一类像素点的像素值。
可选的，所述步骤4中，对U-net神经网络模型进行训练的方法为：
步骤4.1.1、获取若干幅视网膜血管图像，进行图像预处理；
步骤4.1.2、基于预处理后的若干幅视网膜血管图像以及对应的实际血管分割结果，构建第一训练样本数据集；
步骤4.1.3、使用所述第一训练样本数据集，以U-net神经网络模型的输出结果和实际血管分割结果之间的第一损失值作为信息反馈，调整U-net神经网络模型的参数，直至所述第一损失值达到预设阈值，则得到训练好的血管图像分割模型。
可选的，所述步骤4中，对YOLOv3目标检测模型进行训练的方法为：
步骤4.2.1、基于所述步骤4.1.2中构建的第一训练样本数据集，以预处理后的视网膜血管图像作为输入，实际血管分割结果中包含的目标位置及数量作为输出，构建第二训练样本数据集；
步骤4.2.2、使用所述第二训练样本数据集，以YOLOv3目标检测模型的输出结果和实际血管分割结果中包含的目标位置及数量之间的第二损失值作为信息反馈，调整YOLOv3目标检测模型的参数，直至所述第二损失值达到预设阈值，则得到训练好的血管目标检测模型。
一种基于U-net神经网络模型的视网膜血管图像分割系统，包括：
图像获取模块，用于获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像；
图像融合模块，用于对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像；
图像预处理模块，用于对所述融合图像进行图像预处理，得到待分割图像；
模型训练模块，用于对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
输入模块，用于将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
结果反馈模块，用于比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回模型训练模块，当输出结果相符时，输出显示血管图像分割模型的输出结果。
经由上述的技术方案可知，本发明提供了一种基于神经网络模型的视网膜血管图像分割方法及系统，与现有技术相比，具有以下有益效果：
本发明克服了传统视网膜血管图像分割过程中获取的图像对比度低、清晰度较差等技术缺陷，获取不同拍摄模式下的视网膜血管图像并进行融合，由于在可见光图像的基础上引入了红外图像，因此弥补了可见光图像对比度较低的缺陷，综合了红外图像中目标突出的优点和可见光图像中细节突出的优点，得到边界、背景、细节更加清晰的融合图像，作为后续图像分割的基础，可以使视网膜血管图像分割结果更加清晰、准确。
本发明在训练血管图像分割模型过程中，使用损失值作为反馈结果，反复调整模型参数，实现闭环反馈，最终得到符合预设精度的血管图像分割模型。
本发明使用血管目标检测模型对血管图像分割模型的分割结果进行验证，当两个模型的输出结果不相符时，说明模型存在缺陷，则继续返回模型训练步骤中进行训练。通过设置血管目标检测模型，进一步保障了血管图像分割结果的准确性。
本发明能够准确、高效地对视网膜血管图像进行分割，并且当输出结果有误时可以及时进行提示，降低了误判的风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法步骤示意图；
图2为本发明的系统模块示意图；
图3为具体实施例中拍摄的红外视网膜血管图像；
图4为具体实施例中拍摄的可见光视网膜血管图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于U-net神经网络模型的视网膜血管图像分割方法，参见图1，包括以下步骤：
步骤1、获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像。
本步骤中，使用眼底图像获取设备连续采集并接收被检人员同一位置不同拍摄模式的多张眼底图像，作为本发明中待融合的视网膜血管图像。所述眼底图像获取设备可以为眼底相机以及对应的图像传感器等装置。不同拍摄模式可以包括红外模式和可见光模式等，所拍摄的图像分别为红外视网膜血管图像和可见光视网膜血管图像，参见图3和图4。
步骤2、对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像。
在一种实施例中，可以基于图像多尺度分解融合的方法，对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，具体步骤为：
步骤2.1、由于切换不同模式拍摄眼底图像时，拍摄图像位置不可避免的会发生轻微偏移，因此需要对所述红外视网膜血管图像和可见光视网膜血管图像进行配准；
步骤2.2、将配准后的红外视网膜血管图像和可见光视网膜血管图像进行多尺度分解和高频提取，分别得到红外视网膜血管背景图像、多尺度红外视网膜血管细节图像、可见光视网膜血管背景图像、多尺度可见光视网膜血管细节图像；
步骤2.3、对红外视网膜血管背景图像和可见光视网膜血管背景图像进行基于融合率的加权融合，得到视网膜血管背景融合图像；对多尺度红外视网膜血管细节图像和多尺度可见光视网膜血管细节图像进行基于融合率的加权融合，得到视网膜血管细节融合图像；
步骤2.4、将所述视网膜血管背景融合图像和视网膜血管细节融合图像进行合并，得到最终的融合图像。
在其他实施例中，还可以使用其他方法将若干幅不同拍摄模式视网膜血管图像进行图像融合，本发明对此不做限制。
步骤3、对所述融合图像进行图像预处理，得到待分割图像；所述图像预处理包括边界剪裁和像素值调整。
其中，边界剪裁是指：确定图像中视网膜区域的边界，依据边界对融合图像进行剪裁。
在一种实施例中优选剪裁为相同大小的矩形或圆形等规则形状。
像素值调整是指：根据图像中每一类像素点的累积分布密度，调整每一类像素点的像素值，具体包括以下步骤：
步骤a、将融合图像中的像素点按照像素值进行分类，识别融合图像中每一类像素点的数量；
步骤b、计算每一类像素点占融合图像的像素点总数的百分比，作为每一类像素点的分布密度；
步骤c、基于每类像素点的分布密度与小于该像素点分布密度的其它类像素点的分布密度，进行求和，得到该类像素点的累计分布密度；
步骤d、基于每类像素点的累计分布密度和预设像素值，调整每类像素点的像素值。
步骤4、对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
其中，对U-net神经网络模型进行训练的方法为：
步骤4.1.1、获取若干幅视网膜血管图像，进行图像预处理；
步骤4.1.2、基于预处理后的若干幅视网膜血管图像以及对应的实际血管分割结果，构建第一训练样本数据集；所述对应的实际血管图像分割结果通常为专业人员通过人工方式进行分割所得到的。
步骤4.1.3、使用所述第一训练样本数据集，以U-net神经网络模型的输出结果和实际血管分割结果之间的第一损失值作为信息反馈，调整U-net神经网络模型的参数，直至所述第一损失值达到预设阈值，则得到训练好的血管图像分割模型。
所述第一损失值的计算方法为：
可知所述U-net神经网络模型输出结果和实际血管分割结果均为分割图像，此处针对分别处于所述U-net神经网络模型输出结果和实际血管分割结果中同一位置处的两个像素点，计算两个像素点的像素值之间的交叉熵损失值、以及交并比损失值；基于计算出的交叉熵损失值以及交并比损失值，进行求和得到所述第一损失值。
对YOLOv3目标检测模型进行训练的方法为：
步骤4.2.1、基于所述步骤4.1.2中构建的第一训练样本数据集，以预处理后的视网膜血管图像作为输入，实际血管分割结果中包含的目标位置及数量作为输出，构建第二训练样本数据集；
步骤4.2.2、使用所述第二训练样本数据集，以YOLOv3目标检测模型的输出结果和实际血管分割结果中包含的目标位置及数量之间的第二损失值作为信息反馈，调整YOLOv3目标检测模型的参数，直至所述第二损失值达到预设阈值，则得到训练好的血管目标检测模型。
所述第二损失值的计算方法为：
针对分别处于所述YOLOv3目标检测模型输出结果和实际血管分割结果中包含的目标位置及数量，计算距离损失和数量差百分比；基于计算出的距离损失和数量差百分比，进行求和得到所述第二损失值。
在具体实施例中，所述血管图像分割模型和血管目标检测模型通常为预先训练好的模型，在使用过程中可以直接进行使用，当步骤6中出现输出结果不符时，才重新调取相关模型继续进行训练。
步骤5、将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
步骤6、比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果(包括血管图像分割模型输出的血管分割结果和血管目标检测模型输出的血管目标位置及数量)不相符时，返回步骤4，并提示结果异常；当输出结果相符时，则在显示器上输出显示血管图像分割模型的输出结果。
另一种实施例中还公开一种基于U-net神经网络模型的视网膜血管图像分割系统，和上述方法相对应，参见图2，包括：
图像获取模块，用于获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像；通常使用眼底相机以及对应的图像传感器等装置进行图像的获取；
图像融合模块，用于对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像；
图像预处理模块，用于对所述融合图像进行图像预处理，得到待分割图像；
模型训练模块，用于对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
输入模块，用于将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
结果反馈模块，用于比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回模型训练模块，当输出结果相符时，输出显示血管图像分割模型的输出结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统模块而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，包括以下步骤：
步骤1、获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像，不同拍摄模式包括红外模式和可见光模式，所拍摄的图像分别为红外视网膜血管图像和可见光视网膜血管图像；
步骤2、对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像，具体方法为：
步骤2.1、对所述红外视网膜血管图像和可见光视网膜血管图像进行配准；
步骤2.2、将配准后的红外视网膜血管图像和可见光视网膜血管图像进行多尺度分解和高频提取，分别得到红外视网膜血管背景图像、多尺度红外视网膜血管细节图像、可见光视网膜血管背景图像、多尺度可见光视网膜血管细节图像；
步骤2.3、对红外视网膜血管背景图像和可见光视网膜血管背景图像进行融合，得到视网膜血管背景融合图像；对多尺度红外视网膜血管细节图像和多尺度可见光视网膜血管细节图像进行融合，得到视网膜血管细节融合图像；
步骤2.4、将所述视网膜血管背景融合图像和视网膜血管细节融合图像进行合并，得到最终的融合图像；
步骤3、对所述融合图像进行图像预处理，得到待分割图像；
步骤4、对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
步骤5、将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
步骤6、比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回步骤4，当输出结果相符时，输出显示血管图像分割模型的输出结果。
2.根据权利要求1所述的一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，所述步骤3中，图像预处理包括边界剪裁和像素值调整。
3.根据权利要求2所述的一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，所述边界剪裁是指：确定图像中视网膜区域的边界，依据边界对融合图像进行剪裁。
4.根据权利要求2所述的一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，所述像素值调整是指：根据图像中每一类像素点的累积分布密度，调整每一类像素点的像素值。
5.根据权利要求1所述的一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，所述步骤4中，对U-net神经网络模型进行训练的方法为：
步骤4.1.1、获取若干幅视网膜血管图像，进行图像预处理；
步骤4.1.2、基于预处理后的若干幅视网膜血管图像以及对应的实际血管分割结果，构建第一训练样本数据集；
步骤4.1.3、使用所述第一训练样本数据集，以U-net神经网络模型的输出结果和实际血管分割结果之间的第一损失值作为信息反馈，调整U-net神经网络模型的参数，直至所述第一损失值达到预设阈值，则得到训练好的血管图像分割模型。
6.根据权利要求5所述的一种基于U-net神经网络模型的视网膜血管图像分割方法，其特征在于，所述步骤4中，对YOLOv3目标检测模型进行训练的方法为：
步骤4.2.1、基于所述步骤4.1.2中构建的第一训练样本数据集，以预处理后的视网膜血管图像作为输入，实际血管分割结果中包含的目标位置及数量作为输出，构建第二训练样本数据集；
步骤4.2.2、使用所述第二训练样本数据集，以YOLOv3目标检测模型的输出结果和实际血管分割结果中包含的目标位置及数量之间的第二损失值作为信息反馈，调整YOLOv3目标检测模型的参数，直至所述第二损失值达到预设阈值，则得到训练好的血管目标检测模型。
7.一种基于U-net神经网络模型的视网膜血管图像分割系统，其特征在于，包括：
图像获取模块，用于获取眼底视网膜同一位置的若干幅不同拍摄模式视网膜血管图像，不同拍摄模式包括红外模式和可见光模式，所拍摄的图像分别为红外视网膜血管图像和可见光视网膜血管图像；
图像融合模块，用于对所述若干幅不同拍摄模式视网膜血管图像进行图像融合，得到融合图像，具体的：
对所述红外视网膜血管图像和可见光视网膜血管图像进行配准；
将配准后的红外视网膜血管图像和可见光视网膜血管图像进行多尺度分解和高频提取，分别得到红外视网膜血管背景图像、多尺度红外视网膜血管细节图像、可见光视网膜血管背景图像、多尺度可见光视网膜血管细节图像；
对红外视网膜血管背景图像和可见光视网膜血管背景图像进行融合，得到视网膜血管背景融合图像；对多尺度红外视网膜血管细节图像和多尺度可见光视网膜血管细节图像进行融合，得到视网膜血管细节融合图像；
将所述视网膜血管背景融合图像和视网膜血管细节融合图像进行合并，得到最终的融合图像；
图像预处理模块，用于对所述融合图像进行图像预处理，得到待分割图像；
模型训练模块，用于对U-net神经网络模型进行训练，获取训练好的血管图像分割模型；对YOLOv3目标检测模型进行训练，获取训练好的血管目标检测模型；
输入模块，用于将所述待分割图像输入训练好的血管图像分割模型以及训练好的血管目标检测模型中；
结果反馈模块，用于比较血管图像分割模型和血管目标检测模型的输出结果，当输出结果不相符时，返回模型训练模块，当输出结果相符时，输出显示血管图像分割模型的输出结果。
CN202210973573.7A 2022-08-15 2022-08-15 一种基于神经网络模型的视网膜血管图像分割方法及系统 Active CN115222638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973573.7A CN115222638B (zh) 2022-08-15 2022-08-15 一种基于神经网络模型的视网膜血管图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210973573.7A CN115222638B (zh) 2022-08-15 2022-08-15 一种基于神经网络模型的视网膜血管图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN115222638A CN115222638A (zh) 2022-10-21
CN115222638B true CN115222638B (zh) 2023-03-07

Family

ID=83616020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210973573.7A Active CN115222638B (zh) 2022-08-15 2022-08-15 一种基于神经网络模型的视网膜血管图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN115222638B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
WO2019180742A1 (en) * 2018-03-21 2019-09-26 Artificial Learning Systems India Private Limited System and method for retinal fundus image semantic segmentation
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109087302A (zh) * 2018-08-06 2018-12-25 北京大恒普信医疗技术有限公司 一种眼底图像血管分割方法及设备
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备

Also Published As

Publication number Publication date
CN115222638A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US9149179B2 (en) System and method for identifying eye conditions
CN110400289B (zh) 眼底图像识别方法、装置、设备和存储介质
EP2188779B1 (en) Extraction method of tongue region using graph-based approach and geometric properties
Gagnon et al. Procedure to detect anatomical structures in optical fundus images
Lalonde et al. Automatic visual quality assessment in optical fundus images
CN111128382B (zh) 一种人工智能多模成像分析装置
KR20200005409A (ko) 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법
CN109697719B (zh) 一种图像质量评估方法、装置及计算机可读存储介质
CN107895362B (zh) 一种微型接线端子质量检测的机器视觉方法
CN110766656B (zh) 筛查眼底黄斑区异常的方法、装置、设备和存储介质
US7377643B1 (en) Method and apparatus for eye imaging with position registration and constant pupil size
CN109961848B (zh) 黄斑图像分类方法和设备
CN112837805B (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
JP3453911B2 (ja) 視線認識装置
JP5278984B2 (ja) 画像解析装置及び画像解析プログラム
CN114343563A (zh) 一种多模态融合辅助干眼诊断和分型的方法、装置及系统
CN114219754A (zh) 基于眼部ct图像的甲状腺相关眼疾识别方法和装置
CN110037651B (zh) 眼底图像的质量控制方法及装置
CN115222638B (zh) 一种基于神经网络模型的视网膜血管图像分割方法及系统
CN113361513A (zh) 移动端舌象采集方法、装置及设备
WO2024037581A1 (zh) 一种结膜充血的量化评估方法、装置和存储介质
CN111145155B (zh) 一种睑板腺腺体的识别方法
CN109447948A (zh) 一种基于病灶彩色视网膜眼底图像的视盘分割方法
CN111419173A (zh) 基于眼底图像的黄斑色素密度测量方法及设备
CN111445477A (zh) 一种基于区域自动分割与选择的分析方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant