CN112734774B - 一种高精度眼底血管提取方法、装置、介质、设备和系统 - Google Patents

一种高精度眼底血管提取方法、装置、介质、设备和系统 Download PDF

Info

Publication number
CN112734774B
CN112734774B CN202110116250.1A CN202110116250A CN112734774B CN 112734774 B CN112734774 B CN 112734774B CN 202110116250 A CN202110116250 A CN 202110116250A CN 112734774 B CN112734774 B CN 112734774B
Authority
CN
China
Prior art keywords
blood vessel
image
fundus
region
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110116250.1A
Other languages
English (en)
Other versions
CN112734774A (zh
Inventor
柯鑫
董洲
凌赛广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiwei Science And Technology Beijing Co ltd
Original Assignee
Yiwei Science And Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiwei Science And Technology Beijing Co ltd filed Critical Yiwei Science And Technology Beijing Co ltd
Priority to CN202110116250.1A priority Critical patent/CN112734774B/zh
Publication of CN112734774A publication Critical patent/CN112734774A/zh
Application granted granted Critical
Publication of CN112734774B publication Critical patent/CN112734774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例提供一种高精度眼底血管提取方法、装置、介质和设备，该方法包括：根据眼底图像获得血管预选区域图像；提取所述血管预选区域图像的血管中心线；对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；根据深度学习血管特征检测模型，从所述眼底图像中提取第二眼底血管图像；根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像。该方法基于计算机视觉和人工智能深度学习相结合，来提取眼底图像的血管分割图，实现提取精度和提取速度的有机结合和平衡，并且提高提取结果的鲁棒性。

Description

一种高精度眼底血管提取方法、装置、介质、设备和系统
技术领域
本发明涉及图像处理领域，具体涉及一种高精度眼底血管提取方法、装置、介质、设备和系统。
背景技术
视网膜眼底图像分析有助于医生对心脑血管疾病和眼科疾病的诊断、筛查和治疗，如高血压视网膜病变、动脉硬化、青光眼、黄斑变性、糖尿病视网膜病变等。如果不及时治疗，这些疾病可能导致失明甚至死亡。血管分割是眼底血管测量和视网膜图像分析的基本步骤之一，有利于辅助医生更加了解眼底异常以及异常严重情况以及疾病进展情况，特别是对于心脑血管疾病导致的眼底并发症异常。在临床实践中，要想精细化的了解眼底血管异常通常靠人工标注和测量，这不仅耗时，而且受标注者主观影响甚大。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的高精度眼底血管提取方法在精度方面无法达到亚像素级或以上的精度或者对于血管的提取不够准确，血管提取鲁棒性不强。
发明内容
本发明实施例提供一种高精度眼底血管提取方法、装置、介质、设备和系统，通过计算机视觉提取技术和人工智能深度学习相结合，以实现在准确提取眼底血管特征的同时，并使得血管分割精度达到亚像素级或以上的精度。
为达上述目的，根据本公开第一方面，提供一种高精度眼底血管提取方法，其包括：
根据眼底图像获得血管预选区域图像；
提取所述血管预选区域图像的血管中心线；
对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；
根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；
根据深度学习血管特征检测模型，从所述眼底图像中提取第二眼底血管图像；
根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像。
在一些可能实施方式中，所述的根据眼底图像获得血管预选区域图像，具体可以包括：
从眼底图像中分离出单一通道图像，或多个通道的组合通道图像；
对所述单一通道图像，或多个通道的组合通道图像，使用阈值分割法得到基础血管区域图像；
基于blob分析，对所述基础血管区域图像中的错误区域进行去除，获得包括主血管和毛细血管在内的血管预选区域图像。
在一些可能的实施方式中，所述阈值分割法可以包括以下一种或多种方法的组合：基于点的全局阈值法，基于区域的全局阈值方法、动态阈值分割方法、局部阈值分割方法、多阈值分割方法、自适用阈值分割方法、OTSU阈值分割方法。
在一些可能的实施方式中，所述的提取所述血管预选区域图像的血管中心线，具体可以包括：
根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；
根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；
根据所述特征向量和所述垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像；
根据对所述第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像；
根据所述第二种子点图像上的多个种子点，获得所述血管预选区域图像的血管中心线。
在一些可能的实施方式中，所述的根据所述特征向量和所述垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像，具体可以包括：
根据所述特征向量和所述垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一血管种子图像。
在一些可能的实施方式中，所述的根据对所述第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像，具体可以包括：
根据所述第一种子点图像和预设的梯度阈值，对所述第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像。
在一些可能的实施方式中，所述特征提取算子可以包括如下中的任意一种或任意多种的组合：Laplace算子、角点检测算法、Zuniga-Haralick定位算子、Hessian矩阵、Log算子。
在一些可能的实施方式中，所述的根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；具体可以包括：
采用如下公式计算垂直血管方向的亚像素级位移：
Figure BDA0002920752500000031
其中，n是每个像素点的特征向量，nx为特征向量n在x轴上的分量，ny为特征向量n在y轴上的分量；fx、fy为一阶偏导数，fxx、fxy、fyy为二阶偏导数。
在一些可能的实施方式中，所述的根据所述第二种子点图像上的多个种子点，获得所述血管预选区域图像的血管中心线，具体包括：
采用最小化代价函数和/或插值函数，将所述第二种子点图像上的多个种子点连接成血管中心线。
在一些可能的实施方式中，在提取所述血管预选区域图像的血管中心线之后，还可以包括：
将提取得到的血管中心线进行组合；
对组合后的血管中心线进行平滑处理，去除噪声引起的错误血管中心线片段。
在一些可能的实施方式中，所述的对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像，具体可以包括：
对所述血管预选区域图像中多个区域的血管进行多尺度特征分析；
将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像。
在一些可能的实施方式中，所述对所述血管预选区域图像中多个区域的血管进行多尺度特征分析，具体可以包括：
基于第一尺度特征分析，提取视盘区域的主血管；
基于第二尺度特征分析，提取黄斑区域的毛细血管；
基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；
基于第四尺度特征分析，提取异常血管；
基于第五尺度特征分析，去除噪声和/或条状出血的干扰。
在一些可能的实施方式中，所述方法还可以包括：
根据所述血管中心线确定每个血管的亚像素边界；
所述的根据所述整体血管区域图像和所述血管中心线，获得眼底血管图像，被替换为：
根据所述整体血管区域图像和所述血管的亚像素边界，获得第一眼底血管图像；
或者，所述的根据所述整体血管区域图像和所述血管中心线，获得眼底血管图像，具体包括：
根据所述整体血管区域图像、所述血管中心线和所述血管的亚像素边界，获得第一眼底血管图像。
在一些可能的实施方式中，所述的根据所述血管中心线确定血管的亚像素边界，具体可以包括：
利用垂直于所述血管中心线的方向对所述眼底血管进行截取处理，根据灰度值变化拐点确定所述血管中心线上每个像素点对应的两个边缘点；
根据所述边缘点的位置信息确定血管的亚像素边界。
在一些可能的实施方式中，所述的根据所述血管中心线确定血管的亚像素边界，具体可以包括：
从眼底图像中获取眼底血管对应的血管中心线；
根据所述血管中心线，确定包含眼底血管的目标区域；
根据边缘提取算子，提取所述目标区域内的血管的亚像素边界。
在一些可能的实施方式中，所述的深度学习血管特征检测模型可以包括如下中的任意的一种或多种：Resnet(Residual Network，残差网络)、VGGNet(Visual GeometryGroup，视觉几何网络)、FCNN(Fully Convolutional Neural Networks，全卷积神经网络)、Unet神经网络、DeepLab V3+网络模型、Faster-RCNN(Faster Region ConvolutionalNeural Networks，快速区域卷积神经网络)、SSD(Single Shot MultiBox Detector，SSD目标检测算法)。
根据本公开第二方面，提供一种高精度眼底血管提取装置，包括：
血管粗提取处理模块，用于根据眼底图像获得血管预选区域图像；
血管中心线提取模块，用于提取所述血管预选区域图像的血管中心线；
血管精细分割处理模块，用于对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；
第一眼底血管图像获得模块，用于根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；
第二眼底血管图像提取模块，用于根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；
联合处理模块，用于根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像。
根据本公开第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的任意一种高精度眼底血管提取方法。
根据本公开第四方面，提供一种高精度眼底血管提取设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的任意一种高精度眼底血管提取方法。
根据本公开第五方面，提供一种高精度眼底血管提取系统，其包括：
眼底图像采集设备，用于采集眼底图像；
云服务器，用于根据所述眼底图像获得血管预选区域图像；提取所述血管预选区域图像的血管中心线；对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；根据深度学习血管检测模型，从眼底图像中提取第二眼底血管图像；根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像；
用户终端设备，用于接收所述云服务器发送的所述最终的血管分割图像。
上述技术方案具有如下有益效果：
本发明提出了利用图像处理算法对视网膜血管进行自动分割，一方面速度快，另一方面客观稳定，对于医生了解眼底异常具有重大作用。
上述技术方案可以实现眼底图像血管分割精度达到亚像素级或以上的精度，并且血管分割的鲁棒性得到大大提高。
该方法基于计算机视觉和人工智能深度学习相结合，来提取眼底图像的血管分割图，吸收两种处理方法的优点，充分发挥了计算机视学方法提取眼底血管的高精度性、速度性和基于深度学习方法提取眼底血管分割图的延展性。通过人工智能深度学习血管提取算法和模型，可以对基于计算机视觉提取到的眼底血管图像进行修正，进一步防止误提取，提高了提取精度，达到了亚像素级的提取精度，并且实现了提取精度和提取速度的平衡。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本发明实施例的一种高精度眼底血管提取方法的流程图；
图1B是本发明实施例的另一种高精度眼底血管提取方法的流程图；
图1C是本发明实施例的又一种高精度眼底血管提取方法的流程图；
图1D是本发明实施例的眼底图像分区域确定联合处理权重的示意图；
图2是本发明实施例的步骤S110的细化流程图；
图3A是本发明实施例作为一个举例的原始眼底图像图；
图3B是本发明实施例作为一个举例的提取感兴趣区域ROI的示意图；
图3C是本发明实施例作为一个举例的经过增强处理后的血管增强图；
图3D是本发明实施例作为一个举例的经过阈值分割法和blob分析处理后得到的血管预选区域图像；
图3E是本发明实施例作为一个举例的整体血管区域图像；
图3F是本发明实施例作为一个举例的提取的亚像素级精度的血管中心线的局部放大图像；
图3G是本发明实施例作为一个举例的亚像素级眼底血管图像(血管分割图)的局部放大图像；
图4是本发明实施例的步骤S120的细化流程图；
图5是本发明实施例的步骤S120’的细化流程图；
图6是本发明实施例的步骤S140的细化流程图；
图7是本发明实施例的一种高精度眼底血管提取装置的功能框图；
图8是本发明实施例的一种存储介质的功能框图；
图9是本发明实施例的一种高精度眼底血管提取设备的功能框图；
图10是本发明实施例的一种高精度眼底血管提取系统的功能框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1A是本发明实施例的一种高精度眼底血管提取方法的流程图。如图1所示，该方法包括如下步骤：
S110：根据眼底图像获得血管预选区域图像。可选地，本步骤可以对眼底图像进行ROI提取、增强处理、归一化处理和去燥处理等预处理以获得血管预选区域图像。可选地，本步骤可以对眼底图像进行提取感兴趣区域ROI、增强处理、阈值分割处理、blob分析处理以获得血管预选区域图像。或者上述两种方式的组合。眼底图像可以是彩色眼底图像、高光谱图像或多光谱图像、荧光造影图、黑白图像等。
S120：提取血管预选区域图像的血管中心线。
S130：对血管预选区域图像进行图像分割处理，获得整体血管区域图像。在本步骤中，通过图像分割处理可以删除血管预选区域图像中的各种非血管图像，例如包括但不限于：出血点、条状出血、渗出、视盘边缘、其他非线状特征的图像、其他孤立分散的异常图像、其他噪声或干扰图像等。
S140：根据整体血管区域图像和血管中心线，获得第一眼底血管图像。
S150：根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像。
上述步骤S120和步骤S130的执行顺序可以调换位置，或者两者同时执行。
本步骤中，深度学习血管特征检测模型包括但不限于如下中的任意的一种或多种：Resnet(Residual Network，残差网络)、VGGNet(Visual Geometry Group，视觉几何网络)、FCNN(Fully Convolutional Neural Networks，全卷积神经网络)、Unet神经网络、DeepLab V3+网络模型、Faster-RCNN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)、SSD(Single Shot MultiBox Detector，SSD目标检测算法)。
上述步骤S150的执行顺序可以在S110之前，或者S150与S110是同时执行。S150具体可以包括如下三种情况：
第一种情况，根据深度学习血管特征检测模型，从原始输入或采集的眼底图像中提取第二眼底血管图像。或者，
第二种情况，先对眼底图像进行预处理，获得经过预处理后的眼底图像；从该预处理后的眼底图像中提取第二眼底血管图像。该预处理包括：提取感兴趣区域ROI，获得ROI图像，然后对ROI图像进行单一通道或多个通道的增强处理，获得增强图像，再对该增强图像进行归一化处理和/或去噪处理，以获得预处理眼底图像。或者，
第三种情况，是在第二种情况的基础上，进一步对该预处理眼底图像进行阈值分割处理、blob分析处理以获得血管预选区域图像。然后，根据深度学习血管特征检测模型，对该血管预选区域图像进行识别，从该血管预选区域图像中提取第二眼底血管图像。
作为一个举例，本步骤可以在根据颜色、形状等特征进行初步提取获得的眼底血管图像后，可以对提取的图像特征进行人工校正，标定样本，然后利用标定的样本基于深度学习神经网络进行训练，确定神经网络参数，获得训练好的血管分割模型。然后，利于训练好的血管分割模型，提取血管。
S160：根据第一眼底血管图像和第二眼底血管图像，获得最终的血管分割图像。
在本步骤中，在一个可能的实施例中，可以将第一眼底血管图像和第二眼底血管图像进行求交集处理，得到二者的交集图像，以该两种方法获得的交集图像作为最终的血管分割图像。在一个替代性的实施例中，将第一眼底血管图像和第二眼底血管图像进行加权求和处理，以获得最终的血管分割图。加权求和处理时，第一眼底血管图像和第二眼底血管图像各自的权重可以相同，也可以不同。图1D是本发明实施例的眼底图像分区域确定联合处理权重的示意图。假设图1D是基于本发明实施例的计算机视觉技术获得的第一眼底血管图像，在该第一眼底血管图像中，以视盘中心为中心，从内向外划分或定义出多个区域，例如多个圆形区域或者矩形区域，上述多个区域均是以视盘中心作为中心，在图1D中示意性地绘出了第一区域、第二区域、第三区域、第四区域，实际可以有更多或更少的眼底区域。在第一眼底血管图像的不同区域，分别设置不同的权重值，例如设置一次增大的权重值W1<W2<W3<W4。相应地，在基于深度学习血管特征检测模型获得的第二眼底图像上，同样地定义了上述多个区域，不同的区域分别预设有不同的联合处理权重，例如定义了第一区域、第二区域、第三区域、第四区域，其权重值分布为从内至外依次减小，为W1’>W2’>W3’>W4’。其中，W1+W1’＝1，W2+W2’＝1，W3+W3’＝1，W4+W4’＝1。作为示例：
W1＝50％<W2＝67％<W3＝84％<W4＝100％，而W1’＝50％>W2’＝33％>W3’＝16％>W4’＝0。在对第一眼底血管图像和第二眼底血管图像进行加权求和以及进一步的筛选处理，以获得最终的血管分割图像的过程中，具体可以包括：在不同的眼底区域，根据在本眼底区域内的第一眼底图像和第二眼底图像的像素值的加权求和值，并对加权求和值作进一步筛选处理，确定在本眼底区域内的最终区域血管分割图像。重复上述过程，根据多个区域血管分割图像，可获得最终的完整的、高精度的血管分割图像。在又一个实施例中，利用基于深度学习血管特征检测模型获得的第二眼底图像对第一眼底图像进行筛选处理，仅将第一眼底图像划分为内部区域和外部区域，在内部区域中，可以信任深度学习模型，将第一眼底图像和第二眼底图像进行求交集处理，获得交集血管图像；在外部区域中，由于包含大量的处于边缘区域的微小血管或者毛细血管，其精度达到亚像素级，则不可信任深度学习模型或者显著降低深度学习模型的权重值，甚至不对第一眼底图像和第二眼底图像进行求交集处理，而是仅保留第一眼底图像获得的高精度的微小血管或毛细血管，以实现对这些血管的高精度定量化信息指标测量。在其他的实施例中，还可以根据血管的宽度、弯曲度、血管距离视盘中心的距离中的任意一个或多个确定分配给第一眼底图像或第二眼底图像的各自的整体权重值，或者相应的分区域的权重值。
上述方法中，采用人工智能机器学习眼底血管分割方法和基于计算机视觉的眼底血管分割方法相结合，充分发挥了计算机视学方法提取眼底血管的高精度性、速度性和基于人工智能深度学习方法提取眼底血管分割图的延展性。
图2是本发明实施例的步骤S110的细化流程图。如图2所示，步骤S110可以包括如下步骤：
S111：从眼底图像中分离出单一通道图像，或多个通道的组合通道图像。
例如，眼底图像可能包括：彩色图像、黑白图像、高光谱或者多光谱图像，彩色图像可以提取R通道图像、G通道图像、或者B通道图像，也可以提取H通道、I通道、S通道中的任一通道图像；或者，提取R通道图像和G通道图像，或者，R通道图像和B通道图像，或者，B通道图像和G通道图像，或者R通道图像、G通道图像、B通道图像三个通道的重新的加权组合形成的组合通道图像；或者H通道、I通道、S通道中的任意两个通道，进行组合形成组合通道图像，或者三个通道的重新的加权组合形成的组合通道图像。对于多光谱图像或高光谱图像，其可能包括3个以上的通道，例如包括10个通道，则从上述3个以上的通道中提取一个通道或多个通道进行加权组合，以获得单一通道图像，或组合通道图像。在其他的情况下，还可以对分离出的单一通道图像或组合通道图像进行归一化或增强处理，以达到图像特征增强目的。
S112：对单一通道图像，或多个通道的组合通道图像，使用阈值分割法得到基础血管区域图像。作为举例，阈值分割法可以包括以下一种或多种方法的组合：基于点的全局阈值法，基于区域的全局阈值方法、动态阈值分割方法、局部阈值分割方法、多阈值分割方法、自适用阈值分割方法、OTSU阈值分割方法(大津阈值分割法)。
S113：基于blob分析，对基础血管区域图像中的错误区域进行去除，获得包括主血管和毛细血管在内的血管预选区域图像。
具体地，本步骤可以使用长度、宽度、矩形度、圆度、色度、亮度、饱和度等特征(blob分析用到的特征)的阈值范围去除部分错误区域，并区分出主血管和毛细血管的预选区域。通过blob分析可以对条状出血、噪声等进行去除。
在一些可能的实施例中，步骤S110可以包括：对眼底图像进行提取ROI、增强处理、归一化处理和去燥处理后，再执行上述步骤S111-S113。
图3A是本发明实施例作为一个举例的原始眼底图像图；图3B是本发明实施例作为一个举例的提取感兴趣区域ROI的示意图；图3C是本发明实施例作为一个举例的经过增强处理后的血管增强图；图3D是本发明实施例作为一个举例的经过阈值分割法和blob分析处理后得到的血管预选区域图像；图3E是本发明实施例作为一个举例的整体血管区域图像；图3F是本发明实施例作为一个举例的提取的亚像素级精度的血管中心线的局部放大图像；图3G是本发明实施例作为一个举例的亚像素级眼底血管图像(血管分割图)的局部放大图像。结合参阅图3A-图3G，本发明实施例的眼底图像的血管分割方法，通过人工智能深度学习血管提取算法和模型，可以对本发明的基于计算机视觉技术提取到的眼底血管图像进行修正，进一步防止误提取，通过计算机视觉技术和深度学习技术相结合，提高了眼底血管的提取精度，达到了亚像素级及以上的提取精度，从而可以满足高精度定量化疾病筛查分析的要求。
图4是本发明实施例的步骤S120的细化流程图。如图4所示，步骤S120可以包括如下步骤：
S121：根据特征提取算子，计算血管预选区域图像中每个像素点的特征值和特征向量；
S122：根据每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；
S123：根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像；
S124：根据对第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像；
S125：根据第二种子点图像上的多个种子点，获得血管预选区域图像的血管中心线。
在一些替代性实施例中，S120提取血管预选区域图像的血管中心线，可被替换为：提取整体血管区域图像的血管中心线。上述提取整体血管区域图像的血管中心线，具体可以包括如下步骤：根据特征提取算子，计算整体血管区域图像中每个像素点的特征值和特征向量。根据整体血管区域图像中每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移。根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像。根据对第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像。根据第二种子点图像上的多个种子点，获得血管预选区域图像的血管中心线。
在一些实施例中，在根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像之后，还包括：去除第一种子点图像中包含的灰度一致的虚检测区域。
在一些实施例中，步骤S123根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像，具体可以包括：根据特征向量和垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一血管种子图像。
在一些实施例中，步骤S124根据对第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像，具体可以包括：根据第一种子点图像和预设的梯度阈值，对第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像。在本步骤中，选取梯度阈值，对第一种子点图像上的种子点进行筛选处理，选择梯度值满足预设条件的种子点，例如去掉梯度值在该预设的梯度阈值以下的种子点或像素点，获得梯度值大于或等于该梯度阈值的种子点，这些被筛选出的多个种子点形成第二种子点图像，通过上述步骤可以获得满足要求的种子点，去除一些非中心线点。
在一些实施例中，特征提取算子可以包括如下中的任意一种或任意多种的组合：Laplace算子、角点检测算法、Zuniga-Haralick定位算子、Hessian矩阵、Log算子(高斯拉普拉斯，Laplacian of Gaussian)。
在一些实施例中，步骤S122-S123具体可以包括：采用如下公式计算垂直血管方向的亚像素级位移：
Figure BDA0002920752500000111
其中，n是每个像素点的特征向量，nx为每个像素点的特征向量n在x轴上的分量，ny为每个像素点的特征向量n在y轴上的分量；fx、fy为一阶偏导数，fxx、fxy、fyy为二阶偏导数。
在一些实施例中，根据第二种子点图像上的多个种子点，获得血管预选区域图像的血管中心线，具体可以包括：采用最小化代价函数和/或插值函数，将第二种子点图像上的多个种子点连接成血管中心线。作为举例，该插值函数可以包括如下函数中的任意一种或任意多种函数的组合：线性插值，三次卷积插值，最小二乘插值，牛顿插值，拉格朗日插值。通过上述方法，可获得亚像素级别或以上精度的血管中心线。
图5是本发明实施例的步骤S120’的细化流程图。如图5所示，与图4相比，步骤S120’的不同之处在于，还可以包括如下步骤：
S126：将提取得到的血管中心线片段进行组合；
S127：对组合后的血管中心线进行平滑处理，去除噪声引起的错误血管中心线片段。上述的组合和平滑是进行筛选和连接，然后再基于插值算法进行平滑，使得图像变得圆滑一些。
在一些实施例中，S130中对血管预选区域图像进行图像分割处理，获得整体血管区域图像，具体可以包括如下步骤：
对血管预选区域图像中多个区域的血管进行多尺度特征分析；该多尺度特征分析是指选取多个不同的图像特征进行组合识别提取相应的血管。
将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像。
在一些实施例中，对血管预选区域图像中多个区域的血管进行多尺度特征分析，具体可以包括如下步骤：
基于第一尺度特征分析，提取视盘区域的主血管；作为示例，第一尺度特征包括如下中的任意一个或多个相组合的特征：血管最大管径宽度，面积，线长，角度，圆度等图像特征。
基于第二尺度特征分析，提取黄斑区域的毛细血管；作为示例，可以采用深度学习目标检测识别黄斑区域。
基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；作为示例，边缘区域包括离图像中心比较远的区域。
基于第四尺度特征分析，提取异常血管；作为示例，识别并提取弯曲度异常、或者颜色异常的血管。高血压患者血管通常泛白，泛亮，正常情况下血管相对于背景是泛红，泛暗的。
基于第五尺度特征分析，去除噪声和/或条状出血的干扰。例如，根据噪声和条状出血的非线性特征，包括圆度、矩形度等特征，对噪声和条状出血进行筛选过滤处理。
图1B是本发明实施例的另一种高精度眼底血管提取方法的流程图。如图1B所示，在进一步的实施例中，不同之处在于，图1B的方法还包括如下步骤：
S135：根据血管中心线确定血管的亚像素边界。
S140：根据整体血管区域图像和血管中心线，获得第一眼底血管图像，可以被替换为S140’：根据整体血管区域图像和血管的亚像素边界，获得第一眼底血管图像。
上述步骤S120和步骤S130的执行顺序可以调换位置，或者两者同时执行。
图1C是本发明实施例的又一种高精度眼底血管提取方法的流程图。如图1C所示，在进一步的实施例中，不同之处在于，图1C的方法还包括如下步骤：
S135：根据血管中心线确定血管的亚像素边界。
S140：根据整体血管区域图像和血管中心线，获得眼底血管图像，具体包括：
S140”：根据整体血管区域图像、血管中心线和血管的亚像素边界，获得第一眼底血管图像。
图6是本发明实施例的步骤S140的细化流程图。如图6所示，步骤S135具体可以包括如下步骤：
S135-1：利用垂直于血管中心线的方向对眼底血管进行截取处理，根据灰度值变化拐点确定血管中心线上每个像素点对应的两个边缘点；
S135-2：根据边缘点的位置信息确定血管的亚像素边界。本步骤中可以利用每个点的位置信息，将处于相同侧的边缘点连成线条，以确定血管的亚像素边界。
在另一可选实施例中，根据血管中心线确定每个血管的亚像素边界，具体包括：从眼底图像中获取眼底血管对应的血管中心线；根据血管中心线，确定包含眼底血管的目标区域；根据边缘提取算子，提取目标区域内的血管的亚像素边界。该边缘提取算子包括如下中的任意一种或者任意多种的组合：Sobel算子、Canny算子、mshen算子、Prewitt算子、Roberts算子。
图7是本发明实施例的一种高精度眼底血管提取装置的功能框图。如图7所示，该装置200包括：
血管粗提取处理模块210，用于根据眼底图像获得血管预选区域图像；
血管中心线提取模块220，用于提取血管预选区域图像的血管中心线；
血管精细分割处理模块230，用于对血管预选区域图像进行图像分割处理，获得整体血管区域图像；
第一眼底血管图像获得模块240，用于根据整体血管区域图像和血管中心线，获得第一眼底血管图像；
第二眼底血管图像提取模块250，用于根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；
联合处理模块260，用于根据第一眼底血管图像和第二眼底血管图像，获得最终的血管分割图像。
图8是本发明实施例的一种存储介质的功能框图。如图8所示，本发明实施例还提供了一种计算机可读存储介质300，计算机可读存储介质300内存储有计算机程序310，计算机程序310被处理器执行时实现如下步骤：
根据眼底图像获得血管预选区域图像；
提取血管预选区域图像的血管中心线；
对血管预选区域图像进行图像分割处理，获得整体血管区域图像；
根据整体血管区域图像和血管中心线，获得第一眼底血管图像；
根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；
根据第一眼底血管图像和第二眼底血管图像，获得最终的血管分割图像。
所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
图9是本发明实施例的一种高精度眼底血管提取设备的功能框图。如图9所示，该设备400包括一个或多个处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。
存储器，用于存放计算机程序；
一个或多个处理器，用于执行存储器上所存放的程序时，实现如下步骤：
根据眼底图像获得血管预选区域图像；
提取血管预选区域图像的血管中心线；
对血管预选区域图像进行图像分割处理，获得整体血管区域图像；
根据整体血管区域图像和血管中心线，获得第一眼底血管图像；
根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；
根据第一眼底血管图像和第二眼底血管图像，获得最终的血管分割图像。
该设备采用人工智能机器学习眼底血管分割方法和基于计算机视觉的眼底血管分割方法相结合，充分发挥了基于计算机视学方法提取眼底血管的高精度性和基于人工智能深度学习方法提取眼底血管分割图的延展性和快速性。通过将上述两种方法获得的眼底血管图像进行求交集处理，以更加高效地获得更高精度的血管分割图。
在一些可选的实施例中，上述处理器执行的处理中，根据眼底图像获得血管预选区域图像，具体可以包括：
从眼底图像中分离出单一通道图像，或多个通道的组合通道图像；
对单一通道图像，或多个通道的组合通道图像，使用阈值分割法得到基础血管区域图像；
基于blob分析，对基础血管区域图像中的错误区域进行去除，获得包括主血管和毛细血管在内的血管预选区域图像。
在一些可选的实施例中，上述处理器执行的处理中，阈值分割法可以包括以下一种或多种方法的组合：基于点的全局阈值法，基于区域的全局阈值方法、动态阈值分割方法、局部阈值分割方法、多阈值分割方法、自适用阈值分割方法、OSTU阈值分割算法。
在一些可选的实施例中，上述处理器执行的处理中，提取血管预选区域图像的血管中心线，具体可以包括：
根据特征提取算子，计算血管预选区域图像中每个像素点的特征值和特征向量；
根据每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；
根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像；
根据对第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像；
根据第二种子点图像上的多个种子点，获得血管预选区域图像的血管中心线。
在一些可选的实施例中，上述处理器执行的处理中，根据特征向量和垂直血管方向的亚像素级位移，获得包括多个种子点的第一种子点图像，具体可以包括：
根据特征向量和垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一血管种子图像。
在一些可选的实施例中，上述处理器执行的处理中，的根据对第一种子点图像的筛选处理，获得包括多个种子点的第二种子点图像，具体包括：
根据第一种子点图像和预设的梯度阈值，对第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像。
在一些可选的实施例中，上述处理器执行的处理中，特征提取算子可以包括如下中的任意一种或任意多种的组合：Laplace算子、角点检测算法、Zuniga-Haralick定位算子、Hessian矩阵、Log算子。
在一些可选的实施例中，上述处理器执行的处理中，根据特征提取算子，计算血管预选区域图像中每个像素点的特征值和特征向量；根据每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；具体可以包括：
采用如下公式计算垂直血管方向的亚像素级位移：
Figure BDA0002920752500000161
其中，n是每个像素点的特征向量，nx为特征向量n在x轴上的分量，ny为特征向量n在y轴上的分量；fx、fy为一阶偏导数，fxx、fxy、fyy为二阶偏导数。
在一些可选的实施例中，上述处理器执行的处理中，根据第二种子点图像上的多个种子点，获得血管预选区域图像的血管中心线，具体可以包括：
采用最小化代价函数和/或插值函数，将第二种子点图像上的多个种子点连接成血管中心线。
在一些可选的实施例中，上述处理器执行的处理中，在提取血管预选区域图像的血管中心线之后，还可以包括：
将提取得到的血管中心线进行组合；
对组合后的血管中心线进行平滑处理，去除噪声引起的错误血管中心线片段。
在一些可选的实施例中，上述处理器执行的处理中，对血管预选区域图像进行图像分割处理，获得整体血管区域图像，具体可以包括：
对血管预选区域图像中多个区域的血管进行多尺度特征分析；
将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像。
在一些可选的实施例中，上述处理器执行的处理中，对血管预选区域图像中多个区域的血管进行多尺度特征分析，具体可以包括：
基于第一尺度特征分析，提取视盘区域的主血管；
基于第二尺度特征分析，提取黄斑区域的毛细血管；
基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；
基于第四尺度特征分析，提取异常血管；
基于第五尺度特征分析，去除噪声和/或条状出血的干扰。
在一些可选的实施例中，上述处理器执行的处理中，还包括：根据血管中心线确定血管的亚像素边界；根据整体血管区域图像和血管中心线，获得眼底血管图像，被替换为：根据整体血管区域图像和血管的亚像素边界，获得眼底血管图像；
或者，根据整体血管区域图像和血管中心线，获得眼底血管图像，具体包括：根据整体血管区域图像、血管中心线和血管的亚像素边界，获得眼底血管图像。
在一些可选的实施例中，上述处理器执行的处理中，根据血管中心线确定血管的亚像素边界，具体可以包括：
利用垂直于血管中心线的方向对眼底血管进行截取处理，根据灰度值变化拐点确定血管中心线上每个像素点对应的两个边缘点；
根据边缘点的位置信息确定血管的亚像素边界。
在一些可选的实施例中，上述处理器执行的处理中，根据血管中心线确定血管的亚像素边界，具体可以包括：
从眼底图像中获取眼底血管对应的血管中心线；
根据血管中心线，确定包含眼底血管的目标区域；
根据边缘提取算子，提取目标区域内的血管的亚像素边界。
在一些可选的实施例中，上述处理器执行的处理中，深度学习血管特征检测模型包括如下中的任意的一种或多种：Resnet(Residual Network，残差网络)、VGGNet(VisualGeometry Group，视觉几何网络)、FCNN(Fully Convolutional Neural Networks，全卷积神经网络)、Unet神经网络、DeepLab V3+网络模型、Faster-RCNN(Faster RegionConvolutional Neural Networks，快速区域卷积神经网络)、SSD(Single Shot MultiBoxDetector，SSD目标检测算法)。
上述设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
图10是本发明实施例的一种高精度眼底血管提取系统的功能框图。如图10所示，本发明实施例还提供一种高精度眼底血管提取系统500，其包括：
眼底图像采集设备510，用于采集眼底图像。例如为眼底相机，或者配置功能类似于眼底相机的采集设备，或者是具有存储有眼底图像的数据库服务器。
云服务器520，用于根据眼底图像获得血管预选区域图像；提取血管预选区域图像的血管中心线；对血管预选区域图像进行图像分割处理，获得整体血管区域图像；根据整体血管区域图像和血管中心线，获得第一眼底血管图像；根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；根据第一眼底血管图像和第二眼底血管图像，获得最终的血管分割图像。
用户终端设备530，用于接收云服务器发送的所述最终的血管分割图像。用户终端设备530例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备、能够访问社交账户的电子设备或者这些设备中的任何设备的组合。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员也应该清楚，只需要将方法流程用几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种高精度眼底血管提取方法，其特征在于，包括：
根据眼底图像获得血管预选区域图像；
提取所述血管预选区域图像的血管中心线；
对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；所述图像分割处理用于删除所述血管预选区域图像中的多种非血管图像，所述多种非血管图像包括如下中的任意多个：出血点、条状出血、渗出、视盘边缘、非线状特征的图像、孤立分散的异常图像、噪声图像；
根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；
根据深度学习血管特征检测模型，从所述眼底图像中提取第二眼底血管图像；
根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像；
其中，所述的提取所述血管预选区域图像的血管中心线，具体包括：
根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；
根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；
根据所述特征向量和所述垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一种子点图像；
根据所述第一种子点图像和预设的梯度阈值，对所述第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像；所述第二种子点图像中的每个种子点的梯度值大于或等于所述梯度阈值；
采用最小化代价函数和/或插值函数，将所述第二种子点图像上的多个种子点连接成血管中心线，从而获得所述血管预选区域图像的血管中心线；
其中，所述的对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像，具体包括：
对所述血管预选区域图像中多个区域的血管进行多尺度特征分析，其具体包括如下步骤：基于第一尺度特征分析，提取视盘区域的主血管；所述第一尺度特征包括如下中的任意多个相组合的图像特征：血管最大管径宽度，面积，线长，角度，圆度；基于第二尺度特征分析，提取黄斑区域的毛细血管；基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；基于第四尺度特征分析，识别并提取弯曲度异常或者颜色异常的血管；以及，基于第五尺度特征分析，根据噪声和条状出血的非线性特征，对噪声和条状出血进行筛选过滤处理；
将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像。
2.根据权利要求1所述的方法，其特征在于，所述的根据眼底图像获得血管预选区域图像，具体包括：
从眼底图像中分离出单一通道图像，或多个通道的组合通道图像；
对所述单一通道图像，或多个通道的组合通道图像，使用阈值分割法得到基础血管区域图像；
基于blob分析，对所述基础血管区域图像中的错误区域进行去除，获得包括主血管和毛细血管在内的血管预选区域图像。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
根据所述血管中心线确定血管的亚像素边界；
所述的根据所述整体血管区域图像和所述血管中心线，获得眼底血管图像，被替换为：
根据所述整体血管区域图像和所述血管的亚像素边界，获得第一眼底血管图像；
或者，所述的根据所述整体血管区域图像和所述血管中心线，获得眼底血管图像，具体包括：
根据所述整体血管区域图像、所述血管中心线和所述血管的亚像素边界，获得第一眼底血管图像。
4.根据权利要求1所述的方法，其特征在于，所述特征提取算子包括如下中的任意一种或任意多种的组合：Laplace算子、角点检测算法、Zuniga-Haralick定位算子、Hessian矩阵、Log算子。
5.根据权利要求1所述的方法，其特征在于，所述的根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；具体包括：
采用如下公式计算垂直血管方向的亚像素级位移：
Figure FDA0004052077600000021
其中，n是每个像素点的特征向量，nx为特征向量n在x轴上的分量，ny为特征向量n在y轴上的分量；fx、fy为一阶偏导数，fxx、fxy、fyy为二阶偏导数。
6.根据权利要求3所述的方法，其特征在于，所述的根据所述血管中心线确定血管的亚像素边界，具体包括：
利用垂直于所述血管中心线的方向对所述眼底血管进行截取处理，根据灰度值变化拐点确定所述血管中心线上每个像素点对应的两个边缘点；
根据所述边缘点的位置信息确定血管的亚像素边界。
7.根据权利要求3所述的方法，其特征在于，所述的根据所述血管中心线确定血管的亚像素边界，具体包括：
从眼底图像中获取眼底血管对应的血管中心线；
根据所述血管中心线，确定包含眼底血管的目标区域；
根据边缘提取算子，提取所述目标区域内的血管的亚像素边界。
8.根据权利要求7所述的方法，其特征在于，所述边缘提取算子包括如下中的任意一种或者任意多种的组合：Sobel算子、Canny算子、mshen算子、Prewitt算子、Roberts算子。
9.根据权利要求1所述的方法，其特征在于，所述的深度学习血管特征检测模型包括如下中的任意的一种或多种：残差网络Resnet、视觉几何网络VGGNet、全卷积神经网络FCNN、神经网络Unet、DeepLab V3+网络模型、快速区域卷积神经网络Faster-RCNN、目标检测算法SSD。
10.根据权利要求2所述的方法，其特征在于，所述眼底图像包括：彩色眼底图像、高光谱图像或多光谱图像、荧光造影图、或者黑白图像。
11.一种高精度眼底血管提取装置，其特征在于，包括：
血管粗提取处理模块，用于根据眼底图像获得血管预选区域图像；
血管中心线提取模块，用于提取所述血管预选区域图像的血管中心线；
血管精细分割处理模块，用于对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；所述图像分割处理用于删除所述血管预选区域图像中的多种非血管图像，所述多种非血管图像包括如下中的任意多个：出血点、条状出血、渗出、视盘边缘、非线状特征的图像、孤立分散的异常图像、噪声图像；
第一眼底血管图像获得模块，用于根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；
第二眼底血管图像提取模块，用于根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；
联合处理模块，用于根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像；
其中，所述血管中心线提取模块，具体用于：
根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；
根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；
根据所述特征向量和所述垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一种子点图像；
根据所述第一种子点图像和预设的梯度阈值，对所述第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像；所述第二种子点图像中的每个种子点的梯度值大于或等于所述梯度阈值；
采用最小化代价函数和/或插值函数，将所述第二种子点图像上的多个种子点连接成血管中心线，从而获得所述血管预选区域图像的血管中心线；
其中，所述血管精细分割处理模块，具体用于：
对所述血管预选区域图像中多个区域的血管进行多尺度特征分析，其具体包括如下步骤：基于第一尺度特征分析，提取视盘区域的主血管；所述第一尺度特征包括如下中的任意多个相组合的图像特征：血管最大管径宽度，面积，线长，角度，圆度；基于第二尺度特征分析，提取黄斑区域的毛细血管；基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；基于第四尺度特征分析，识别并提取弯曲度异常或者颜色异常的血管；以及，基于第五尺度特征分析，根据噪声和条状出血的非线性特征，对噪声和条状出血进行筛选过滤处理；
将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任意一项所述的高精度眼底血管提取方法。
13.一种高精度眼底血管提取设备，其特征在于，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-10中任一所述的高精度眼底血管提取方法。
14.一种高精度眼底血管提取系统，其特征在于，包括：
眼底图像采集设备，用于采集眼底图像；
云服务器，用于根据所述眼底图像获得血管预选区域图像；提取所述血管预选区域图像的血管中心线；对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像；所述图像分割处理用于删除所述血管预选区域图像中的多种非血管图像，所述多种非血管图像包括如下中的任意多个：出血点、条状出血、渗出、视盘边缘、非线状特征的图像、孤立分散的异常图像、噪声图像；根据所述整体血管区域图像和所述血管中心线，获得第一眼底血管图像；根据深度学习血管特征检测模型，从眼底图像中提取第二眼底血管图像；根据所述第一眼底血管图像和所述第二眼底血管图像，获得最终的血管分割图像；其中，所述的提取所述血管预选区域图像的血管中心线，具体包括：根据特征提取算子，计算所述血管预选区域图像中每个像素点的特征值和特征向量；根据所述每个像素点的特征值和特征向量，计算每个像素点的垂直血管方向的亚像素级位移；根据所述特征向量和所述垂直血管方向的亚像素级位移，基于非极大值抑制算法，获得包括多个种子点的第一种子点图像；根据所述第一种子点图像和预设的梯度阈值，对所述第一种子点图像上的种子点进行筛选处理，获得包括多个种子点第二种子点图像；所述第二种子点图像中的每个种子点的梯度值大于或等于所述梯度阈值；采用最小化代价函数和/或插值函数，将所述第二种子点图像上的多个种子点连接成血管中心线，从而获得所述血管预选区域图像的血管中心线；其中，所述的对所述血管预选区域图像进行图像分割处理，获得整体血管区域图像，具体包括：对所述血管预选区域图像中多个区域的血管进行多尺度特征分析，其具体包括如下步骤：基于第一尺度特征分析，提取视盘区域的主血管；所述第一尺度特征包括如下中的任意多个相组合的图像特征：血管最大管径宽度，面积，线长，角度，圆度；基于第二尺度特征分析，提取黄斑区域的毛细血管；基于第三尺度特征分析，提取血管预选区域图像的边缘区域的血管；基于第四尺度特征分析，识别并提取弯曲度异常或者颜色异常的血管；以及，基于第五尺度特征分析，根据噪声和条状出血的非线性特征，对噪声和条状出血进行筛选过滤处理；将多尺度特征分析后提取的多个区域的或者不同类型的血管组合成整体血管区域图像；
用户终端设备，用于接收所述云服务器发送的所述最终的血管分割图像。
CN202110116250.1A 2021-01-28 2021-01-28 一种高精度眼底血管提取方法、装置、介质、设备和系统 Active CN112734774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116250.1A CN112734774B (zh) 2021-01-28 2021-01-28 一种高精度眼底血管提取方法、装置、介质、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116250.1A CN112734774B (zh) 2021-01-28 2021-01-28 一种高精度眼底血管提取方法、装置、介质、设备和系统

Publications (2)

Publication Number Publication Date
CN112734774A CN112734774A (zh) 2021-04-30
CN112734774B true CN112734774B (zh) 2023-03-21

Family

ID=75594286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116250.1A Active CN112734774B (zh) 2021-01-28 2021-01-28 一种高精度眼底血管提取方法、装置、介质、设备和系统

Country Status (1)

Country Link
CN (1) CN112734774B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344893A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 一种高精度眼底动静脉识别的方法、装置、介质和设备
CN114419081B (zh) * 2022-03-28 2022-06-21 南昌工程学院 一种图像语义分割方法、系统及可读存储介质
CN116453171A (zh) * 2023-06-09 2023-07-18 博奥生物集团有限公司 白睛区域内血脉颜色的检测方法、装置、电子设备和介质
CN117495817A (zh) * 2023-11-10 2024-02-02 佛山市禅一智能设备有限公司 一种腔镜下血管异常图像判断方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109671076A (zh) * 2018-12-20 2019-04-23 上海联影智能医疗科技有限公司 血管分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112734774A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734774B (zh) 一种高精度眼底血管提取方法、装置、介质、设备和系统
CN112734828B (zh) 一种眼底血管中心线确定的方法、装置、介质和设备
CN108133476B (zh) 一种肺结节自动检测方法及系统
US10861156B2 (en) Quality control for digital pathology slides
CN110889826A (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN112734785A (zh) 亚像素级眼底血管边界确定的方法、装置、介质和设备
US20170178341A1 (en) Single Parameter Segmentation of Images
CN112734773B (zh) 一种亚像素级眼底血管分割方法、装置、介质和设备
Almazroa et al. An automatic image processing system for glaucoma screening
Su et al. Detection of tubule boundaries based on circular shortest path and polar‐transformation of arbitrary shapes
CN113470102A (zh) 高精度测量眼底血管弯曲度的方法、装置、介质和设备
Jebaseeli et al. Extraction of retinal blood vessels on fundus images by kirsch's template and Fuzzy C-Means
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
JP2019515725A (ja) 網膜画像処理
US10943350B2 (en) Automated segmentation of histological sections for vasculature quantification
Oprisescu et al. Automatic pap smear nuclei detection using mean-shift and region growing
CN115829980A (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
Panda et al. Hausdorff symmetry operator towards retinal blood vessel segmentation
Sreelatha et al. An improved automatic detection of true comets for DNA damage analysis
Baglietto et al. Automatic segmentation of neurons from fluorescent microscopy imaging
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Wang et al. Retinal image enhancement using robust inverse diffusion equation and self-similarity filtering
CN114387218A (zh) 基于视计算的眼底特征的识别方法、装置、介质和设备
Taher et al. Applied Improved Canny Edge Detection for Diagnosis Medical Images of Human Brain Tumors
CN114387209A (zh) 眼底结构特征确定的方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant