CN113012184A - 基于Radon变换与多类型图像联合分析的微血管瘤检测方法 - Google Patents
基于Radon变换与多类型图像联合分析的微血管瘤检测方法 Download PDFInfo
- Publication number
- CN113012184A CN113012184A CN202110509198.6A CN202110509198A CN113012184A CN 113012184 A CN113012184 A CN 113012184A CN 202110509198 A CN202110509198 A CN 202110509198A CN 113012184 A CN113012184 A CN 113012184A
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- microangioma
- calculating
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于Radon变换与多类型图像联合分析的方法,属于图像处理技术领域。首先对荧光造影图像进行预处理,再利用重叠滑动窗口与Radon变换实现高连续性的血管分割,将预处理图像中的血管进行去除。再使用主成分分析法得到每个连通域的长短轴方向,计算长短轴长度比,去除线性结构,得到微血管瘤初检测结果。此外,对两类图像的血管分割结果利用SIFT与RANSAC算法进行图像配准,去除初检测结果中在彩色眼底图像对应位置红色强度低的区域,优化了微血管瘤的错检率,提高最终微血管瘤检测率。本发明同时利用彩色眼底图像与荧光造影图像在检测微血管瘤方面的优势,解决了仅利用单类图像对微血管瘤检测的局限性,提高了检测的准确率。
Description
技术领域
本发明涉及糖尿病视网膜病变中的微血管瘤检测技术领域,尤其是一种基于Radon变换与多类型图像联合分析的微血管瘤检测方法。
背景技术
糖尿病视网膜病变(diabetic retinopathy,DR)是糖尿病最主要的并发症之一。DR在早期时患者不会出现明显的症状,当患者明显感觉到眼部出现不适时,DR已发展到中后期,患者将较快地出现明显的视力下降。因此在早期实现DR的检测,尽早对患者实施治疗措施,对延缓患者病情的恶化、尽可能地保护患者视力有着非常重要的意义。微血管瘤(microaneurysm,MA)是DR最早期阶段会出现的病变类型,检测结果中出现此类病变标志着DR的确诊,因此MA的诊断是DR早期筛查中最重要的工作。而在糖尿病患者人数日渐增高的情况下,眼底筛查图像数量也呈指数型上涨。在海量数据中,90%以上的图像是健康的视网膜图像,且MA尺寸非常小,数量多,出现位置随机,诊断难度极大。因此,在大量重复性读片的工作当中凭借医生的人工诊断非常容易出现误诊漏诊,这也是糖网早期筛查工作中面临的最大挑战。故通过计算机图像处理等相关技术对MA进行检测,以降低医生的负担,提高DR早期筛查率。
微血管瘤在彩色眼底图像中呈小尺寸红色圆形点状。由于微血管瘤尺寸太小,亮度较低,数量众多,且小规模出血以及细小血管等在特征上与微血管瘤有许多的相似之处,容易对微血管瘤的检测造成干扰,因此对微血管瘤的检测是一项具有挑战的工作。近几年国内外的学者们都开始重视对微血管瘤的检测。
Quellec等提出了一种检测红色病变的滤波框架,由一组最优滤波器生成最优特征空间,利用分类器计算的疾病风险,采用自定义的阈值分割的方法分割红色病变;Pereira采用中值滤波对背景图像和前景图像进行分离,采用高斯滤波对图像进行增强,该算法首先对图像的分割过程和MA进行分割,然后对其区域进行分析,并尝试进行区域融合,最后提取MA的特征;Srivastava等将取反的绿色通道图像分成大小相等的小块,从中提取特征并生成特征向量,构造核函数后利用SVM分类器对病变进行预测;Roberto Rosas-Romero等提出了一种形态学检测MA的方法,在利用二维底帽变换提取候选区域后,用hit-or-miss变换对血管进行去除,分别将PCA求得比值与Radon变换的结果作为特征放入感知机进行分类;Z Wei等提出了一种用于滤波增强的滑动带通滤波器,获得一组初始滤波候选信号后将带有颜色、对比度和形状信息的滤波器响应组合起来,由集成分类器来进行最终分类;
Noushin Eftekhari等提出了一种基于卷积神经网络的视网膜图像自动分析MA的方法,采用两阶段的训练策略,利用卷积神经网络的特点,从图像中结构与MA相似的信息中选择MA候选点,然后用CNN检测MA和非MA点;L Qiao等提出的微血管瘤诊断系统采用以深度学习为核心的CNN算法,借助GPU进行加速处理,再利用语义分割算法将眼底图像分为正常和感染两类。根据图像像素的共同语义对其进行分割,以识别微血管瘤的特征。
但目前MA检测的相关研究均是在彩色眼底图像的基础上进行的,由于MA太小,在彩色眼底图像上也并不显著,极易受到细小血管与微小出血点的影响,特异性特征较少,因此传统机器学习的方法效果有限。此外,大规模的区分和标定MA的难度很大,导致深度学习的训练样本过少,难以满足深度学习的要求,这都使得基于彩色眼底图像的MA检测的检测率提高十分困难。
然而经研究发现,荧光造影图像中与血液相关的病变及血管具有随时间变化逐渐呈现高荧光的特性。其中,MA呈高亮度圆形小点状,与背景有着很高的对比度,在图中类似满天星的特性使得荧光造影图像在检测MA方面具有很大的优势。但在早年间,由于荧光造影设备的不普及,荧光造影图像数据非常缺乏,导致基于荧光造影图像的DR相关研究也非常少。近年来,虽然荧光造影图像的数据量随着荧光造影设备的普及有所上升,但与其相关的研究仍处于起步阶段,还未形成成熟的MA检测算法。
发明内容
本发明的目的在于:本发明提供了一种基于Radon变换与多类型图像联合分析的方法,利用荧光造影图像对微血管瘤检测的优势对微血管瘤进行初步的检测,同时利用彩色眼底图像中微血管瘤的红色特征,对检测结果进一步优化。克服了微血管瘤在彩色眼底图像中与背景区分度不足,检测易受到细小血管与微小出血点的影响,导致现有方法对微血管瘤的检测效果存在一定局限性的问题。
本发明采用的技术方案如下:
一种基于Radon变换与多类型图像联合分析的方法,包括如下步骤:
步骤1:对荧光造影图像进行预处理,使得处理后的图像中仅保留血管与微血管瘤,再利用重叠滑动窗口与Radon变换对每个滑动窗口的血管子图进行自适应的阈值分割,得到子图的分割结果,再将每个子图的分割结果进行融合,实现高连续性的血管分割,得到血管分割结果;
步骤2:在预处理后的图像中将血管进行去除,再对其进行阈值分割。对每个连通域,利用主成分分析法找到长短轴方向,计算长短轴长度并计算比例,对线性区域进行去除,得到微血管瘤检测结果;
步骤3:将同一病人的彩色眼底图像与荧光造影图像的血管分割结果,利用SIFT算法与RANSAC算法进行图像配准,计算单应性矩阵,再利用该矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射;
步骤4:计算基于荧光造影图像的微血管瘤检测结果在彩色眼底图像上的红色分量强度,去除非红色的区域,优化微血管瘤错检区域,提高最终的微血管瘤检测率,得到最终检测结果。
优选地,所述步骤1包括如下步骤:
步骤1.1:输入荧光造影图像,对ROI区域使用直径为n个像素的圆型结构元进行顶帽变换,同时使用对比度拉伸方法将[0.1,0.7]区间的灰度值拉伸到[0,1]区间,得到预处理后的图像;
步骤1.2:利用滑动窗口对预处理后的图像截取n×n的子图,滑动步长定为step,并制作圆形掩模以排除计算Radon变换时各个方向长度不均等的问题;
步骤1.3:对每个子图,在0~180°范围内每隔1°进行一次Radon变换,Radon变换的本质是将定义在二维平面上的一个函数f(x,y)沿着平面上的任意一条直线做线积分,具体来说,任意一条直线L可表示为xcosθ+ysinθ=p,其中,θ表示直线L的方向,p表示L上任意一点与原点的距离,L上任意一点的Radon变换的结果即为经过该点的沿着L的法线方向的直线进行线积分得到的结果,积分把所有的点(x,y)约束在了直线L上,并利用脉冲函数δ函数将其展开,则Radon变换则是关于变量θ与p的如下形式:
R(θ,p)=∫∫f(x,y)·δ(p-xcosθ+ysinθ)dxdy
步骤1.4:计算每个角度所有线Radon变换后的值中的最大R值;
步骤1.5:判断各角度的R值峰值分布是否为高斯分布,以判断当前子图是否为血管区域,具体方法为将各角度最大R值分布的峰值乘以放缩系数α,找到最大R值大于peak×α的最左侧的角度θleft和最右侧的角度θright,计算得到角度差θw=θright-θleft。若θw>30°,则不是高斯分布,窗口继续滑动;否则继续往下执行;
步骤1.6:找到所有角度中最大R值所在角度θ,对当前角度θ,观察其R值分布,找到R值大于peak×α的最左侧和最右侧的线,则此时得到了角度θ,位置为第imin根线和第imax的区间,共itotal根线;
步骤1.7:依据θ、imin及imax制作血管掩模,即血管方向为θ,血管左侧为当前方向上全图imin/itotal处的位置,血管右侧为imax/itotal处的位置,得到当前子图血管掩模;
步骤1.8:将原灰度子图计算在血管掩模处的灰度均值,将此均值作为阈值分割的阈值对原灰度子图进行二值化,并提取最大连通域,得到自适应阈值的此子图血管分割结果;
步骤1.9:将所有子图的分割结果融合,并提取最大连通域,得到最终血管分割结果。
优选地,所述步骤2包括如下步骤:
步骤2.1:在预处理后的图像中将血管去除,进行阈值分割。后续对每个连通域进行处理;
步骤2.2:对每个连通域,利用每个血管点的坐标pi=(xi,yi)制作样本矩阵X=[p1,p2,L,pn],其中n表示当前连通域中血管点的个数,并计算质心对样本矩阵X进行主成分分析,得到不同的特征值与该特征值对应的特征向量,其中,最大的特征值对应的特征向量即为第一主成分方向的单位向量,代表了当前连通域的长轴方向;第二大的特征值对应的特征向量即为第二主成分方向的单位向量,代表了当前连通域的短轴方向,提取最大两个特征值对应的特征向量E=[e1,e2],即可得到当前连通域的长短轴方向;
步骤2.3:计算每个点在长轴方向与短轴方向上的投影,计算方法如下式:
其中,yi1表示某一点在e1方向,即长轴方向上的投影;yi2表示某一点在e2方向,即短轴方向上的投影;
步骤2.5:计算长宽比,去除长宽比大于2的连通域,得到基于荧光造影图像的微血管瘤初检测结果,长宽比计算公式如下:
优选地,所述步骤3的具体步骤为:
步骤3.1:将同一病人的彩色眼底图像与荧光造影图像放缩到统一的尺寸,再分别对两类图像进行血管分割;
步骤3.2:对两类图像血管分割结果,利用SIFT算法进行关键点提取与匹配,再利用RANSAC算法对误匹配进行消除,得到用于对图像进行变换以实现图像校正的单应性矩阵:
步骤3.3:利用两类型图像血管分割配准得到的单应性矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射。
优选地,所述步骤4的具体步骤为:
步骤4.1:对彩色眼底图像的G通道进行CLAHE增强并取反,作为衡量红色分量强度的图像fR;
步骤4.2:对配准后的荧光造影图像中的每个检测结果,将其作为微血管瘤候选区映射到fR中,对每个候选区,统计区域内红色强度的均值μcandR;此外,将每个候选区膨胀一倍,统计膨胀区域的红色强度的均值μroundR,即候选区周围一圈的红色强度;
步骤4.3:当满足μcandR>1.5×μroundR时,将该候选区识别为微血管瘤,去除错检区域后即可得到最终的微血管瘤检测结果。
综上所述,由于采用了上述技术方案,本发明的有益效果:
1.本发明基于荧光造影图像对微血管瘤进行检测,利用了荧光造影图像中微血管瘤显著性较强的特点,克服了微血管瘤在彩色眼底图像中与背景区分度不足,检测易受到细小血管与微小出血点的影响,导致现有方法对微血管瘤的检测效果存在一定局限性的问题。
2.本发明利用CT三维重建的核心技术Radon变换及重叠滑动窗口技术,避免了传统图像处理方法在血管分割中易受到病变干扰的影响,实现了高连续性的血管分割,为后续病变的检测与图像配准提供了坚实的基础,提升了算法针对不同类型图像的鲁棒性,可适用范围更广。
3.本发明同时利用彩色眼底图像与荧光造影图像在检测微血管瘤方面的优势,进行多类型图像的联合分析,解决了仅利用单类图像对微血管瘤检测的局限性,提高了检测准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的流程图;
图2为本发明实施例一中步骤1.1的预处理图像;
图3为本发明实施例一中步骤1.3的Radon变换原理示意图;
图4为本发明实施例一中步骤1.4的某一子图Radon变换示意图;
图5为本发明实施例一中步骤1.5的由图4得到的各角度R值峰值分布图像;
图6为本发明实施例一中步骤1.6的由图5得到的各角度R值峰值分布中最大R值所在角度Radon变换分布图像;
图7为本发明实施例一中步骤1.7与1.8的自适应阈值分割子图血管图像;
图8为本发明实施例一中步骤1.9的血管分割结果;
图9为本发明实施例一中步骤2.1的去除血管后的二值化图像;
图10为本发明实施例一中步骤2.2的候选区长短轴方向图像;
图11为本发明实施例一中步骤2.5的微血管瘤初检测结果图像;
图12为本发明实施例一中步骤3.1的两类型图像血管分割结果图像;
图13为本发明实施例一中步骤3.2的两类型图像血管分割结果配准图像;
图14为本发明实施例一中步骤3.3的配准后的两类型图像叠加结果;
图15为本发明实施例一中步骤4.1的红色分量强度图像;
图16为本发明实施例一中步骤4.3的最终微血管瘤检测结果图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种基于Radon变换与多类型图像联合分析的微血管瘤检测方法,解决了微血管瘤在彩色眼底图像中与背景区分度不足以及检测易受到细小血管与微小出血点的影响所导致的检测准确率不高的问题;
一种基于集成学习的眼底图像硬性渗出检测方法,如图1所示,包括以下步骤:
步骤1:对荧光造影图像进行预处理,使得处理后的图像中仅保留血管与微血管瘤,再利用重叠滑动窗口与Radon变换对每个滑动窗口的血管子图进行自适应的阈值分割,得到子图的分割结果,再将每个子图的分割结果进行融合,实现高连续性的血管分割,得到血管分割结果;
步骤2:在预处理后的图像中将血管进行去除,再对其进行阈值分割。对每个连通域,利用主成分分析法找到长短轴方向,计算长短轴长度并计算比例,对线性区域进行去除,得到微血管瘤检测结果;
步骤3:将同一病人的彩色眼底图像与荧光造影图像利用SIFT算法与RANSAC算法进行图像配准,实现两类型图像位置上的一一映射;
步骤4:计算基于荧光造影图像的微血管瘤检测结果在彩色眼底图像上的红色分量强度,去除非红色的区域,优化微血管瘤错检区域,提高最终的微血管瘤检测率,得到最终检测结果。
本发明首先对荧光造影图像进行预处理,使得处理后的图像中仅保留血管与MA,再利用重叠滑动窗口与Radon变换实现了高连续性的血管分割,在预处理后的图像中将血管进行去除。再使用PCA找到每个连通域的长短轴方向,计算长短轴长度比,去除线性结构,得到微血管瘤初检测结果。对彩色眼底图像也进行血管分割后,对两类图像的血管分割结果利用SIFT与RANSAC算法进行图像配准,去除初检测结果中在彩色眼底图像对应位置红色强度低的区域,优化了微血管瘤的错检率,提高最终微血管瘤检测率。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
本发明较佳实施例提供的一种基于Radon变换与多类型图像联合分析的方法,包括以下步骤:
步骤l:对荧光造影图像进行预处理,使得处理后的图像中仅保留血管与微血管瘤,再利用重叠滑动窗口与Radon变换对每个滑动窗口的血管子图进行自适应的阈值分割,得到子图的分割结果,再将每个子图的分割结果进行融合,实现高连续性的血管分割,得到血管分割结果;
步骤1.1:输入荧光造影图像,对ROI区域使用直径为25个像素的圆型结构元进行顶帽变换,同时使用对比度拉伸方法将[0.1,0.7]区间的灰度值拉伸到[0,1]区间,得到预处理后的图像;
步骤1.2:利用滑动窗口对预处理后的图像截取30×30的子图,滑动步长定为5,并制作圆形掩模以排除计算Radon变换时各个方向长度不均等的问题;
步骤1.3:对每个子图,在0~180°范围内每隔1°进行一次Radon变换,Radon变换的本质是将定义在二维平面上的一个函数f(x,y)沿着平面上的任意一条直线做线积分,如图3所示,具体来说,任意一条直线L可表示为xcosθ+ysinθ=p,其中,θ表示直线L的方向,p表示L上任意一点与原点的距离,L上任意一点的Radon变换的结果即为经过该点的沿着L的法线方向的直线进行线积分得到的结果,积分把所有的点(x,y)约束在了直线L上,并利用脉冲函数δ函数将其展开,则Radon变换则是关于变量θ与p的如下形式:
R(θ,p)=∫∫f(x,y)·δ(p-xcosθ+ysinθ)dxdy
步骤1.4:计算每个角度所有线Radon变换后的值中的最大R值,如图4所示的角度中的第20根线的R值是最大的,因为它穿过的像素值积分明显最大;
步骤1.5:判断各角度的R值峰值分布是否为高斯分布以判断当前子图是否为血管区域,如图5所示。具体方法为将各角度最大R值分布的峰值乘以放缩系数α,找到最大R值大于peak×α的最左侧的角度θleft和最右侧的角度θright,计算得到角度差θw=θright-θleft。若θw>30°,则不是高斯分布,窗口继续滑动;否则继续往下执行;
步骤1.6:找到所有角度中最大R值所在角度θ,如图5中约为61°(血管方向为-29°)。对当前角度θ,观察其R值分布,如图6所示。找到R值大于peak×α的最左侧和最右侧的线(如图4中第19和第21根线的R值分别对应图6中的P(imin)和P(imax),共50根线)。则此时得到了角度θ,位置为第imin根线和第imax的区间;
步骤1.7:依据θ、imin及imax制作血管掩模。以图4为例,即血管方向为θ=-29°,血管左侧为当前方向上全图19/50处的位置,血管右侧为21/50处的位置,得到当前子图的血管掩模,如图7所示;
步骤1.8:将原灰度子图计算在血管掩模处的灰度均值,将此均值作为阈值分割的阈值对原灰度子图进行二值化,并提取最大连通域,得到自适应阈值的此子图的血管分割结果,如图7所示;
步骤1.9:将所有子图的分割结果融合,并提取最大连通域,得到最终血管分割结果,如图8所示;
步骤2:在预处理后的图像中将血管进行去除,再对其进行阈值分割。对每个连通域,利用主成分分析法找到长短轴方向,计算长短轴长度并计算比例,对线性区域进行去除,得到微血管瘤检测结果;
步骤2.1:在预处理后的图像中将血管去除,进行阈值分割,如图9所示。后续对每个连通域进行处理;
步骤2.2:对每个连通域,利用每个血管点的坐标pi=(xi,yi)制作样本矩阵X=[p1,p2,L,pn],其中n表示当前连通域中血管点的个数,并计算质心对样本矩阵X进行主成分分析,得到不同的特征值与该特征值对应的特征向量。其中,最大的特征值对应的特征向量即为第一主成分方向的单位向量,代表了当前连通域的长轴方向;第二大的特征值对应的特征向量即为第二主成分方向的单位向量,代表了当前连通域的短轴方向。提取最大两个特征值对应的特征向量E=[e1,e2],即可得到当前连通域的长短轴方向,如图10所示;
步骤2.3:计算每个点在长轴方向与短轴方向上的投影,计算方法如下式:
其中,yi1表示某一点在e1方向,即长轴方向上的投影;yi2表示某一点在e2方向,即短轴方向上的投影;
步骤2.5:计算长宽比,去除长宽比大于2的连通域,得到基于荧光造影图像的微血管瘤初检测结果,如图11所示。长宽比计算公式如下:
步骤3:将同一病人的彩色眼底图像与荧光造影图像的血管分割结果,利用SIFT算法与RANSAC算法进行图像配准,计算单应性矩阵,再利用该矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射;
步骤3.1:将同一病人的彩色眼底图像与荧光造影图像放缩到统一的尺寸,再分别对两类图像进行血管分割,分割结果如图12所示;
步骤3.2:对两类图像血管分割结果,利用SIFT算法进行关键点提取与匹配,再利用RANSAC算法对误匹配进行消除,得到用于对图像进行变换以实现图像校正的单应性矩阵,配准结果如图13所示;
步骤3.3:利用两类型图像血管分割配准得到的单应性矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射。彩色眼底图像与变换后的荧光造影图像叠加结果如图14所示;
步骤4:计算基于荧光造影图像的检测结果在彩色眼底图像上的红色分量强度,去除非红色的区域,利用两类图像进行联合分析,优化MA错检率,提高最终的MA检测率。
步骤4.1:对彩色眼底图像的G通道进行CLAHE增强并取反,作为衡量红色分量强度的图像fR,如图15所示;
步骤4.2:对配准后的荧光造影图像中的每个检测结果,将其作为微血管瘤候选区映射到fR中,对每个候选区,统计区域内红色强度的均值μcandR;此外,将每个候选区膨胀一倍,统计膨胀区域的红色强度的均值μroundR,即候选区周围一圈的红色强度;
步骤4.3:当满足μcandR>1.5×μroundR时,将该候选区识别为微血管瘤,结果如图16所示。去除错检区域后即可得到最终的微血管瘤检测结果。
通过本发明的方法,利用荧光造影图像在检测微血管瘤方面的优势,避免了微血管瘤在彩色眼底图像中与背景区分度不足与检测易受到细小血管与微小出血点的影响导致的检测率不高的问题。并结合图像配准技术,对两类图像进行联合分析,在荧光造影图像检测的基础上,还利用了微血管瘤在彩色眼底图像中的红色特征,去除了部分错检区域,对检测结果进行了进一步优化,提高了检测准确率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于Radon变换与多类型图像联合分析的方法,其特征在于,包括如下步骤:
步骤1:对荧光造影图像进行预处理,使得处理后的图像中仅保留血管与微血管瘤,再利用重叠滑动窗口与Radon变换对每个滑动窗口的血管子图进行自适应的阈值分割,得到子图的分割结果,再将每个子图的分割结果进行融合,实现高连续性的血管分割,得到血管分割结果;
步骤2:在预处理后的图像中将血管进行去除后再进行阈值分割,对每个连通域,利用主成分分析法找到长短轴方向,计算长短轴长度并计算比例,对线性区域进行去除,得到微血管瘤检测结果;
步骤3:将同一病人的彩色眼底图像与荧光造影图像的血管分割结果,利用SIFT算法与RANSAC算法进行图像配准,计算单应性矩阵,再利用该矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射;
步骤4:计算基于荧光造影图像的微血管瘤检测结果在彩色眼底图像上的红色分量强度,去除非红色的区域,优化微血管瘤错检区域,提高最终的微血管瘤检测率,得到最终检测结果。
2.根据权利要求1所述的一种基于Radon变换与多类型图像联合分析的方法,其特征在于:所述步骤1包括如下步骤:
步骤1.1:输入荧光造影图像,对ROI区域使用直径为n个像素的圆型结构元进行顶帽变换,同时使用对比度拉伸方法将[0.1,0.7]区间的灰度值拉伸到[0,1]区间,得到预处理后的图像;
步骤1.2:利用滑动窗口对预处理后的图像截取n×n的子图,滑动步长定为step,并制作圆形掩模以排除计算Radon变换时各个方向长度不均等的问题;
步骤1.3:对每个子图,在0~180°范围内每隔1°进行一次Radon变换,Radon变换的本质是将定义在二维平面上的一个函数f(x,y)沿着平面上的任意一条直线做线积分,具体来说,任意一条直线L可表示为xcosθ+ysinθ=p,其中,θ表示直线L的方向,p表示L上任意一点与原点的距离,L上任意一点的Radon变换的结果即为经过该点的沿着L的法线方向的直线进行线积分得到的结果,积分把所有的点(x,y)约束在了直线L上,并利用脉冲函数δ函数将其展开,则Radon变换则是关于变量θ与p的如下形式:
R(θ,p)=∫∫f(x,y)·δ(p-xcosθ+ysinθ)dxdy
步骤1.4:计算每个角度所有线Radon变换后的值中的最大R值;
步骤1.5:判断各角度的R值峰值分布是否为高斯分布,以判断当前子图是否为血管区域,具体方法为将各角度最大R值分布的峰值乘以放缩系数α,找到最大R值大于peak×α的最左侧的角度θleft和最右侧的角度θright,计算得到角度差θw=θright-θleft,若θw>30°,则不是高斯分布,窗口继续滑动;否则继续往下执行;
步骤1.6:找到所有角度中最大R值所在角度θ,对当前角度θ,观察其R值分布,找到R值大于peak×α的最左侧和最右侧的线,则此时得到了角度θ,位置为第imin根线和第imax的区间,共itotal根线;
步骤1.7:依据θ、imin及imax制作血管掩模,即血管方向为θ,血管左侧为当前方向上全图imin/itotal处的位置,血管右侧为imax/itotal处的位置,得到当前子图血管掩模;
步骤1.8:将原灰度子图计算在血管掩模处的灰度均值,将此均值作为阈值分割的阈值对原灰度子图进行二值化,并提取最大连通域,得到自适应阈值的此子图血管分割结果;
步骤1.9:将所有子图的分割结果融合,并提取最大连通域,得到最终血管分割结果。
3.根据权利要求1所述的一种基于Radon变换与多类型图像联合分析的方法,其特征在于:所述步骤2包括如下步骤:
步骤2.1:在预处理后的图像中将血管去除,进行阈值分割,后续对每个连通域进行处理;
步骤2.2:对每个连通域,利用每个血管点的坐标pi=(xi,yi)制作样本矩阵X=[p1,p2,L,pn],其中n表示当前连通域中血管点的个数,并计算质心对样本矩阵X进行主成分分析,得到不同的特征值与该特征值对应的特征向量,其中,最大的特征值对应的特征向量即为第一主成分方向的单位向量e1,代表了当前连通域的长轴方向;第二大的特征值对应的特征向量即为第二主成分方向的单位向量e2,代表了当前连通域的短轴方向,提取最大两个特征值对应的特征向量E=[e1,e2],即可得到当前连通域的长短轴方向;
步骤2.3:计算每个点在长轴方向与短轴方向上的投影,计算方法如下式:
其中,yi1表示某一点在e1方向,即长轴方向上的投影;yi2表示某一点在e2方向,即短轴方向上的投影;
步骤2.5:计算长宽比,去除长宽比大于2的连通域,得到基于荧光造影图像的微血管瘤初检测结果,长宽比计算公式如下:
4.根据权利要求1所述的一种基于Radon变换与多类型图像联合分析的方法,其特征在于:所述步骤3包括如下步骤:
步骤3.1:将同一病人的彩色眼底图像与荧光造影图像放缩到统一的尺寸,再分别对两类图像进行血管分割;
步骤3.2:对两类图像血管分割结果,利用SIFT算法进行关键点提取与匹配,再利用RANSAC算法对误匹配进行消除,得到用于对图像进行变换以实现图像校正的单应性矩阵;
步骤3.3:利用两类型图像血管分割配准得到的单应性矩阵对荧光造影图像进行变换,实现两类型图像位置上的一一映射。
5.根据权利要求1所述的一种基于Radon变换与多类型图像联合分析的方法,其特征在于:所述步骤4的具体步骤为:
步骤4.1:对彩色眼底图像的G通道进行CLAHE增强并取反,作为衡量红色分量强度的图像fR;
步骤4.2:对配准后的荧光造影图像中的每个检测结果,将其作为微血管瘤候选区映射到fR中,对每个候选区,统计区域内红色强度的均值μcandR;此外,将每个候选区膨胀一倍,统计膨胀区域的红色强度的均值μroundR,即候选区周围一圈的红色强度;
步骤4.3:当满足μcandR>1.5×μroundR时,将该候选区识别为微血管瘤,去除错检区域后即可得到最终的微血管瘤检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110509198.6A CN113012184B (zh) | 2021-05-11 | 2021-05-11 | 基于Radon变换与多类型图像联合分析的微血管瘤检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110509198.6A CN113012184B (zh) | 2021-05-11 | 2021-05-11 | 基于Radon变换与多类型图像联合分析的微血管瘤检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012184A true CN113012184A (zh) | 2021-06-22 |
CN113012184B CN113012184B (zh) | 2023-05-05 |
Family
ID=76381000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110509198.6A Active CN113012184B (zh) | 2021-05-11 | 2021-05-11 | 基于Radon变换与多类型图像联合分析的微血管瘤检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012184B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863146A (zh) * | 2023-06-09 | 2023-10-10 | 强联智创(北京)科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488799A (zh) * | 2015-11-27 | 2016-04-13 | 天津工业大学 | 彩色眼底图像微动脉瘤自动检测方法 |
CN109758113A (zh) * | 2019-01-15 | 2019-05-17 | 北京端点医药研究开发有限公司 | 一种基于图像识别的视网膜病变定量分析系统 |
CN110853009A (zh) * | 2019-11-11 | 2020-02-28 | 北京端点医药研究开发有限公司 | 基于机器学习的视网膜病理图像分析系统 |
CN110930346A (zh) * | 2018-08-31 | 2020-03-27 | 福州依影健康科技有限公司 | 一种眼底图像微血管瘤自动检测方法及存储设备 |
US20200184648A1 (en) * | 2018-12-05 | 2020-06-11 | Stmicroelectronics S.R.L. | Image processing method and corresponding system |
US10984530B1 (en) * | 2019-12-11 | 2021-04-20 | Ping An Technology (Shenzhen) Co., Ltd. | Enhanced medical images processing method and computing device |
-
2021
- 2021-05-11 CN CN202110509198.6A patent/CN113012184B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488799A (zh) * | 2015-11-27 | 2016-04-13 | 天津工业大学 | 彩色眼底图像微动脉瘤自动检测方法 |
CN110930346A (zh) * | 2018-08-31 | 2020-03-27 | 福州依影健康科技有限公司 | 一种眼底图像微血管瘤自动检测方法及存储设备 |
US20200184648A1 (en) * | 2018-12-05 | 2020-06-11 | Stmicroelectronics S.R.L. | Image processing method and corresponding system |
CN109758113A (zh) * | 2019-01-15 | 2019-05-17 | 北京端点医药研究开发有限公司 | 一种基于图像识别的视网膜病变定量分析系统 |
CN110853009A (zh) * | 2019-11-11 | 2020-02-28 | 北京端点医药研究开发有限公司 | 基于机器学习的视网膜病理图像分析系统 |
US10984530B1 (en) * | 2019-12-11 | 2021-04-20 | Ping An Technology (Shenzhen) Co., Ltd. | Enhanced medical images processing method and computing device |
Non-Patent Citations (3)
Title |
---|
S WIFRED FRANKLIN等: "computerized screening of diabetic retinopathy employing blood vessel segmentation in retinal image" * |
周宇: "糖网图像病变检测与分级技术研究" * |
雷印胜;王明时;秦然;: "基于Gabor滤波器虚部的CT脑血管医学图像边缘特征提取方法" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863146A (zh) * | 2023-06-09 | 2023-10-10 | 强联智创(北京)科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
CN116863146B (zh) * | 2023-06-09 | 2024-03-08 | 强联智创(北京)科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113012184B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shen et al. | Domain-invariant interpretable fundus image quality assessment | |
Lazar et al. | Retinal microaneurysm detection through local rotating cross-section profile analysis | |
Jitpakdee et al. | A survey on hemorrhage detection in diabetic retinopathy retinal images | |
Lu et al. | Automatic optic disc detection from retinal images by a line operator | |
CN109635846B (zh) | 一种多类医学图像判断方法和系统 | |
US6246782B1 (en) | System for automated detection of cancerous masses in mammograms | |
JP6231885B2 (ja) | 頸部を検査する医療機器 | |
CN108986106A (zh) | 面向青光眼临床诊断的视网膜血管自动分割方法 | |
Rossant et al. | A morphological approach for vessel segmentation in eye fundus images, with quantitative evaluation | |
CN108109159B (zh) | 一种基于hessian矩阵和区域增长相结合的视网膜血管分割系统 | |
Jaafar et al. | Automated detection of red lesions from digital colour fundus photographs | |
CN112102385B (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准系统 | |
CN114708258B (zh) | 一种基于动态加权注意力机制的眼底图像检测方法及系统 | |
Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
CN105488799A (zh) | 彩色眼底图像微动脉瘤自动检测方法 | |
CN113012184B (zh) | 基于Radon变换与多类型图像联合分析的微血管瘤检测方法 | |
CN108665474B (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
Zhou et al. | A novel approach for red lesions detection using superpixel multi-feature classification in color fundus images | |
Salem et al. | Unsupervised segmentation of retinal blood vessels using a single parameter vesselness measure | |
Ali et al. | Segmenting retinal blood vessels with gabor filter and automatic binarization | |
Desiani et al. | A robust techniques of enhancement and segmentation blood vessels in retinal image using deep learning | |
Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
Mano | Contrast Enhanced Superpixel Based Segmentation Of Retinal Images | |
CN112560911A (zh) | 中医舌图像分类方法及系统 | |
Shetty et al. | Melanoma decision support system for dermatologist |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |