CN116485736A - 基于深度学习的眼底视网膜图像异常区域检测方法及系统 - Google Patents
基于深度学习的眼底视网膜图像异常区域检测方法及系统 Download PDFInfo
- Publication number
- CN116485736A CN116485736A CN202310389587.9A CN202310389587A CN116485736A CN 116485736 A CN116485736 A CN 116485736A CN 202310389587 A CN202310389587 A CN 202310389587A CN 116485736 A CN116485736 A CN 116485736A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- abnormal region
- fundus retina
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 100
- 210000001525 retina Anatomy 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000001228 spectrum Methods 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000007306 turnover Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 208000032843 Hemorrhage Diseases 0.000 description 5
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 208000009905 Neurofibromatoses Diseases 0.000 description 1
- 206010043189 Telangiectasia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 125000003473 lipid group Chemical group 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 201000004931 neurofibromatosis Diseases 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 208000009056 telangiectasis Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的眼底视网膜图像异常区域检测方法及系统,应用于图像处理技术领域,首先,对于RGB图处理时,在YOLOv3模型的基础上加入位置信息和引入注意力机制,得到疑似异常区域;其次,根据疑似异常区域的RGB图像配准对应的眼底视网膜无赤光图像,精准配准减少了无用数据的计算,同时引入新的F通道对于图像中相近或相同颜色识别提高了准确率,降低了冗余数据的干扰;最后,得到眼底视网膜无赤光图像过程中的残差注意力模块既能很好地保留原始特征的特性,又能使原始特征具有绕过软掩膜分支的能力,从而直接前馈到最顶层来削弱分支的特征筛选能力,能够很容易的将模型的深度达到很深的层次,具有非常好的性能。
Description
技术领域
本发明涉及图像处理技术领域,更具体的说是涉及基于深度学习的眼底视网膜图像异常区域检测方法及系统。
背景技术
在医学上,糖尿病视网膜性病变的主要异常表现有微动脉瘤(microaneurysms)、出血(hemorrhages)、软渗出(soft exudates)和硬渗出(hard exudates)等。其中,微动脉瘤是糖尿病视网膜性病变最早期的临床可见变化,是由局部毛细血管扩张引起的,在眼底图像中表现为红色小点;出血包括微血管瘤破裂引起的出血、神经纤维层出血以及视网膜前出血;软渗出是神经纤维层的微小梗塞,表现为白色的边缘模糊的块状;硬渗出是由毛细血管浆液渗漏的脂质残留物组成的黄色斑点,边缘清晰可见。
如前所述,当前用于检测糖尿病视网膜病变相关的这些异常区域的计算机辅助检测算法存在需要大量先验知识、检测准确率差等问题,尤其是当获取眼底图像时,对于过度曝光或眼部基础疾病影响拍摄等等均会导致异常区域的检测不准确。
然而,视网膜性病变相关异常区域的识别对于计算机辅助诊断可起到很好的帮助作用;
由此,如何提供一种能够眼底视网膜图像异常区域检测方法及系统是本领域技术人员急需解决的问题。
发明内容
有鉴于此,本发明提供了一种能够实现眼底视网膜图像异常区域检测的方法及系统,以解决背景技术中的问题。
为了实现上述目的,本发明提供如下技术方案:
一方面,基于深度学习的眼底视网膜图像异常区域检测方法,具体步骤如下:
获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
构建异常区域检测初步模型,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
将所述彩色图像输入所述异常区域检测初步模型中,得到感兴趣区域,即为疑似异常区域;
将所述疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现二次识别,得到异常区域检测模型;
输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,得到所述眼底视网膜无赤光图像具体步骤如下:
输入一幅RGB图像,并对其进行处理,得到浅层特征信息;
将所述浅层特征信息进入残差注意力模块中,获取深层次特征信息;其中,所述残差注意力模块在残差块部分引入掩膜分支,将局部信息与原始特征的全局信息进行融合;(将残差注意模块提取的RGB图像的局部信息与RGB图像的全局信息进行融合得到深层次特征信息)
将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息,所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块;
将更深层次的所述特征信息与所述浅层特征信息相加,得到新特征并输出;
将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系,而后得到眼底视网膜无赤光图像。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,所述残差注意力模块包括主干和软掩膜分支;主干是残差操作,软掩膜用于生成注意力因子,然后与主干的输出相乘,采用残差学习思想将主干的输出与结合注意力因子的结果相加,最终构成残差注意力模块。
其中,注意力因子根据常见的眼底视网膜图像中异常位置、异常图像匹配生成注意力因子。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,最优非局域模块利用Argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,确定疑似异常区域具体步骤如下:
将所述彩色图像进行特征提取得到第一特征图,并引入位置信息,将所述第一特征图与所述位置信息相加得到第二特征图;
利用所述注意力模块对所述第二特征图每个位置进行编码;
将注意力模块的编码特征图与第一特征图串联,得到疑似异常区域。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下:
对所述第二特征图每一个位置的向量X(i,j)进行线性变换,得到三个不同的向量A(i,j),B(i,j),C(i,j),公式为:
A(i,j)=X(i,j)×A;
B(i,j)=X(i,j)×B;
C(i,j)=X(i,j)×C;
其中,A、B、C分别表示可学习的变换矩阵;×表示矩阵乘法;i,j表示每个位置的坐标;
任取其中两个变换后的向量的点积,构建加权系数,其公式表示为:
根据加权系数确定编码特征图为C(i,j)*ω。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,实现进行二次识别,得到异常区域检测模型具体步骤如下:
根据确定的疑似异常区域,提取相应区域的眼底视网膜无赤光图像;
构建RGB图像对应的光谱差值矩阵,将疑似异常区域遍历,对每个像素点的光谱波长最大值均值化处理,得到RGB图像对应的光谱差值矩阵;
将所述光谱差值矩阵作为一个通道,为F通道,再把相对应的RGB图像3个通道与F通道进行合并,生成一个关于异常区域的4通道的融合特征图像。
优选的,在上述的基于深度学习的眼底视网膜图像异常区域检测方法中,对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换,对数据集进行随机旋转变换的具体方法是:
首先对数据集进行90°旋转变换、180°旋转变换、270°旋转变换、上下翻转变换或左右翻转变换,之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换;
随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。
另一方面,基于深度学习的眼底视网膜图像异常区域检测系统,具体步骤如下:
预处理模块,获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
初步模型构建模块,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
二次识别模块,将疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现进行二次识别,得到异常区域检测模型;
展示模块,输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了基于深度学习的眼底视网膜图像异常区域检测方法及系统,首先,对于RGB图处理时,在YOLOv3模型的基础上加入位置信息和引入注意力机制,得到疑似异常区域;其次,根据疑似异常区域的RGB图像配准对应的眼底视网膜无赤光图像,精准配准减少了无用数据的计算,同时引入新的F通道对于图像中相近或相同颜色识别提高了准确率,降低了冗余数据的干扰;最后,得到眼底视网膜无赤光图像过程中的残差注意力模块既能很好地保留原始特征的特性,又能使原始特征具有绕过软掩膜分支的能力,从而直接前馈到最顶层来削弱分支的特征筛选能力,能够很容易的将模型的深度达到很深的层次,具有非常好的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图;
图2为本发明的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例公开了一种基于深度学习的眼底视网膜图像异常区域检测方法,如图1所示,具体步骤如下:
获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
构建异常区域检测初步模型,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
将所述彩色图像输入所述异常区域检测初步模型中,得到感兴趣区域,即为疑似异常区域;
将所述疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现进行二次识别,得到异常区域检测模型;
输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
需要了解的是:位置嵌入和注意力机制对模型的特征进行融合,这使模型在检测和定位当前位置的目标时,能够使用其它位置的信息作为辅助,从而综合利用当前位置与其它位置的信息。因此能够有效利用这些全局上下文信息,会使得目标检测的精度和准确度大大提升。本发明不依赖于具体的网络结构,其技术可应用于主流基于卷积神经网络的目标识别框架。
为了进一步优化上述技术方案,得到所述眼底视网膜无赤光图像具体步骤如下:
输入一幅RGB图像,并对其进行处理,得到浅层特征信息;
将所述浅层特征信息进入残差注意力模块中,获取深层次特征信息;其中,所述残差注意力模块在残差块部分引入掩膜分支,将局部信息与原始特征的全局信息进行融合;
将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息,所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块;
将更深层次的所述特征信息与所述浅层特征信息相加,得到新特征并输出;
将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系,而后得到眼底视网膜无赤光图像。
在本实施例中,采用一个3×3的大小的卷积核对所述RGB图像进行卷积处理。
需要了解的是:残差注意力模块是利用attention机制,在普通ResNet网络中,增加侧分支,侧分支通过一系列的卷积和池化操作,逐渐提取高层特征并增大模型的感受野,高层特征的激活对应位置能够反映attention的区域,然后再对这种具有attention特征的feature map进行上采样,使其大小回到原始feature map的大小,就将attention对应到原始图片的每一个位置上,这个feature map叫做attention map,与原来的feature map进行element-wise product的操作,相当于一个权重器,增强有意义的特征,抑制无意义的信息。
另外,采用了通道和空间–基于注意力的特征求精,在保持较小开销的情况下取得了相当大的性能提升,在深层次特征信息聚焦更为准确的特征,得到眼底视网膜无赤光图,为后续识别异常区域奠定基础。
为了进一步优化上述技术方案,所述残差注意力模块包括主干和软掩膜分支;主干是残差操作,软掩膜用于生成注意力因子,然后与主干的输出相乘,采用残差学习思想将主干的输出与结合注意力因子的结果相加,最终构成残差注意力模块。
为了进一步优化上述技术方案,最优非局域模块利用Argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。
为了进一步优化上述技术方案,确定疑似异常区域具体步骤如下:
将所述彩色图像进行特征提取得到第一特征图,并引入位置信息,将所述第一特征图与所述位置信息相加得到第二特征图;
利用所述注意力模块对所述第二特征图每个位置进行编码;
将注意力模块的编码特征图与第一特征图串联,得到疑似异常区域。
为了进一步优化上述技术方案,利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下:
对所述第二特征图每一个位置的向量X(i,j)进行线性变换,得到三个不同的向量A(i,j),B(i,j),C(i,j),公式为:
A(i,j)=X(i,j)×A;
B(i,j)=X(i,j)×B;
C(i,j)=X(i,j)×C;
其中,A、B、C分别表示可学习的变换矩阵;×表示矩阵乘法;i,j表示每个位置的坐标;
任取其中两个变换后的向量的点积,构建加权系数,其公式表示为:
根据加权系数确定编码特征图为C(i,j)*ω。
为了进一步优化上述技术方案,实现进行二次识别,得到异常区域检测模型具体步骤如下:
根据确定的疑似异常区域,提取相应区域的眼底视网膜无赤光图像;
构建RGB图像对应的光谱差值矩阵,将疑似异常区域遍历,对每个像素点的光谱波长最大值均值化处理,得到RGB图像对应的光谱差值矩阵;
将所述光谱差值矩阵作为一个通道,为F通道,再把相对应的RGB图像3个通道与F通道进行合并,生成一个关于异常区域的4通道的融合特征图像。
本实施例中获取光谱差值矩阵的具体步骤如下:
每个像素点对应的光谱所有谱段的波长Qi,用特征目标的波长Qfm与其Qi做差值,得到Q′i;
对得到的每个像素点的光谱波长差值Q′i,取其中最大的值MAX(Qi′);
重复将图像中所有疑似异常区域的颜色相近区域遍历,对每个区域的MAX(Q′i′),做均值化处理;然后得到关于RGB图像对应的光谱差值矩阵Qf;
Qf=||Qfm-Qm||;
式中,Qm表示为均值处理后得到的对应像素点的波长差值,n表示为疑似异常区域的像素点个数。
具体地,按特征目标将光谱图像分成对应的数据,对与RGB相同的杂质的波长进行与特征目标的光谱波长进行差值计算,减少了大量的无用数据,节省二次训练的时间,同时也对无法识别的区域信息增强,提升了算法的准确性。
为了进一步优化上述技术方案,对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换,对数据集进行随机旋转变换的具体方法是:
首先对数据集进行90°旋转变换、180°旋转变换、270°旋转变换、上下翻转变换或左右翻转变换,之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换;
随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。
进一步,图像的旋转和翻转变换处理作为一种数据增强手段,能够有效的防止模型过拟合;因此,能够提高模型尤其是对具有较多旋转角度目标的识别精度。
在另一实施例中,公开了一种基于深度学习的眼底视网膜图像异常区域检测系统,如图2所示,具体步骤如下:
预处理模块,获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
初步模型构建模块,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
二次识别模块,将疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现进行二次识别,得到异常区域检测模型;
展示模块,输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,具体步骤如下:
获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
构建异常区域检测初步模型,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
将所述彩色图像输入所述异常区域检测初步模型中,得到感兴趣区域,即为疑似异常区域;
将所述疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现进行二次识别,得到异常区域检测模型;
输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
2.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,得到所述眼底视网膜无赤光图像具体步骤如下:
输入一幅RGB图像,并对其进行处理,得到浅层特征信息;
将所述浅层特征信息输入残差注意力模块中,获取深层次特征信息;其中,所述残差注意力模块在残差块部分引入掩膜分支,将局部信息与原始特征的全局信息进行融合;
将所述深层次特征信息进入双输出特征卷积注意力机制模块以进一步提取更深层次的特征信息,所述双输出特征卷积注意力机制模块为结合了空间注意力机制模块和双输出特征通道注意力机制块的注意力机制模块;
将更深层次的所述特征信息与所述浅层特征信息相加,得到新特征并输出;
将具有所述新特征的特征图进入最优非局域模块以增强上下层的联系,而后得到眼底视网膜无赤光图像。
3.根据权利要求2所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,所述残差注意力模块包括主干和软掩膜分支;主干是残差操作,软掩膜用于生成注意力因子,然后与主干的输出相乘,采用残差学习思想将主干的输出与结合注意力因子的结果相加,最终构成残差注意力模块。
4.根据权利要求2所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,最优非局域模块利用Argmax激活函数通过反向求值来获取特征图中的特征信息量丰富的区域。
5.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,确定疑似异常区域具体步骤如下:
将所述彩色图像进行特征提取得到第一特征图,并引入位置信息,将所述第一特征图与所述位置信息相加得到第二特征图;
利用所述注意力模块对所述第二特征图每个位置进行编码;
将注意力模块的编码特征图与第一特征图串联,得到疑似异常区域。
6.根据权利要求5所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,利用所述注意力模块对所述第二特征图每个位置进行编码具体步骤如下:
对所述第二特征图每一个位置的向量X(i,j)进行线性变换,得到三个不同的向量A(i,j),B(i,j),C(i,j),公式为:
A(i,j)=X(i,j)×A;
B(i,j)=X(i,j)×B;
C(i,j)=X(i,j)×C;
其中,A、B、C分别表示可学习的变换矩阵;×表示矩阵乘法;i,j表示每个位置的坐标;
任取其中两个变换后的向量的点积,构建加权系数,其公式表示为:
根据加权系数确定编码特征图为C(i,j)*ω。
7.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,实现进行二次识别,得到异常区域检测模型具体步骤如下:
根据确定的疑似异常区域,提取相应区域的眼底视网膜无赤光图像;
构建RGB图像对应的光谱差值矩阵,将疑似异常区域遍历,对每个像素点的光谱波长最大值均值化处理,得到RGB图像对应的光谱差值矩阵;
将所述光谱差值矩阵作为一个通道,为F通道,再把相对应的RGB图像3个通道与F通道进行合并,生成一个关于异常区域的4通道的融合特征图像。
8.根据权利要求1所述的基于深度学习的眼底视网膜图像异常区域检测方法,其特征在于,对所述彩色图像进行预处理包括随机旋转变换和随机尺度变换,对数据集进行随机旋转变换的具体方法是:
首先对数据集进行90°旋转变换、180°旋转变换、270°旋转变换、上下翻转变换或左右翻转变换,之后对数据集中经过变换后的目标图像的真实边界框坐标进行变换;
随机尺度变换包括对训练图像进行随机缩放变换和随机宽高比变换。
9.基于深度学习的眼底视网膜图像异常区域检测系统,其特征在于,具体步骤如下:
预处理模块,获取彩色图像,并对所述彩色图像进行预处理,同时得到眼底视网膜无赤光图像;
初步模型构建模块,在YOLOv3模型的特征融合层中加入了位置定位层和注意力层,得到基于注意力机制的异常区域检测初步模型;
二次识别模块,将疑似异常区域进行配准,将获取的相应的眼底视网膜无赤光图像进行数据的校正和降噪,针对色彩相近区域利用光谱差值矩阵法,构建光谱特征F通道,对RGB中的相近色块使用深度学习结合F通道数据再次训练异常区域检测初步模型,实现进行二次识别,得到异常区域检测模型;
展示模块,输入所述彩色图像到所述异常区域检测模型,得到对应异常区域图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310389587.9A CN116485736A (zh) | 2023-04-04 | 2023-04-04 | 基于深度学习的眼底视网膜图像异常区域检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310389587.9A CN116485736A (zh) | 2023-04-04 | 2023-04-04 | 基于深度学习的眼底视网膜图像异常区域检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116485736A true CN116485736A (zh) | 2023-07-25 |
Family
ID=87213108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310389587.9A Pending CN116485736A (zh) | 2023-04-04 | 2023-04-04 | 基于深度学习的眼底视网膜图像异常区域检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116485736A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276269A (zh) * | 2019-05-29 | 2019-09-24 | 西安交通大学 | 一种基于注意力机制的遥感图像目标检测方法 |
CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
CN114155385A (zh) * | 2021-11-30 | 2022-03-08 | 江苏鑫源烟草薄片有限公司 | 一种基于深度学习的rgb与高光谱的烟草识别方法 |
CN114998210A (zh) * | 2022-04-29 | 2022-09-02 | 华南理工大学 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
CN115082388A (zh) * | 2022-06-08 | 2022-09-20 | 哈尔滨理工大学 | 一种基于注意力机制的糖尿病视网膜病变图像检测方法 |
-
2023
- 2023-04-04 CN CN202310389587.9A patent/CN116485736A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276269A (zh) * | 2019-05-29 | 2019-09-24 | 西安交通大学 | 一种基于注意力机制的遥感图像目标检测方法 |
CN111259982A (zh) * | 2020-02-13 | 2020-06-09 | 苏州大学 | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 |
CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
CN114155385A (zh) * | 2021-11-30 | 2022-03-08 | 江苏鑫源烟草薄片有限公司 | 一种基于深度学习的rgb与高光谱的烟草识别方法 |
CN114998210A (zh) * | 2022-04-29 | 2022-09-02 | 华南理工大学 | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 |
CN115082388A (zh) * | 2022-06-08 | 2022-09-20 | 哈尔滨理工大学 | 一种基于注意力机制的糖尿病视网膜病变图像检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
Wang et al. | AIPNet: Image-to-image single image dehazing with atmospheric illumination prior | |
US11170482B2 (en) | Image processing method and device | |
US9530071B2 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
US8345936B2 (en) | Multispectral iris fusion for enhancement and interoperability | |
CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
WO2022088665A1 (zh) | 病灶分割方法、装置及存储介质 | |
CN109584210B (zh) | 多光谱三维静脉显像系统 | |
CN112102385B (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准系统 | |
KR101869266B1 (ko) | 극한 심층학습 기반 차선 검출 시스템 및 그 방법 | |
CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
CN114897094A (zh) | 一种基于注意力双支路特征融合的食管早癌病灶分割方法 | |
CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
CN112686855A (zh) | 一种眼象与症状信息的信息关联方法 | |
CN111340773B (zh) | 一种视网膜图像血管分割方法 | |
CN115775210A (zh) | 一种广域眼底相机图像融合方法、系统及存储介质 | |
Wei et al. | Sidgan: Single image dehazing without paired supervision | |
CN117876690A (zh) | 一种基于异构UNet的超声影像多组织分割方法和系统 | |
CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
CN116485736A (zh) | 基于深度学习的眼底视网膜图像异常区域检测方法及系统 | |
CN115830632A (zh) | 基于深度学习和图像掩膜的红外图像行人倒影检测方法 | |
Shanthamalar et al. | A novel approach for glaucoma disease identification through optic nerve head feature extraction and random tree classification | |
CN112734701A (zh) | 眼底病灶检测方法、检测装置及终端设备 | |
Alboody et al. | DeepSen3: Deep multi-scale learning model for spatial-spectral fusion of Sentinel-2 and Sentinel-3 remote sensing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |