CN111899247A - 脉络膜血管的管腔区域识别方法、装置、设备及介质 - Google Patents
脉络膜血管的管腔区域识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111899247A CN111899247A CN202010761238.1A CN202010761238A CN111899247A CN 111899247 A CN111899247 A CN 111899247A CN 202010761238 A CN202010761238 A CN 202010761238A CN 111899247 A CN111899247 A CN 111899247A
- Authority
- CN
- China
- Prior art keywords
- fundus
- image
- choroid
- region
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 68
- 210000003161 choroid Anatomy 0.000 claims abstract description 185
- 230000011218 segmentation Effects 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000010606 normalization Methods 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及人工智能领域,提供一种脉络膜血管的管腔区域识别方法、装置、设备及介质,所述方法包括:通过获取待识别眼底图像;输入基于U‑Net的眼底分割模型,通过眼底分割模型对待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;通过眼底中央凹识别模型识别出眼底分割图像中的中央凹区域,并根据中央凹区域从眼底分割图像中截取出第一眼底脉络膜图像;通过Niblack局部阈值算法,对第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从第一脉络膜二值图像中提取出第一管腔区域;识别出第一管腔区域图像。本发明实现了自动识别眼底图像中眼底脉络膜血管的管腔区域。本发明适用于智慧医疗等领域,可进一步推动智慧城市的建设。
Description
技术领域
本发明涉及人工智能的图像处理领域,尤其涉及一种脉络膜血管的管腔区域识别方法、装置、设备及介质。
背景技术
眼底脉络膜位于视网膜和巩膜之间,是一层柔软光滑、具有弹性和富有血管的棕色薄膜,起于前部的锯齿缘,后止于视神经周围;内面借一层十分光滑的玻璃膜与视网膜的色素上皮层相联系,外面借一潜在性间隙与巩膜相接,有脉络膜周层的细微纤维小板伸展而混入巩膜棕黑板中,并有血管和神经由此穿过。脉络膜主要由血管构成,为视网膜提供氧气和血液。
在医学领域中,医生往往需要凭借经验人工识别出采集的眼底照片中的眼底脉络膜血管的管腔区域,以确定该眼底脉络膜中的特征,进而根据识别得到的特征进行其他医学行为,由于人工识别存在对医生经验要求高、采集设备分辨率低、灯光重影等客观因素的影响,导致眼底脉络膜血管管腔区域的特征的人工识别存在偏差,识别准确率低。
发明内容
本发明提供一种脉络膜血管的管腔区域识别方法、装置、计算机设备及存储介质,实现了自动识别眼底图像中的眼底脉络膜血管的管腔区域,本发明适用于智慧交通或智慧医疗等领域,可进一步推动智慧城市的建设,减少了人工识别成本,提高了识别准确性和可靠性。
一种脉络膜血管的管腔区域识别方法,包括:
接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;
将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;
通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;
通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;
根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
一种脉络膜血管的管腔区域识别装置,包括:
接收模块,用于接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;
输入模块,用于将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;
截取模块,用于通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;
二值模块,用于通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;
识别模块,用于根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述脉络膜血管的管腔区域识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述脉络膜血管的管腔区域识别方法的步骤。
本发明提供的脉络膜血管的管腔区域识别方法、装置、计算机设备及存储介质,通过接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像,因此,实现了自动识别眼底图像中的眼底脉络膜血管的管腔区域,通过基于U-Net的眼底分割模型、眼底中央凹识别模型和Niblack局部阈值算法,能够快速地和准确地识别眼底脉络膜血管的管腔区域,以确定眼底脉络膜的特征,如此,减少了人工识别成本,提高了识别准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中脉络膜血管的管腔区域识别方法的应用环境示意图;
图2是本发明一实施例中脉络膜血管的管腔区域识别方法的流程图;
图3是本发明另一实施例中脉络膜血管的管腔区域识别方法的流程图;
图4是本发明一实施例中脉络膜血管的管腔区域识别方法的步骤S20的流程图;
图5是本发明一实施例中脉络膜血管的管腔区域识别方法的步骤S203的流程图;
图6是本发明一实施例中脉络膜血管的管腔区域识别方法的步骤S30的流程图;
图7是本发明一实施例中脉络膜血管的管腔区域识别方法的步骤S70的流程图;
图8是本发明一实施例中脉络膜血管的管腔区域识别装置的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的脉络膜血管的管腔区域识别方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务器进行通信。其中,客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种脉络膜血管的管腔区域识别方法,其技术方案主要包括以下步骤S10-S50:
S10,接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像。
可理解地,通过OCT设备采集到眼底的OCT扫描图像,运用OCT设备的增强模式采集眼底的OCT扫描图像能够采集到更多的眼底脉络膜的形态特征,在采集完眼底的OCT扫描图像之后且需要对该眼底的OCT扫描图像进行眼底脉络膜血管的管腔区域识别时,触发所述眼底管腔识别请求,其中所述眼底管腔识别请求中包含有所述待识别眼底图像,所述待识别眼底图像为采集到的眼底的OCT扫描图像且需要识别出眼底脉络膜血管的管腔区域的图像,触发方式可以根据需求设定,比如采集完所述待识别眼底图像后自动触发,或者在采集完所述待识别眼底图像后通过点击确定按键方式触发。
其中,所述待识别眼底图像为多通道的眼底彩照或者眼底黑白照,在一实施例中,获取所述眼底管腔识别请求中的待识别眼底图像,包括对采集完的眼底的OCT扫描图像进行预处理(滤波去噪或/和图像增强)之后,例如:高斯滤波去噪、伽马变换算法修正、拉普拉斯算法修正等,获取预处理后的眼底的OCT扫描图像作为所述待识别眼底图像,如此,能够更加体现眼底脉络膜的血管信息。
S20,将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像。
可理解地,所述眼底分割模型为训练完成的基于U-Net模型的卷积神经网络模型,即所述眼底分割模型的网络结构包括所述U-Net模型的网络结构,也即所述眼底分割模型的网络结构为在所述U-Net模型的网络结构的基础上进行改进的模型的网络结构,所述U-Net模型有利于图像分割且仅需要较少的训练集就可以实现端对端的训练的网络结构,所述眼底分割模型提取所述待识别眼底图像的所述脉络膜特征提取,所述脉络膜特征为眼底脉络膜中的脉络膜层及周边的纹理和形状信息的特征,提取所述脉络膜特征为利用连续的卷积及池化的下采样层提取所述待识别眼底图像中的特征信息,逐步将特征信息映射至高维,得到与所述待识别眼底图像对应的最高维、最丰富的特征信息的特征向量数组,即得到高维度特征图,所述边缘分割过程为:首先,将所述高维度特征图进行连续的反卷积的上采样层进行上采样至与所述待识别眼底图像同维度大小的眼底输出图像;其次,在上采样过程中增加了边缘检测并强化边缘的特征信息;最后,对强化了边缘的特征信息的所述眼底输出图像进行图像分割(增强了分割精度),得到所述眼底分割图像。
在一实施例中,如图4所示,所述步骤S20之前,即所述将所述待识别眼底图像输入基于U-Net的眼底分割模型之前,包括:
S201,获取眼底图像样本;所述眼底图像样本与一个边缘线标签及一个区域标签关联。
可理解地,所述眼底图像样本为收集的历史的且含有眼底脉络膜层的OCT扫描图像或者经过预处理之后的OCT扫描图像,一个所述眼底图像样本与一个所述边缘线标签关联,所述边缘线标签为人工标注与所述眼底图像样本中含有的眼底脉络膜层的上边缘线和下边缘线对应的点的坐标位置的集合,一个所述眼底图像样本与一个所述区域标签关联,所述区域标签为人工标注与所述眼底图像样本含有的眼底脉络膜层的区域范围对应的坐标位置的集合。
S202,将所述眼底图像样本输入含有初始参数的基于U-Net的卷积神经网络模型。
可理解地,将所述眼底图像样本输入至所述卷积神经网络模型,所述卷积神经网络模型为基于U-Net模型构建的模型,所述卷积神经网络模型包括所述初始参数,所述初始参数包括所述U-Net模型的网络结构,在一实施例中,通过迁移学习,所述迁移学习(Transfer Learning,TL)为利用其他领域已有的训练模型的参数应用在本领域的任务中,获取一个训练完成的U-Net模型中所有参数,将获取的所有所述参数作为所述初始参数,缩短模型的迭代次数,简化训练过程,及提高训练效率。
S203,通过所述卷积神经网络模型提取所述眼底图像样本中的所述脉络膜特征,获取所述卷积神经网络模型根据所述脉络膜特征输出的区域识别结果、眼底特征向量图和融合特征向量图。
可理解地,通过所述卷积神经网络模型对所述眼底图像样本中的所述脉络膜特征进行提取,所述卷积神经网络模型包括至少四个所述下采样层,所述下采样层包括卷积层和池化层,所述下采样层为通过不同的卷积核和池化参数进行多维度的提取所述脉络膜特征的层级,每个所述下采样层的卷积层的卷积核都不同,而且每个所述下采样层的池化层的池化参数也不同,每一所述下采样层都会输出一个与该下采样层对应的脉络膜特征图,对最后一个所述下采样层输出的所述脉络膜特征图进行卷积,得到所述高维度特征图,即所述高维度特征图为与所述待识别眼底图像对应的最高维、最丰富的特征信息的特征向量数组,将与各所述下采样层对应的脉络膜特征图和所述高维度特征图确定为与所述眼底图像样本对应的眼底脉络膜特征图;
其中,所述卷积神经网络模型包括与所述下采样层一一对应的上采样层,即所述卷积神经网络模型中包含的所述下采样层的数量和所述上采样层的数量相同,将所述眼底脉络膜特征图进行不断的反卷积处理,也即上采样处理,直至输出所述眼底输出图像,每一个所述上采样层都会输出一个眼底特征图,将各所述上采样层输出的所述眼底特征图确定为所述眼底特征向量图,将连续两个所述长采样层输出所述眼底特征图进行融合,得到融合特征向量图,通过对所述眼底特征向量图进行脉络膜区域识别,获得区域识别结果,所述区域识别结果包括所述眼底输出图像中的每个像素点对应的识别概率值,将所有大于预设概率阈值的所述识别概率值对应的所述像素点在所述眼底输出图像中进行标记,从而得到所述区域识别结果中的识别区域,将所述识别区域和所有所述识别概率值确定为所述区域识别结果。
在一实施例中,如图5所示,所述步骤S203中,即所述通过所述卷积神经网络模型提取所述眼底图像样本中的所述脉络膜特征,获取所述卷积神经网络模型根据所述脉络膜特征输出的区域识别结果、眼底特征向量图和融合特征向量图,包括:
S2031,通过所述卷积神经网络模型对所述眼底图像样本提取所述脉络膜特征,得到眼底脉络膜特征图。
可理解地,所述卷积神经网络模型包括第一下采样层、第二下采样层、第三下采样层和第四下采样层,所述第一下采样层、所述第二下采样层、所述第三下采样层和所述第四下采样层均包括两个3×3卷积核的卷积层、两个激活层和一个2×2最大池化参数的池化层,所述眼底图像样本输入所述第一下采样层进行卷积,得到64维度的第一脉络膜特征图;将所述第一脉络膜特征图输入所述第二下采样层进行卷积,得到128维度的第二脉络膜特征图;将所述第二脉络膜特征图输入所述第三下采样层进行卷积,得到一个256维度的第三脉络膜特征图;将所述第三脉络膜特征图输入所述第四下采样层进行卷积,得到512维度的第四脉络膜特征图;对所述第四脉络膜特征图进行一个3×3卷积核的卷积层和一个激活层,得到1024维度的所述高维度特征图,将所述第一脉络膜特征图、所述第二脉络膜特征图、所述第三脉络膜特征图、所述第四脉络膜特征图和所述高维度特征图,确定为所述眼底脉络膜特征图。
S2032,通过所述卷积神经网络模型对所述眼底脉络膜特征图进行上采样及拼接,得到所述眼底特征向量图。
可理解地,所述上采样及拼接为将对所述眼底脉络膜特征图进行反卷积,生成与相邻的脉络膜特征图相同维度的中间眼底特征图,并与该脉络膜特征图进行拼接,由于在拼接的过程中维度会变成原维度的2倍,此时需要再次卷积,得到所述眼底特征图,保证处理过后的所述眼底特征图的维度与拼接操作之前的维度相同以便于进行下一次的上采样及拼接,直到最终能够与所述眼底图像样本的维度相同,对所述眼底脉络膜特征图进行上采样及拼接,最后输出所述眼底特征向量图。
其中,所述卷积神经网络模型包括第一上采样层、第二上采样层、第三上采样层和第四上采样层,所述第四上采样层对所述高维度特征图进行反卷积,得到512维度的第四中间眼底特征图,将所述第四中间眼底特征图与512维度的所述第四脉络膜特征图进行拼接,再经过一个3×3卷积核的卷积层和一个激活层,得到512维度的第四眼底特征图;所述第三上采样层对所述第四眼底特征图进行反卷积,得到256维度的第三中间眼底特征图,将所述第三中间眼底特征图与256维度的所述第三脉络膜特征图进行拼接,再经过一个3×3卷积核的卷积层和一个激活层,得到256维度的第三眼底特征图;所述第二上采样层对所述第三眼底特征图进行反卷积,得到128维度的第二中间眼底特征图,将所述第二中间眼底特征图与128维度的所述第二脉络膜特征图进行拼接,再经过一个3×3卷积核的卷积层和一个激活层,得到128维度的第二眼底特征图;所述第一上采样层对所述第二眼底特征图进行反卷积,得到64维度的第一中间眼底特征图,将所述第一中间眼底特征图与64维度的所述第一脉络膜特征图进行拼接,再经过一个3×3卷积核的卷积层和一个激活层,得到64维度的第一眼底特征图;将所述一眼底特征图进行一个1×1卷积核的卷积层进行卷积得到所述眼底输出图像,将所述第四眼底特征图、所述第三眼底特征图、所述第二眼底特征图、所述第一眼底特征图和所述眼底输出图像,确定为所述眼底特征向量图。
S2033,通过所述卷积神经网络模型对所述眼底特征向量图进行脉络膜区域识别,得到所述区域识别结果,同时对所述眼底特征向量图进行融合处理,得到所述融合特征向量图。
可理解地,根据所述眼底特征向量图,计算得到所述眼底输出图像中的每个像素点对应的识别概率值,将所有大于预设概率阈值的所述识别概率值对应的所述像素点在所述眼底输出图像中进行标记,从而得到所述区域识别结果中的识别区域,将所述识别区域和所有所述识别概率值确定为所述区域识别结果。其中,将所述第一眼底特征图与所述第二眼底特征图进行叠加,得到第一待融合特征图,将所述第二眼底特征图与所述第三眼底特征图进行叠加,得到第二待融合特征图,将所述第三眼底特征图与所述第四眼底特征图进行叠加,得到第三待融合特征图,将所述第一待融合特征图、所述第二待融合特征图、所述第三待融合特征图和所述第四眼底特征图进行融合,得到所述融合特征向量图,所述融合为特征融合,即将提取的特征信息进行分析、处理与整合从而得到共性特征十分明显的融合特征向量图,所述融合特征向量图的大小与所述眼底输出图像的大小一致。
如此,本发明实现了通过所述卷积神经网络模型对所述眼底图像样本提取所述脉络膜特征,得到眼底脉络膜特征图;通过所述卷积神经网络模型对所述眼底脉络膜特征图进行上采样及拼接,得到所述眼底特征向量图;通过所述卷积神经网络模型对所述眼底特征向量图进行脉络膜区域识别,得到所述区域识别结果,同时对所述眼底特征向量图进行融合处理,得到所述融合特征向量图,因此,能够提高识别的准确率,减少了训练迭代次数,提高了训练效率。
S204,通过所述卷积神经网络模型对所述眼底特征向量图进行边缘检测,得到边缘结果,同时对所述融合特征向量图进行区域分割,得到区域分割结果。
可理解地,所述边缘检测为对所述眼底特征向量图中特征向量变化明显的点进行识别,通过对所述眼底特征向量图进行所述边缘检测处理,从而可以识别出与所述眼底特征向量图中上边缘线的坐标点和下边缘线的坐标点,并计算出各与所述眼底特征向量图中上边缘线的坐标点的概率值(确认为上边缘线的概率值),和各与所述眼底特征向量图中下边缘线的坐标点的概率值(确认为下边缘线的概率值),将与所述眼底特征向量图中上边缘线的坐标点和下边缘线的坐标点,和与所述眼底特征向量图中上边缘线的坐标点和下边缘线的坐标点的概率值,一起确定为所述边缘结果,同时对所述融合特征向量图进行区域分割,所述区域分割为根据所述融合特征向量图中的各像素点对应的特征向量,计算出所述融合特征向量图中与各像素点的坐标对应的是否为眼底脉络膜层区域范围的概率值,将确认为眼底脉络膜层区域范围的坐标分割出来,得到所述区域分割结果。
S205,根据所述区域识别结果和所述区域标签,确定出分类损失值;根据所述边缘结果和所述边缘线标签,确定出边缘损失值;根据所述区域分割结果和所述区域标签,确定出分割损失值。
可理解地,将所述区域识别结果和所述区域标签输入所述卷积神经网络模型中的分类损失函数,通过所述分类损失函数计算出所述分类损失值,所述分类损失函数可以根据需求设定,比如交叉熵损失函数,将所述边缘结果和所述边缘线标签输入所述卷积神经网络模型中的边缘损失函数,通过所述边缘损失函数计算出所述边缘损失值,将所述区域分割结果和所述区域标签输入所述卷积神经网络模型中的分割损失函数,通过所述分割损失函数计算出所述分割损失值。
S206,根据所述分类损失值、所述边缘损失值和所述分割损失值,确定出总损失值。
可理解地,将所述分类损失值、所述边缘损失值和所述分割损失值输入所述卷积神经网络模型中的总损失函数,通过所述总损失函数计算得出所述总损失值;所述中损失值为:
L=λ1L1+λ2L2+λ3L3
其中,λ1为所述分类损失值的权重;L1为所述分类损失值;λ2为所述边缘损失值的权重;L2为所述边缘损失值;λ3为所述分割损失值的权重;L3为所述分割损失值。
S207,在所述总损失值未达到预设的收敛条件时,迭代更新所述卷积神经网络模型的初始参数,直至所述总损失值达到所述预设的收敛条件时,将收敛之后的所述卷积神经网络模型记录为眼底分割模型。
可理解地,所述收敛条件可以为所述总损失值经过了1000次计算后值为很小且不会再下降的条件,即在所述总损失值经过1000次计算后值为很小且不会再下降时,停止训练,并将收敛之后的所述卷积神经网络模型记录为训练完成的所述眼底分割模型;所述收敛条件也可以为所述总损失值小于设定阈值的条件,即在所述总损失值小于设定阈值时,停止训练,并将收敛之后的所述卷积神经网络模型记录为训练完成的所述眼底分割模型,如此,在所述总损失值未达到预设的收敛条件时,不断更新迭代所述卷积神经网络模型的初始参数,并触发通过所述卷积神经网络模型提取所述眼底图像样本中的所述脉络膜特征,获取所述卷积神经网络模型根据所述脉络膜特征输出的区域识别结果、眼底特征向量图和融合特征向量图的步骤,可以不断向准确的结果靠拢,让识别的准确率越来越高。
S30,通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像。
可理解地,通过所述眼底中央凹识别模型对所述眼底分割图像进行图像识别,所述眼底中央凹识别模型为训练完成的神经网络模型,所述眼底中央凹识别模型的网络结构可以根据需求设定,比如所述眼底中央凹识别模型可以为YOLO(You Only Look Once)模型的网络结构、SSD(Single Shot MultiBox Detector)模型的网络结构等等,由于中央凹区域在所述眼底分割图像中的区域较小作为优选,所以将所述眼底中央凹识别模型的网络结构优选为SSD(Single Shot MultiBox Detector)模型的网络结构,是由于SSD模型的网络结构有利于小物件的识别,并且根据识别出的所述中央凹区域从所述眼底分割图像中按预设的尺寸参数进行截取,得到所述第一眼底脉络膜图像,所述尺寸参数可以根据需求设定,比如以所述中央凹区域的中心的长为6000μm和宽为1500μm的尺寸参数。
在一实施例中,如图6所示,所述步骤S30中,即所述通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像,包括:
S301,将所述眼底分割图像输入基于SSD的眼底中央凹识别模型。
可理解地,所述眼底中央凹识别模型为训练完成的基于SSD模型的神经网络模型,将所述眼底分割图像输入至所述眼底中央凹识别模型中。
S302,通过SSD算法,通过所述眼底中央凹识别模型提取中央凹特征,并根据所述中央凹特征进行目标检测,得到所述中央凹区域。
可理解地,通过所述SSD(Single Shot MultiBox Detector)算法,所述SSD算法为通过不同尺度的特征图对所述眼底分割图像进行所述中央凹特征进行提取,所述中央凹特征为与眼底脉络膜层的中央凹区域的特征,并根据所述中央凹特征进行目标检测,即根据提取的所述中央凹特征进行横纵比明确区分的方法进行预测区域,最终识别出含有眼底脉络膜中央凹的所述中央凹区域。
S303,以所述中央凹区域为中心,根据预设的尺寸参数从所述眼底分割图像中截取所述第一眼底脉络膜图像。
可理解地,所述尺寸参数可以根据需求设定,比如所述尺寸参数为6000×1500,以所述中央凹区域为中心,根据预设的尺寸参数从所述眼底分割图像中截取所述第一眼底脉络膜图像,例如:以所述中央凹区域的中心的长为6000μm和宽为1500μm的尺寸参数,在眼底分割图像中截取出第一眼底脉络膜图像。
如此,本发明实现了通过将所述眼底分割图像输入基于SSD的眼底中央凹识别模型;通过SSD算法,通过所述眼底中央凹识别模型提取中央凹特征,并根据所述中央凹特征进行目标检测,得到所述中央凹区域;以所述中央凹区域为中心,根据预设的尺寸参数从所述眼底分割图像中截取所述第一眼底脉络膜图像,因此,能够自动识别出中央凹区域,并截取出相同尺寸的眼底脉络膜图像,便于后续的识别,提高了识别准确率。
S40,通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域。
可理解地,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像对应的值,所述第一脉络膜二值图像中各像素点的值为0或1,也可显示为白(对应0)或黑(对应1)两种颜色,将所述第一脉络膜二值图像中黑色区域进行提取,得到所述第一管腔区域。
其中,所述二值化处理包括通过所述Niblack局部阈值算法对所述第一眼底脉络膜图像中的各像素点进行二值化计算的处理操作,所述Niblack局部阈值算法为对图像中的每个像素点与通过局部区域计算得到的阈值相比较进行二值化。
S50,根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
可理解地,按照所述第一管腔区域的坐标位置从所述待识别眼底图像中进行标记,从而可以得到所述第一管腔区域图像,所述第一管腔区域图像为标记眼底脉络膜血管的管腔区域的图像。
如此,本发明实现了通过接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像,因此,实现了自动识别眼底图像中的眼底脉络膜血管的管腔区域,通过基于U-Net的眼底分割模型、眼底中央凹识别模型和Niblack局部阈值算法,能够快速地和准确地识别眼底脉络膜血管的管腔区域,以确定眼底脉络膜的特征,如此,减少了人工识别成本,提高了识别准确性和可靠性。
在一实施例中,如图3所示,所述步骤S50之后,即所述从所述第一脉络膜二值图像中提取出第一管腔区域之后,还包括:
S60,对所述待识别眼底图像进行灰度处理,得到眼底灰度图像。
可理解地,将多通道的所述待识别眼底图像进行灰度处理,得到单通道的所述眼底灰度图像,比如:所述待识别眼底图像包括RGB(Red Green Blue,红色、绿色、蓝色)三通道图像,将各通道图像中的相同像素点对应的值进行灰度二值化处理得到该像素点的灰度值,得到一个通道图像,即为所述眼底灰度图像。
S70,通过自适应阈值法,获取所述第一管腔区域中的管腔自适应阈值,并根据所述管腔自适应阈值对所述眼底灰度图像进行归一化处理,得到第一眼底图像。
可理解地,所述自适应阈值法为利用图像中的局部阈值替换全局阈值进行图像计算的一种方法,具体针对光影变化过大的图像,或者范围内颜色差异不太明显的图像,所述归一化处理过程为通过所述自适应阈值法,计算所述第一管腔区域中所有与像素点对应的灰度值的平均值,将其记录为所述管腔自适应阈值,以及获取预设的最大灰度值,所述最大灰度值可以根据需求设定,优选为255,再根据所述自适应阈值法中的灰度归一化函数计算出所述眼底灰度图像中与各像素点对应的灰度归一值,最后输出所述第一眼底图像,所述第一眼底图像与所述待识别眼底图像的大小一样。
在一实施例中,如图7所示,所述步骤S70中,即所述通过自适应阈值法,获取所述第一管腔区域中的管腔自适应阈值,并根据所述管腔自适应阈值对所述眼底灰度图像进行归一化处理,得到第一眼底图像,包括:
S701,通过自适应阈值法,获取所述管腔自适应阈值。
可理解地,所述自适应阈值法为利用图像中的局部阈值替换全局阈值进行图像计算的一种方法,计算所述第一管腔区域中所有与像素点对应的灰度值的平均值,将其记录为所述管腔自适应阈值。
S702,获取所述眼底灰度图像中与各像素点对应的灰度值和预设的最大灰度值。
可理解地,所述眼底灰度图像包括与各像素点对应的灰度值,获取预设的最大灰度值,所述最大灰度值可以根据需求设定,优选为255。
S703,将所述管腔自适应阈值、与各所述像素点对应的所述灰度值和所述最大灰度值输入灰度归一化模型中,得到与各所述像素点对应的所述灰度归一值。
可理解地,所述灰度归一化模型包括灰度归一化函数,通过所述灰度归一化函数可以计算得到与各所述像素点对应的所述灰度归一值。
在一实施例中,所述步骤S703中,即所述将所述管腔自适应阈值、与各所述像素点对应的所述灰度值和所述最大灰度值输入灰度归一化模型中,得到与各所述像素点对应的所述灰度归一值,包括:
S7031,将所述管腔自适应阈值、与各所述像素点对应的所述灰度值和所述最大灰度值输入灰度归一化函数中,得到与各所述像素点对应的所述灰度归一值;所述灰度归一化函数为:
其中,
f(x,y)为与所述眼底灰度图像中坐标为(x,y)的像素点对应的灰度值;
F(x,y)为与所述眼底灰度图像中坐标为(x,y)的像素点对应的灰度归一值;
A为所述管腔自适应阈值;
B为所述最大灰度值。
S704,按照各所述像素点的位置将所有所述灰度归一值进行拼接,得到所述第一眼底图像。
可理解地,将各所述灰度归一值按照与其对应的所述像素点的位置进行拼接,组成一个新的图像,将该图像确定为所述第一眼底图像,从而对所述眼底灰度图像进行修正。
如此,本发明实现了通过自适应阈值法,可以对所述眼底灰度图像进行修正,能够对眼底脉络膜血管的管腔区域进行修正,更加凸显出眼底脉络膜血管的管腔区域,便于识别,提高了识别准确率和可靠性。
S80,根据所述中央凹区域从所述第一眼底图像中提取出第二眼底脉络膜图像。
可理解地,从所述第一眼底图像中按照所述中央凹区域的坐标区域进行提取,可以得到所述第二眼底脉络膜图像。
S90,根据Niblack局部阈值方法,对所述第二眼底脉络膜图像进行二值化处理,得到第二脉络膜二值图像,并从所述第二脉络膜二值图像中提取出第二管腔区域。
可理解地,通过所述Niblack局部阈值方法,对所述第二眼底脉络膜图像进行二值化处理,得到第二脉络膜二值图像对应的值,所述第二脉络膜二值图像中各像素点的值为0或1,也可显示为白(对应0)或黑(对应1)两种颜色,将所述第二脉络膜二值图像中黑色区域进行提取,得到所述第二管腔区域。
其中,所述二值化处理还包括通过所述Niblack局部阈值算法对所述第二眼底脉络膜图像中的各像素点进行二值化计算的处理操作。
S100,根据所述第二管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第二管腔区域图像。
可理解地,按照所述第二管腔区域的坐标位置从所述待识别眼底图像中进行标记,从而可以得到所述第二管腔区域图像,所述第二管腔区域图像为标记眼底脉络膜血管的管腔区域的图像,如此,能够更加准确的确定出眼底脉络膜血管的管腔区域。
本发明实现了通过接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像,对所述待识别眼底图像进行灰度处理,得到眼底灰度图像;通过自适应阈值法,获取所述第一管腔区域中的管腔自适应阈值,并根据所述管腔自适应阈值对所述眼底灰度图像进行归一化处理,得到第一眼底图像;根据所述中央凹区域从所述第一眼底图像中提取出第二眼底脉络膜图像;根据Niblack局部阈值方法,对所述第二眼底脉络膜图像进行二值化处理,得到第二脉络膜二值图像,并从所述第二脉络膜二值图像中提取出第二管腔区域;根据所述第二管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第二管腔区域图像,因此,实现了通过基于U-Net的眼底分割模型、眼底中央凹识别模型、两次Niblack局部阈值算法处理和自适应阈值法,能够对所述待识别眼底图像进行修正,以便更加准确地识别眼底脉络膜血管的管腔区域,如此,更加提高了识别准确性和可靠性。
在一实施例中,所述步骤S100之后,即所述根据所述第二管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第二管腔区域图像之后,包括:
S110,计算所述第二管腔区域图像中的眼底脉络膜血管的管腔区域的面积,得到管腔区域面积,同时计算第一眼底脉络膜图像的面积,得到脉络膜区域面积;
S120,计算所述管腔区域面积与所述脉络膜区域面积的比值,得到脉络膜血管指数。
如此,通过识别到的第二管腔区域图像,计算出含有眼底脉络膜血管的管腔区域的管腔区域面积,同时计算脉络膜区域面积,将管腔区域面积和脉络膜区域面积进行比值,得到脉络膜血管指数,以便医生进行下一步医学行为,提供了与眼底脉络膜相关的数据指标。
在一实施例中,提供一种脉络膜血管的管腔区域识别装置,该脉络膜血管的管腔区域识别装置与上述实施例中脉络膜血管的管腔区域识别方法一一对应。如图8所示,该脉络膜血管的管腔区域识别装置包括接收模块11、输入模块12、截取模块13、二值模块14和识别模块15。各功能模块详细说明如下:
接收模块11,用于接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;
输入模块12,用于将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;
截取模块13,用于通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;
二值模块14,用于通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;
识别模块15,用于根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
关于脉络膜血管的管腔区域识别装置的具体限定可以参见上文中对于脉络膜血管的管腔区域识别方法的限定,在此不再赘述。上述脉络膜血管的管腔区域识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种脉络膜血管的管腔区域识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中脉络膜血管的管腔区域识别方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中脉络膜血管的管腔区域识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种脉络膜血管的管腔区域识别方法,其特征在于,包括:
接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;
将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;
通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;
通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;
根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
2.如权利要求1所述的脉络膜血管的管腔区域识别方法,其特征在于,所述从所述第一脉络膜二值图像中提取出第一管腔区域之后,还包括:
对所述待识别眼底图像进行灰度处理,得到眼底灰度图像;
通过自适应阈值法,获取所述第一管腔区域中的管腔自适应阈值,并根据所述管腔自适应阈值对所述眼底灰度图像进行归一化处理,得到第一眼底图像;
根据所述中央凹区域从所述第一眼底图像中提取出第二眼底脉络膜图像;
根据Niblack局部阈值方法,对所述第二眼底脉络膜图像进行二值化处理,得到第二脉络膜二值图像,并从所述第二脉络膜二值图像中提取出第二管腔区域;
根据所述第二管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第二管腔区域图像。
3.如权利要求1所述的脉络膜血管的管腔区域识别方法,其特征在于,所述将所述待识别眼底图像输入基于U-Net的眼底分割模型之前,包括:
获取眼底图像样本;所述眼底图像样本与一个边缘线标签及一个区域标签关联;
将所述眼底图像样本输入含有初始参数的基于U-Net的卷积神经网络模型;
通过所述卷积神经网络模型提取所述眼底图像样本中的所述脉络膜特征,获取所述卷积神经网络模型根据所述脉络膜特征输出的区域识别结果、眼底特征向量图和融合特征向量图;
通过所述卷积神经网络模型对所述眼底特征向量图进行边缘检测,得到边缘结果,同时对所述融合特征向量图进行区域分割,得到区域分割结果;
根据所述区域识别结果和所述区域标签,确定出分类损失值;根据所述边缘结果和所述边缘线标签,确定出边缘损失值;根据所述区域分割结果和所述区域标签,确定出分割损失值;
根据所述分类损失值、所述边缘损失值和所述分割损失值,确定出总损失值;
在所述总损失值未达到预设的收敛条件时,迭代更新所述卷积神经网络模型的初始参数,直至所述总损失值达到所述预设的收敛条件时,将收敛之后的所述卷积神经网络模型记录为眼底分割模型。
4.如权利要求3所述的脉络膜血管的管腔区域识别方法,其特征在于,所述通过所述卷积神经网络模型提取所述眼底图像样本中的所述脉络膜特征,获取所述卷积神经网络模型根据所述脉络膜特征输出的区域识别结果、眼底特征向量图和融合特征向量图,包括:
通过所述卷积神经网络模型对所述眼底图像样本提取所述脉络膜特征,得到眼底脉络膜特征图;
通过所述卷积神经网络模型对所述眼底脉络膜特征图进行上采样及拼接,得到所述眼底特征向量图;
通过所述卷积神经网络模型对所述眼底特征向量图进行脉络膜区域识别,得到所述区域识别结果,同时对所述眼底特征向量图进行融合处理,得到所述融合特征向量图。
5.如权利要求1所述的脉络膜血管的管腔区域识别方法,其特征在于,所述通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像,包括:
将所述眼底分割图像输入基于SSD的眼底中央凹识别模型;
通过SSD算法,通过所述眼底中央凹识别模型提取中央凹特征,并根据所述中央凹特征进行目标检测,得到所述中央凹区域;
以所述中央凹区域为中心,根据预设的尺寸参数从所述眼底分割图像中截取所述第一眼底脉络膜图像。
6.如权利要求2所述的脉络膜血管的管腔区域识别方法,其特征在于,所述通过自适应阈值法,获取所述第一管腔区域中的管腔自适应阈值,并根据所述管腔自适应阈值对所述眼底灰度图像进行归一化处理,得到第一眼底图像,包括:
通过自适应阈值法,获取所述管腔自适应阈值;
获取所述眼底灰度图像中与各像素点对应的灰度值和预设的最大灰度值;
将所述管腔自适应阈值、与各所述像素点对应的所述灰度值和所述最大灰度值输入灰度归一化模型中,得到与各所述像素点对应的所述灰度归一值;
按照各所述像素点的位置将所有所述灰度归一值进行拼接,得到所述第一眼底图像。
8.一种脉络膜血管的管腔区域识别装置,其特征在于,包括:
接收模块,用于接收到眼底管腔识别请求,获取所述眼底管腔识别请求中的待识别眼底图像;
输入模块,用于将所述待识别眼底图像输入基于U-Net的眼底分割模型,通过所述眼底分割模型对所述待识别眼底图像进行脉络膜特征提取及边缘分割,得到眼底分割图像;
截取模块,用于通过眼底中央凹识别模型对所述眼底分割图像进行图像识别,识别出所述眼底分割图像中的中央凹区域,并根据所述中央凹区域从所述眼底分割图像中截取出第一眼底脉络膜图像;
二值模块,用于通过Niblack局部阈值算法,对所述第一眼底脉络膜图像进行二值化处理,得到第一脉络膜二值图像,并从所述第一脉络膜二值图像中提取出第一管腔区域;
识别模块,用于根据所述第一管腔区域,从所述待识别眼底图像中识别出含有眼底脉络膜血管的管腔区域的第一管腔区域图像。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述脉络膜血管的管腔区域识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述脉络膜血管的管腔区域识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010761238.1A CN111899247B (zh) | 2020-07-31 | 2020-07-31 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
PCT/CN2020/116743 WO2021120753A1 (zh) | 2020-07-31 | 2020-09-22 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010761238.1A CN111899247B (zh) | 2020-07-31 | 2020-07-31 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899247A true CN111899247A (zh) | 2020-11-06 |
CN111899247B CN111899247B (zh) | 2024-05-24 |
Family
ID=73184124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010761238.1A Active CN111899247B (zh) | 2020-07-31 | 2020-07-31 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111899247B (zh) |
WO (1) | WO2021120753A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529906A (zh) * | 2021-02-07 | 2021-03-19 | 南京景三医疗科技有限公司 | 一种软件层面的血管内oct三维图像管腔分割方法和装置 |
CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
CN116309549A (zh) * | 2023-05-11 | 2023-06-23 | 爱尔眼科医院集团股份有限公司 | 一种眼底区域检测方法、装置、设备及可读存储介质 |
CN117994509A (zh) * | 2023-12-26 | 2024-05-07 | 徐州市第一人民医院 | 一种基于交互式的眼底图像无灌注区域智能识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683080A (zh) * | 2016-12-15 | 2017-05-17 | 广西师范大学 | 一种视网膜眼底图像预处理方法 |
CN109472781A (zh) * | 2018-10-29 | 2019-03-15 | 电子科技大学 | 一种基于串行结构分割的糖尿病视网膜病变检测系统 |
CN109509178A (zh) * | 2018-10-24 | 2019-03-22 | 苏州大学 | 一种基于改进的U-net网络的OCT图像脉络膜分割方法 |
CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
CN111345775A (zh) * | 2018-12-21 | 2020-06-30 | 伟伦公司 | 眼底图像的评估 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2883402A1 (en) * | 2012-09-10 | 2014-03-13 | Oregon Health & Science University | Quantification of local circulation with oct angiography |
US20160278627A1 (en) * | 2015-03-25 | 2016-09-29 | Oregon Health & Science University | Optical coherence tomography angiography methods |
CN106599804B (zh) * | 2016-11-30 | 2019-07-05 | 哈尔滨工业大学 | 基于多特征模型的视网膜中央凹检测方法 |
CN110599480A (zh) * | 2019-09-18 | 2019-12-20 | 上海鹰瞳医疗科技有限公司 | 多源输入的眼底图像分类方法和设备 |
CN111402243B (zh) * | 2020-03-20 | 2023-08-11 | 智眸医疗(深圳)有限公司 | 黄斑中心凹识别方法及终端 |
-
2020
- 2020-07-31 CN CN202010761238.1A patent/CN111899247B/zh active Active
- 2020-09-22 WO PCT/CN2020/116743 patent/WO2021120753A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683080A (zh) * | 2016-12-15 | 2017-05-17 | 广西师范大学 | 一种视网膜眼底图像预处理方法 |
CN109509178A (zh) * | 2018-10-24 | 2019-03-22 | 苏州大学 | 一种基于改进的U-net网络的OCT图像脉络膜分割方法 |
CN109472781A (zh) * | 2018-10-29 | 2019-03-15 | 电子科技大学 | 一种基于串行结构分割的糖尿病视网膜病变检测系统 |
CN111345775A (zh) * | 2018-12-21 | 2020-06-30 | 伟伦公司 | 眼底图像的评估 |
CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
Non-Patent Citations (1)
Title |
---|
YAN GUO ET AL: ""LESION-AWARE SEGMENTATION NETWORK FOR ATROPHY AND DETACHMENT OF PATHOLOGICAL MYOPIA ON FUNDUS IMAGES"", 《17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》, pages 1242 - 1245 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541924A (zh) * | 2020-12-08 | 2021-03-23 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
CN112541924B (zh) * | 2020-12-08 | 2023-07-18 | 北京百度网讯科技有限公司 | 眼底图像生成方法、装置、设备以及存储介质 |
CN112529906A (zh) * | 2021-02-07 | 2021-03-19 | 南京景三医疗科技有限公司 | 一种软件层面的血管内oct三维图像管腔分割方法和装置 |
CN116309549A (zh) * | 2023-05-11 | 2023-06-23 | 爱尔眼科医院集团股份有限公司 | 一种眼底区域检测方法、装置、设备及可读存储介质 |
CN116309549B (zh) * | 2023-05-11 | 2023-10-03 | 爱尔眼科医院集团股份有限公司 | 一种眼底区域检测方法、装置、设备及可读存储介质 |
CN117994509A (zh) * | 2023-12-26 | 2024-05-07 | 徐州市第一人民医院 | 一种基于交互式的眼底图像无灌注区域智能识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111899247B (zh) | 2024-05-24 |
WO2021120753A1 (zh) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11373305B2 (en) | Image processing method and device, computer apparatus, and storage medium | |
CN111899247B (zh) | 脉络膜血管的管腔区域识别方法、装置、设备及介质 | |
US11681418B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
CN109492643B (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
CN111860670B (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
CN110599451B (zh) | 医学图像病灶检测定位方法、装置、设备及存储介质 | |
US20210390706A1 (en) | Detection model training method and apparatus, computer device and storage medium | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
WO2018036462A1 (zh) | 图像分割的方法、计算机设备及存储介质 | |
JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
WO2022012110A1 (zh) | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 | |
CN110796161A (zh) | 识别模型训练、眼底特征的识别方法、装置、设备及介质 | |
CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
CN113919443B (zh) | 一种基于图像分析烟叶成熟度状态概率计算方法 | |
CN112464809A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
CN111428552B (zh) | 黑眼圈识别方法、装置、计算机设备和存储介质 | |
WO2019232850A1 (zh) | 手写汉字图像识别方法、装置、计算机设备及存储介质 | |
CN110163864B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
WO2021169642A1 (zh) | 基于视频的眼球转向确定方法与系统 | |
CN109063720A (zh) | 手写字训练样本获取方法、装置、计算机设备及存储介质 | |
CN110363103B (zh) | 虫害识别方法、装置、计算机设备及存储介质 | |
CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |