CN110766656B - 筛查眼底黄斑区异常的方法、装置、设备和存储介质 - Google Patents
筛查眼底黄斑区异常的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110766656B CN110766656B CN201910884614.3A CN201910884614A CN110766656B CN 110766656 B CN110766656 B CN 110766656B CN 201910884614 A CN201910884614 A CN 201910884614A CN 110766656 B CN110766656 B CN 110766656B
- Authority
- CN
- China
- Prior art keywords
- image
- macular region
- neural network
- thickness
- macular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请涉及人工智能领域,提供了一种筛查眼底黄斑区异常的方法、装置、设备和存储介质,方法包括:接收用户的输入的调整指令;通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵;通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;将所述厚度类别输入至所述卷积神经网络,所述卷积网络通过神经元的权值对所述黄斑区集合以及厚度类别加权求和。实现了黄斑区异常的自动筛选,提高黄斑区异常的筛选效率、降低人力成本,且筛选过程对眼部无损伤。
Description
技术领域
本申请涉及图像检测领域,尤其涉及发明名称一种筛查眼底黄斑区异常的方法、装置、设备和存储介质。
背景技术
目前,人工智能技术已经开始在医学影像领域发挥作用。使用人工智能分析医学影像不仅效率高而且准确率可以达到医生的水平。例如在眼底黄斑区异常的筛查方面,利用人工智能对眼底黄斑区光学相干断层扫描技术(optical coherence tomography,OCT)图像进行筛查已经可以达到比较好的效果。但是由于人工智能存在一定的不确定性,准确率无法达到100%。仅仅使用人工智能还无法完全正确的分析OCT图像,部分图像仍会被判断错误。例如当部分病人眼底黄斑区存在较特殊的异常时,人工智能有较大概率会判断错误。所以仅仅通过人工智能分析OCT图像是无法准确的完成眼底黄斑区异常的筛查,还需要结合其他的眼底信息。眼底黄斑区的很多异常例如水肿、萎缩、劈裂等都会导致视网膜厚度的明显变化,即大部分眼底黄斑区的异常与视网膜的厚度密切相关。如果将人工智能分析OCT图像与视网膜的厚度信息相结合,可以很大的提高眼底黄斑区异常筛查的准确率。
在传统的黄斑区异常筛选方式中,人工分析眼底图像中黄斑区,并做出病情推断和给出治疗建议。传统的黄斑区异常筛选方式为人工筛选方式,具有人力成本高、筛选效率低等缺点。
发明内容
本发明实例中根据眼底图像的清晰度调整光学相干断层扫描仪与被测者的眼部之间的距离,使得光学相干断层扫描仪能够拍摄到清晰的眼底图像;利用光学相干断层扫描仪拍摄黄斑区图像并测量黄斑区厚度;通过画质识别模型检测原黄斑区图像的画质,以得到便于识别的黄斑区图像;通过卷积神经网络从黄斑区图像提取黄斑区特征;通过黄斑区检测模型对黄斑区特征以及黄斑区厚度进行识别,以得到与黄斑区特征和黄斑区厚度对应的筛选结果。
第一方面,本申请提供一种筛查眼底黄斑区异常方法,包括:
在一些可能的设计中,接收用户的输入的调整指令,通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值;
通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;
通过所述黄斑区厚度与厚度类别之间的映射关系,得到与所述黄斑区厚度对应的所述厚度类别,所述厚度类别至少包括正常厚度以及异常厚度;
将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵,所述卷积神经网络至少包括卷积层以及池化层;
通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;
分别计算所述多组局部特征集合的平均值,通过冒泡排序法将所述平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合;
将所述厚度类别输入至所述卷积神经网络,并通过所述卷积网络的神经元权值对所述黄斑区集合以及厚度类别加权求和,以得到所述黄斑区图像的异常分析结果。
在一些可能的设计中,所述将所述黄斑区图像输入至卷积神经网络之前,所述方法还包括:
获取训练集图像集合以及搭建所述卷积神经网络,所述训练集图像集合包含多张训练集图像;
为每一张所述训练集图像设置黄斑区厚度类别,并标注所述多张训练集图像的异常参考类别,所述异常参考类别至少包括异常与正常;
将多张所述训练集图像依次输入至所述卷积神经网络,将所述厚度类别以及将所述训练集图像对应的异常分析结果分别作为所述卷积神经网络的输入以及输出,通过所述输入以及所述输出不断训练所述卷积神经网络的神经元权值,直至所述训练集图像均已输入至所述卷积神经网络,结束对所述卷积神经网络的训练。
在一些可能的设计中,所述根据所述输入调整指令以调整光学相干断层扫描仪与被测者的眼部之间的距离,包括:
接收用户输入的移动指令,根据所述用户输入的移动指令控制所述光学相干断层扫描仪以预设的步长沿着滑轨朝向被测者的眼部移动;
获取显示的眼底图像;
用预设的拉普拉斯模板对所述显示的眼底图像做卷积运算,以得到所述显示的眼底图像的梯度矩阵;
计算所述梯度矩阵中的所有元素的标准差,将所述标准差设置为所述显示的眼底图像的清晰度;
若所述显示的眼底图像的清晰度大于或等于阈值,则将所述光学相干断层扫描仪锁定在当前所移动至的位置。
在一些可能的设计中,所述将所述黄斑区图像输入至卷积神经网络之前,所述方法还包括:
识别所述黄斑区图像的画质;
提取所述黄斑区图像的画质特征,并根据所述画质特征与画质分类结果之间的映射关系,得到与所述画质特征对应的画质分类结果,所述画质分类结果包括模糊类、过暗类、过亮类、镜头污染类、角度异常类和合格类;
若所述画质分类结果为合格,则将所述黄斑区图像标记为目标黄斑区图像,若所述画质分类结果为不合格,则提示重新拍摄黄斑区图像。
在一些可能的设计中,所述扫描被测者的眼部的黄斑区,包括:
通过所述光学相干断层扫描仪的同心圆定位环定位黄斑区的中心凹;
调整扫描标记线的方向,使扫描线垂直于定位所述黄斑区的中心凹。
在一些可能的设计中,所述卷积神经网络是指多层神经MLP网络,所述MLP网络包括独立卷积层、卷积池化层、卷积残差层、全连接层以及输出层。
在一些可能的设计中,所述获取训练集图像集合以及搭建所述卷积神经网络之前,所述方法还包括:
对所述训练集图像集合进行数据扩充,所述数据扩充的数学表达式为:
其中x,y是指所述训练集图像的像素坐标,θ是指旋转的角度,a是指所述训练集图像沿x轴平移的单位距离,b是指所述训练集图像像素沿y轴平移的单位距离。
第二方面,本申请提供一种筛查眼底黄斑区异常的装置,具有实现对应于上述第一方面提供的筛查眼底黄斑区异常的平台的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
所述筛查眼底黄斑区异常的装置包括:
获取模块,用于接收用户的输入的调整指令;
处理模块,用于通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值;通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;通过所述黄斑区厚度与厚度类别之间的映射关系,得到与所述黄斑区厚度对应的所述厚度类别,所述厚度类别至少包括正常厚度以及异常厚度;将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵,所述卷积神经网络至少包括卷积层以及池化层;通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;分别计算所述多组局部特征集合的平均值,通过冒泡排序法将所述平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合;将所述厚度类别输入至所述卷积神经网络,并通过所述卷积网络的神经元权值对所述黄斑区集合以及厚度类别加权求和,以得到所述黄斑区图像的异常分析结果。
在一些可能的设计中,所述处理模块还用于:
获取训练集图像集合以及搭建所述卷积神经网络,所述训练集图像集合包含多张训练集图像;
为每一张所述训练集图像设置黄斑区厚度类别,并标注所述多张训练集图像的异常参考类别,所述异常参考类别至少包括异常与正常;
将多张所述训练集图像依次输入至所述卷积神经网络,将所述厚度类别以及将所述训练集图像对应的异常分析结果分别作为所述卷积神经网络的输入以及输出,通过所述输入以及所述输出不断训练所述卷积神经网络的神经元权值,直至所述训练集图像均已输入至所述卷积神经网络,结束对所述卷积神经网络的训练。
在一些可能的设计中,所述处理模块还用于:
接收用户输入的移动指令,根据所述用户输入的移动指令控制所述光学相干断层扫描仪以预设的步长沿着滑轨朝向被测者的眼部移动;
获取显示的眼底图像;
用预设的拉普拉斯模板对所述显示的眼底图像做卷积运算,以得到所述显示的眼底图像的梯度矩阵;
计算所述梯度矩阵中的所有元素的标准差,将所述标准差设置为所述显示的眼底图像的清晰度;
若所述显示的眼底图像的清晰度大于或等于阈值,则将所述光学相干断层扫描仪锁定在当前所移动至的位置。
在一些可能的设计中,所述处理模块还用于:
识别所述黄斑区图像的画质;
提取所述黄斑区图像的画质特征,并根据所述画质特征与画质分类结果之间的映射关系,得到与所述画质特征对应的画质分类结果,所述画质分类结果包括模糊类、过暗类、过亮类、镜头污染类、角度异常类和合格类;
若所述画质分类结果为合格,则将所述黄斑区图像标记为目标黄斑区图像,若所述画质分类结果为不合格,则提示重新拍摄黄斑区图像。
在一些可能的设计中,所述处理模块还用于:
通过所述光学相干断层扫描仪的同心圆定位环定位黄斑区的中心凹;
调整扫描标记线的方向,使扫描线垂直于定位所述黄斑区的中心凹;
在一些可能的设计中,所述卷积神经网络是指多层神经MLP网络,所述MLP网络包括独立卷积层、卷积池化层、卷积残差层、全连接层以及输出层。
在一些可能的设计中,所述处理模块还用于:
对所述训练集图像集合进行数据扩充,所述数据扩充的数学表达式为:
其中x,y是指所述训练集图像的像素坐标,θ是指旋转的角度,a是指所述训练集图像沿x轴平移的单位距离,b是指所述训练集图像像素沿y轴平移的单位距离。
本申请又一方面提供了一种筛查眼底黄斑区异常的设备,其包括至少一个连接的处理器、存储器、输入输出单元,其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器中的程序代码来执行上述各方面所述的方法。
本申请又一方面提供了一种计算机存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请解决了现有的黄斑区异常筛选方式人力成本高、效率低等技术问题,提出了一种黄斑区异常筛选方法,该方法利用光学相干断层扫描仪拍摄黄斑区图像并测量黄斑区厚度,通过画质识别模型检测原黄斑区图像的画质,以得到便于识别的黄斑区图像,通过卷积神经网络从黄斑区图像提取黄斑区特征,通过黄斑区检测模型对黄斑区特征以及黄斑区厚度进行识别,以得到与黄斑区特征和黄斑区厚度对应的筛选结果,实现黄斑区异常自动识别,提高黄斑区异常的筛选效率、降低人力成本,且筛选过程对眼部无损伤。
附图说明
图1为本申请实施例中筛查眼底黄斑区异常的方法的流程示意图;
图2为本申请实施例中筛查眼底黄斑区异常的装置的结构示意图;
图3为本申请实施例中筛查眼底黄斑区异常的设备的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行。
为解决上述技术问题,本申请主要提供以下技术方案:
根据眼底图像的清晰度调整光学相干断层扫描仪与被测者的眼部之间的距离,使得光学相干断层扫描仪能够拍摄到清晰的眼底图像;利用光学相干断层扫描仪拍摄黄斑区图像并测量黄斑区厚度;通过画质识别模型检测原黄斑区图像的画质,以得到便于识别的黄斑区图像;通过卷积神经网络从黄斑区图像提取黄斑区特征;通过黄斑区检测模型对黄斑区特征以及黄斑区厚度进行识别,以得到与黄斑区特征和黄斑区厚度对应的筛选结果。
请参照图1,以下对本申请提供一种筛查眼底黄斑区异常的方法进行举例说明,所述方法包括:
101、接收用户的输入的调整指令。
通过用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值。
滑轨的前端设置有检测台,被测者的下颌置于下颌托上,眼睛目视前方,对向光学相干断层扫描仪的镜头。初始时,调整光学相干断层扫描仪成像的清晰度,操作者通过遥控器操控光学相干断层扫描仪,遥控器发出移动指令,光学相干断层扫描仪从原始位置沿着滑轨由远及近的朝向下颌托滑动;显示屏呈现光学相干断层扫描仪的镜头当前所拍摄的眼底图像,并显示当前眼底图像的清晰度。若当前眼底图像的清晰度大于或等于预设的参考值,黄斑区异常筛选设备则锁定光学相干断层扫描仪,使得显示屏中呈现清晰的眼底图像。眼底图像能够客观的记录眼底后极部视网膜形态学变化,具有较好的客观性和可对比性。
102、通过光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度。
103、通过黄斑区厚度与厚度类别之间的映射关系,得到与黄斑区厚度对应的厚度类别。
厚度类别至少包括正常厚度以及异常厚度。
厚度类别基于先验知识设定。可选地,厚度类别包括两种类别:‘正常’和‘异常’。‘正常’表示黄斑区的厚度在正常的厚度区间内;‘异常’表示黄斑区的厚度大于或小于正常的厚度区间,即黄斑区过厚或过薄。
104、将黄斑区图像输入至卷积神经网络,通过对黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵。
卷积神经网络至少包括卷积层以及池化层。
105、通过卷积神经网络的池化层轮询卷积特征矩阵,以得到多组局部特征集合。
106、分别计算多组局部特征集合的平均值,通过冒泡排序法将平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合。
卷积层对黄斑区图像进行卷积运算。在卷积操作中,使用卷积核扫描输入的黄斑区图像,每个卷积核对黄斑区图像进行1次完整的扫描,生成1个特征映射层。当输入图像具有多个通道时,例如前述的64个通道,模型将这些通道理解为图像的厚度,通过滤波器分别对多个通道进行扫描,并把扫描结果放入1个特征映射层中。不同的卷积核提取不同的特征信息,生成不同的权重矩阵,对各权重矩阵进行拼接,得到卷积特征矩阵。
池化层用于减小运算开销。预先确定进行池化的尺寸为(2×2)。通过池化层逐行扫描卷积特征矩阵,每次获得卷积特征矩阵的2×2大小区域的数据,然后计算该2×2区域的各数据的平均值,作为该区域池化后的值,其余数据均丢弃,最终得到黄斑区特征。这样,使得卷积特征矩阵的数据量降为之前的1/4,可以极大的减小的后续步骤的运算开销。
107、将厚度类别输入至卷积神经网络,并通过卷积网络的神经元权值对黄斑区集合以及厚度类别加权求和,以得到黄斑区图像的异常分析结果。
在本提案中,根据眼底图像的清晰度调整光学相干断层扫描仪与被测者的眼部之间的距离,使得光学相干断层扫描仪能够拍摄到清晰的眼底图像;利用光学相干断层扫描仪拍摄黄斑区图像并测量黄斑区厚度;通过画质识别模型检测原黄斑区图像的画质,以得到便于识别的黄斑区图像;通过卷积神经网络从黄斑区图像提取黄斑区特征;通过黄斑区检测模型对黄斑区特征以及黄斑区厚度进行识别,以得到与黄斑区特征和黄斑区厚度对应的筛选结果;通过上述方法实现了黄斑区异常的自动筛选,提高黄斑区异常的筛选效率、降低人力成本,且筛选过程对眼部无损伤。
一些实施方式中,将黄斑区图像输入至卷积神经网络之前,方法还包括:
获取训练集图像集合以及搭建卷积神经网络,训练集图像集合包含多张训练集图像;
为每一张训练集图像设置黄斑区厚度类别,并标注多张训练集图像的异常参考类别,异常参考类别至少包括异常与正常;
将多张训练集图像依次输入至卷积神经网络,将厚度类别以及将训练集图像对应的异常分析结果分别作为卷积神经网络的输入以及输出,通过输入以及输出不断训练卷积神经网络的神经元权值,直至训练集图像均已输入至卷积神经网络,结束对卷积神经网络的训练。
上述实施方式中,黄斑区检测模型在训练过程中计算实际输出的异常分类结果与预先标注的异常参考类别之间的偏差,根据偏差大小做自我参数调整,达到训练目的。
本实施例中,原始图像共5000张,其中,80%用于训练,20%用于训练验证。训练图像预先设置为512*320的大小,并做水平翻转和裁剪操作,来进行数据增强,最终得到20000张训练用黄斑区图像。训练时,采用Adam优化器来控制学习速度,初始学习率设置为0.0001,利用反向传导法则更新卷积神经网络以及黄斑区检测模型中的各网络层的参数。
一些实施方式中,根据输入调整指令以调整光学相干断层扫描仪与被测者的眼部之间的距离,包括:
接收用户输入的移动指令,根据用户输入的移动指令控制光学相干断层扫描仪以预设的步长沿着滑轨朝向被测者的眼部移动;
获取显示的眼底图像;
用预设的拉普拉斯模板对显示的眼底图像做卷积运算,以得到显示的眼底图像的梯度矩阵;
计算梯度矩阵中的所有元素的标准差,将标准差设置为显示的眼底图像的清晰度;
若显示的眼底图像的清晰度大于或等于阈值,则将光学相干断层扫描仪锁定在当前所移动至的位置。
一些实施方式中,将黄斑区图像输入至卷积神经网络之前,方法还包括:
识别黄斑区图像的画质;
提取黄斑区图像的画质特征,并根据画质特征与画质分类结果之间的映射关系,得到与画质特征对应的画质分类结果,画质分类结果包括模糊类、过暗类、过亮类、镜头污染类、角度异常类和合格类;
若画质分类结果为合格,则将黄斑区图像标记为目标黄斑区图像,若画质分类结果为不合格,则提示重新拍摄黄斑区图像。
上述实施方式中,分类结果利用机器学习技术得到,预先利用训练样本集训练得到。训练样本集包括模糊类、过暗类、过亮类、镜头污染类和角度异常类的训练图像,以及清晰类图像。预先对训练样本进行人工标注,将模糊类、过暗类、过亮类、镜头污染类、角度异常类的训练图像标记为不合格类,将清晰类图像标注为合格类。将训练图像作为画质识别模型的输入,将训练图像对应的标注作为画质识别模型的输出参考,对画质识别模型进行训练,画质识别模型对内部各层的参数进行调整,直至参数收敛,得到画质特征与画质分类结果之间的映射关系。
在训练画质识别模型的过程中,采用以下损失函数计算画质识别模型输出的误差:
其中,M表示类别的数量,M为大于或等于1的整数;表示指示变量,如果类别c与训练样本所标注的类别相同,则等于1,否则等于0;表示对于训练样本属于类别c的预测概率值。该损失函数计算画质识别模型分类结果相对于训练样本所标注的类别的误差,采用反向传导法根据该误差更新画质识别模型各层的参数。重复上述训练,直至画质识别模型内部网络收敛,对训练样本的分类准确率达到预设要求。
一些实施方式中,扫描被测者的眼部的黄斑区,包括:
通过光学相干断层扫描仪的同心圆定位环定位黄斑区的中心凹;
调整扫描标记线的方向,使扫描线垂直于定位黄斑区的中心凹。
视网膜后极部有一直径约2mm的浅漏斗状小凹陷区,称为黄斑区,这是由于该区含有丰富的叶黄素而得名。黄斑区位于视网膜的中心,是决定视功能的重要部位,识别形状、大小、颜色、纵深、距离等大多数光学信号。黄斑区的中央有一小凹,称为中心凹。黄斑区无血管,但因色素上皮细胞中含有较多色素,因此在检眼镜下颜色较暗,中心凹处可见反光点,称为中心凹反射,它是视网膜上视觉最敏锐的部位,也是眼底图像中最易识别的区域。通过同心圆定位环定位中心凹,扫描线垂直于定位黄斑区的中心凹后,将以中心凹为中心,3.5mm物理长度为直径的区域内的全部视网膜作为测量对象,即得到待检测的黄斑区。
单线扫描模式下,当信号强度大于或等于7/10时,检测结果被认为可信。光学相干断层扫描仪根据光学原理以及扫描信息自动计算黄斑区厚度,黄斑区厚度具体是指黄斑区中心区视网膜厚度(central subfield thickness,fovea),指以500um为半径、以固视点为中心的圆周范围内视网膜平均厚度(average thckness,AT)。视网膜平均厚度指以固视点为中心的6mm*6mm区域内的视网膜的平均厚度。
上述实施方式中,采用光学相干断层扫描仪拍摄黄斑区图像并测量黄斑区厚度,具有以下优点:无损伤,非侵入性,免散瞳;高分辨率成像,可以显示黄斑区的结构细节,能够精确测量黄斑区的厚度;能够使用光学相干断层扫描仪的眼部追踪功能,在眼部运动时锁定需要测量的黄斑区,确保了测量的可重复性和准确性。
一些实施方式中,卷积神经网络是指多层神经MLP网络,MLP网络包括独立卷积层、卷积池化层、卷积残差层、全连接层以及输出层。
上述实施方式中,MLP网络的组成部分形成了一个完整的神经网络。以使得网络的训练效果更突出。
一些实施方式中,对训练集图像集合进行数据扩充,数据扩充的数学表达式为:
其中x,y是指训练集图像的像素坐标,θ是指旋转的角度,a是指训练集图像沿x轴平移的单位距离,b是指训练集图像像素沿y轴平移的单位距离。
上述实施方式中,通过这个方法增加训练样本的数量。
如图2所示的一种筛查眼底黄斑区异常的装置20的结构示意图,其可应用于筛查眼底黄斑区异常。本申请实施例中的筛查眼底黄斑区异常的装置能够实现对应于上述图1所对应的实施例中所执行的筛查眼底黄斑区异常的方法的步骤。筛查眼底黄斑区异常的装置20实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述筛查眼底黄斑区异常的装置可包括输入输出模块201和处理模块202,所述处理模块202和输入输出模块201的功能实现可参考图1所对应的实施例中所执行的操作,此处不作赘述。输入输出模块201可用于控制所述输入输出模块201的输入、输出以及获取操作。
一些实施方式中,所述输入输出模块201可用于用于接收用户的输入的调整指令;
所述处理模块202可用于通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值;通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;通过所述黄斑区厚度与厚度类别之间的映射关系,得到与所述黄斑区厚度对应的所述厚度类别,所述厚度类别至少包括正常厚度以及异常厚度;将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵,所述卷积神经网络至少包括卷积层以及池化层;通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;分别计算所述多组局部特征集合的平均值,通过冒泡排序法将所述平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合;将所述厚度类别输入至所述卷积神经网络,并通过所述卷积网络的神经元权值对所述黄斑区集合以及厚度类别加权求和,以得到所述黄斑区图像的异常分析结果。
一些实施方式中,所述处理模块202还用于:
获取训练集图像集合以及搭建所述卷积神经网络,所述训练集图像集合包含多张训练集图像;
为每一张所述训练集图像设置黄斑区厚度类别,并标注所述多张训练集图像的异常参考类别,所述异常参考类别至少包括异常与正常;
将多张所述训练集图像依次输入至所述卷积神经网络,将所述厚度类别以及将所述训练集图像对应的异常分析结果分别作为所述卷积神经网络的输入以及输出,通过所述输入以及所述输出不断训练所述卷积神经网络的神经元权值,直至所述训练集图像均已输入至所述卷积神经网络,结束对所述卷积神经网络的训练。
一些实施方式中,所述处理模块202还用于:
接收用户输入的移动指令,根据所述用户输入的移动指令控制所述光学相干断层扫描仪以预设的步长沿着滑轨朝向被测者的眼部移动;
获取显示的眼底图像;
用预设的拉普拉斯模板对所述显示的眼底图像做卷积运算,以得到所述显示的眼底图像的梯度矩阵;
计算所述梯度矩阵中的所有元素的标准差,将所述标准差设置为所述显示的眼底图像的清晰度;
若所述显示的眼底图像的清晰度大于或等于阈值,则将所述光学相干断层扫描仪锁定在当前所移动至的位置。
一些实施方式中,所述处理模块202还用于:
识别所述黄斑区图像的画质;
提取所述黄斑区图像的画质特征,并根据所述画质特征与画质分类结果之间的映射关系,得到与所述画质特征对应的画质分类结果,所述画质分类结果包括模糊类、过暗类、过亮类、镜头污染类、角度异常类和合格类;
若所述画质分类结果为合格,则将所述黄斑区图像标记为目标黄斑区图像,若所述画质分类结果为不合格,则提示重新拍摄黄斑区图像。
一些实施方式中,所述处理模块202还用于:
通过所述光学相干断层扫描仪的同心圆定位环定位黄斑区的中心凹;
调整扫描标记线的方向,使扫描线垂直于定位所述黄斑区的中心凹。
一些实施方式中,所述卷积神经网络是指多层神经MLP网络,所述MLP网络包括独立卷积层、卷积池化层、卷积残差层、全连接层以及输出层。
一些实施方式中,所述获取训练集图像集合以及搭建所述卷积神经网络之前,所述方法还包括:
对所述训练集图像集合数据扩充,所述数据扩充的数学表达式为:
其中x,y是指所述训练集图像的像素坐标,θ是指旋转的角度,a是指所述训练集图像沿x轴平移的单位距离,b是指所述训练集图像像素沿y轴平移的单位距离。
上面从模块化功能实体的角度分别介绍了本申请实施例中的创建装置,以下从硬件角度介绍一种筛查眼底黄斑区异常的设备,如图3所示,其包括:处理器、存储器、输入输出单元(也可以是收发器,图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如,该计算机程序可以为图1所对应的实施例中筛查眼底黄斑区异常的方法对应的程序。例如,当筛查眼底黄斑区异常的设备实现如图2所示的筛查眼底黄斑区异常的装置20的功能时,所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由筛查眼底黄斑区异常的装置20执行的筛查眼底黄斑区异常的方法中的各步骤。或者,所述处理器执行所述计算机程序时实现上述图2所对应的实施例的筛查眼底黄斑区异常的装置20中各模块的功能。又例如,该计算机程序可以为图1所对应的实施例中筛查眼底黄斑区异常的方法对应的程序。
所称处理器可以是中央处理单元(central processing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入输出单元也可以用接收器和发送器代替,可以为相同或者不同的物理实体。为相同的物理实体时,可以统称为输入输出单元。该输入输出可以为收发器。
所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本申请的保护之内。
Claims (10)
1.一种筛查眼底黄斑区异常的方法,其特征在于,所述方法包括:
接收用户输入的调整指令,通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值;
通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;
通过所述黄斑区厚度与厚度类别之间的映射关系,得到与所述黄斑区厚度对应的所述厚度类别,所述厚度类别至少包括正常厚度以及异常厚度;
将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵,所述卷积神经网络至少包括卷积层以及池化层;
通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;
分别计算所述多组局部特征集合的平均值,通过冒泡排序法将所述平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合;
将所述厚度类别输入至所述卷积神经网络,并通过所述卷积神经网络的神经元权值对所述黄斑区特征集合以及厚度类别加权求和,以得到所述黄斑区图像的异常分析结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述黄斑区图像输入至卷积神经网络之前,所述方法还包括:
获取训练集图像集合以及搭建所述卷积神经网络,所述训练集图像集合包含多张训练集图像;
为每一张所述训练集图像设置黄斑区厚度类别,并标注所述多张训练集图像的异常参考类别,所述异常参考类别至少包括异常与正常;
将多张所述训练集图像依次输入至所述卷积神经网络,将所述厚度类别以及将所述训练集图像对应的异常分析结果分别作为所述卷积神经网络的输入以及输出,通过所述输入以及所述输出不断训练所述卷积神经网络的神经元权值,直至所述训练集图像均已输入至所述卷积神经网络,结束对所述卷积神经网络的训练。
3.根据权利要求1所述的方法,其特征在于,所述通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,包括:
接收用户输入的移动指令,根据所述用户输入的移动指令控制所述光学相干断层扫描仪以预设的步长沿着滑轨朝向被测者的眼部移动;
获取显示的眼底图像;
用拉普拉斯模板对所述显示的眼底图像做卷积运算,以得到所述显示的眼底图像的梯度矩阵;
计算所述梯度矩阵中的所有元素的标准差,将所述标准差设置为所述显示的眼底图像的清晰度;
若所述显示的眼底图像的清晰度大于或等于阈值,则将所述光学相干断层扫描仪锁定在当前所移动至的位置。
4.根据权利要求1所述的方法,其特征在于,所述将所述黄斑区图像输入至卷积神经网络之前,所述方法还包括:
识别所述黄斑区图像的画质;
提取所述黄斑区图像的画质特征,并根据所述画质特征与画质分类结果之间的映射关系,得到与所述画质特征对应的画质分类结果,所述画质分类结果包括模糊类、过暗类、过亮类、镜头污染类、角度异常类和合格类;
若所述画质分类结果为合格,则将所述黄斑区图像标记为目标黄斑区图像,若所述画质分类结果为不合格,则提示重新拍摄黄斑区图像。
5.根据权利要求1所述的方法,其特征在于,所述扫描被测者的眼部的黄斑区,包括:
通过所述光学相干断层扫描仪的同心圆定位环定位黄斑区的中心凹;
调整扫描标记线的方向,使扫描线垂直于定位所述黄斑区的中心凹。
6.根据权利要求1或2所述的方法,其特征在于,所述卷积神经网络是指多层神经MLP网络,所述MLP网络包括独立卷积层、卷积池化层、卷积残差层、全连接层以及输出层。
7.根据权利要求2所述的方法,其特征在于,所述获取训练集图像集合以及搭建所述卷积神经网络之前,所述方法还包括:
对所述训练集图像集合进行数据扩充,所述数据扩充的数学表达式为:
其中x0,y0是指所述训练集图像的像素坐标,θ是指旋转的角度,a是指所述训练集图像沿x轴平移的单位距离,b是指所述训练集图像像素沿y轴平移的单位距离。
8.一种筛查眼底黄斑区异常的装置,其特征在于,所述装置包括:
输入输出模块,用于接收用户的输入的调整指令;
处理模块,用于通过所述用户输入的调整指令调整光学相干断层扫描仪与被测者的眼部之间的距离,直至得到的图像清晰度大于预设值;通过所述光学相干断层扫描仪的单线扫描模式,扫描被测者的眼部的黄斑区,以得到被测者的黄斑区图像以及黄斑区厚度;通过所述黄斑区厚度与厚度类别之间的映射关系,得到与所述黄斑区厚度对应的所述厚度类别;所述厚度类别至少包括正常厚度以及异常厚度;将所述黄斑区图像输入至卷积神经网络,通过对所述黄斑区图像进行卷积运算以得到黄斑区图像的卷积特征矩阵,所述卷积神经网络至少包括卷积层以及池化层;通过所述卷积神经网络的池化层轮询所述卷积特征矩阵,以得到多组局部特征集合;分别计算所述多组局部特征集合的平均值,通过冒泡排序法将所述平均值按照数值大小顺序排列拼接,以得到黄斑区特征集合;将所述厚度类别输入至所述卷积神经网络,并通过所述卷积神经网络的神经元权值对所述黄斑区特征集合以及厚度类别加权求和,以得到所述黄斑区图像的异常分析结果。
9.一种筛查眼底黄斑区异常的设备,其特征在于,所述筛查眼底黄斑区异常的设备包括:
至少一个处理器、存储器和输入输出单元;
其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-7中任一项所述的方法。
10.一种计算机存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910884614.3A CN110766656B (zh) | 2019-09-19 | 2019-09-19 | 筛查眼底黄斑区异常的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910884614.3A CN110766656B (zh) | 2019-09-19 | 2019-09-19 | 筛查眼底黄斑区异常的方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110766656A CN110766656A (zh) | 2020-02-07 |
CN110766656B true CN110766656B (zh) | 2023-08-11 |
Family
ID=69329775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910884614.3A Active CN110766656B (zh) | 2019-09-19 | 2019-09-19 | 筛查眼底黄斑区异常的方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766656B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560039B (zh) * | 2020-12-25 | 2023-04-18 | 河南交通职业技术学院 | 一种计算机安全防护方法 |
CN113989215B (zh) * | 2021-10-25 | 2022-12-06 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
CN114255350B (zh) * | 2021-12-23 | 2023-08-04 | 四川大学 | 一种腭部软硬组织厚度测量方法和系统 |
CN114494734A (zh) * | 2022-01-21 | 2022-05-13 | 平安科技(深圳)有限公司 | 基于眼底图像的病变检测方法、装置、设备及存储介质 |
CN116777794B (zh) * | 2023-08-17 | 2023-11-03 | 简阳市人民医院 | 一种角膜异物图像的处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017031099A1 (en) * | 2015-08-20 | 2017-02-23 | Ohio University | Devices and methods for classifying diabetic and macular degeneration |
CN109886946A (zh) * | 2019-02-18 | 2019-06-14 | 广州视源电子科技股份有限公司 | 基于深度学习的早期老年性黄斑病变弱监督分类方法 |
CN110021009A (zh) * | 2019-01-18 | 2019-07-16 | 平安科技(深圳)有限公司 | 一种评估眼底图像质量的方法、装置及存储介质 |
-
2019
- 2019-09-19 CN CN201910884614.3A patent/CN110766656B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017031099A1 (en) * | 2015-08-20 | 2017-02-23 | Ohio University | Devices and methods for classifying diabetic and macular degeneration |
CN110021009A (zh) * | 2019-01-18 | 2019-07-16 | 平安科技(深圳)有限公司 | 一种评估眼底图像质量的方法、装置及存储介质 |
CN109886946A (zh) * | 2019-02-18 | 2019-06-14 | 广州视源电子科技股份有限公司 | 基于深度学习的早期老年性黄斑病变弱监督分类方法 |
Non-Patent Citations (1)
Title |
---|
正常眼黄斑区视网膜神经上皮厚度相干光断层扫描测量;徐峻;吴志兵;查敦玲;李婷;毛庆萍;;临床眼科杂志(第01期) * |
Also Published As
Publication number | Publication date |
---|---|
CN110766656A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766656B (zh) | 筛查眼底黄斑区异常的方法、装置、设备和存储介质 | |
CN110400289B (zh) | 眼底图像识别方法、装置、设备和存储介质 | |
CN110021009B (zh) | 一种评估眼底图像质量的方法、装置及存储介质 | |
EP3373798B1 (en) | Method and system for classifying optic nerve head | |
EP2888718B1 (en) | Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation | |
CN109697719B (zh) | 一种图像质量评估方法、装置及计算机可读存储介质 | |
US20140285768A1 (en) | System and Method for Identifying Eye Conditions | |
JP6842481B2 (ja) | 深層学習を用いた網膜層の3d定量解析 | |
CN112837805B (zh) | 基于深度学习的眼睑拓扑形态特征的提取方法 | |
CN113826143A (zh) | 特征点检测 | |
CN112164043A (zh) | 一种用于多眼底图像拼接的方法及系统 | |
CN106846293A (zh) | 图像处理方法和装置 | |
CN113436070B (zh) | 一种基于深度神经网络的眼底图像拼接方法 | |
CN205750807U (zh) | 一种基于虹膜识别的幼儿园安全接送系统 | |
CN110929570A (zh) | 虹膜快速定位装置及其定位方法 | |
Ali et al. | Optic Disc Localization in Retinal Fundus Images Based on You Only Look Once Network (YOLO). | |
CN115456974A (zh) | 基于人脸关键点的斜视检测系统、方法、设备及介质 | |
CN109447948A (zh) | 一种基于病灶彩色视网膜眼底图像的视盘分割方法 | |
WO2021139446A1 (zh) | 一种抗血管内皮生长因子vegf疗效预测装置及方法 | |
CN111767829B (zh) | 一种活体检测方法、装置、系统及存储介质 | |
CN112750123A (zh) | 一种水稻病虫害监测方法及系统 | |
US11690509B2 (en) | System and method for obtaining a pupil response profile | |
CN112674714A (zh) | 一种通过滤镜与外设结合的手机检影验光方法 | |
CN111260635A (zh) | 一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别及个性化管理系统 | |
CN115700842B (zh) | 一种驾驶人自助体检机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |