CN109758113A - 一种基于图像识别的视网膜病变定量分析系统 - Google Patents

一种基于图像识别的视网膜病变定量分析系统 Download PDF

Info

Publication number
CN109758113A
CN109758113A CN201910035442.2A CN201910035442A CN109758113A CN 109758113 A CN109758113 A CN 109758113A CN 201910035442 A CN201910035442 A CN 201910035442A CN 109758113 A CN109758113 A CN 109758113A
Authority
CN
China
Prior art keywords
functional layer
nerve fibre
image
fibre functional
nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910035442.2A
Other languages
English (en)
Other versions
CN109758113B (zh
Inventor
黄卉
王金鑫
谢启伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Original Assignee
Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Endpoint Pharmaceutical Research And Development Co Ltd filed Critical Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Priority to CN201910035442.2A priority Critical patent/CN109758113B/zh
Publication of CN109758113A publication Critical patent/CN109758113A/zh
Application granted granted Critical
Publication of CN109758113B publication Critical patent/CN109758113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种基于图像识别的视网膜病变定量分析系统,包括:视网膜眼底图像采集模块、图像预处理模块、神经纤维功能层上界识别模块、神经纤维功能层上界识别模块、神经纤维功能层下界识别模块、计算模块和定量分析结果输出模块。优点为:采用计算机智能图像分析方法,可精确的检测分析到以下视网膜病变定量分析特征性参数:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI,从而为眼科诊断或动物视网膜病理研究提供客观、准确的检测结果。

Description

一种基于图像识别的视网膜病变定量分析系统
技术领域
本发明属于医学设备技术领域,具体涉及一种基于图像识别的视网膜病变定量分析系统。
背景技术
视网膜病变的原因有很多,包括视网膜血管性病变、视网膜先天发育异常、视网膜循环障碍,以及视网膜血管炎等。临床上,视网膜病变的疾病种类众多,包括视网膜血管异常性疾病、糖尿病视网膜病变、动脉硬化与高血压性视网膜病变、全身病引起的视网膜血管病变、视网膜血管瘤、创伤性血管性视网膜病变、中毒及放射性视网膜病变和脉络膜病变、血管瘤,以及各种退行性病变等。
视网膜组织结构复杂,视网膜自外向内共包括10层结构:①色素上皮层;②视杆视锥层;③外界膜;④外核层;⑤外网层;⑥内核层;⑦内网层;⑧节细胞层;⑨神经纤维层;⑩内界膜共同组成。为描述方便,本发明将节细胞层、神经纤维层和内界膜形成的整体称为神经纤维功能层,神经纤维功能层的总面积、神经纤维功能层的下边界长度、神经纤维功能层中节细胞层包含的细胞核数量等视网膜参数,均属于眼科临床诊断的重要指标,属于青光眼、糖尿病等各类视网膜病变的重要诊断依据。
现有技术中,OCT对视网膜成像后,上述的视网膜参数只能由医生通过肉眼观察得到,对医生的个人经验依赖较大,无统一客观、准确的检测结果,从而影响了眼科临床诊断的准确性。同样的,在进行动物视网膜病理研究时,现有技术是将动物视网膜制备为HE染色切片,通过病理老师人工判读的方式进行病理变化的判断,主观性强,不同的病理老师阅片结果有差异,且无法做到定量分析。
发明内容
针对现有技术存在的缺陷,本发明提供一种基于图像识别的视网膜病变定量分析系统,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种基于图像识别的视网膜病变定量分析系统,包括:
视网膜眼底图像采集模块,用于采集被检测对象的视网膜眼底图像;其中,所述视网膜眼底图像包括神经纤维功能层和其他组织结构层;所述神经纤维功能层位于所述其他组织结构层的最外侧;其中,所述神经纤维功能层由内向外,依次包括内界膜、神经纤维层和节细胞层;
图像预处理模块,用于对所述视网膜眼底图像采集模块采集到的所述视网膜眼底图像进行滤波和图像旋转操作,使所述神经纤维功能层旋转到所述视网膜眼底图像的上方,此时,所述内界膜位于最上面,所述神经纤维层位于所述内界膜的下面,所述节细胞层位于所述神经纤维层的下面;所述其他组织结构层位于所述节细胞层的下面;
神经纤维功能层上界识别模块,用于对经所述图像预处理模块处理后的图像进行神经纤维功能层上界识别,由此识别到神经纤维功能层上界;
神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,用于基于所述神经纤维功能层上界识别模块识别到的所述神经纤维功能层上界,识别出神经纤维功能层细胞核数量A1,以及神经纤维功能层细胞核总面积SA;
神经纤维功能层下界识别模块,基于两项约束条件建立优化模型,通过求解所述优化模型,拟合到神经纤维功能层下界;
其中,优化模型为:
Y表示神经纤维功能层上界;
Z表示待求的神经纤维功能层下界;
A表示差分算子;
表示第一项约束条件,即:约束待求的神经纤维功能层下界Z与神经纤维功能层上界Y的斜率尽可能一致;
λ是常数惩罚因子,由待求的神经纤维功能层下界Z的光滑程度确定;
Zk表示一系列神经纤维功能层细胞核下沿离散点,并拉成与神经纤维功能层上界Y等长的稀疏列向量,包括多个细胞核下沿离散数据;
B是稀疏的抽取算子,用于使待求的神经纤维功能层下界Z近似于细胞核下沿离散数据Zk
表示第二项约束条件,即:约束待求的神经纤维功能层下界Z与对应的细胞核下沿离散数据Zk尽可能接近;
通过求解所述优化模型,得到的最优化方程解的形式是
计算模块,用于根据识别到的神经纤维功能层上界和神经纤维功能层下界,计算神经纤维功能层上界和神经纤维功能层下界之间的神经纤维功能层面积S总;根据识别到的神经纤维功能层下界,得到神经纤维功能层下界长度L;
然后,根据水肿指数SZ=SA/S总,计算得到水肿指数SZ;
根据细胞增生指数PI=A1/L,计算得到细胞增生指数PI;
定量分析结果输出模块,用于输出视网膜病变定量分析参数,包括:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI。
优选的,所述视网膜眼底图像采集模块采集到的所述视网膜眼底图像,为对动物视网膜HE染色切片进行图像采集得到的图像;或者,为OCT断层扫描人眼底后采集到的图像。
优选的,所述神经纤维功能层上界识别模块识别神经纤维功能层上界,具体为:
步骤1-1,将经图像旋转操作得到的图像进行灰度化处理,得到灰度图像;
步骤1-2,对所述灰度图像进行维纳滤波处理,得到滤波处理后的图像;
步骤1-3,设定分割阈值,对所述滤波处理后的图像进行图像二值化,将图像中大于分割阈值的像素点置为1,将图像中小于等于分割阈值的像素点置为0,由此分割出多个组织块;
步骤1-4,通过形态学处理优化分割结果,即:对于步骤1-3分割出的多个组织块中,将连通区域面积最大的一块组织块作为目标组织块;
步骤1-5,采用canny边缘算子识别出所述目标组织块的边缘,对识别出的所述目标组织块的边缘进行筛选,位于图像最上面的一根边缘线,即为识别出的神经纤维功能层上界。
优选的,神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,识别神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA,具体为:
步骤2-1,在识别到神经纤维功能层上界后,设定抽离阈值θ,将神经纤维功能层上界以下宽θ的图像单独抽离出来,得到抽离图像;其中,通过设置所述抽离阈值θ的大小,使抽离图像的下边界位于内网层,保证所述抽离图像囊括完整的神经纤维功能层,但不包括内核层,避免内核层里细胞核的干扰;
步骤2-2,因此,所述抽离图像中仅包括所述神经纤维功能层细胞核,不包括其他组织结构层的细胞核;
采用最小化Otsu算法对所述抽离图像进行识别,确定分割阈值;
步骤2-3,根据所述分割阈值对所述抽离图像进行二分法分割,将所述抽离图像中像素值低于分割阈值的区域作为前景区域;将所述抽离图像中像素值高于分割阈值的区域作为背景区域,从而得到抽离图像的二值化图像;其中,所述前景区域即为初步的细胞核区域;
步骤2-4,以所述抽离图像的二值化图像作为输入,对所述抽离图像的二值化图像进行形态学处理,使所述前景区域的细胞核边界更加平滑,得到形态学处理后的图像;
步骤2-5,根据细胞核的形态,确定采用圆形算子;采用所述圆形算子对所述形态学处理后的图像进行先腐蚀后膨胀操作,得到膨胀操作后的二值化图像;
步骤2-6,所述膨胀操作后的二值化图像包括多个连通域;计算每个所述连通域的像素面积,并将连通域按照像素面积由大到小进行排序;
统计各个所述连通域像素面积的总体分布,均值以及偏差值,明显小于均值的连通域为非有效信息区域的连通域,删除,剩下的连通域为有效连通域;
计算各个所述有效连通域的面积和,即为神经纤维功能层细胞核总面积SA;
步骤2-7,对于各个所述有效连通域,使用分水岭方法进行图像分割,由此在聚合的多个细胞核中绘制出分割线,统计分割后的细胞核的个数,即为识别到的神经纤维功能层细胞核数量A1。
优选的,神经纤维功能层下界识别模块在识别神经纤维功能层下界时,神经纤维功能层细胞核下沿离散点通过以下方式得到:
在步骤2-6得到有效连通域后,识别到所述有效连通域的轮廓;然后,使用上下差分法,将所述有效连通域的轮廓的上边界去掉,得到所述有效连通域的轮廓的下边界,该有效连通域的轮廓的下边界即为细胞核下沿;在所述有效连通域的轮廓的下边界分散选取多个像素点,即为一系列神经纤维功能层细胞核下沿离散点。
本发明提供的一种基于图像识别的视网膜病变定量分析系统具有以下优点:
本发明提供一种基于图像识别的视网膜病变定量分析系统,采用计算机智能图像分析方法,可精确的检测分析到以下视网膜病变定量分析特征性参数:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI,从而为眼科诊断或动物视网膜病理研究提供客观、准确的检测结果。
附图说明
图1为本发明提供的一种基于图像识别的视网膜病变定量分析系统的结构示意图;
图2为本发明提供的一种基于图像识别的视网膜病变定量分析系统的算法流程图;
图3为一个具体的视网膜眼底图像的示意图;
图4为神经纤维功能层的示意简图;
图5为灰度化后的图像示意图;
图6为维纳滤波处理后的图像示意图;
图7为滤波处理后的图像进行图像二值化后的图像示意图;
图8为形态学处理优化分割结果后的示意图;
图9为抽离图像示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
由于视网膜的HE染色病理切片或OCT视网膜成像后,视网膜各组织结构层之间的距离非常密集,细胞核分布不规则,且各组织层之间的边界并不明显,难以通过传统的图像处理的方法确定神经纤维功能层特定参数,因此,本发明提供一种基于图像识别的视网膜病变定量分析系统,采用计算机智能图像分析方法,可精确的检测分析到以下视网膜病变定量分析特征性参数:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI,从而为眼科诊断或动物视网膜病理研究提供客观、准确的检测结果,由于可定量评价视网膜病变情况,可辅助或替代传统的人工判断方式。
考虑到神经纤维功能层位于组织层的最上层,并且基本以神经纤维功能层内的细胞核的下沿为下界,本发明提出一种全新的自动分析流程,通过图像处理的方法找到神经纤维功能层的上界,并基于两项限制项建立数学模型来拟合神经纤维功能层的下界,依据得到的边界结果计算神经纤维功能层的面积以及神经纤维功能层内细胞核的面积与个数,图2为算法流程图。
本发明的基于图像识别的视网膜病变定量分析系统,主要包括视网膜眼底图像采集模块、图像预处理模块、神经纤维功能层上界识别模块、神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块、神经纤维功能层下界识别模块、计算模块、定量分析结果输出模块这七个模块,下面对这七个模块分别详细介绍:
(一)视网膜眼底图像采集模块
视网膜眼底图像采集模块,用于采集被检测对象的视网膜眼底图像;其中,所述视网膜眼底图像包括神经纤维功能层和其他组织结构层;所述神经纤维功能层位于所述其他组织结构层的最外侧;其中,所述神经纤维功能层由内向外,依次包括内界膜、神经纤维层和节细胞层。
需要强调的是,本发明中,视网膜眼底图像采集模块即可以直接对活体视网膜眼底进行图像采集,例如,直接对人的视网膜眼底进行OCT断层扫描,从而得到视网膜眼底图像。本发明也可以对动物视网膜HE染色切片进行图像采集,从而分析某种治疗药物对动物视网膜病变的疗效等。二者的图像处理思路完全相同。
为方便对本发明进行理解,如图3所示,为一个具体的视网膜眼底图像的示意图;在图3中,1代表神经纤维功能层;2代表内网层;3代表内核层;4代表外网层;5代表外核层。由此可见,神经纤维功能层位于其他组织结构层的最外部。而神经纤维功能层,由内向外,依次包括内界膜、神经纤维层和节细胞层。参考图4,为神经纤维功能层的示意简图;其中,C4区域为神经纤维功能层;C1区域为内界膜;C2区域为神经纤维层;C3区域为节细胞层。由图可见,在神经纤维功能层,细胞集中在节细胞层。
(二)图像预处理模块
图像预处理模块,用于对所述视网膜眼底图像采集模块采集到的所述视网膜眼底图像进行滤波和图像旋转操作,使所述神经纤维功能层旋转到所述视网膜眼底图像的上方,此时,所述内界膜位于最上面,所述神经纤维层位于所述内界膜的下面,所述节细胞层位于所述神经纤维层的下面;所述其他组织结构层位于所述节细胞层的下面。
(三)神经纤维功能层上界识别模块
神经纤维功能层上界识别模块,用于对经所述图像预处理模块处理后的图像进行神经纤维功能层上界识别,由此识别到神经纤维功能层上界,即图4中的曲线J1。
所述神经纤维功能层上界识别模块识别神经纤维功能层上界,具体为:
步骤1-1,将经图像旋转操作得到的图像进行灰度化处理,得到灰度图像;如图5所示,为灰度化后的图像示意图;
步骤1-2,对所述灰度图像进行维纳滤波处理,得到滤波处理后的图像;如图6所示,为维纳滤波处理后的图像示意图;
由于图像在拍摄中存在噪声,因此对灰度图像进行维纳滤波处理,维纳滤波是一种基于最小均方误差准则、对平稳过程的最优估计器,能有效降低噪声影响,达到平滑的效果,便于后续的分割。
步骤1-3,设定分割阈值,对所述滤波处理后的图像进行图像二值化,将图像中大于分割阈值的像素点置为1,将图像中小于等于分割阈值的像素点置为0,由此分割出多个组织块;如图7所示,为滤波处理后的图像进行图像二值化后的图像示意图;
其中,分割阈值由拍摄环境与样本染色程度决定,一般选取的分割阈值在140~210之间。
步骤1-4,通过形态学处理优化分割结果,即:对于步骤1-3分割出的多个组织块中,将连通区域面积最大的一块组织块作为目标组织块;如图8所示,为形态学处理优化分割结果后的示意图;
步骤1-5,采用canny边缘算子识别出所述目标组织块的边缘,对识别出的所述目标组织块的边缘进行筛选,位于图像最上面的一根边缘线,即为识别出的神经纤维功能层上界。
(四)神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块
神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,用于基于所述神经纤维功能层上界识别模块识别到的所述神经纤维功能层上界,识别出神经纤维功能层细胞核数量A1,以及神经纤维功能层细胞核总面积SA;
主要思路为:
由于视网膜不同组织结构层内的细胞核在显微镜下的形态和纹理特征并没有明显的区别,而细胞核和其他组织块有较明显差异,针对这个特点,依据识别到的神经纤维功能层上界,并设定抽离阈值θ,将神经纤维功能层上界以下宽θ的区域单独抽离分析,实际应用中,抽离阈值θ的取值根据图像确定,一般设定在30~60之间。可采用Matlab自带的graythresh函数在抽离图像中实现otsu自适应分割细胞核,并在Matlab中采用半径大小为3的圆形算子先后进行形态学的开闭运算,使得细胞核结果更加准确。在得到细胞核分割结果后,运用距离变换结合分水岭算法分开聚合在一起的细胞核,最后去除零碎的小面积区域,并在最后的分割结果上统计细胞核个数和细胞核的总面积。
具体的,神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,识别神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA,具体为:
步骤2-1,在识别到神经纤维功能层上界后,由于不同组织结构层内的细胞核在显微镜下的形态和纹理特征并没有明显的区别,而细胞核和其他组织块有较明显差异,针对这个特点,本发明设定抽离阈值θ,将神经纤维功能层上界以下宽θ的图像单独抽离出来,得到抽离图像;如图9所示,为抽离图像示意图;其中,通过设置所述抽离阈值θ的大小,使抽离图像的下边界位于内网层,保证所述抽离图像囊括完整的神经纤维功能层,但不包括内核层,避免内核层里细胞核的干扰;
步骤2-2,因此,所述抽离图像中仅包括所述神经纤维功能层细胞核,不包括其他组织结构层的细胞核;
在抽离出的抽离图像中,由于细胞核与组织背景在灰度值上有较明显的差异,因此,本发明采用运用otsu自适应分割算法,结合开闭运算以及区域填充的方法分割出细胞核。基于分割结果定量的统计细胞核的面积与个数,由于有些细胞核在神经纤维功能层中呈聚合状,聚合在一起的细胞核对会对个数的统计造成偏差,针对这一情况,本发明在得到的细胞核分割图上应用分水岭算法区分聚合在一起的细胞核,使得统计数量误差减少。
具体步骤如下:
采用最小化Otsu算法对所述抽离图像进行识别,确定分割阈值;
步骤2-3,根据所述分割阈值对所述抽离图像进行二分法分割,将所述抽离图像中像素值低于分割阈值的区域作为前景区域;将所述抽离图像中像素值高于分割阈值的区域作为背景区域,从而得到抽离图像的二值化图像;其中,所述前景区域即为初步的细胞核区域;
步骤2-4,以所述抽离图像的二值化图像作为输入,对所述抽离图像的二值化图像进行形态学处理,使所述前景区域的细胞核边界更加平滑,得到形态学处理后的图像;
步骤2-5,根据细胞核的形态,确定采用圆形算子;采用所述圆形算子对所述形态学处理后的图像进行先腐蚀后膨胀操作,得到膨胀操作后的二值化图像;
步骤2-6,所述膨胀操作后的二值化图像包括多个连通域;计算每个所述连通域的像素面积,并将连通域按照像素面积由大到小进行排序;
统计各个所述连通域像素面积的总体分布,均值以及偏差值,明显小于均值的连通域为非有效信息区域的连通域,删除,剩下的连通域为有效连通域;
计算各个所述有效连通域的面积和,即为神经纤维功能层细胞核总面积SA;
步骤2-7,对于各个所述有效连通域,使用分水岭方法进行图像分割,由此在聚合的多个细胞核中绘制出分割线,统计分割后的细胞核的个数,即为识别到的神经纤维功能层细胞核数量A1。
(五)神经纤维功能层下界识别模块
神经纤维功能层下界识别的主要思路为:
参考图3,由于神经纤维功能层的下界与内核层没有明显的边界,无法直接通过图像准确识别到神经纤维功能层下界。因此,本发明创新性的通过细胞核的下沿离散点来近似拟合神经纤维功能层下界。由于细胞核在层内分布不规则,难以显式表达细胞核下沿曲线。结合视网膜组织结构的特点,本发明人发现,神经纤维功能层下界与神经纤维功能层上界的走势基本一致,且神经纤维功能层下界曲线可以认为是经过细胞核下沿离散点,基于此构造带有两项限制条件的约束方程,通过前面得到的细胞核分割图差分得到一系列细胞核下沿离散点,结合神经纤维功能层上界曲线建立数学模型,求解神经纤维功能层下界曲线。
神经纤维功能层上界用Y表示,差分法求得的一系列细胞核下沿离散点,用{Zk},k=1,2,…,t表示,其中t为细胞核下沿离散点的总数量,假设待求的神经纤维功能层下界曲线为Z,问题可抽象为:通过{Zk}与Y来拟合Z。本发明用两项约束条件对神经纤维功能层下界曲线Z建模,建立的优化模型如下:
Y表示神经纤维功能层上界;
Z表示待求的神经纤维功能层下界;
A表示差分算子;
表示第一项约束条件,即:约束待求的神经纤维功能层下界Z与神经纤维功能层上界Y的斜率尽可能一致;
λ是常数惩罚因子,由待求的神经纤维功能层下界Z的光滑程度确定;
Zk表示一系列神经纤维功能层细胞核下沿离散点,并拉成与神经纤维功能层上界Y等长的稀疏列向量,包括多个细胞核下沿离散数据;其中,神经纤维功能层细胞核下沿离散点通过以下方式得到:在步骤2-6得到有效连通域后,识别到所述有效连通域的轮廓;然后,使用上下差分法,将所述有效连通域的轮廓的上边界去掉,得到所述有效连通域的轮廓的下边界,该有效连通域的轮廓的下边界即为细胞核下沿;在所述有效连通域的轮廓的下边界分散选取多个像素点,即为一系列神经纤维功能层细胞核下沿离散点。
B是稀疏的抽取算子,用于使待求的神经纤维功能层下界Z近似于细胞核下沿离散数据Zk
表示第二项约束条件,即:约束待求的神经纤维功能层下界Z与对应的细胞核下沿离散数据Zk尽可能接近;
通过求解所述优化模型,得到的最优化方程解的形式是
其中,Y是由一系列点集构成的神经纤维功能层上界,其长度取决于所选样本上界的长度,在这里不妨假定神经纤维功能层上界共由n个点构成,则Y是大小为n×1的列向量,其每一行的数值表示的是该点的纵坐标,Z是优化方程中待求的神经纤维功能层下界,其大小与Y相同,为n×1的列向量,为大小为n×n的差分算子,在本发明中,选取的差分算子为主对角线全为1,次对角线全为-1,其余项均为0,具体形式如下:
细胞核下沿离散点是对细胞核分割结果使用上下差分法而来,差分结果为-1的点可以认为是细胞核的下沿离散点,设所求离散点的个数是t,每一个离散点有横纵坐标(xi,yi),其中i=1,…,t,Zk是求得的下沿离散点组成的n×1维稀疏列向量,保证Zk与Z在相同行对应的是同一点,令其中是为了将离散点的横坐标与Z对应点对齐的转化公式,Zk的稀疏性在于其余地方取值为0。B是大小为n×n的抽取算子,在本发明中是取值均为0或1的稀疏矩阵,其稀疏性在于其余地方取值均为0。λ是用于调节限制项的常数惩罚因子,取值范围一般为0.1~10。
求解模型获取神经纤维功能层下界曲线Z:
然后将Z转化与Y有相同横坐标的点集,也记为Z。
由于二范数是凸的,因此优化方程有闭式解。通过对公式进行求导,令其等于0,就能达到最小化Z的目的,最后得到的求解是 该公式中上标T表示转置操作,上标-1表示求逆操作。最后将求得的Z转化为与Y相同横坐标的点集,也记为Z,则Z为最终求解的神经纤维功能层下界曲线。
因此,神经纤维功能层下界识别模块,基于两项约束条件建立优化模型,通过求解所述优化模型,拟合到神经纤维功能层下界,神经纤维功能层下界即为图4中的曲线J2。
(六)计算模块
计算模块,用于根据识别到的神经纤维功能层上界和神经纤维功能层下界,计算神经纤维功能层上界和神经纤维功能层下界之间的神经纤维功能层面积S总;根据识别到的神经纤维功能层下界,得到神经纤维功能层下界长度L;
然后,根据水肿指数SZ=SA/S总,计算得到水肿指数SZ;
根据细胞增生指数PI=A1/L,计算得到细胞增生指数PI;
具体的,由于视网膜为多层结构,且每层中含有不同数量和类别的细胞,形态也不尽相同。本发明首先设定水肿指数(SZ)和细胞增生指数(PI)作为视网膜病理改变的两个重要参数。
对神经纤维功能层水肿的评价:
(1)当神经纤维功能层发生水肿时,神经纤维功能层厚度增加,由于视网膜的长度不变,所以神经纤维功能层的总面积会有所增加,即S总与水肿程度呈正相关;
(2)当神经纤维功能层中细胞的数量增多时,即A1变大,但同时由于该层的面积由于水肿也增大,但A1值增加的程度明显低于S总。为了更准确的表述神经纤维功能层水肿的程度,定义一个系数,即“水肿指数(SZ)”,该指数的计算方式如下:SZ=SA/S总。
对神经纤维功能层细胞增生的评价:
(1)当神经纤维功能层中细胞数量增多时,表现在细胞核数量增多和细胞质肿胀两个方面,这两者的变化相比较而言,细胞核体积的增大并不明显,而细胞核的数量会有所增多。由于水肿和增生通常相伴产生,且视网膜神经纤维功能层面积会增大,而视网膜的长度却是相对固定。因此,定义“细胞增生指数PI”为单位长度内细胞核的数量。
以上各参数根据不同的疾病变化,可出现相应的增加或减少,因此应根据具体的视网膜病变疾病考虑上述参数变化的意义,但上述参数可将视网膜增生或水肿的表现进行定量。若视网膜出现与增生或水肿相反方向的表现时,上述参数仍可表现视网膜的定量变化,只是数值变化方向不同而已。
(七)定量分析结果输出模块
定量分析结果输出模块,用于输出视网膜病变定量分析参数,包括:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI。
作为一种具体示例,对多个不同的样本图像进行图像识别,输出以下报告:
细胞核数量Al 细胞核面积SA L S总 水肿指数(SA/S总) 增生指数(Al/L)
预防模型组54-1 51 9858 i178 33724 29.23 4.33
预防模型组73-1 52 10242 1462 33781 30.32 3.56
预防模型组73-2 61 12576 1533 37730 33.33 3.98
预防模型组158-1 35 7424 1222 30501 24.34 2.86
预防模型组162-1 46 8241 1140 31199 26.41 4.04
预防模型组158-2 44 9403 1340 35234 26.69 3.28
预防模型组45-1 47 10039 1112 37742 26.60 4.23
mean-mode1 28.13 3.75
综上所述,本发明提供的一种基于图像识别的视网膜病变定量分析系统具有以下优点:
本发明提供一种基于图像识别的视网膜病变定量分析系统,采用计算机智能图像分析方法,可精确的检测分析到以下视网膜病变定量分析特征性参数:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI,从而为眼科诊断或动物视网膜病理研究提供客观、准确的检测结果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种基于图像识别的视网膜病变定量分析系统,其特征在于,包括:
视网膜眼底图像采集模块,用于采集被检测对象的视网膜眼底图像;其中,所述视网膜眼底图像包括神经纤维功能层和其他组织结构层;所述神经纤维功能层位于所述其他组织结构层的最外侧;其中,所述神经纤维功能层由内向外,依次包括内界膜、神经纤维层和节细胞层;
图像预处理模块,用于对所述视网膜眼底图像采集模块采集到的所述视网膜眼底图像进行滤波和图像旋转操作,使所述神经纤维功能层旋转到所述视网膜眼底图像的上方,此时,所述内界膜位于最上面,所述神经纤维层位于所述内界膜的下面,所述节细胞层位于所述神经纤维层的下面;所述其他组织结构层位于所述节细胞层的下面;
神经纤维功能层上界识别模块,用于对经所述图像预处理模块处理后的图像进行神经纤维功能层上界识别,由此识别到神经纤维功能层上界;
神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,用于基于所述神经纤维功能层上界识别模块识别到的所述神经纤维功能层上界,识别出神经纤维功能层细胞核数量A1,以及神经纤维功能层细胞核总面积SA;
神经纤维功能层下界识别模块,基于两项约束条件建立优化模型,通过求解所述优化模型,拟合到神经纤维功能层下界;
其中,优化模型为:
Y表示神经纤维功能层上界;
Z表示待求的神经纤维功能层下界;
A表示差分算子;
表示第一项约束条件,即:约束待求的神经纤维功能层下界Z与神经纤维功能层上界Y的斜率尽可能一致;
λ是常数惩罚因子,由待求的神经纤维功能层下界Z的光滑程度确定;
Zk表示一系列神经纤维功能层细胞核下沿离散点,并拉成与神经纤维功能层上界Y等长的稀疏列向量,包括多个细胞核下沿离散数据;
B是稀疏的抽取算子,用于使待求的神经纤维功能层下界Z近似于细胞核下沿离散数据Zk
表示第二项约束条件,即:约束待求的神经纤维功能层下界Z与对应的细胞核下沿离散数据Zk尽可能接近;
通过求解所述优化模型,得到的最优化方程解的形式是
计算模块,用于根据识别到的神经纤维功能层上界和神经纤维功能层下界,计算神经纤维功能层上界和神经纤维功能层下界之间的神经纤维功能层面积S总;根据识别到的神经纤维功能层下界,得到神经纤维功能层下界长度L;
然后,根据水肿指数SZ=SA/S总,计算得到水肿指数SZ;
根据细胞增生指数PI=A1/L,计算得到细胞增生指数PI;
定量分析结果输出模块,用于输出视网膜病变定量分析参数,包括:神经纤维功能层细胞核数量A1、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数SZ和细胞增生指数PI。
2.根据权利要求1所述的一种基于图像识别的视网膜病变定量分析系统,其特征在于,所述视网膜眼底图像采集模块采集到的所述视网膜眼底图像,为对动物视网膜HE染色切片进行图像采集得到的图像;或者,为OCT断层扫描人眼底后采集到的图像。
3.根据权利要求1所述的一种基于图像识别的视网膜病变定量分析系统,其特征在于,所述神经纤维功能层上界识别模块识别神经纤维功能层上界,具体为:
步骤1-1,将经图像旋转操作得到的图像进行灰度化处理,得到灰度图像;
步骤1-2,对所述灰度图像进行维纳滤波处理,得到滤波处理后的图像;
步骤1-3,设定分割阈值,对所述滤波处理后的图像进行图像二值化,将图像中大于分割阈值的像素点置为1,将图像中小于等于分割阈值的像素点置为O,由此分割出多个组织块;
步骤1-4,通过形态学处理优化分割结果,即:对于步骤1-3分割出的多个组织块中,将连通区域面积最大的一块组织块作为目标组织块;
步骤1-5,采用canny边缘算子识别出所述目标组织块的边缘,对识别出的所述目标组织块的边缘进行筛选,位于图像最上面的一根边缘线,即为识别出的神经纤维功能层上界。
4.根据权利要求1所述的一种基于图像识别的视网膜病变定量分析系统,其特征在于,神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA识别模块,识别神经纤维功能层细胞核数量A1和神经纤维功能层细胞核总面积SA,具体为:
步骤2-1,在识别到神经纤维功能层上界后,设定抽离阈值O,将神经纤维功能层上界以下宽O的图像单独抽离出来,得到抽离图像;其中,通过设置所述抽离阈值θ的大小,使抽离图像的下边界位于内网层,保证所述抽离图像囊括完整的神经纤维功能层,但不包括内核层,避免内核层里细胞核的干扰;
步骤2-2,因此,所述抽离图像中仅包括所述神经纤维功能层细胞核,不包括其他组织结构层的细胞核;
采用最小化Otsu算法对所述抽离图像进行识别,确定分割阈值;
步骤2-3,根据所述分割阈值对所述抽离图像进行二分法分割,将所述抽离图像中像素值低于分割阈值的区域作为前景区域;将所述抽离图像中像素值高于分割阈值的区域作为背景区域,从而得到抽离图像的二值化图像;其中,所述前景区域即为初步的细胞核区域;
步骤2-4,以所述抽离图像的二值化图像作为输入,对所述抽离图像的二值化图像进行形态学处理,使所述前景区域的细胞核边界更加平滑,得到形态学处理后的图像;
步骤2-5,根据细胞核的形态,确定采用圆形算子;采用所述圆形算子对所述形态学处理后的图像进行先腐蚀后膨胀操作,得到膨胀操作后的二值化图像;
步骤2-6,所述膨胀操作后的二值化图像包括多个连通域;计算每个所述连通域的像素面积,并将连通域按照像素面积由大到小进行排序;
统计各个所述连通域像素面积的总体分布,均值以及偏差值,明显小于均值的连通域为非有效信息区域的连通域,删除,剩下的连通域为有效连通域;
计算各个所述有效连通域的面积和,即为神经纤维功能层细胞核总面积SA;
步骤2-7,对于各个所述有效连通域,使用分水岭方法进行图像分割,由此在聚合的多个细胞核中绘制出分割线,统计分割后的细胞核的个数,即为识别到的神经纤维功能层细胞核数量A1。
5.根据权利要求4所述的一种基于图像识别的视网膜病变定量分析系统,其特征在于,神经纤维功能层下界识别模块在识别神经纤维功能层下界时,神经纤维功能层细胞核下沿离散点通过以下方式得到:
在步骤2-6得到有效连通域后,识别到所述有效连通域的轮廓;然后,使用上下差分法,将所述有效连通域的轮廓的上边界去掉,得到所述有效连通域的轮廓的下边界,该有效连通域的轮廓的下边界即为细胞核下沿;在所述有效连通域的轮廓的下边界分散选取多个像素点,即为一系列神经纤维功能层细胞核下沿离散点。
CN201910035442.2A 2019-01-15 2019-01-15 一种基于图像识别的视网膜病变定量分析系统 Active CN109758113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910035442.2A CN109758113B (zh) 2019-01-15 2019-01-15 一种基于图像识别的视网膜病变定量分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910035442.2A CN109758113B (zh) 2019-01-15 2019-01-15 一种基于图像识别的视网膜病变定量分析系统

Publications (2)

Publication Number Publication Date
CN109758113A true CN109758113A (zh) 2019-05-17
CN109758113B CN109758113B (zh) 2021-05-25

Family

ID=66454018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910035442.2A Active CN109758113B (zh) 2019-01-15 2019-01-15 一种基于图像识别的视网膜病变定量分析系统

Country Status (1)

Country Link
CN (1) CN109758113B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853009A (zh) * 2019-11-11 2020-02-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析系统
CN113012184A (zh) * 2021-05-11 2021-06-22 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN114862877A (zh) * 2022-05-27 2022-08-05 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN117058292A (zh) * 2023-07-28 2023-11-14 北京透彻未来科技有限公司 基于数字病理图像的色阶图渲染系统
CN117764987A (zh) * 2024-02-22 2024-03-26 美迪信(天津)有限责任公司 一种角膜破损程度的评估方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
US20130114041A1 (en) * 2009-08-18 2013-05-09 Southern College Of Optometry Systems, methods, and computer-readable media for detecting and predicting a progression of retinal pathologies
CN106659378A (zh) * 2014-06-19 2017-05-10 诺华股份有限公司 具有自动视网膜特征检测的眼科成像系统
CN108836257A (zh) * 2018-06-15 2018-11-20 杭州富扬科技有限公司 一种眼底oct图像中视网膜分层方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
US20130114041A1 (en) * 2009-08-18 2013-05-09 Southern College Of Optometry Systems, methods, and computer-readable media for detecting and predicting a progression of retinal pathologies
CN106659378A (zh) * 2014-06-19 2017-05-10 诺华股份有限公司 具有自动视网膜特征检测的眼科成像系统
CN108836257A (zh) * 2018-06-15 2018-11-20 杭州富扬科技有限公司 一种眼底oct图像中视网膜分层方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NICOLE S. ERLER ET AL.: "Optimizing Structure–Function Relationship by Maximizing Correspondence Between Glaucomatous Visual Fields and Mathematical Retinal Nerve Fiber Models", 《INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853009A (zh) * 2019-11-11 2020-02-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析系统
CN110853009B (zh) * 2019-11-11 2023-04-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析系统
CN113012184A (zh) * 2021-05-11 2021-06-22 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN113012184B (zh) * 2021-05-11 2023-05-05 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN114862877A (zh) * 2022-05-27 2022-08-05 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN114862877B (zh) * 2022-05-27 2024-03-22 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN117058292A (zh) * 2023-07-28 2023-11-14 北京透彻未来科技有限公司 基于数字病理图像的色阶图渲染系统
CN117058292B (zh) * 2023-07-28 2024-04-26 北京透彻未来科技有限公司 基于数字病理图像的色阶图渲染系统
CN117764987A (zh) * 2024-02-22 2024-03-26 美迪信(天津)有限责任公司 一种角膜破损程度的评估方法、装置和存储介质
CN117764987B (zh) * 2024-02-22 2024-04-26 美迪信(天津)有限责任公司 一种角膜破损程度的评估方法、装置和存储介质

Also Published As

Publication number Publication date
CN109758113B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN109758113A (zh) 一种基于图像识别的视网膜病变定量分析系统
Lachure et al. Diabetic retinopathy using morphological operations and machine learning
Prentašić et al. Detection of exudates in fundus photographs using convolutional neural networks
CN109544507A (zh) 一种病理图像处理方法及系统、设备、存储介质
CN109635846A (zh) 一种多类医学图像判断方法和系统
CN108986106A (zh) 面向青光眼临床诊断的视网膜血管自动分割方法
CN110120056A (zh) 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN112017743B (zh) 一种疾病风险评测报告自动生成平台及应用
Kavitha et al. Hierarchical classifier for soft and hard exudates detection of retinal fundus images
Mandache et al. Basal cell carcinoma detection in full field OCT images using convolutional neural networks
Kanth et al. Identification of different stages of Diabetic Retinopathy using artificial neural network
CN108257124A (zh) 一种基于图像的白细胞计数方法和系统
Jayanthi et al. Automatic diagnosis of retinal diseases from color retinal images
Herrera-Pereda et al. A review on digital image processing techniques for in-vivo confocal images of the cornea
Setu et al. Segmentation and evaluation of corneal nerves and dendritic cells from in vivo confocal microscopy images using deep learning
Choudhary et al. ANN glaucoma detection using cup-to-disk ratio and neuroretinal rim
CN106408558A (zh) 糖尿病性视网膜病变图像中硬性渗出与高反射信号的分析方法
CN106446805A (zh) 一种眼底照中视杯的分割方法及系统
Triyadi et al. Deep learning in image classification using vgg-19 and residual networks for cataract detection
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
Saxena et al. Study of Computerized Segmentation & Classification Techniques: An Application to Histopathological Imagery
Cheng et al. Automated cell nuclei segmentation from microscopic images of cervical smear
Uka et al. Effect of Preprocessing on Performance of Neural Networks for Microscopy Image Classification
Battula et al. Automatic classification of Non Hodgkin‘s lymphoma using histological images: Recent advances and directions
CN112862782A (zh) 一种基于R-Unet的人眼玻璃体混浊程度分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant