CN103745257B - 一种基于图像识别的锥细胞密度的计算方法 - Google Patents
一种基于图像识别的锥细胞密度的计算方法 Download PDFInfo
- Publication number
- CN103745257B CN103745257B CN201310714382.XA CN201310714382A CN103745257B CN 103745257 B CN103745257 B CN 103745257B CN 201310714382 A CN201310714382 A CN 201310714382A CN 103745257 B CN103745257 B CN 103745257B
- Authority
- CN
- China
- Prior art keywords
- cone cell
- cone
- image
- cell density
- computational methods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明及一种基于图像识别的锥细胞密度的计算方法,主要解决了现有的手动进行锥细胞计数密度的问题,利用眼底自适应共焦激光扫描检眼镜获得视锥细胞图像,确定锥细胞的响应频率后用低通滤波进行降噪处理,建立一个二值的序列,找寻非零区对应的局部最大值即为锥细胞的中心位置,完成自动识别图像中的视锥细胞后,辅以人工修正得到图像中锥细胞数量,最终达到计数锥细胞密度,采用计算机自动计数的功能较之人工计数方法,自动计算的方法准确,统计速度快,自动化程度高,分析结果可核对,提高了检测效率,同时还添加人工修正的功能,可在软件分析的基础上人工去除错误识别和添加遗漏的锥细胞,避免引起的结果偏差。
Description
技术领域
本发明属于眼底显微成像、医学检测领域,具体的说本发明涉及一种基于图像识别的锥细胞密度的计算方法。
背景技术
视网膜共三级神经元,包括视锥、视杆细胞,双极细胞和神经节细胞。视锥细胞和视杆细胞属于一级神经元,他们感受外界光和图像信息并通过双极细胞,神经节细胞向视中枢传导。其中视锥细胞主要司明视觉,分辨精细形态和色觉,主要分布在视网膜的黄斑区(黄斑中心凹只有锥细胞),是视锐度即视力的形成的解剖和生理基础。而且在一些诸如视网膜色素变性,锥杆细胞营养不良等眼底疾病出现视力损害前很早就会有视锥细胞的改变。因此检测视锥细胞对于认识眼底疾病的发生发展过程,早期诊断,监测病变发展,判断预后等方面有很重要的临床价值。
Liang等较早就提出利用自适应光学技术应用于人眼观测可以达到高分辨率眼底成像甚至还可以利用这项技术达到超视觉(Liang, J., D.R., et al. “Supernormalvision and high-resolution retinal imaging through adaptive optics.” J OptSoc Am A Opt Image Sci Vis 11(11):2884-2892.(1997))。其后Roorda将自适应光学技术和共焦眼底扫描计数相结合研发了第一台真正意义上的眼底自适应共焦激光扫描检眼镜(Roorda, A.,F., et al. “Adaptive optics scanning laser ophthalmoscopy.” OptExpress 10(9): 405-412.(2002))。眼底自适应共焦激光扫描检眼镜(AOSLO)能实时校正人眼像差,与目前普通的眼底成像设备相比,它可以直接在人体上观测到视网膜的细胞结构。因此改变了以往在对锥细胞的研究只能通过离体人眼球视网膜切片进行组织学研究或是通过动物实验进行研究的现状。目前国内外不同研究机构公开了利用自适应光学技术实现人眼视网膜显微成像的设备(JP2007-14569,99115051.1,201110293434.1),他们在AOSLO成像系统上进行不断的改进,实现获得更大视场,更为清晰的视锥细胞图像,但他们都没有提出进行锥细胞自动计数密度的方法。而如果要进行锥细胞分析必然要了解数量密度的改变情况,如果仅采用人工进行锥细胞密度的运算,耗时、耗力,必然会限制今后在临床的应用。
发明内容
为了解决背景技术中的不足,本发明公开的是一种锥细胞密度的计算方法。
本发明所采用的技术方案是:一种基于图像识别的锥细胞密度的计算方法,其包括以下步骤:
(1) 通过扫描设备获得一段眼底锥细胞的视频图像,截取视频图像,选择待操作的视网膜区域,并将其保存为图像文件,选择图像文件中待计数锥细胞密度的区域作为候选区域;
(2)将候选区域内的像素大小(pixel2)通过I=换算为视网膜实际大小(mm2),其中I为视网膜的实际大小,x为眼轴长度,为角膜顶点到眼第二节点的距离,为视角;
(3)识别待计数的候选区域内的锥细胞,并对锥细胞进行数量统计和计算相邻锥细胞间距离;
(4)将步骤(3)中得到的总锥细胞数除以步骤(2)中的到的视网膜实际面积获得步骤(1)中候选区域内的锥细胞密度。
所述扫描设备为眼底自适应共焦激光扫描检眼镜。
在所述步骤(2)中,将眼球看作是“四个共轴球面折射系统”组成的光学系统,包括角膜前后表面,和晶状体前后表面;利用近轴光学单球面折射和共轴球面折射系统的成像原理计算全眼系统的主点、焦点及节点,计算实际视网膜大小。
在所述步骤(2)中,应用Gullstrand-Emsley No.1模型眼计算视网膜的放大率,
M=,并对扫描设备对视网膜放大率的影响进行校正,其中M为放大率,P为试戴镜的度数,d为镜眼距,y为角膜顶点到入瞳的距离。
所述步骤(3)中,包括以下步骤:步骤一、将扫描设备获取的锥细胞图由空间域转换为频域上的功率谱图,通过获得二维序列I',其中T1,T2是水平和垂直方向上的采样周期,是广义的噪声;
步骤二、读取图像文件后手动选取5个以上相邻的锥细胞,作为样本锥细胞利用周期图法估计锥细胞响应频率;
步骤三、将步骤二中获得的响应频率作为低通滤波的截止频率对图像文件进行降噪处理;
步骤四、锥细胞识别,查找临近区域最大值的位置,并将图像转为二进制图像,最大值的位置即对应锥细胞中心;
步骤五、对二进制图像膨胀腐蚀操作后标记连通域内的质心,得到锥细胞中心的横纵坐标值,将其存入文本;
步骤六、人工修正,手动删除或添加自动识别中错误的锥细胞,在文本中自动去除或增加这些点的坐标;
步骤七、最终得到图像中总的锥细胞数。
所述步骤四采用Matlab二维窗口设计函数创建一个近似圆对称的带通滤波器,通频带由步骤二中取得的锥细胞响应频率决定,输出滤波器的频率响应曲线,,其中f为滤波器的频率,I'为二维序列,h是滤波器的脉冲信号。
通过应用一个窗口删除损坏的像素,,其中w为窗口。
本发明的有益效果是:本发明由于采用眼底自适应共焦激光扫描检眼镜,动态校正了人眼像差,能够在活体上拍摄到眼底锥细胞的图片,同时采用计算机自动计数的功能较之人工计数方法,自动计算的方法准确,统计速度快,自动化程度高,分析结果可核对,提高了检测效率,同时还添加人工修正的功能,可在软件分析的基础上人工去除错误识别和添加遗漏的锥细胞,避免引起的结果偏差。帮助科研人员和临床医生直接了解锥细胞密度,形态的改变,为临床疾病诊断提供新的手段,为以后国人视网膜锥细胞密度的普查提供科学依据。
附图说明
图1是自适应共焦眼底扫描仪的原理图;
图2是利用样本锥细胞得出的功率谱密度曲线;
图3是利用自适应共焦眼底扫描仪自动识别锥细胞;
图4是锥细胞密度计算的流程图。
具体实施方式
下面结合附图对本发明实施例作进一步说明:
如图1-图4所示,本发明公开了一种基于图像处理的锥细胞密度的计算方法,该方法利用眼底自适应共焦激光扫描检眼镜对眼底锥细胞成像,基于计算机视觉对图像进行识别、分析统计进而计数锥细胞,分析锥细胞密度。所述方法包含以下步骤:
(1)获取视网膜锥细胞的图片。
开启电源,输入受试者个人信息,受试者坐在眼底自适应共焦激光扫描检眼镜前,下颌放置在颌托上。
指导受试者注视仪器中的红色固视灯,调整焦距使得扫描拍摄眼底的锥细胞图片最清晰,存储这段拍摄到的视频。
AOSLO成像系统主要由几个重要的组成部分:像差探测装置,像差校正装置,闭环控制系统。这里使用的像差探测装置为哈特曼波前传感器,像差校正装置为变形镜。
800nm的近红外激光作为成像光源,经瞳孔入射到视网膜后,携带人眼波前像差的眼底反射光经哈特曼波前传感器测量,反馈给计算机后,根据测得的像差计算驱动电压,使得波前校正器能实时校正人眼像差,经校正后的无像差的眼底反射光传输到光电转换系统(图像传感器,光电倍增管PMT等),再将电信号通过模拟、数字转换器转化形成数字信号(眼底自适应共焦激光扫描检眼镜原理如图1)。
获得一段眼底细胞视频图像后利用软件截取待操作的视网膜区域图像,读取图像文件,选择细胞候选区域。如:黄斑中心凹外1°位置选取4个位置50μm的矩形框,对框内分锥细胞分别实施锥细胞密度分析。
(2)视网膜实际大小的计算
图像获得的像素大小需转换为视网膜实际大小(mm2)。因个体间眼轴的差异,为获得实际视网膜的大小,还需考虑受试者眼轴的差异,这里应用的是Gullstrand-EmsleyNo.1模型眼对眼轴长度和视网膜大小进行换算,将眼的光学系统认为是 “四个共轴球面折射系统”组成,包括角膜前后表面,和晶状体前后表面,利用近轴光学单球面折射和共轴球面折射系统的成像原理进行,先把角膜系统的主点和焦点计算出来,再把晶体系统的主点和焦点计算出来,最后把角膜和晶状体两系统再合成即全眼系统的主点和焦点及节点计算出来。
将IOLMaster中测得眼轴长度,前房深度,角膜前曲率半径等参数输入软件。
最后利用公式计算实际视网膜大小:
I=
其中I为视网膜的实际大小,x为眼轴长度为角膜顶点到眼第二节点的距离,为视角。
考虑到试戴镜对视网膜放大率的影响,还需要用对其进一步校正:
M=
其中P为试戴镜的度数,d为镜眼距,y为角膜顶点到入瞳的距离,这里d取定值为14mm。
根据受试者眼轴长度和图像像素大小,将视网膜实际大小(mm2)和图像的像素大小(pixel2)对应起来,计算图像所对应的实际视网膜的面积。
(3)锥细胞的识别和计数
1)估计锥细胞的响应频率。
自适应共焦眼底扫描仪获取的锥细胞图由空间域转换为频域上的功率谱图。由于可能有来自探测器的噪声信号,或视网膜的其他特征信号即有广义的噪声的存在,使得信号和锥细胞并非一一对应。获得的图像被探测器转换成一个有限的二维序列I':
T1,T2是水平和垂直方向上的采样周期,由探测器决定,是广义的噪声。
因此需要低通滤波和图像处理过程来分离出来对应锥细胞的信号。为了确定应用低通滤波的截止频率,先需要选取一些锥细胞样本来估计锥细胞响应频率。
读取图像后在图像上手动取5个以上相邻的点,利用周期图法估计功率谱,即根据样本信号的离散的傅里叶变换得出样本信号的频谱,后取其模平方并除以序列长度的估算方法,通过功率谱密度函数,可以看出随机信号的能量随着频率的分布情况,画出以功率谱密度为纵坐标,锥细胞空间频率(spatial frequency)为横坐标的曲线图,手动选择最高点,即为锥细胞的响应频率。(如图2所示)
2)锥细胞的识别
锥细胞可以看做是朝向瞳孔中央单模光纤,从这些光纤的反射光可以被看做是在视网膜平面一些列点光源。因此,从图像上观测到锥细胞可以看做是一系列的点扩散函数,它们的峰对应了实际的锥细胞中心,因此只要找到局部最大值就可以识别锥细胞。因为有其他高频噪声的存在,需要进行合适的低通滤波降噪处理。步骤1)已经通过锥细胞样本估算了锥细胞的响应频率,将其作为低通滤波的截止频率进行降噪处理。Matlab二维窗口设计函数创建一个近似圆对称的带通滤波器,通频带由步骤1)取得的数据决定,输出滤波器的频率响应曲线,方法是进行离散傅里叶变换DFT,对I'和h,在频率空间内相乘,所得的f可以被傅里叶的逆变换得到。
h是脉冲信号,滤波尺寸根据系统的视场大小和最小细胞间距来估计。
低通滤波设计使得只有在带通内的频率通过。
因为I'的非周期性,进行这种傅里叶变换会在f边界引入混淆。合理的解决方案是通过应用一个窗口删除损坏的像素。
W是窗口。因为应用窗口功能会丢失一部分信号,因此需要扩充图像,这里用的不是零而是周围临近的像素值扩充图像的边界,这样就保证了图像的一个连续性。
通过IPT(Matlab,image processing tool)中imregionalmax功能(查找临近区域的最大值)建立一个二值的序列,非零区对应的是局部的最大值,最终锥细胞的位置,通过膨胀处理后每个区域的中心点来判断,膨胀腐蚀操作后标记连通域内的质心(如图3),得到细胞的质心的横纵坐标值,标记识别的图像锥细胞的横纵坐标,将其存入文本,Desearch功能用于计算临近细胞的最小距离(nearest neighbor distance,NND)。再此基础上还可以进行Voronoi图像的三角剖分,判断分割后图像中六边形所占的百分比,反应锥细胞分布的规则性。
手动标记自动识别中错误的锥细胞,在文本中去除这些点的坐标达到删除错误识别的锥细胞的目的,手动增加选择区域中自动识别中漏掉的锥细胞,在文本中增加这些点的坐标达到增加遗漏自动识别锥细胞的目的。
最终通过自动识别辅以人工修正得到图像中总的锥细胞数目。
(4)锥细胞密度计算
总锥细胞数除以相应视网膜面积获得锥细胞密度,整个锥细胞密度计算的流程如图4。
需要说明的是,尽管本发明的较佳实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (7)
1.一种基于图像识别的锥细胞密度的计算方法,其特征在于:其包括以下步骤:
(1)通过扫描设备获得一段眼底锥细胞的视频图像,截取视频图像,选择待操作的视网膜区域,并将其保存为图像文件,选择图像文件中待计数锥细胞密度的区域作为候选区域;
(2)将候选区域内的像素大小通过I=换算为视网膜实际面积,其中I为视网膜的实际长度大小,x为眼轴长度,为角膜顶点到眼第二节点的距离,为视角;
(3)识别待计数的候选区域内的锥细胞,并对锥细胞进行数量统计和计算相邻锥细胞间距离;
(4)将步骤(3)中得到的总锥细胞数除以步骤(2)中的到的视网膜实际面积获得步骤(1)中候选区域内的锥细胞密度。
2.根据权利要求1所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:所述扫描设备为眼底自适应共焦激光扫描检眼镜。
3.根据权利要求1所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:在所述步骤(2)中,将眼球看作是“四个共轴球面折射系统”组成的光学系统,包括角膜前后表面,和晶状体前后表面;利用近轴光学单球面折射和共轴球面折射系统的成像原理计算全眼系统的主点、焦点及节点,计算实际视网膜大小。
4.根据权利要求1所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:在所述步骤(2)中,应用Gullstrand-Emsley No.1模型眼计算视网膜的放大率,
M=,并对扫描设备对视网膜放大率的影响进行校正,其中M为放大率, P为试戴镜的度数,d为镜眼距,y为角膜顶点到入瞳的距离。
5.根据权利要求1所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:所述步骤(3)中,包括以下步骤:步骤一、将扫描设备获取的锥细胞图由空间域转换为频域上的功率谱图,通过获得二维序列I',其中T1,T2是水平和垂直方向上的采样周期,是广义的噪声;
步骤二、读取图像文件后手动选取5个以上相邻的锥细胞,作为样本锥细胞利用周期图法估计锥细胞响应频率;
步骤三、将步骤二中获得的响应频率作为低通滤波的截止频率对图像文件进行降噪处理;
步骤四、锥细胞识别,查找临近区域最大值的位置,并将图像转为二进制图像,最大值的位置即对应锥细胞中心;
步骤五、对二进制图像膨胀腐蚀操作后标记连通域内的质心,得到锥细胞中心的横纵坐标值,将其存入文本;
步骤六、人工修正,手动删除或添加自动识别中错误的锥细胞,在文本中自动去除或增加这些点的坐标;
步骤七、最终得到图像中总的锥细胞数。
6.根据权利要求5所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:所述步骤四采用Matlab二维窗口设计函数创建一个近似圆对称的带通滤波器,通频带由步骤二中取得的锥细胞响应频率决定,输出滤波器的频率响应曲线,,其中f为滤波器的频率,I'为二维序列,h是滤波器的脉冲信号。
7.根据权利要求6所述的一种基于图像识别的锥细胞密度计算方法,其特征在于:通过应用一个窗口删除损坏的像素,,其中w为窗口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310714382.XA CN103745257B (zh) | 2013-12-23 | 2013-12-23 | 一种基于图像识别的锥细胞密度的计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310714382.XA CN103745257B (zh) | 2013-12-23 | 2013-12-23 | 一种基于图像识别的锥细胞密度的计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103745257A CN103745257A (zh) | 2014-04-23 |
CN103745257B true CN103745257B (zh) | 2016-08-17 |
Family
ID=50502274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310714382.XA Active CN103745257B (zh) | 2013-12-23 | 2013-12-23 | 一种基于图像识别的锥细胞密度的计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103745257B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107084984A (zh) * | 2017-04-18 | 2017-08-22 | 湖南大学 | 一种肌纤维细胞参数的图像测量方法 |
CN107036956A (zh) * | 2017-05-22 | 2017-08-11 | 粉蓝医疗科技(杭州)有限公司 | 细胞核统计方法和装置 |
CN109269964A (zh) * | 2018-10-15 | 2019-01-25 | 深圳博大博聚科技有限公司 | 一种基于图像识别法细胞计数仪的人工计数和校验装置 |
CN110516584B (zh) * | 2019-08-22 | 2021-10-08 | 杭州图谱光电科技有限公司 | 一种显微镜用的基于动态学习的细胞自动计数方法 |
CN110490159B (zh) * | 2019-08-23 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 识别显微图像中的细胞的方法、装置、设备及存储介质 |
CN111743510B (zh) * | 2020-06-24 | 2023-09-19 | 中国科学院光电技术研究所 | 一种基于聚类的人眼哈特曼光斑图像去噪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004035636A2 (en) * | 2002-10-15 | 2004-04-29 | Promerus, Llc | Polymerized cycloolefins using transition metal catalyst and end products thereof |
CN101062407A (zh) * | 2006-04-29 | 2007-10-31 | 中国科学院上海生命科学研究院 | 促红细胞生成素在预防或治疗视网膜损伤中的用途 |
CN102306654A (zh) * | 2011-07-26 | 2012-01-04 | 温州医学院 | 仿生电荷耦合器件及其制造方法与像元信息扫描读取方法 |
-
2013
- 2013-12-23 CN CN201310714382.XA patent/CN103745257B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004035636A2 (en) * | 2002-10-15 | 2004-04-29 | Promerus, Llc | Polymerized cycloolefins using transition metal catalyst and end products thereof |
CN101062407A (zh) * | 2006-04-29 | 2007-10-31 | 中国科学院上海生命科学研究院 | 促红细胞生成素在预防或治疗视网膜损伤中的用途 |
CN102306654A (zh) * | 2011-07-26 | 2012-01-04 | 温州医学院 | 仿生电荷耦合器件及其制造方法与像元信息扫描读取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103745257A (zh) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103745257B (zh) | 一种基于图像识别的锥细胞密度的计算方法 | |
Russo et al. | Comparison of smartphone ophthalmoscopy with slit-lamp biomicroscopy for grading diabetic retinopathy | |
CN105769117B (zh) | 一种眼底光学全场微血管造影成像装置及方法 | |
US9655512B2 (en) | Methods and systems to measure corneal epithelial thickness and power, stromal thickness, subepithelial corneal power and topography for disease diagnosis | |
CN108814544B (zh) | 一种眼前节形态分析方法 | |
JP2022520708A (ja) | 広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類 | |
CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
Zhang et al. | A novel deep learning method for nuclear cataract classification based on anterior segment optical coherence tomography images | |
WO2021026948A1 (zh) | 一种可实时追踪注视位置的光学显微镜系统及方法 | |
CN103142210B (zh) | 一种基于oct技术的周边屈光测量方法 | |
Xu et al. | 3D optical coherence tomography super pixel with machine classifier analysis for glaucoma detection | |
Franco et al. | Glaucoma patient screening from online retinal fundus images via Artificial Intelligence | |
Besenczi et al. | Automatic optic disc and optic cup detection in retinal images acquired by mobile phone | |
CN110598724B (zh) | 一种基于卷积神经网络的细胞低分辨率图像融合方法 | |
CN109091108B (zh) | 基于视场子区分割的相位滤波器搜索算法 | |
Mohamed et al. | Morphometric analysis of in vitro human crystalline lenses using digital shadow photogrammetry | |
Garcia-Marin et al. | Patch-based CNN for corneal segmentation of AS-OCT images: Effect of the number of classes and image quality upon performance | |
Upadhyaya et al. | Pentacam–A Corneal Tomography System | |
Brookes | Morphometry of organ cultured corneal endothelium using Voronoi segmentation | |
CN113854957A (zh) | 一种基于眼部图像的人工智能屈光度精准测量方法 | |
CN113607736A (zh) | 一种微型智能精子体外检测仪及其图像处理方法 | |
Sankrandan | 3D Image Reconstruction of Retina using Aplanats | |
Kugelman et al. | Dual image and mask synthesis with GANs for semantic segmentation in optical coherence tomography | |
US10264960B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
Krishna et al. | Retinal vessel segmentation techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230329 Address after: 325000 No. 270 College West Road, Zhejiang, Wenzhou Patentee after: OPHTHALMOLOGY AND OPTOMETRY INSTITUTE, WENZHOU MEDICAL University Address before: 325000 No. 270 College West Road, Zhejiang, Wenzhou Patentee before: OPHTHALMOLOGY AND OPTOMETRY INSTRUMENT CO.,LTD. OF WENZHOU MEDICAL University Patentee before: OPHTHALMOLOGY AND OPTOMETRY INSTITUTE, WENZHOU MEDICAL University |
|
TR01 | Transfer of patent right |