CN111489353B - 一种眼底图像中央凹定位方法 - Google Patents

一种眼底图像中央凹定位方法 Download PDF

Info

Publication number
CN111489353B
CN111489353B CN202010378844.5A CN202010378844A CN111489353B CN 111489353 B CN111489353 B CN 111489353B CN 202010378844 A CN202010378844 A CN 202010378844A CN 111489353 B CN111489353 B CN 111489353B
Authority
CN
China
Prior art keywords
image
fundus image
fovea
network
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010378844.5A
Other languages
English (en)
Other versions
CN111489353A (zh
Inventor
董宇涵
雷洁
张凯
高瞻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Haoyisheng Cloud Hospital Management Technology Co ltd
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Beijing Haoyisheng Cloud Hospital Management Technology Co ltd
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haoyisheng Cloud Hospital Management Technology Co ltd, Shenzhen International Graduate School of Tsinghua University filed Critical Beijing Haoyisheng Cloud Hospital Management Technology Co ltd
Priority to CN202010378844.5A priority Critical patent/CN111489353B/zh
Publication of CN111489353A publication Critical patent/CN111489353A/zh
Application granted granted Critical
Publication of CN111489353B publication Critical patent/CN111489353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种眼底图像中央凹定位方法，包括：1)由眼底图像得到视杯视盘分割结果图和血管分布图；2)将所述视杯视盘分割结果图和所述血管分布图输入训练好的粗定位网络，得到有关于眼底图像中央凹的粗定位位置信息；3)根据粗定位位置信息得到的位置信息对眼底图像进行感兴趣区域裁剪；4)将裁剪得到的眼底图像经直方图匹配后输入训练好的精确定位网络，得到精确坐标位置；5)根据精确坐标位置结合粗定位位置，进行还原得到最终坐标位置，实现眼底图像中央凹定位。本方法基于直方图匹配，通过粗定位网络、精确定位网络实现眼底图像中央凹定位，尤其有效地解决了数据差异的问题，有利于实现眼底图像中央凹精准定位。

Description

一种眼底图像中央凹定位方法
技术领域
本发明涉及眼底图像处理，特别是涉及一种眼底图像中央凹定位方法。
背景技术
青光眼是世界上第二大致盲眼病，并且所造成的视野损坏、神经萎缩具有不可逆性，预计2020年将会增长达到8000万人[1]。据相关统计资料表明我国约有940万的青光眼患者，其中约63.5万人因青光眼致盲[2]。由于青光眼在早期进展缓慢，多数没有明显发病症状，缺乏可靠的预防方法。青光眼所引起的视功能损伤是不可逆的，现阶段临床上还没有能逆转视神经损害的方法。但青光眼患者如被早期发现，合理治疗，绝大多数人均可保持有用的视力。眼底图像辅助诊断是青光眼的评估方式之一，由于其操作简单、花费低、对人体伤害小等优点己经成为大规模视网膜疾病筛查方式的首选。眼底图像中部颜色较深的区域称为黄斑区，黄斑区呈椭圆形凹陷，其凹陷的中心称为中央凹。中央凹是人眼视力最为敏感的区域，一旦该区域发生病变，视力将受到严重影响。
中央凹的检测和定位也是很重要的一项任务。然而，由于拍摄相机和角度的不同导致图像存在差异，导致数据来源不同的数据无法使用统一模型及参数对视野中心进行定位，因此影响到中央凹的定位效果。
参考文献：
[1]Quigley H A，Broman A T.The number of people with glaucomaworldwide in 2010and 2020[J].British journal of ophthalmology，2006，90(3):262-267.
[2]杨文艳.云南少数民族地区青光眼五年发病率随访及盲和视力损伤的流行病学调查[D].昆明医科大学，2016.
发明内容
本发明的主要目的在于克服现有技术的不足，提供一种眼底图像中央凹定位方法，以实现眼底图像中央凹准确有效定位。
为实现上述目的，本发明采用以下技术方案：
一种眼底图像中央凹定位方法，包括：
1)由眼底图像得到视杯视盘分割结果图和血管分布图；
2)将所述视杯视盘分割结果图和所述血管分布图输入训练好的粗定位网络，得到有关于眼底图像中央凹的粗定位位置信息；
3)根据粗定位位置信息得到的位置信息对眼底图像进行感兴趣区域裁剪；
4)将裁剪得到的眼底图像经直方图匹配后输入训练好的精确定位网络，得到精确坐标位置；
5)根据精确坐标位置结合粗定位位置，进行还原得到最终坐标位置，实现眼底图像中央凹定位。
进一步地：
步骤2)中，将尺寸为H×W×1的血管分布图像和尺寸为H×W×1的视杯视盘分割图像的特征进行拼接并输入所述粗定位网络，分别经过两个sigmoid激活函数输出层，得到数值范围在0～1，最后分别乘以输入图像尺寸值得到预测的粗定位位置坐标。
所述粗定位网络的损失函数为两个部分加权组合而成：
Lloc1＝Lr+L1
平方损失函数Lr是实际结果和观测结果之间差距的平方和，可理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
L1为正则化的项：
Figure GDA0004230393910000021
其中，y表示图像的真实标注位置，Loc1(·)代表网络参数，x1代表网络输入血管图像，x2代表网络输入视杯视盘图像，y′表示图像x经Loc1(·)的输出。
步骤4)中，将尺寸为H×W×3的经直方图匹配之后的眼底图像输入到所述精确定位网络，分别经过两个sigmoid激活函数输出层，得到数值范围在0～1，最后分别乘以输入图像尺寸值得到预测的X和Y坐标。
所述精确定位网络的损失函数为两个部分加权组合而成：
LLoc2＝Lr+L1
平方损失函数Lr是实际结果和观测结果之间差距的平方和，可理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
L1为正则化的项：
Figure GDA0004230393910000031
其中，y表示图像的真实标注位置，Loc2(·)代表网络参数，x代表网络输入眼底图像，y′表示图像x经Loc2(·)的输出。
所述直方图匹配，对于原始图像灰度分布的概率密度函数pr(r)和希望得到的概率密度函数pz(z)，对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以均匀直方图为媒介，再对参考图像做均衡化的逆运算；其中，均衡化处理：
Figure GDA0004230393910000032
Figure GDA0004230393910000033
均衡化处理后pr(r)和pz(z)具有同样的均匀密度：
z＝G-1(u)≈G-1(s)。
所述粗定位网络的训练包括：
由眼底图像通过阈值分割得到血管分割图，并得到视杯视盘分割图；
将得到的血管分割结果图和视杯视盘分割图的特征进行拼接；
将得到的拼接特征输入粗定位网络，然后其执行flatten操作输入到一个结点为1的全连接层，最后连接一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1。
计算损失函数，并使用优化器通过多次迭代更新分割模型参数直到其收敛到最优值。
所述精确定位网络的训练包括：
根据粗定位位置信息对眼底图像进行感兴趣区域裁剪；
将裁剪得到的图像进行直方图匹配；
将直方图匹配后的眼底图像输入精确定位网络，得到模型的输出，将其输入到一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1；
计算损失函数，并使用优化器通过多次迭代更新分割模型参数直到其收敛到最优值。
所述粗定位网络和所述精确定位网络采用卷积神经网络，卷积层之间的连接使用残差模块，残差结构制造恒等映射，让整个结构朝着恒等映射的方向去收敛，其中在下采样过程中，采用跨步为2的卷积操作。
训练前先使用图像数据增广方法对眼底图像数据集进行增广处理，包括翻转、镜像和旋转。
一种眼底图像中央凹定位装置，包括处理器和存储介质，所述存储介质存储的计算机程序由所述处理器运行时执行所述的眼底图像中央凹定位方法。
本发明具有如下有益效果：
本发明提供一种眼底图像中央凹定位方法，本方法中，将根据粗定位网络的粗定位结果裁剪的眼底图像通过直方图匹配再通过精确定位网络进行定位，能够减少来源不同数据库的数据的差异，是一种能够准确有效地定位眼底图像中央凹的方法。基于直方图匹配，通过粗定位网络、精确定位网络实现眼底图像中央凹定位，本发明尤其有效地解决了数据差异的问题，有利于实现眼底图像中央凹精准定位。
附图说明
图1为本发明实施例的数据集1描述，其中(a)原始彩色眼底图像；(b)分割结果图。
图2为本发明实施例的数据集2描述，其中(a)原始彩色眼底图像；(b)分割结果图。
图3为本发明实施例的数据集1定位描述，其中(a)原始彩色眼底图像；(b)分割结果图；(c)血管图。
图4为本发明实施例的数据集2定位描述，其中(a)原始彩色眼底图像；(b)分割结果图；(c)血管图。
图5为本发明实施例的定位网络结构图。
图6为本发明实施例的掩膜部分结构图。
图7为本发明实施例的标识。
图8为本发明实施例的粗定位网络可视图。
图9为本发明实施例的精确定位网络可视图。
图10为本发明实施例的中央凹定位预测阶段流程图。
图11为本发明实施例的中央凹定位过程中使用的直方图匹配的参考图像。
图12为本发明实施例的中央凹定位在数据集2的结果展示。
图13为本发明实施例的中央凹定位在数据集2的结果展示。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
本发明实施例提供一种眼底图像中央凹定位方法，包括：
步骤1)由眼底图像得到视杯视盘分割结果图和血管分布图；
步骤2)将所述视杯视盘分割结果图和所述血管分布图输入训练好的粗定位网络，得到有关于眼底图像中央凹的粗定位位置信息；
步骤3)根据粗定位位置信息得到的位置信息对眼底图像进行感兴趣区域裁剪；
步骤4)将裁剪得到的眼底图像经直方图匹配后输入训练好的精确定位网络，得到精确坐标位置；
步骤5)根据精确坐标位置结合粗定位位置，进行还原得到最终坐标位置，实现眼底图像中央凹定位。
本发明实施例提供的眼底图像中央凹定位方法，将根据粗定位网络的粗定位结果裁剪的眼底图像通过直方图匹配再通过精确定位网络进行定位，能够减少来源不同数据库的数据的差异，是一种能够准确有效地定位眼底图像中央凹的方法。基于直方图匹配，通过粗定位网络、精确定位网络实现眼底图像中央凹定位，本发明实施例尤其有效地解决了数据差异的问题，有利于实现眼底图像中央凹精准定位。
直方图匹配也叫做直方图规定化，其基本思想是将某一变量取值范围划分为若干个区间并统计变量的值落在每一区间的点的数目得到该变量的统计直方图，将一幅图像的直方图变成规定形状的直方图的方法(参考文献：[3]Donoser M，SchmalstiegD.Discriminative feature-to-point matching in image-based localization[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2014:516-523.[4]苏森，李郁峰，范勇，陈念年，刘冬冬.一种快速高精度的零件图像配准算法[J].制造技术与机床，2016(07):121-125.)。采用直方图匹配的方法进行图像间的风格迁移，取得了不错的效果(参考文献：[5]Ma Y，Wang J，Xu H，et al.RobustImage Feature Matching via Progressive Sparse Spatial Consensus[J].IEEEAccess，2017，5:24568-24579)。
视盘和视杯的参数是识别青光眼的重要眼底结构特征而且中央凹的位置和视杯视盘所在的位置存在相对位置关系，本发明实施例基于视杯视盘分割模型的结果，实现眼底图像中央凹定位。由于人工标注费用高昂，标注过程复杂及拍摄设备不同，可用于训练的图像数量较少。在本发明优选实施例中，为了更好的训练网络，给定网络所需的输入大小并进行了数据增广，具体操作包括反转，镜像和旋转。
本发明实施例中，考虑到计算量的问题，为了更加精确地对中央凹进行定位将定位网络分为两部分，开始进行感兴趣区域提取进行粗略定位，然后进行精确定位。总体网络结构如图6所示。
粗略定位网络
考虑到视杯视盘的位置和血管分布图对中央凹的位置存在相对位置关系且不同数据库的视杯视盘分割结果图和血管分布图差异性相对较小，所以将尺寸大小为128x128的视杯视盘分割结果图和尺寸大小为128x128的血管分布图作为粗定位网络的输入。其中采样阈值方法在眼底图像得到粗略的血管分布图。粗定位网络：即分别输入一张尺寸为H×W×1的血管分布图像和一张尺寸为H×W×1的视盘分割图像，然后将两者的特征进行拼接并输入粗定位网络，最后分别输入到两个激活函数输出层，这里都选用sigmoid激活函数，最终可以得到数值范围在0～1，最后分别乘128为预测坐标的X，Y坐标。
这里以y表示图像的真实标注位置，Loc1(·)代表网络参数，x1代表网络输入血管图像，x2代表网络输入视杯视盘图像，y′表示图像x经Loc1(·)的输出，则损失函数可以表示为两个部分加权组合而成
Lloc1＝Lr+L1
1.平方损失函数：实际结果和观测结果之间差距的平方和，一般用在线性回归中，可以理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
2.L1正则化：在经验风险最小化(训练误差最小化)的基础上，尽可能采用简单的模型，以提高模型泛化预测精度：
Figure GDA0004230393910000073
直方图匹配
又称直方图规定化，即变换原图的直方图为规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差。直方图匹配属于非线性点运算。假设pr(r)是原始图像灰度分布的概率密度函数，pz(z)是希望得到的概率密度函数，对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。第一步就是对两个图像都做均衡化处理：
Figure GDA0004230393910000071
Figure GDA0004230393910000072
由于两幅图像都做了均衡化处理，所以，pr(r)和pz(z)具有同样的均匀密度
z＝G-1(u)≈G-1(s)。
精确定位网络
在进行上一步的粗略定位之后得到粗略位置，在此基础上对眼底图像进行感兴趣区域裁剪。考虑到图像之间存在差异将图像进行直方图匹配之后，将匹配过后的眼底图像作为精确定位网络的输入。输入图像的尺寸大小为256x256，总体框架图如图6所示。精确定位网络：即输入一张尺寸为H×W×3的眼底彩色图像到精确定位网络，最后分别输入到两个激活函数输出层，这里都选用sigmoid激活函数，最终可以得到数值范围在0～1，最后分别乘256为预测的X和Y坐标。
这里以y表示图像的真实标注位置，Loc2(·)代表网络参数，x代表网络输入眼底图像，y′表示图像x经Loc2(·)的输出，则损失函数可以表示为两个部分加权组合而成
LLoc2＝Lr+L1
1.平方损失函数：实际结果和观测结果之间差距的平方和，一般用在线性回归中，可以理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
2.L1正则化：在经验风险最小化(训练误差最小化)的基础上，尽可能采用简单的模型，以提高模型泛化预测精度：
Figure GDA0004230393910000081
在一些具体实施例中，本发明的眼底图像中央凹定位方法包括如下步骤：
一、获取数据集
本发明中所使用的眼底图像数据集为公开比赛REFUGE数据集，其中训练集和测试集各400幅，训练集来自Zeiss Visucam 500如图所示，像素为2124x2056，测试集来自CanonCR-2如图所示，像素为1634x1634，两者存在明显差异。
二、数据增广
由于眼底图像的人工标注复杂费时费力，因此已有的公开数据集图像数量较少，在本发明中，由于使用了深度学习方法，为了减少网络的过拟合现象，同时给定网络所需的图像输入大小，先使用相应的图像数据增广方法对原始眼底图像公开数据集进行增广处理，翻转，镜像和旋转。
三、训练阶段
在本发明中使用直方图匹配进行眼底图像中央凹定位。训练中的定位网络训练又分为两部分，分别是粗定位和精确定位，具体如下：
判别器要处理的是一个回归问题，即中央凹的坐标位置。定位网络也采用了卷积神经网络，卷积神经网络针对图像计算设计，可以有效的从大量样本中学习到相应地特征，避免了复杂的特征提取过程，具有局部感知和参数共享两个特点。卷积层之间的连接用到了残差模块，残差结构人为制造了恒等映射，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差。其中在下采样过程中，为了减少信息在传递过程中丢失的问题采用跨步为2的卷积操作而不是简单的池化操作。定位网络总体结构如图5所示，一共包括粗定位网络和精确定位网络两部分。
粗略定位网络及其训练
粗略定位网络结构如图8所示，粗定位详细步骤描述如下：
1.数据增广；
2.眼底图像通过阈值分割得到血管分割图；
3.将第二步得到的血管分割结果图和视杯视盘分割图分别输入，并将其得到的特征进行拼接；
4.将第三步得到的拼接特征输入网络，然后其执行flatten操作输入到一个结点为1的全连接层，最后连接一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1。
5.计算损失函数，并选用相应的优化器通过多次迭代更新分割模型参数直到其收敛到最优值，本发明选用的优化器为Adam优化器。
精确定位网络及其训练
精确定位网络结构如图9所示，精确定位详细步骤描述如下：
1.根据粗略定位的结果位置对在眼底图像上进行裁剪；
2.将第一步得到的图像进行直方图匹配并进行数据增广。
3.输入匹配过后的眼底图像到精确定位网络，得到模型的输出，将其输入到一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1。
4.计算损失函数，并选用相应的优化器通过多次迭代更新分割模型参数直到其收敛到最优值，本发明选用的优化器为Adam优化器。
四、预测阶段
该算法预测阶段流程如图10所示，中央凹定位具体流程具体描述如下：1.将眼底图像和视盘分割图输入粗定位网络；
2.根据第一步得到的结果对眼底图像进行裁剪，裁剪过后进行直方图匹配；
3.将第二步得到的图像经直方图匹配后输入精确定位网络，得到精确坐标位置，
4.根据地第一步得到的位置结合上一步的坐标，进行还原得到最终坐标位置。
性能分析
性能指标
在回归任务中一般使用平均绝对误差(MeanAbsolute Error，MAE)作为衡量指标，m代表样例个数，yi代表第i个样例的标注值，
Figure GDA0004230393910000101
代表第i个样例的预测值，则
Figure GDA0004230393910000102
性能分析
在下面的分析中，经过图像增广处理后，数据集1有9600张，数据集2有9600张。将其中75％的数据作为训练集，25％的数据作为测试集。
定性分析
数据集1与数据集2的中央凹定位图如图12与图13所示，其中蓝色十字标识为标注位置，红色十字标识为预测位置。从眼底图像看来，定位结果比较成功可以确定中央凹的基本位置。
定量分析
本发明实施例方法在数据集1和数据集2上分别开展眼底图像中央凹定位，结果如表1所示。在数据集1上，在X和Y方向上的平均绝对误差(MAE)分别为11.28和7.06；在数据集2上，在X和Y方向上的平均绝对误差(MAE)分别为12.55和6.32。
表1两个数据集的中央凹定位结果
Dataset Methods XMAE YMAE
数据集1 本发明方法 11.28 7.06
数据集2 本发明方法 12.55 6.32
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (10)

1.一种眼底图像中央凹定位方法，其特征在于，包括如下步骤：
1)由眼底图像得到视杯视盘分割结果图和血管分布图；
2)将所述视杯视盘分割结果图和所述血管分布图输入训练好的粗定位网络，得到有关于眼底图像中央凹的粗定位位置信息；
3)根据粗定位位置信息得到的位置信息对眼底图像进行感兴趣区域裁剪；
4)将裁剪得到的眼底图像经直方图匹配后输入训练好的精确定位网络，得到精确坐标位置；
5)根据精确坐标位置结合粗定位位置，进行还原得到最终坐标位置，实现眼底图像中央凹定位；
所述粗定位网络的损失函数为两个部分加权组合而成：
Lloc1＝Lr+L1
平方损失函数Lr是实际结果和观测结果之间差距的平方和，可理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
L1为正则化的项：
Figure FDA0004239925870000011
其中，y表示图像的真实标注位置，Loc1(·)代表网络参数，x1代表网络输入血管图像，x2代表网络输入视杯视盘图像，y′表示图像x经Loc1(·)的输出。
2.如权利要求1所述的眼底图像中央凹定位方法，其特征在于，步骤2)中，将尺寸为H×W×1的血管分布图像和尺寸为H×W×1的视杯视盘分割图像的特征进行拼接并输入所述粗定位网络，分别经过两个sigmoid激活函数输出层，得到数值范围在0～1，最后分别乘以输入图像尺寸值得到预测的粗定位位置坐标。
3.如权利要求1所述的眼底图像中央凹定位方法，其特征在于，步骤4)中，将尺寸为H×W×3的经直方图匹配之后的眼底图像输入到所述精确定位网络，分别经过两个sigmoid激活函数输出层，得到数值范围在0～1，最后分别乘以输入图像尺寸值得到预测的X和Y坐标。
4.如权利要求3所述的眼底图像中央凹定位方法，其特征在于，所述精确定位网络的损失函数为两个部分加权组合而成：
LLoc2＝Lr+L1
平方损失函数Lr是实际结果和观测结果之间差距的平方和，可理解为最小二乘法：
Lr(y′,y)＝(y′-y)2
L1为正则化的项：
Figure FDA0004239925870000021
其中，y表示图像的真实标注位置，Loc2(·)代表网络参数，x代表网络输入眼底图像，y′表示图像x经Loc2(·)的输出。
5.如权利要求1至3任一项所述的眼底图像中央凹定位方法，其特征在于，所述直方图匹配，对于原始图像灰度分布的概率密度函数pr(r)和希望得到的概率密度函数pz(z)，对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以均匀直方图为媒介，再对参考图像做均衡化的逆运算；其中，均衡化处理：
Figure FDA0004239925870000022
Figure FDA0004239925870000023
均衡化处理后pr(r)和pz(z)具有同样的均匀密度：
z＝G-1(u)≈G-1(s)。
6.如权利要求1至3任一项所述的眼底图像中央凹定位方法，其特征在于，所述粗定位网络的训练包括：
由眼底图像通过阈值分割得到血管分割图，并得到视杯视盘分割图；
将得到的血管分割结果图和视杯视盘分割图的特征进行拼接；
将得到的拼接特征输入粗定位网络，然后其执行flatten操作输入到一个结点为1的全连接层，最后连接一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1；
计算损失函数，并使用优化器通过多次迭代更新分割模型参数直到其收敛到最优值。
7.如权利要求1至3任一项所述的眼底图像中央凹定位方法，其特征在于，所述精确定位网络的训练包括：
根据粗定位位置信息对眼底图像进行感兴趣区域裁剪；
将裁剪得到的图像进行直方图匹配；
将直方图匹配后的眼底图像输入精确定位网络，得到模型的输出，将其输入到一个激活函数为sigmoid函数的输出层，最终得到数值范围在0～1；
计算损失函数，并使用优化器通过多次迭代更新分割模型参数直到其收敛到最优值。
8.如权利要求1至3任一项所述的眼底图像中央凹定位方法，其特征在于，所述粗定位网络和所述精确定位网络采用卷积神经网络，卷积层之间的连接使用残差模块，残差结构制造恒等映射，让整个结构朝着恒等映射的方向去收敛，其中在下采样过程中，采用跨步为2的卷积操作。
9.如权利要求1至3任一项所述的眼底图像中央凹定位方法，其特征在于，训练前先使用图像数据增广方法对眼底图像数据集进行增广处理，包括翻转、镜像和旋转。
10.一种眼底图像中央凹定位装置，包括处理器和存储介质，其特征在于，所述存储介质存储的计算机程序由所述处理器运行时执行如权利要求1至9任一项所述的眼底图像中央凹定位方法。
CN202010378844.5A 2020-05-07 2020-05-07 一种眼底图像中央凹定位方法 Active CN111489353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010378844.5A CN111489353B (zh) 2020-05-07 2020-05-07 一种眼底图像中央凹定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010378844.5A CN111489353B (zh) 2020-05-07 2020-05-07 一种眼底图像中央凹定位方法

Publications (2)

Publication Number Publication Date
CN111489353A CN111489353A (zh) 2020-08-04
CN111489353B true CN111489353B (zh) 2023-06-23

Family

ID=71795179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010378844.5A Active CN111489353B (zh) 2020-05-07 2020-05-07 一种眼底图像中央凹定位方法

Country Status (1)

Country Link
CN (1) CN111489353B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677503A (zh) * 2022-03-10 2022-06-28 上海联影医疗科技股份有限公司 感兴趣区域检测方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463140B (zh) * 2014-12-23 2017-09-29 天津工业大学 一种彩色眼底图像视盘自动定位方法
CN109744996B (zh) * 2019-01-11 2021-06-15 中南大学 Oct图像的bmo位置定位方法
CN109829942B (zh) * 2019-02-21 2023-04-28 韶关学院 一种眼底图像视网膜血管管径自动量化方法
CN110197493B (zh) * 2019-05-24 2021-04-23 清华大学深圳研究生院 眼底图像血管分割方法

Also Published As

Publication number Publication date
CN111489353A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111815574B (zh) 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
CN110827213B (zh) 一种基于生成式对抗网络的超分辨率图像修复方法
EP3674968B1 (en) Image classification method, server and computer readable storage medium
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
WO2018082084A1 (zh) 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
Dash et al. An unsupervised approach for extraction of blood vessels from fundus images
CN111667490B (zh) 一种眼底图片视杯视盘分割方法
CN108038513A (zh) 一种肝脏超声图像的特征分类方法
CN112419320B (zh) 基于sam与多层uda的跨模态心脏分割方法
CN111127504A (zh) 心房间隔闭塞患者心脏医学影像分割方法及系统
Savelli et al. Illumination correction by dehazing for retinal vessel segmentation
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN113962887A (zh) 一种二维冷冻电镜图像去噪模型的训练方法、去噪方法
CN113298742A (zh) 基于图像配准的多模态视网膜图像融合方法及系统
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
Zhang et al. A post-processing method to improve the white matter hyperintensity segmentation accuracy for randomly-initialized U-net
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN111489353B (zh) 一种眼底图像中央凹定位方法
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN116563647A (zh) 年龄相关性黄斑病变图像分类方法及装置
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
Kiefer et al. Automated Fundus Image Standardization Using a Dynamic Global Foreground Threshold Algorithm
CN116958132A (zh) 基于视觉分析的手术导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant