CN108470359A

CN108470359A - 一种糖尿病性视网膜眼底图像病变检测方法

Info

Publication number: CN108470359A
Application number: CN201810142316.2A
Authority: CN
Inventors: 陈洪刚
Original assignee: Ai Vision Medical Science And Technology Chengdu Co Ltd
Current assignee: Ai Vision Medical Science And Technology Chengdu Co Ltd
Priority date: 2018-02-11
Filing date: 2018-02-11
Publication date: 2018-08-31

Abstract

本发明公开了一种糖尿病性视网膜眼底图像病变检测方法，首先对医学眼底图像进行预处理，生成标准化的眼底图像；然后对眼底图像进行区域划分，生成m张眼底不同区域的子图像。接着利用多层区域卷积神经网络模型提取眼底子图像的区域深度特征向量，将区域深度特征向量作为长短期记忆神经网络输入，预测不同区域之间的相关性，生成眼底图像全局特征向量；最后通过全连接层和softmax实现对眼底图像的多分类检测。本发明基于网上可爬取到的视网膜眼底图像及标签，根据眼底图像的区域深度特征和相邻区域之间的相关性，利用卷积神经网络和递归神经网络算法进行糖尿病视网膜病变的自动检测，有效地提高了检测的准确性和时效性。

Description

一种糖尿病性视网膜眼底图像病变检测方法

技术领域

本发明属于图像识别技术领域，更为具体地讲，涉及一种糖尿病性视网膜眼底图像病变检测方法

背景技术

糖尿病视网膜病变时美国和欧洲人口中最重要的致病眼疾。据世界卫生组织预测，到2030年，全球视网膜病变患者将增加到3.66亿，糖尿病防治将成为一个更为严重的世界性问题。

研究表明，对糖尿病视网膜病变患者进行早期诊断和治疗能有效防止视觉的损失以及失明，而防治的关键则是通过眼底照相检查，定期随访发现病情的进展，及时进行激光干预治疗。但是目前世界上超过50％的患者没有接受任何形式的眼部检查，基于眼底图像的糖尿病视网膜病变检查工作基本还是靠眼科医生的肉眼观察进行。

近年来，随着计算机辅助诊断技术的发展，基于计算机视觉的相关技术已经在肝脏疾病、呼吸系统疾病的影像诊断中得到开发和应用。基于深度学习的糖尿病视网膜病变自动检测正是基于大规模检测的需求，通过深度学习技术来辅助医生判别病变指标，智能分析患者的疾病信息，从而实现糖尿病视网膜病变的大规模自动筛查。

发明内容

本发明的目的在于克服现有技术的不足，提供一种糖尿病性视网膜眼底图像病变检测方法，基于区域深度特征进行检测，以提高视网膜病变检测的准确性和时效性。

为实现上述发明目的，本发明糖尿病性视网膜眼底图像病变检测方法，包括以下步骤：

(1)、通过眼底图像预处理，生成标准化的眼底图像

1.1)、图像归一化，将像素点的每个颜色通道缩放为零均值和单位方差，去除亮度强弱对结果造成的影响；

1.2)通过Hough变换，检测眼底图像的眼球轮廓：检测图像中的边缘点，并保存其坐标位置(x,y)。设置角度theta的变化范围和步长，半径r的变换范围和步长,利用公式x＝a+rcos(theta),y＝b+rsin(theta)求出对应的圆心坐标(a,b)；

1.3)、确定眼球轮廓外接矩阵的大小，对数据集中的所有图像进行等比例缩放；

1.4)、对齐后的眼底图像进行旋转变化，生成不同角度的图像，达到数据增量的目的，也减少角度问题带来的实验误差，最后经过裁剪，生成标准的眼底图像；

(2)、对眼底图像进行区域划分，生成m张眼底不同区域的子图像

每张眼底图像分割成9张相同大小的区域子图像；

(3)、利用多层卷积神经网络模型提取每张眼底子图像的区域深度特征

3.1)、将m张眼底子图像向量输入m个卷积神经网络(Convolutional NeuralNetwork,CNN)；

3.2)、使用初始化的多个卷积核堆输入图像做卷积，得到每张眼底图像的区域卷积特征图像；

3.3)、经过若干卷积层对得到的卷积特征图像作2x2的最大池采样，获得最大池化层后的特征图像；

3.4)、经过若干次步骤3.2)和步骤3.3)，生成眼底图像不同区域的区域深度特征向量；

(4)、将区域深度特征作为长短期记忆神经网络输入，利用不同区域之间的相关性，生成眼底图像全局特征向量，具体步骤如下：

4.1)、将m个CNN网络输出的区域深度特征向量输入长短期记忆(Long Short-TermMemory,LSTM)神经网络；

4.2)、经过LSTM三种“门”的结构作用，让信息选择性通过，以此学习相邻区域之间的相关性和依赖性；

4.3)、经过若干层LSTM神经网络层，输出眼底图像全局特征向量；

(5)、将特征向量输入全连接神经网络，最后一层采用softmax层进行眼底图像的分类检测，具体步骤如下：

5.1)、将眼底图像全局特征向量经过全连接神经网络进行学习；

5.2)、激活函数采用ReLU激活函数；

5.3)、最后一层采用softmax进行各个类别分类预测。

本发明的目的是这样实现的。

本发明糖尿病性视网膜眼底图像病变检测方法基于区域深度特征进行检测，可应用于不同病变时期糖尿病性视网膜病变的大规模检测。该方法首先对医学眼底图像进行预处理，生成标准化的眼底图像；然后对眼底图像进行区域划分，生成m张眼底不同区域的子图像。接着利用多层区域卷积神经网络模型提取眼底子图像的区域深度特征向量，将区域深度特征向量作为长短期记忆神经网络输入，预测不同区域之间的相关性，生成眼底图像全局特征向量；最后通过全连接层和softmax实现对眼底图像的多分类检测。本发明基于网上可爬取到的视网膜眼底图像及标签，根据眼底图像的区域深度特征和相邻区域之间的相关性，利用卷积神经网络和递归神经网络算法进行糖尿病视网膜病变的自动检测，有效地提高了检测的准确性和时效性。

附图说明

图1是本发明糖尿病性视网膜眼底图像病变检测方法一种具体实施方式流程图；

图2是卷积神经网络结构示意图；

图3是深度学习网络模型结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明糖尿病性视网膜眼底图像病变检测方法一种具体实施方式流程图。

在本实施例，如图1所示，本发明糖尿病性视网膜眼底图像病变检测方法，包括如下几个部分：

数据获取，构造数据集。我们从网上爬取到了不同标签类型的视网膜的图像，包含没有病变的眼底图像和不同程度病变的眼底图像。眼底图像数据集，标签分为5期，分别是：0期：未发生糖尿病性视网膜病变，有25810张图像数据。1期：眼底图像产生微血管瘤和出血点，有2443张图像数据。2期：眼底图像产生渗出物及出血斑有5292张图像数据。3期：眼底图像视网膜新生血管形成或玻璃体出血，有873张图像数据。4期：新生血管形成并可见纤维增殖，有708张图像数据。原始图像数据集共53576张图像，实验中通过旋转一定角度对数据进行增量处理，每张图像经过5次60度旋转，产生不同角度的眼底图像，扩充数据集。其中数据集被分成3个部分，训练集75％，测试集25％。训练集用于模型训练，测试集用于检测模型效果。

眼底图像预处理构建单元，生成标准化的眼底图像；眼底图像分割单元，对眼底图像进行区域划分，生成9张不同区域相同大小的子图像。CNN网络构建单元，利用多层卷积神经网络模型提取每张眼底子图像的区域深度特征。LSTM网络构建单元，将区域深度特征作为LSTM神经网络输入，预测不同区域之间的相关性，生成眼底图像全局特征向量。分类检测构建单元，将特征向量输入全连接神经网络，最后一层采用softmax层进行眼底图像的分类检测。深度学习网络模型结构示意图如图3所示。

其步骤如下：

S1：眼底图像预处理构建单元。由于从互联网上爬取的视网膜眼底病变图像数据集本身存在着很多干扰信息以及图像与图像之间并没有对齐，为了获得更好的检索效果，需要对眼底图像进行预处理，生成标准的图像数据，流程如下：

1.1)图像归一化，将像素点的每个颜色通道缩放为零均值和单位方差，去除亮度强弱对结果造成的影响。

1.2)通过Hough变换，检测眼底图像的眼球轮廓。Hough圆检测的原理是：检测图像中的边缘点，并保存其坐标位置(x,y)。设置角度theta的变化范围和步长，半径r的变换范围和步长,利用公式x＝a+rcos(theta),y＝b+rsin(theta)求出对应的圆心坐标(a,b)，圆的公式为(x－a)²+(y－b)²＝r²。

1.3)确定眼球轮廓外接矩阵的大小，对数据集中的所有图像进行等比例缩放，这里外接矩阵大小设为672x672，。

1.4)齐后的眼底图像进行旋转变化，生成不同角度的图像，达到数据增量的目的，也减少角度问题带来的实验误差，最后经过裁剪，生成标准的眼底图像。实验中图片经过5次等角度旋转，每次逆时针旋转60度，生成6张不同角度，相同标签的眼底图像。

S2:眼底图像分割单元.

对眼底图像进行区域分割，生成9张不同区域相同大小的子图像。

S3：构建CNN网络单元。

本发明采用的CNN模型图如图2所示：其中Conv Block1及Block2由两个卷积层和一个池化层构成，Conv Block3、Block4、Block5由三个卷积层和一个池化层构成，根据S2所获得子图像，提取眼底图像子图像的区域深度特征。输入图片初始像素值为224×224，Block的卷积核大小是3×3，个数为64个，每一个Block都要经过池化层(2x2)进行降维，最后得到的特征向量维度为25088维,Block6进行一定的降维处理，最后输出第t张子图像的612维的区域深度特征向量x_t,其中t＝1,2,…,9。激活函数采用ReLU激活函数。

S4：构建LSTM网络单元。

模型的输入为S3所提取的眼底图像区域深度特征向量，输出为眼底图像的全局特征向量。网络共2层,每层612个LSTM神经元。每个神经元cell由三个Gate(input、forget、output)和一个cell单元组成。Gate使用一个sigmoid激活函数，而input和cell state通常会使用tanh函数来转换。LSTM神经网络结构示意图如图3所示。LSTM的cell可以使用下列的等式来定义：

Gates：

输入变换：

状态更新：

c_t＝forget_t·c_t-1+input_t·c_i_t

h_t＝output_t·tanh(c_t)

S5:构建分类检测构建单元。

模型输入为LSTM网络输入的全局特征向量，输出为该图片的分类检测结果。中间采用2层全连接神经网络，第一层神经元1024个，第二层512个神经元，激活函数均为ReLU函数。最后一层为softmax层，用于分类检测。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种糖尿病性视网膜眼底图像病变检测方法，其特征在于，包括以下步骤：

(1)、通过眼底图像预处理，生成标准化的眼底图像；

(2)、对眼底图像进行区域划分，生成m张眼底不同区域的子图像；

(3)、利用多层卷积神经网络模型提取每张眼底子图像的区域深度特征；

(4)将区域深度特征作为长短期记忆神经网络输入，预测不同区域之间的相关性，生成眼底图像全局特征向量；

(5)将特征向量输入全连接神经网络，最后一层采用softmax层进行眼底图像的分类检测。

2.根据权利要求1所述的基于区域深度特征的糖尿病性视网膜眼底图像病变检测方法，其特征在于，步骤(1)中通过眼底图像预处理，生成标准化的眼底图像；具体步骤如下：

2.1)、图像归一化，将像素点的每个颜色通道缩放为零均值和单位方差，去除亮度强弱对结果造成的影响；

2.2)、根据Hough变换提取眼球轮廓，设定外界矩阵大小，并通过缩放，实现眼球轮廓对齐；

2.3)、对对齐后的眼底图像进行旋转变化，生成不同角度的图像，达到数据增量的目的，也减少角度问题带来的实验误差，最后经过裁剪，生成标准的眼底图像。

3.根据权利要求1所述的基于区域深度特征的糖尿病性视网膜眼底图像病变检测方法，其特征在于，步骤(3)中利用多层卷积神经网络模型提取每张眼底子图像的区域深度特征；具体步骤如下：

3.1)、将m张眼底子图像向量输入m个卷积神经网络；

3.4)、经过若干次步骤3.2)和步骤3.3)，生成眼底图像不同区域的区域深度特征向量。

4.根据权利要求1所述的基于区域深度特征的糖尿病性视网膜眼底图像病变检测方法，其特征在于，步骤(4)和步骤(5)中将区域深度特征作为长短期记忆神经网络输入，利用不同区域之间的相关性，生成眼底图像全局特征向量，输入全连接神经网络，最后一层采用softmax层进行眼底图像的分类检测，具体步骤如下：

4.1)将m个卷积神经网络输出的区域深度特征向量输入长短期记忆神经网络；

4.2)经过长短期记忆神经网络三种“门”的结构作用，让信息选择性通过，以此学习相邻区域之间的相关性和依赖性；

4.3)经过若干层长短期记忆神经网络层，输出眼底图像全局特征向量；

4.4)将眼底图像全局特征向量经过全连接神经网络进行学习；

4.5)激活函数采用ReLU激活函数；

4.6)最后一层采用softmax进行各个类别分类预测。