CN107123124B - 视网膜图像分析方法、装置和计算设备 - Google Patents

视网膜图像分析方法、装置和计算设备 Download PDF

Info

Publication number
CN107123124B
CN107123124B CN201710309329.XA CN201710309329A CN107123124B CN 107123124 B CN107123124 B CN 107123124B CN 201710309329 A CN201710309329 A CN 201710309329A CN 107123124 B CN107123124 B CN 107123124B
Authority
CN
China
Prior art keywords
image
area
region
bright
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710309329.XA
Other languages
English (en)
Other versions
CN107123124A (zh
Inventor
季鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanyi Medical Zhuhai Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710309329.XA priority Critical patent/CN107123124B/zh
Publication of CN107123124A publication Critical patent/CN107123124A/zh
Application granted granted Critical
Publication of CN107123124B publication Critical patent/CN107123124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视网膜图像分析方法，在计算设备中执行，该方法包括：获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到增强图像；对增强图像进行滤波处理，以提取出背景图像；根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像和暗区域图像；确定视盘区域和亮噪声区域，从亮区域图像中去除视盘区域和亮噪声区域，以得到渗出区域；确定血管区域和暗噪声区域，从暗区域图像中去除血管区域和暗噪声区域，以得到出血区域。此外，本发明还公开了能够实施上述方法的视网膜图像分析装置，和包括上述视网膜图像分析装置的计算设备。根据本发明的技术方案，可以快速分割出视网膜图像中的渗出区域和出血区域。

Description

视网膜图像分析方法、装置和计算设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视网膜图像分析方法、装置和计算设备。
背景技术
糖尿病是一种全身性的代谢性疾病，长期存在的高血糖会引起一系列的糖尿病慢性并发症，其中，糖尿病视网膜病变(Diabetic Retonopathy，简称糖网)是最为常见的眼部并发症，其会对患者的视力产生影响，甚至导致失明。视网膜出血、渗出病变是糖网早期可见的标志之一，因此，有必要通过数字图像处理技术对视网膜图像上的出血区域和渗出区域进行识别。
从视网膜图像上看，由于出血是微动脉瘤破裂的产物，其在临床上呈现一个逐渐扩散的趋势，故出血区域的颜色和形态与血管相近，形状不规则，边界不清晰，与背景的融合度较高；而渗出区域则与背景的对比度较高，边缘不规则，形状、大小多样，位置随机分布，以上因素增加了分割出血区域及渗出区域的难度。现有的出血、渗出区域的分割方法往往准确率不高，存在漏判及误判的情况；同时，在进行视网膜图像处理时，计算量较大，分割速度慢、耗时长，无法实现实时的出血及渗出区域分割。
发明内容
为此，本发明提供一种视网膜图像分析方法、装置和计算设备，以解决或至少缓解上面存在的问题。
根据本发明的一个方面，提供一种视网膜图像分析方法，在计算设备中执行，该方法包括：获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到视网膜图像的增强图像；对增强图像进行滤波处理，以提取出视网膜图像的背景图像；根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像和暗区域图像，其中，亮区域图像和暗区域图像均为二值图像，亮区域图像中标记出了视网膜图像中的亮区域，亮区域包括视盘区域、渗出区域和亮噪声区域，暗区域图像中标记出了视网膜图像中的暗区域，暗区域包括血管区域、出血区域和暗噪声区域；根据视网膜图像确定视盘区域，根据增强图像确定亮噪声区域，从亮区域图像中去除视盘区域和亮噪声区域，以得到视网膜图像的渗出区域；根据增强图像确定血管区域和暗噪声区域，从暗区域图像中去除血管区域和暗噪声区域，以得到视网膜图像的出血区域。
可选地，在根据本发明的视网膜图像分析方法中，对该视网膜图像进行预处理，得到视网膜图像的增强图像的步骤包括：对视网膜图像进行裁剪，并将裁剪后的图像调整为预定尺寸；对预定尺寸的图像进行对比度增强，得到视网膜图像的增强图像。
可选地，在根据本发明的视网膜图像分析方法中，对预定尺寸的图像进行对比度增强的步骤包括：将预定尺寸的图像中各像素的RGB颜色值归一化为0～1之间的数；对于RGB中每一个颜色通道，按照以下公式确定增强图像中各像素的颜色值：
I1(x,y)＝αI0(x,y)-β·I(x,y；δ)+γ
其中，I1(x,y)表示增强图像中坐标为(x,y)的像素的颜色值，I0(x,y)表示在预定尺寸的图像中坐标为(x,y)的像素的颜色值，I(x,y；δ)表示在预定尺寸的图像中坐标为(x,y)的像素的局部均值，其中，局部均值为经滤波窗口大小和方差均为δ的高斯滤波所得出，α、β、γ为常量参数。
可选地，在根据本发明的视网膜图像分析方法中，在确定增强图像中各像素的颜色值之后，还包括：对RGB每一个颜色通道所对应的图像进行形态学腐蚀。
可选地，在根据本发明的视网膜图像分析方法中，形态学腐蚀采用圆形结构元素，圆形结构元素的半径与前述公式中的δ相同。
可选地，在根据本发明的视网膜图像分析方法中，对增强图像进行滤波处理，以提取出视网膜图像的背景图像的步骤包括：生成多个具有不同窗口大小的滤波器；对于增强图像中各像素的RGB三个颜色通道，分别采用上述多个滤波器对各通道进行滤波处理，得到各通道的多个滤波结果；以及将各通道的多个滤波结果取平均，得到背景图像。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像的步骤包括：将背景图像中各像素的RGB颜色值与增强图像中对应像素的RGB颜色值取差值，得到亮差值图像；根据亮差值图像中各像素的RGB颜色值确定RGB三个通道的第一颜色阈值；通过对比亮差值图像中各像素的RGB颜色值和RGB三个通道的第一颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将亮差值图像转化为亮区域图像，所述亮区域图像为二值图像。
可选地，在根据本发明的视网膜图像分析方法中，根据视网膜图像确定视盘区域的步骤包括：对视网膜图像的B通道进行滤波处理，对滤波后的图像进行霍夫变换，以确定视盘圆的圆心和半径，并根据上述圆心和半径确定视盘圆的位置。
可选地，在根据本发明的视网膜图像分析方法中，上述滤波为维纳滤波。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定亮噪声区域的步骤包括：将增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第一预定条件；若是，则将该像素判定为亮噪声。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定亮噪声区域的步骤包括：将增强图像由RGB色彩空间转化到Lab色彩空间；在Lab色彩空间中计算增强图像中各像素的显著性，以及所有像素的平均显著性，并将显著性大于平均显著性的像素判定为显著像素；确定亮区域图像中的连通域，并计算各连通域中显著像素占该连通域中所有像素的比例；若比例小于第一阈值，则将该连通域判定为亮噪声区域。
可选地，在根据本发明的视网膜图像分析方法中，显著性按照以下公式计算：
S(x,y)＝||Iμ-Ig(x,y)||
其中，S(x,y)表示坐标为(x,y)的像素的显著性，Iμ为增强图像中各像素的L、a、b均值所构成的三维向量，Ig(x,y)为坐标为(x,y)的像素的高斯模糊值，||*||表示求二范式。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定亮噪声区域的步骤包括：计算增强图像中各像素在G通道的梯度幅值；确定亮区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若均值小于第二阈值，则将该连通域判定为亮噪声区域。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像和背景图像中各像素的RGB颜色值确定暗区域图像的步骤包括：将增强图像中各像素的RGB颜色值与背景图像中对应像素的RGB颜色值取差值，得到暗差值图像；根据暗差值图像中各像素的RGB颜色值确定RGB三个通道的第二颜色阈值；通过对比暗差值图像中各像素的RGB颜色值和RGB三个通道的第二颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将暗差值图像转化为暗区域图像，暗区域图像为二值图像。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定血管区域的步骤包括：采用不同方差下的多个窗口大小对增强图像进行多次滤波，分别得到各方差下的多个滤波结果，并将各方差下的多个滤波结果取平均，得到该方差下的滤波均值；将各方差下的滤波均值进行合并，并对合并后的图像进行阈值分割，得到中间图像，所述中间图像为二值图像，中间图像中标记出了候选血管区域，候选血管区域包括血管区域和伪血管区域；确定中间图像中的连通域并对各连通域进行分析，以去除中间图像中的伪血管区域，确定血管区域。
可选地，在根据本发明的视网膜图像分析方法中，对各连通域进行分析的步骤包括：计算各连通域的属性值，所述属性值包括连通域的面积、周长、最小外接矩形，以及与连通域具有相同标准二阶中心矩的椭圆的离心率、长轴长度和短轴长度中的至少一种；判断各连通域的属性值是否满足第二预定条件，若是，则将该连通域判定为伪血管区域。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定暗噪声区域的步骤包括：将增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第三预定条件；若是，则将该像素判定为暗噪声。
可选地，在根据本发明的视网膜图像分析方法中，根据增强图像确定暗噪声区域的步骤包括：计算增强图像中各像素在G通道的梯度幅值；确定暗区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若均值小于第三阈值，则将该连通域判定为暗噪声区域。
根据本发明的一个方面，提供一种视网膜图像分析装置，驻留于计算设备中，该装置包括：增强模块，其被配置为适于获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到视网膜图像的增强图像；背景提取模块，其被配置为适于对增强图像进行滤波处理，以提取出视网膜图像的背景图像；亮区域分割模块，其被配置为适于根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像，其中，亮区域图像为二值图像，亮区域图像中标记出了视网膜图像中的亮区域，亮区域包括视盘区域、渗出区域和亮噪声区域；渗出区域分割模块，其被配置为适于从所述视网膜图像中确定视盘区域，从增强图像中确定亮噪声区域，从亮区域图像中去除视盘区域和亮噪声区域，以得到视网膜图像的渗出区域；暗区域分割模块，其被配置为适于根据增强图像和背景图像中各像素的RGB颜色值确定暗区域图像，其中，暗区域图像为二值图像，暗区域图像中标记出了视网膜图像中的暗区域，暗区域包括血管区域、出血区域和暗噪声区域；出血区域分割模块，其被配置为适于从增强图像中确定血管区域和暗噪声区域，从暗区域图像中去除血管区域和暗噪声区域，以得到视网膜图像的出血区域。
根据本发明的一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，所述程序指令包括如上所述的视网膜图像分析装置；其中，处理器被配置为适于根据所述存储器中存储的视网膜图像分析装置执行如上所述的视网膜图像分析方法。
根据本发明的一个方面，提供一种存储有程序指令的计算机可读存储介质，所述程序指令包括如上所述的视网膜图像分析装置；当该计算机可读存储介质中存储的视网膜图像分析装置被计算设备读取时，所述计算设备可以执行如上所述的视网膜图像分析方法。
根据本发明的技术方案，首先对视网膜图像进行对比度增强，消除了光照不均、操作失当等因素对视网膜图像所造成的负面影响，使得视网膜区域的细节更加清晰可辨，使后续渗出区域及出血区域的分割结果更加准确。随后，对增强图像进行滤波处理，提取出视网膜图像的背景图像。随后，根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像和暗区域图像，亮区域图像中标记出了视盘区域、渗出区域和亮噪声区域，暗区域图像中标记出了血管区域、出血区域和暗噪声区域。随后，通过维纳滤波检测出视盘区域，通过对像素的HSV值、显著性、梯度幅值的分析确定亮噪声区域，从亮区域图像中去除视盘区域和亮噪声区域，从而得到渗出区域；通过多次高斯滤波确定血管区域，通过对像素的HSV值和梯度幅值的分析确定暗噪声区域，从暗区域图像中去除血管区域和暗噪声区域，从而得到出血区域。
本发明的技术方案在确定渗出区域和出血区域时，首先分割出视网膜图像中的亮区域和暗区域，随后，在亮区域图像中去除会对分割渗出区域带来干扰的视盘区域和亮噪声区域，在暗区域图像中去除会对分割出血区域带来干扰的血管区域和暗噪声区域，从而最终分割出渗出区域和出血区域。本方案充分考虑了渗出区域和出血区域在颜色、形态上的特点，分割过程层层递进，使得分割结果更加准确。此外，本发明针对不同的步骤采用了不同的图像处理方法，例如，通过维纳滤波来分割视盘，通过高斯滤波和连通域分析来分割血管，等等。本方案中的各种图像处理方法在能够实现较好的分割结果的同时，也保证了计算效率，能够实现渗出区域和出血区域的实时分割。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1A示出了根据本发明一个实施例的图像分析系统100a的示意图；
图1B示出了根据本发明一个实施例的图像分析系统100b的示意图；
图2示出了根据本发明一个实施例的计算设备200的结构图；
图3示出了根据本发明一个实施例的视网膜图像分析装置300的结构图；
图4示出了根据本发明一个实施例的视网膜图像分析方法400的流程图；
图5A～图5L示出了根据本发明的一个视网膜图像分析的实施例的效果图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1A示出了根据本发明一个实施例的图像分析系统100a的示意图。图1A所示的系统100a包括视网膜图像采集设备110和计算设备200。应当指出，图1A中的系统100a仅是示例性的，在具体的实践情况中，系统100a中可以包括任意数量的视网膜图像采集设备110和计算设备200，本发明对系统100a中所包括的视网膜图像采集设备110和计算设备200的数目不做限制。
视网膜图像采集设备110例如可以是任意型号的眼底照相机，其适于采集视网膜图像；计算设备200可以是诸如PC、笔记本电脑、手机、平板电脑等设备，其适于执行图像分析任务。在系统100a中，视网膜图像采集设备110与计算设备200在空间上的距离比较近，二者可以以有线或无线的方式完成近距离通信，例如，视网膜图像采集设备110可以通过USB接口、RJ-45接口、BNC接口等与计算设备200建立有线连接，或通过蓝牙、WiFi、ZigBee、IEEE802.11x等协议与计算设备200建立无线连接，本发明对视网膜图像采集设备110与计算设备200之间的连接方式不做限制。
计算设备200中驻留有视网膜图像分析装置300，装置300可以作为一个独立的软件安装于计算设备200中，或者作为一个网页应用驻留于计算设备200的浏览器中，或者仅仅是位于计算设备200的存储器中的一段代码，本发明对装置300在计算设备200中的存在形式不做限制。当视网膜图像采集设备110采集到视网膜图像后，将视网膜图像发送至计算设备200。计算设备200接收该视网膜图像，并由装置300对接收到的视网膜图像进行分析，分割出视网膜图像中的渗出区域和出血区域。
图1B示出了根据本发明一个实施例的图像分析系统100b的示意图。图1B所示的系统100b包括视网膜图像采集设备110、本地客户端120和计算设备200。应当指出，图1B中的系统100b仅是示例性的，在具体的实践情况中，系统100b中可以包括任意数量的视网膜图像采集设备110、本地客户端120和计算设备200，本发明对系统100b中所包括的视网膜图像采集设备110、本地客户端120和计算设备200的数目不做限制。
视网膜图像采集设备110例如可以是任意型号的眼底照相机，其适于采集视网膜图像；本地客户端120可以是诸如PC、笔记本电脑、手机、平板电脑等设备，其适于接收视网膜图像采集设备110所采集到的视网膜图像，并经由互联网将其发送至计算设备200；计算设备200可以实现为服务器，例如可以是WEB服务器、应用程序服务器等，其适于提供视网膜图像分析服务。在系统100b中，视网膜图像采集设备110与本地客户端120在空间上的距离比较近，二者可以以有线或无线的方式完成近距离通信；本地客户端120与计算设备200的距离比较远，二者可以以有线或无线的方式经由互联网完成远距离通信。
计算设备200中驻留有视网膜图像分析装置300。当视网膜图像采集设备110采集到视网膜图像后，将视网膜图像发送至本地客户端120。随后，本地客户端120将接收到的视网膜图像经由互联网发送至计算设备200，计算设备200接收该视网膜图像，并由装置300对接收到的视网膜图像进行分析，以分割出视网膜图像中的渗出区域和出血区域。另外，应当指出，虽然系统100b中将视网膜图像采集设备110和本地客户端120作为两个设备分别示出，但是，本领域技术人员可以意识到，在其他的实施例中，视网膜图像采集设备110和本地客户端120可以集成为一个设备，其同时具备以上所描述的设备110和本地客户端120所具备的所有功能。
图2示出了根据本发明一个实施例的计算设备200的结构图。在基本配置202中，计算设备200典型地包括系统存储器206和一个或者多个中央处理器204。存储器总线208可以用于在中央处理器204和系统存储器206之间的通信。中央处理器204是计算设备200的运算核心和控制核心，其主要功能是解释计算机指令以及处理各种软件中的数据。
取决于期望的配置，中央处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。中央处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与中央处理器204一起使用，或者在一些实现中，存储器控制器218可以是中央处理器204的一个内部部分。
取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上利用程序数据224进行操作。应用222在系统存储器中体现为多段程序指令，例如，应用222可以是可执行程序(.exe文件)或网页中的一段JS代码。中央处理器204可以执行这些程序指令从而实现应用222所指示的功能。在本发明中，应用222中包括视网膜图像分析装置300。视网膜图像分析装置300是一个由多行代码组成的指令集合，其能够指示中央处理器204执行图像处理的相关操作，从而实现视网膜图像分析，分割出视网膜图像中的渗出区域和出血区域。
计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置102经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读存储介质可以包括存储介质和通信介质二者。根据一种实施例，计算机可读存储介质中存储有程序指令，程序指令中包括视网膜图像分析装置300。当计算机可读存储介质中存储的装置300被计算设备200读取时，计算设备200的中央处理器204可以执行相应的视网膜图像分析方法，以实现视网膜图像的分析，分割出视网膜图像中的渗出区域和出血区域。
图3示出了根据本发明一个实施例的视网膜图像分析装置300的结构图，图4示出了根据本发明一个实施例的视网膜图像分析方法400的流程图。装置300实际上为了实现方法400所编写的代码指令，相应地，装置300中的各个模块是根据方法400的各个步骤所进行的功能模块上的划分。如图3所示，装置300包括增强模块310、背景提取模块320、亮区域分割模块330、渗出区域分割模块340、暗区域分割模块350和出血区域分割模块360。
增强模块310被配置为适于执行方法400中的步骤S410。在步骤S410中，获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到视网膜图像的增强图像。视网膜图像即为视网膜图像采集设备110所采集到的原始视网膜图像，其一般为彩色图像。视网膜图像中包括视网膜区域和背景区域，其中，视网膜区域即视网膜图像中视网膜所在的区域，背景即视网膜图像中除了视网膜区域以外的区域。由于视网膜图像采集设备110的型号不同，其硬件参数以及设置情况不同，视网膜图像会有不同的像素尺寸，视网膜图像中的视网膜区域会呈现为不同的形状(圆形或其他形状)；另外，在拍照时，眼底照相机所处的环境各异，光照强度不均匀，不同的视网膜图像会呈现不同的亮度和对比度；此外，操作眼底照相机的工作人员的拍摄水平也存在差异，这些因素均会影响视网膜图像的质量。因此，需要对视网膜图像进行预处理，以提高并统一其质量。
根据一种实施例，对视网膜图像进行预处理，得到视网膜图像的增强图像的步骤进一步包括：
1)对视网膜图像进行裁剪，并将裁剪后的图像调整为预定尺寸。
根据一种实施例，在裁剪时，对圆形和非圆形的视网膜区域分别处理。当视网膜区域为圆形时，直接将视网膜图像裁剪为与视网膜区域外接的矩形图像；当视网膜区域不为圆形时，首先将其形状修复成圆形(例如通过采用霍夫变换来确定该视网膜区域所对应的圆)，随后再将视网膜图像裁剪为与修复后的圆形视网膜区域外接的矩形图像。随后，采用图像内插方法或其他方法将裁减后的图像调整为预定尺寸。裁剪并调整尺寸后，所得的图像尺寸相同，图像中视网膜区域的位置一致(均位于图像正中的位置)，从而在后续分割视网膜图像的病变区域时，可以适用统一的分析流程和评判标准，并方便进行批量处理。图5A示出了视网膜图像的两个示例，其中，左图中的视网膜区域为圆形，右图中的视网膜区域为上下部存在缺失的圆形。图5B示出了对图5A中的两个视网膜图像进行裁剪、调整尺寸后所得的结果图像。
2)对预定尺寸的图像进行对比度增强，得到视网膜图像的增强图像。
根据一种实施例，按照以下步骤对预定尺寸的图像进行对比度增强：将预定尺寸的图像中各像素的RGB颜色值归一化为0～1之间的数；对于RGB中每一个颜色通道，按照以下公式确定增强图像中各像素的颜色值：
I1(x,y)＝αI0(x,y)-β·I(x,y；δ)+γ (1)
其中，I1(x,y)表示增强图像中坐标为(x,y)的像素的颜色值，I0(x,y)表示在预定尺寸的图像中坐标为(x,y)的像素的颜色值，I(x,y；δ)表示在预定尺寸的图像中坐标为(x,y)的像素的局部均值，其中，局部均值为经滤波窗口大小和方差均为δ的高斯滤波所得出，α、β、γ为常量参数。根据一种实施例，α＝β＝4，γ＝0.5，δ为10～20之间的任意整数。式(1)在计算增强后的颜色值时采用了原颜色值与局部灰度均值相减的思想，其中局部灰度均值由高斯滤波而得出，消除了光照不均对视网膜图像所造成的影响，计算量较小，方便快捷。应当理解，坐标为(x,y)增强图像中的像素颜色值I1(x,y)可能出现小于0或大于1的情况，为了方便处理，将小于0的值都置为0，将大于1的值都置为1。
在经过上述式(1)的处理后，视网膜区域的对比度会得到增强，但是，式(1)中原颜色值与高斯滤波所得的局部灰度均值相减的处理会使得视网膜区域的边界部分较亮。为了避免亮边界对后续视网膜图像病变区域分割过程的干扰，需要去除该亮边界，同时也不能损失视网膜区域的图像细节。根据一种实施例，在确定了增强后各像素的颜色值之后，还要对RGB每一个颜色通道所对应的图像进行形态学腐蚀。根据一种实施例，此处的形态学腐蚀采用圆形结构元素，圆形结构元素的半径与式(1)中的δ相同，这样可以较好地去除亮边界，也不会损失视网膜区域的图像细节。当然，上述半径为δ的圆形结构元素仅是示例性的，在其他实施例中，本领域技术人员可以根据实际情况选用其他大小的圆形结构元素，或其他形状的结构元素(例如线性结构元素、矩形结构元素等)，本发明对形态学腐蚀中所采用的结构元素的形状和大小均不做限制。此外，应当指出，除了采用以上所述的形态学腐蚀的方法来去除亮边界之外，还可以采用其他的方法，本发明对去除亮边界所采用的具体方法亦不做限制。图5C示出了将图5B中的两个预定尺寸的图像进行对比度增强后所得到的增强图像。图5C较之图5A、5B，视网膜区域的对比度明显增强，视网膜区域的细节更加清晰可辨。
背景提取模块320被配置为适于执行方法400中的步骤S420。在步骤S420中，对增强图像进行滤波处理，以提取出视网膜图像的背景图像。根据一种实施例，采用以下方法对增强图像进行滤波处理：生成多个具有不同窗口大小的滤波器(例如维纳滤波的滤波器)；对增强图像中各像素的RGB三个颜色通道，分别采用这多个滤波器对各通道进行滤波处理，得到各通道的多个滤波结果；以及将各通道的多个滤波结果取平均，得到背景图像。
提取图像背景的方法有多种，例如维纳滤波、中值滤波等，但考虑到维纳滤波的计算速度不受滤波器窗口大小的影响，而中值滤波的滤波器窗口越大，计算速度越慢，效率越低。因此，根据一种优选的实施例，选用维纳滤波，其计算公式如下：
Figure BDA0001286678860000121
其中，
Figure BDA0001286678860000122
为维纳滤波所提取出的背景图像的频域变换，G(u,v)为增强图像的频域变换，H(u,v)为退化函数，K为固定常数。H(u,v)和K可以根据需要设置为任意值，对于H(u,v)来说，在计算时，需要对u和v进行采样，以生成一个离散滤波器，滤波器窗口的大小可以根据需要设置为任意值。根据上式得出
Figure BDA0001286678860000131
后，对
Figure BDA0001286678860000132
进行傅里叶反变换，即可得出空间域的背景图像。
这里，可以选择50*50,100*100和500*500这三个滤波器窗口大小，并用这三种滤波器窗口分别对增强图像中各像素的RGB每一个通道进行滤波。这里，对于RGB三通道中的每个通道，都要用三种滤波器分别进行滤波，即均要用上述维纳滤波公式进行计算，然后将三个滤波器的滤波结果的平均值作为该通道的颜色值。将三个通道的颜色叠加，即可得到最终的背景图像。图5D示出了图5C中的两个图像所对应的背景图像。
亮区域分割模块330被配置为适于执行方法400中的步骤S430，渗出区域分割模块340被配置为适于执行方法400中的步骤S440；暗区域分割模块350被配置为适于执行方法400中的步骤S450，出血区域分割模块360被配置为适于执行方法400中的步骤S460。应当指出，步骤S430和S440用于实现渗出区域的分割，步骤S450和S460用于实现出血区域的分割。实际上，步骤S330和S350之间并没有严格的执行顺序，二者可以先后顺序执行，也可以同时执行。根据一种优选的实施例，步骤S330和S350并行执行，从而可以进一步提高计算效率。
在步骤S330中，根据增强图像和背景图像中各像素的RGB颜色值确定亮区域图像。亮区域图像为二值图像，该图像中标记出了视网膜图像中的亮区域，包括视盘区域、渗出区域和亮噪声区域，其中，亮噪声区域为图像在数字化和传输过程中受到成像设备与外部环境干扰而产生的较亮的随机、离散、孤立的像素点。根据一种实施例，亮区域图像可以按照以下方法确定：将背景图像中各像素的RGB颜色值与增强图像中对应像素的RGB颜色值取差值(即用背景图像中各像素的RGB颜色值减去增强图像中对应像素的RGB颜色值)，得到亮差值图像；根据亮差值图像中各像素的RGB颜色值确定RGB三个通道的第一颜色阈值；通过对比亮差值图像中各像素的RGB颜色值和RGB三个通道的第一颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将亮差值图像转化为亮区域图像，亮区域图像为二值图像。
根据一种实施例，将亮差值图像中所有像素在各个通道的平均颜色值作为该通道的第一颜色阈值，即，用所有像素的R值的平均值作为R通道的第一颜色阈值，用所有像素的G值的平均值作为G通道的第一颜色阈值，用所有像素的B值的平均值作为B通道的第一颜色阈值。若某个像素点的RGB三个通道的颜色值均大于对应通道的第一颜色阈值，则将该像素点的RGB值均置为1(从而该像素将在二值图像中呈现白色)；否则，将其均置为0(从而该像素将在二值图像中呈现黑色)，从而得到一幅二值图像，该二值图像即为亮区域图像。应当指出，按照上述方法所确定出的亮区域图像中，白色区域对应于视网膜图像中的亮区域。当然，在其他的实施例中，也可以在某个像素点的RGB三个通道的颜色值均大于对应通道的第一颜色阈值时，将该像素点的RGB值均置为0(从而该像素将在二值图像中呈现黑色)；否则，将其均置为1(从而该像素将在二值图像中呈现白色)，这样得出的亮区域图像中，黑色区域对应于视网膜图像中的亮区域。图5E示出了图5C、5D中的两个图像所对应的亮区域图像，图中的白色区域对应于视网膜图像5A中的亮区域。
在步骤S340中，根据视网膜图像确定视盘区域，根据增强图像确定亮噪声区域，从亮区域图像中去除视盘区域和亮噪声区域，以得到视网膜图像的渗出区域。
根据一种实施例，可以按照以下方法根据视网膜图像确定视盘区域：对视网膜图像的B通道进行滤波处理，对滤波后的图像进行霍夫变换，以确定视盘圆的圆心和半径，并根据所确定的圆心和半径确定视盘圆的位置，从而确定视盘区域。根据一种实施例，这里的滤波处理可以采用如前述公式(2)所示的维纳滤波，滤波器的窗口大小可以设置为一个较大的尺寸。图5F中虚线框的位置示出了通过维纳滤波和霍夫变换所确定的视盘区域的位置。在确定了视盘区域之后，在亮区域图像中去除视盘区域。具体地，可以通过将亮区域图像中视盘区域处的像素的RGB值均置为0的方法将其从亮区域图像中去除；也可以暂时不对亮区域图像做任何处理，而是记下视盘区域中各像素的位置坐标，从而在最终的渗出区域分割的结果图中不再将视盘区域中的像素标记为渗出区域。图5G示出了从图5E中将图5F所示的视网膜区域去除后的效果图。
根据一种实施例，可以根据颜色来确定亮噪声区域：将增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第一预定条件；若是，则将该像素判定为亮噪声。根据一种实施例，第一预定条件可以是H值小于第一预定阈值、S值小于第二预定阈值、且V值大于第三预定阈值。第一预定阈值～第三预定阈值的值可以由本领域技术人员根据实际情况自行设置，例如，考虑到视网膜图像中渗出区域的颜色特点，第一预定阈值和第二预定阈值可以为0.4～0.6，具体可以为0.5；第三预定阈值可以为0.6～0.8，具体可以为0.7。应当指出，此处在判断HSV值是否满足第一预定条件时，所采用的HSV值是归一化后的HSV值，即，首先将HSV值归一化为0～1之间的数，再判断归一化后的HSV值是否满足第一预定条件。
根据另一种实施例，还可以根据显著性来确定亮噪声区域：将增强图像由RGB色彩空间转化到Lab色彩空间；在Lab色彩空间中计算增强图像中各像素的显著性，以及所有像素的平均显著性，并将显著性大于平均显著性的像素判定为显著像素；确定亮区域图像中的连通域，并计算各连通域中显著像素占该连通域中所有像素的比例；若比例小于第一阈值，则将该连通域判定为亮噪声区域。根据一种实施例，显著性可以按照以下公式计算：
S(x,y)＝||Iμ-Ig(x,y)|| (3)
其中，S(x,y)表示坐标为(x,y)的像素的显著性，Iμ为增强图像中各像素的L、a、b均值所构成的三维向量，Ig(x,y)为坐标为(x,y)的像素的高斯模糊值，||*||表示求二范式。第一阈值以及高斯模糊中的各项参数可以由本领域技术人员根据实际情况自行设置，例如，第一阈值可以为0.7～0.9，具体可以为0.8，高斯模糊的滤波窗口大小可以为5*5。
根据又一种实施例，还可以根据梯度来确定亮噪声区域：计算增强图像中各像素在G通道的梯度幅值；确定亮区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若均值小于第二阈值，则将该连通域判定为亮噪声区域。该方法主要是考虑到渗出点应当与周围的背景区域颜色差异较大，对比度较高。之所以选择G通道，是因为在G通道中渗出点与背景区域的颜色对比度较高。第二阈值的值可以由本领域技术人员根据实际情况自行设置，例如，第二阈值可以为4～6，具体可以为5。
以上给出了确定亮噪声区域的三种方法：颜色、显著性和梯度。在实际操作中，可以选择上述三种方法中的任意一种。当然，为了使得亮噪声区域的识别更加准确、避免遗漏，也可以采用以上三种方法的任意组合来确定亮噪声区域；当采用组合的方法时，以上三种方法可以以任意顺序实施，本发明对各方法的先后顺序不做限制。例如，首先，采用颜色的方法确定出一部分亮噪声并去除，随后，采用显著性的方法确定出另一部分亮噪声并去除，随后，采用梯度的方法又标记出一部分亮噪声并去除，至此完成所有亮噪声区域的识别。在此处所采用的三种方法的组合方法中，确定亮噪声的步骤包括三步，每一步均在前一步的基础上确定亮噪声，前一步中已经判定为亮噪声的区域在后一步中不再进行重复判断，这样，既能够准确地确定亮噪声区域、避免遗漏，同时，也减少了不必要的计算，从而加快了计算速度。
在确定了亮噪声区域之后，在亮区域图像中去除亮噪声区域，从而得到渗出区域。具体地，可以通过将去除了视盘区域的亮区域图像中亮噪声区域处的像素的RGB值均置为0的方法将其去除；此外，也可以暂时不对亮区域图像做任何处理，而是记下亮噪声区域中各像素的位置坐标，从而在最终的渗出区域分割的结果图中不再将亮噪声区域中的像素标记为渗出区域。图5H示出了从图5G中将亮噪声区域去除后，在图5B中标记出的渗出区域的示意图。图5H中的白色亮斑即为分割出的渗出区域。
在步骤S450中，根据增强图像和背景图像中各像素的RGB颜色值确定暗区域图像。暗区域图像为二值图像，该图像中标记出了视网膜图像中的暗区域，包括血管区域、出血区域和暗噪声区域，其中，暗噪声区域为图像在数字化和传输过程中受到成像设备与外部环境干扰而产生的较暗的随机、离散、孤立的像素点。根据一种实施例，暗区域图像可以按照以下方法确定：将增强图像中各像素的RGB颜色值与背景图像中对应像素的RGB颜色值取差值(即用增强图像中各像素的RGB颜色值减去背景图像中对应像素的RGB颜色值)，得到暗差值图像；根据暗差值图像中各像素的RGB颜色值确定RGB三个通道的第二颜色阈值；通过对比暗差值图像中各像素的RGB颜色值和RGB三个通道的第二颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将暗差值图像转化为暗区域图像，暗区域图像为二值图像。
根据一种实施例，将暗差值图像中所有像素在各个通道的平均颜色值作为该通道的第二颜色阈值，即，用所有像素的R值的平均值作为R通道的第二颜色阈值，用所有像素的G值的平均值作为G通道的第二颜色阈值，用所有像素的B值的平均值作为B通道的第二颜色阈值。若某个像素点的RGB三个通道的颜色值均大于对应通道的第二颜色阈值，则将该像素点的RGB值均置为1(从而该像素将在二值图像中呈现白色)；否则，将其均置为0(从而该像素将在二值图像中呈现黑色)，从而得到一幅二值图像，该二值图像即为暗区域图像。应当指出，按照上述方法所确定出的暗区域图像中，白色区域对应于视网膜图像中的暗区域。当然，在其他的实施例中，也可以在某个像素点的RGB三个通道的颜色值均大于对应通道的第二颜色阈值时，将该像素点的RGB值均置为0(从而该像素将在二值图像中呈现黑色)；否则，将其均置为1(从而该像素将在二值图像中呈现白色)，这样得出的暗区域图像中，黑色区域对应于视网膜图像中的暗区域。图5I示出了图5C、5D中的两个图像所对应的暗区域图像，图中的白色区域对应于视网膜图像5A中的暗区域。
在步骤S460中，根据增强图像确定血管区域和暗噪声区域，从暗区域图像中去除血管区域和暗噪声区域，以得到视网膜图像的出血区域。
根据一种实施例，可以按照以下方法确定血管区域：采用不同方差下的多个窗口大小对增强图像进行多次滤波，分别得到各方差下的多个滤波结果，并将各方差下的多个滤波结果取平均，得到该方差下的滤波均值；将各方差下的滤波均值进行合并，并对合并后的图像进行阈值分割，得到中间图像，中间图像为二值图像，其中标记出了候选血管区域，候选血管区域包括血管区域和伪血管区域；确定中间图像中的连通域并对各连通域进行分析，以去除中间图像中的伪血管区域，确定血管区域。
根据一种实施例，在采用不同方差下的多个窗口大小对增强图像进行多次滤波时，可以采用多个窗口大小的高斯滤波，这主要是考虑到在视网膜图像中血管的局部方向、曲率变化较小，横截面的灰度变化近似为高斯曲线。另外，根据一种实施例，此处可以选用两个方差δ，每个方差下选取19中窗口大小，例如：
1)δ1＝5，并分别选取2*2～20*20这19种窗口大小对增强图像进行高斯滤波，得到19个滤波结果；
2)δ2＝1.8，并分别选取2*2～20*20这19种窗口大小对增强图像进行高斯滤波，得到19个滤波结果。
随后，分别求得这两个方差下的19种滤波结果的平均值，并将求得的两个滤波均值进行合并，对合并后的图像进行阈值分割，得到中间图像，中间图像为标记了血管区域和伪血管区域的二值图像。阈值分割的算法有多种，例如OTSU大津算法、最大熵法、迭代法等等，也可以参考暗区域图像的生成方法，即先求得该合并后的图像中各通道的颜色值及每个通道的颜色阈值，并通过对比每个通道的颜色值与该通道的颜色阈值来将该合并后的图像转换为二值图像(中间图像)。
由于中间图像中包括血管区域和伪血管区域，因此，还需要去除中间图像中的伪血管区域，从而确定血管区域。根据一种实施例，通过对中间图像中的连通域进行分析来确定伪血管区域：计算各连通域的属性值，属性值包括连通域的面积、周长、最小外接矩形，以及与连通域具有相同标准二阶中心矩的椭圆的离心率、长轴长度和短轴长度中的至少一种；判断各连通域的属性值是否满足第二预定条件，若是，则将该连通域判定为伪血管区域。根据一种实施例，第二预定条件可以是以下条件中的任意一种或多种：
1)连通域的面积满足第一预定范围，最小外接矩形与连通域的面积之比满足第二预定范围，且连通域的长轴长度与短轴长度之比满足第三预定范围；
2)连通域的面积满足第一预定范围，最小外接矩形与连通域的面积之比满足第四预定范围、周长之比满足第五预定范围；
3)连通域的面积满足第六预定范围、离心率满足第七预定范围、且长轴长度与短轴长度之比满足第八预定范围。
根据一种实施例，第一预定范围可以为[200，5000]，第二预定范围可以为大于0.35，第三预定范围可以为小于2.5，第四预定范围可以为小于0.25，第五预定范围可以为大于0.95，第六预定范围可以为小于600，第七预定范围可以为小于0.97，第八预定范围可以为小于2。当然，本领域技术人员也可以根据实际需要将第一预定范围～第八预定范围其设置为其他数值，本发明对第一预定范围～第八预定范围的取值不做限制。
按照上述方法确定伪血管区域后，将伪血管区域从中间图像中去除，即得到血管区域。考虑到中间图像为二值图像，此处可以通过将中间图像中伪血管区域的像素的RGB值均置为0的方式来去除伪血管区域。图5J示出了根据图5C所确定出的血管区域的示意图，图5J中的白色区域即血管区域。
在确定了血管区域后，在暗区域图像中去除血管区域，具体地，可以通过将暗区域图像中血管区域出的像素的RGB值均置为0的方法将其从暗区域图像中去除；此外，也可以暂时不对暗区域图像做任何处理，而是记下血管区域中各像素的位置坐标，从而在最终的出血区域分割的结果图中不再将血管区域中的像素标记为出血区域。图5K示出了从图5I中将图5J所示的血管区域去除后的效果图。
根据一种实施例，可以根据颜色来去除暗噪声区域：将增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第三预定条件；若是，则将该像素判定为暗噪声。根据一种实施例，第三预定条件可以是：H值在第一区间范围外，或S值在第二区间范围外，或者V值在第三区间范围外。其中，第一区间范围为[0.45，1]，第二区间范围为[0.15，0.75]，第三区间范围为[0.45，0.75]。应当理解，第一区间范围～第三区间范围可以由本领域技术人员根据实际情况自行设置，本发明对第一区间范围～第三区间范围的取值不做限制。另外，应当指出，此处在判断HSV值是否满足第三预定条件时，所采用的HSV值是归一化后的HSV值，即，首先将HSV值归一化为0～1之间的数，再判断归一化后的HSV值是否满足第三预定条件。
根据另一种实施例，还可以根据梯度来确定暗噪声区域：计算增强图像中各像素在G通道的梯度幅值；确定暗区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若均值小于第三阈值，则将该连通域判定为暗噪声区域。该方法主要是考虑到出血点应当与周围的背景区域颜色差异较大，对比度较高。之所以选择G通道，是因为在G通道中出血点与背景区域的颜色对比度较高。第三阈值的值可以由本领域技术人员根据实际情况自行设置，例如，第三阈值可以是所有背景像素的梯度幅值的均值，其中，背景像素指的是不属于任何连通域的像素。
以上给出了确定暗噪声区域的两种方法：颜色和梯度。在实际操作中，可以选择上述两种方法中的任意一种。当然，为了使得暗噪声区域的识别更加准确、避免遗漏，也可以采用以上两种方法的组合来确定暗噪声区域；当采用组合的方法时，以上两种方法可以以任意顺序实施，本发明对各方法的先后顺序不做限制。例如，首先，采用颜色的方法确定出一部分暗噪声并去除，随后，采用梯度的方法确定出另一部分暗噪声并去除，至此完成所有暗噪声区域的识别。在此处所采用的两种方法的组合方法中，确定暗噪声的步骤包括两步，其中，后一步在前一步的基础上确定暗噪声，前一步中已经判定为暗噪声的区域在后一步中不再进行重复判断，这样，既能够准确地确定暗噪声区域、避免遗漏，同时，也减少了不必要的计算，从而加快了计算速度。
在确定了暗噪声区域之后，在暗区域图像中去除暗噪声区域，从而得到出血区域。具体地，可以通过将去除了血管区域的暗区域图像中暗噪声区域处的像素的RGB值均置为0的方法将其去除；此外，也可以暂时不对暗区域图像做任何处理，而是记下暗噪声区域中各像素的位置坐标，从而在最终的出血区域分割的结果图中不再将暗噪声区域中的像素标记为出血区域。图5L示出了从图5K中将暗噪声区域去除后，在图5B中标记出的出血区域的示意图。图5L中的黑色暗斑即为分割出的出血区域。
A8：A1或7所述的方法，其中，根据所述视网膜图像确定视盘区域的步骤包括：对所述视网膜图像的B通道进行滤波处理，对滤波后的图像进行霍夫变换，以确定视盘圆的圆心和半径，并根据所述圆心和半径确定所述视盘圆的位置。
A9：A6或8所述的方法，其中，所述滤波为维纳滤波。
A10：A1所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：将所述增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第一预定条件；若是，则将该像素判定为亮噪声。
A11：A1或10所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：将所述增强图像由RGB色彩空间转化到Lab色彩空间；在Lab色彩空间中计算增强图像中各像素的显著性，以及所有像素的平均显著性，并将显著性大于平均显著性的像素判定为显著像素；确定所述亮区域图像中的连通域，并计算各连通域中显著像素占该连通域中所有像素的比例；若所述比例小于第一阈值，则将该连通域判定为亮噪声区域。
A12：A11所述的方法，其中，所述显著性按照以下公式计算：
S(x,y)＝||Iμ-Ig(x,y)||
其中，S(x,y)表示坐标为(x,y)的像素的显著性，Iμ为增强图像中各像素的L、a、b均值所构成的三维向量，Ig(x,y)为坐标为(x,y)的像素的高斯模糊值，||*||表示求二范式。
A13：A1、10-12中任一项所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：计算增强图像中各像素在G通道的梯度幅值；确定所述亮区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若所述均值小于第二阈值，则将该连通域判定为亮噪声区域。
A14：A1所述的方法，其中，根据所述增强图像和所述背景图像中各像素的RGB颜色值确定暗区域图像的步骤包括：将所述增强图像中各像素的RGB颜色值与所述背景图像中对应像素的RGB颜色值取差值，得到暗差值图像；根据暗差值图像中各像素的RGB颜色值确定RGB三个通道的第二颜色阈值；通过对比暗差值图像中各像素的RGB颜色值和RGB三个通道的第二颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将所述暗差值图像转化为暗区域图像，所述暗区域图像为二值图像。
A15：A1或14所述的方法，其中，根据所述增强图像确定血管区域的步骤包括：采用不同方差下的多个窗口大小对所述增强图像进行多次滤波，分别得到各方差下的多个滤波结果，并将所述各方差下的多个滤波结果取平均，得到该方差下的滤波均值；将各方差下的滤波均值进行合并，并对合并后的图像进行阈值分割，得到中间图像，所述中间图像为二值图像，所述中间图像中标记出了候选血管区域，所述候选血管区域包括血管区域和伪血管区域；确定中间图像中的连通域并对各连通域进行分析，以去除中间图像中的伪血管区域，确定血管区域。
A16：A15所述的方法，其中，所述对各连通域进行分析的步骤包括：计算各连通域的属性值，所述属性值包括连通域的面积、周长、最小外接矩形，以及与连通域具有相同标准二阶中心矩的椭圆的离心率、长轴长度和短轴长度中的至少一种；判断各连通域的属性值是否满足第二预定条件，若是，则将该连通域判定为伪血管区域。
A17：A1所述的方法，其中，根据所述增强图像确定暗噪声区域的步骤包括：将所述增强图像由RGB色彩空间转化到HSV色彩空间；判断增强图像中各像素的HSV值是否满足第三预定条件；若是，则将该像素判定为暗噪声。
A18：A1或17所述的方法，其中，根据所述增强图像确定暗噪声区域的步骤包括：计算增强图像中各像素在G通道的梯度幅值；确定所述暗区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；若所述均值小于第三阈值，则将该连通域判定为暗噪声区域。
B20：B19所述的装置，其中，所述增强模块进一步被配置为适于执行如权利要求2-5中任一项所述的方法；所述背景提取模块进一步被配置为适于执行如权利要求6或9所述的方法；所述亮区域分割模块进一步被配置为适于执行如权利要求7所述的方法；所述渗出区域分割模块进一步被配置为适于执行如权利要求8-13中任一项所述的方法；所述暗区域分割模块进一步被配置为适于执行如权利要求14所述的方法；所述出血区域分割模块进一步被配置为适于执行如权利要求15-18中任一项所述的方法。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的视网膜图像分析方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

Claims (20)

1.一种视网膜图像分析方法，在计算设备中执行，该方法包括：
获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到所述视网膜图像的增强图像；
生成多个具有不同窗口大小的滤波器，对于所述增强图像中各像素的RGB三个颜色通道，分别采用所述多个滤波器对各通道进行滤波处理，得到各通道的多个滤波结果，并将各通道的多个滤波结果取平均，得到背景图像；
根据所述增强图像和所述背景图像中各像素的RGB颜色值确定亮区域图像和暗区域图像，其中，所述亮区域图像和暗区域图像均为二值图像，所述亮区域图像中标记出了所述视网膜图像中的亮区域，所述亮区域包括视盘区域、渗出区域和亮噪声区域，所述暗区域图像中标记出了所述视网膜图像中的暗区域，所述暗区域包括血管区域、出血区域和暗噪声区域；
对所述视网膜图像的B通道进行滤波处理，对滤波后的图像进行霍夫变换，以确定视盘圆的圆心和半径，并根据所述圆心和半径确定视盘区域，根据所述增强图像确定亮噪声区域，从所述亮区域图像中去除所述视盘区域和所述亮噪声区域，以得到所述视网膜图像的渗出区域；
根据所述增强图像确定血管区域和暗噪声区域，从所述暗区域图像中去除所述血管区域和所述暗噪声区域，以得到所述视网膜图像的出血区域。
2.如权利要求1所述的方法，其中，所述对该视网膜图像进行预处理，得到所述视网膜图像的增强图像的步骤包括：
对所述视网膜图像进行裁剪，并将裁剪后的图像调整为预定尺寸；
对预定尺寸的图像进行对比度增强，得到所述视网膜图像的增强图像。
3.如权利要求2所述的方法，其中，所述对预定尺寸的图像进行对比度增强的步骤包括：
将预定尺寸的图像中各像素的RGB颜色值归一化为0～1之间的数；
对于RGB中每一个颜色通道，按照以下公式确定增强图像中各像素的颜色值：
I1(x,y)＝αgI0(x,y)-βgI(x,y；δ)+γ
其中，I1(x,y)表示增强图像中坐标为(x,y)的像素的颜色值，I0(x,y)表示在预定尺寸的图像中坐标为(x,y)的像素的颜色值，I(x,y；δ)表示在预定尺寸的图像中坐标为(x,y)的像素的局部均值，其中，所述局部均值为经滤波窗口大小和方差均为δ的高斯滤波所得出，α、β、γ为常量参数。
4.如权利要求3所述的方法，其中，在确定增强图像中各像素的颜色值之后，还包括：对RGB每一个颜色通道所对应的图像进行形态学腐蚀。
5.如权利要求4所述的方法，其中，所述形态学腐蚀采用圆形结构元素，所述圆形结构元素的半径与权利要求3中的δ相同。
6.如权利要求1所述的方法，其中，根据所述增强图像和所述背景图像中各像素的RGB颜色值确定亮区域图像的步骤包括：
将所述背景图像中各像素的RGB颜色值与所述增强图像中对应像素的RGB颜色值取差值，得到亮差值图像；
根据亮差值图像中各像素的RGB颜色值确定RGB三个通道的第一颜色阈值；
通过对比亮差值图像中各像素的RGB颜色值和RGB三个通道的第一颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将所述亮差值图像转化为亮区域图像，所述亮区域图像为二值图像。
7.如权利要求1所述的方法，其中，所述滤波为维纳滤波。
8.如权利要求1所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：
将所述增强图像由RGB色彩空间转化到HSV色彩空间；
判断增强图像中各像素的HSV值是否满足第一预定条件；
若是，则将该像素判定为亮噪声。
9.如权利要求1所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：
将所述增强图像由RGB色彩空间转化到Lab色彩空间；
在Lab色彩空间中计算增强图像中各像素的显著性，以及所有像素的平均显著性，并将显著性大于平均显著性的像素判定为显著像素；
确定所述亮区域图像中的连通域，并计算各连通域中显著像素占该连通域中所有像素的比例；
若所述比例小于第一阈值，则将该连通域判定为亮噪声区域。
10.如权利要求9所述的方法，其中，所述显著性按照以下公式计算：
S(x,y)＝||Iμ-Ig(x,y)||
其中，S(x,y)表示坐标为(x,y)的像素的显著性，Iμ为增强图像中各像素的L、a、b均值所构成的三维向量，Ig(x,y)为坐标为(x,y)的像素的高斯模糊值，||*||表示求二范式。
11.如权利要求1所述的方法，其中，根据所述增强图像确定亮噪声区域的步骤包括：
计算增强图像中各像素在G通道的梯度幅值；
确定所述亮区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；
若所述均值小于第二阈值，则将该连通域判定为亮噪声区域。
12.如权利要求1所述的方法，其中，根据所述增强图像和所述背景图像中各像素的RGB颜色值确定暗区域图像的步骤包括：
将所述增强图像中各像素的RGB颜色值与所述背景图像中对应像素的RGB颜色值取差值，得到暗差值图像；
根据暗差值图像中各像素的RGB颜色值确定RGB三个通道的第二颜色阈值；
通过对比暗差值图像中各像素的RGB颜色值和RGB三个通道的第二颜色阈值的大小，将各像素的各通道颜色值均标记为0或均标记为1，从而将所述暗差值图像转化为暗区域图像，所述暗区域图像为二值图像。
13.如权利要求1所述的方法，其中，根据所述增强图像确定血管区域的步骤包括：
采用不同方差下的多个窗口大小对所述增强图像进行多次滤波，分别得到各方差下的多个滤波结果，并将所述各方差下的多个滤波结果取平均，得到该方差下的滤波均值；
将各方差下的滤波均值进行合并，并对合并后的图像进行阈值分割，得到中间图像，所述中间图像为二值图像，所述中间图像中标记出了候选血管区域，所述候选血管区域包括血管区域和伪血管区域；
确定中间图像中的连通域并对各连通域进行分析，以去除中间图像中的伪血管区域，确定血管区域。
14.如权利要求13所述的方法，其中，所述对各连通域进行分析的步骤包括：
计算各连通域的属性值，所述属性值包括连通域的面积、周长、最小外接矩形，以及与连通域具有相同标准二阶中心矩的椭圆的离心率、长轴长度和短轴长度中的至少一种；
判断各连通域的属性值是否满足第二预定条件，若是，则将该连通域判定为伪血管区域。
15.如权利要求1所述的方法，其中，根据所述增强图像确定暗噪声区域的步骤包括：
将所述增强图像由RGB色彩空间转化到HSV色彩空间；
判断增强图像中各像素的HSV值是否满足第三预定条件；
若是，则将该像素判定为暗噪声。
16.如权利要求1所述的方法，其中，根据所述增强图像确定暗噪声区域的步骤包括：
计算增强图像中各像素在G通道的梯度幅值；
确定所述暗区域图像中的连通域，计算各连通域中像素的梯度幅值的均值；
若所述均值小于第三阈值，则将该连通域判定为暗噪声区域。
17.一种视网膜图像分析装置，驻留于计算设备中，该装置包括：
增强模块，其被配置为适于获取待分析的视网膜图像，并对该视网膜图像进行预处理，得到所述视网膜图像的增强图像；
背景提取模块，其被配置为适于生成多个具有不同窗口大小的滤波器，对于所述增强图像中各像素的RGB三个颜色通道，分别采用所述多个滤波器对各通道进行滤波处理，得到各通道的多个滤波结果，并将各通道的多个滤波结果取平均，得到背景图像；
亮区域分割模块，其被配置为适于根据所述增强图像和所述背景图像中各像素的RGB颜色值确定亮区域图像，其中，所述亮区域图像为二值图像，所述亮区域图像中标记出了所述视网膜图像中的亮区域，所述亮区域包括视盘区域、渗出区域和亮噪声区域；
渗出区域分割模块，其被配置为适于从所述视网膜图像中确定视盘区域，从所述增强图像中确定亮噪声区域，从所述亮区域图像中去除所述视盘区域和所述亮噪声区域，以得到所述视网膜图像的渗出区域；
暗区域分割模块，其被配置为适于根据所述增强图像和所述背景图像中各像素的RGB颜色值确定暗区域图像，其中，所述暗区域图像为二值图像，所述暗区域图像中标记出了所述视网膜图像中的暗区域，所述暗区域包括血管区域、出血区域和暗噪声区域；
出血区域分割模块，其被配置为适于从所述增强图像中确定血管区域和暗噪声区域，从所述暗区域图像中去除所述血管区域和所述暗噪声区域，以得到所述视网膜图像的出血区域。
18.如权利要求17所述的装置，其中，所述增强模块进一步被配置为适于执行如权利要求2-5中任一项所述的方法；所述亮区域分割模块进一步被配置为适于执行如权利要求6所述的方法；所述渗出区域分割模块进一步被配置为适于执行如权利要求8-11中任一项所述的方法；所述暗区域分割模块进一步被配置为适于执行如权利要求12所述的方法；所述出血区域分割模块进一步被配置为适于执行如权利要求13-16中任一项所述的方法。
19.一种计算设备，包括：
至少一个处理器；和
存储有程序指令的存储器，所述程序指令包括如权利要求17或18所述的视网膜图像分析装置；
其中，所述处理器被配置为适于根据所述存储器中存储的视网膜图像预处理装置执行如权利要求1-16中任一项所述的视网膜图像分析方法。
20.一种存储有程序指令的计算机可读存储介质，所述程序指令包括如权利要求17或18所述的视网膜图像分析装置；
当所述计算机可读存储介质中存储的视网膜图像预处理装置被计算设备读取时，所述计算设备可以执行如权利要求1-16中任一项所述的视网膜图像分析方法。
CN201710309329.XA 2017-05-04 2017-05-04 视网膜图像分析方法、装置和计算设备 Active CN107123124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710309329.XA CN107123124B (zh) 2017-05-04 2017-05-04 视网膜图像分析方法、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710309329.XA CN107123124B (zh) 2017-05-04 2017-05-04 视网膜图像分析方法、装置和计算设备

Publications (2)

Publication Number Publication Date
CN107123124A CN107123124A (zh) 2017-09-01
CN107123124B true CN107123124B (zh) 2020-05-12

Family

ID=59726564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710309329.XA Active CN107123124B (zh) 2017-05-04 2017-05-04 视网膜图像分析方法、装置和计算设备

Country Status (1)

Country Link
CN (1) CN107123124B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110037651B (zh) * 2018-01-15 2022-03-25 江威 眼底图像的质量控制方法及装置
CN110322426B (zh) * 2018-03-28 2022-05-10 北京连心医疗科技有限公司 基于可变人体模型的肿瘤靶区勾画方法、设备和存储介质
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108846827B (zh) * 2018-04-16 2021-10-15 江南大学 一种基于多圆快速分割眼底视盘的方法
CN109583364A (zh) * 2018-11-27 2019-04-05 上海鹰瞳医疗科技有限公司 图像识别方法及设备
CN109816637B (zh) * 2019-01-02 2023-03-07 电子科技大学 一种眼底图像中硬性渗出区域的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520888A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 基于方向场的视网膜图像血管的增强方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520888A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 基于方向场的视网膜图像血管的增强方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于多模板匹配的局部自适应区域生长法在视网膜内出血自动检测中的应用";高玮玮等;《光谱学与光谱分析》;20130228;第33卷(第2期);论文第3.3节 *
"彩色眼底图像糖网渗出物的自动检测";吕卫等;《光电工程》;20161231;第43卷(第12期);论文第1.1-1.3节 *
"糖尿病视网膜病变图像的渗出物自动检测算法研究";陈向;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20140415(第04期);论文第3.3节 *

Also Published As

Publication number Publication date
CN107123124A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107123124B (zh) 视网膜图像分析方法、装置和计算设备
CN109978890B (zh) 基于图像处理的目标提取方法、装置及终端设备
CN107038704B (zh) 视网膜图像渗出区域分割方法、装置和计算设备
US8411979B2 (en) Digital image processing and enhancing system and method with function of removing noise
CN110008969B (zh) 图像显著性区域的检测方法和装置
US11467661B2 (en) Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium
CN107146231B (zh) 视网膜图像出血区域分割方法、装置和计算设备
US9930218B2 (en) Content aware improvement of captured document images
US9262690B2 (en) Method and device for detecting glare pixels of image
CN110287791B (zh) 一种用于人脸图片的筛选方法和系统
CN109919915B (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
Bibiloni et al. A real-time fuzzy morphological algorithm for retinal vessel segmentation
CN109214996B (zh) 一种图像处理方法及装置
CN116740098B (zh) 一种铝合金氩弧焊焊接图像分割方法及系统
CN107133932B (zh) 视网膜图像预处理方法、装置和计算设备
US10909406B2 (en) Image processing system and method
CN109658394B (zh) 眼底图像预处理方法及系统和微血管瘤检测方法及系统
CN111311610A (zh) 图像分割的方法及终端设备
WO2018046407A1 (en) Particle boundary identification
CN107038705B (zh) 视网膜图像出血区域分割方法、装置和计算设备
WO2022126923A1 (zh) Asc-us诊断结果分流方法、装置、计算机设备及存储介质
CN114463352A (zh) 玻片扫描图像目标分割提取方法及系统
US9225876B2 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
Mahajan et al. Artefact removal and contrast enhancement for dermoscopic images using image processing techniques
Nagpal et al. Performance analysis of diabetic retinopathy using diverse image enhancement techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220511

Address after: 519000 unit Z, room 615, 6th floor, main building, No. 10, Keji 1st Road, Gangwan Avenue, Tangjiawan Town, Xiangzhou District, Zhuhai City, Guangdong Province (centralized office area)

Patentee after: Zhuhai Quanyi Technology Co.,Ltd.

Address before: 272500 No. 032, juntun Township commercial street, Wenshang County, Jining City, Shandong Province

Patentee before: Ji Xin

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240206

Address after: 519000 6th floor, building 1, No. 88, Keji 6th Road, high tech Zone, Zhuhai, Guangdong Province

Patentee after: Quanyi medical (Zhuhai) Co.,Ltd.

Country or region after: China

Address before: 519000 unit Z, room 615, 6th floor, main building, No. 10, Keji 1st Road, Gangwan Avenue, Tangjiawan Town, Xiangzhou District, Zhuhai City, Guangdong Province (centralized office area)

Patentee before: Zhuhai Quanyi Technology Co.,Ltd.

Country or region before: China