CN109427052A - 基于深度学习处理眼底图像的相关方法及设备 - Google Patents

基于深度学习处理眼底图像的相关方法及设备 Download PDF

Info

Publication number
CN109427052A
CN109427052A CN201710757936.2A CN201710757936A CN109427052A CN 109427052 A CN109427052 A CN 109427052A CN 201710757936 A CN201710757936 A CN 201710757936A CN 109427052 A CN109427052 A CN 109427052A
Authority
CN
China
Prior art keywords
image
deep learning
characteristic
learning network
eye fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710757936.2A
Other languages
English (en)
Other versions
CN109427052B (zh
Inventor
寿文卉
马文婷
徐青青
张志鹏
许利群
徐玲
樊庆侠
韦世奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Heshi Eye Hospital Co ltd
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
Shenyang Heshi Eye Hospital Co ltd
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Heshi Eye Hospital Co ltd, China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical Shenyang Heshi Eye Hospital Co ltd
Priority to CN201710757936.2A priority Critical patent/CN109427052B/zh
Publication of CN109427052A publication Critical patent/CN109427052A/zh
Application granted granted Critical
Publication of CN109427052B publication Critical patent/CN109427052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供基于深度学习处理眼底图像的相关方法及设备。其中，一种基于深度学习的眼底图像处理方法包括：以预设分割方式分割待处理眼底图像，获得至少一个分析图像；通过眼底图像深度学习网络模型对至少一个分析图像进行分析，获得至少一个中间图像；融合至少一个中间图像，以获得包含特征标记的待处理眼底图像；其中，眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图。

Description

基于深度学习处理眼底图像的相关方法及设备
技术领域
本发明涉及医学图像处理领域，尤其涉及基于深度学习处理眼底图像的相关方法及设备。
背景技术
眼底是眼球内后部的组织，眼底的图像即眼底图像。通常，眼底图像分辨率较大，并且其中的各个特征区域形状大小无规则，边界不平滑且模糊，人工标注眼底图像中的特征区域的方式费时费力。
近些年计算机视觉、机器学习和人工智能在医学图像处理领域已取得令人瞩目的成果。其中，深度学习领域是机器学习领域中最新且有影响力的前沿领域。传统的医学图像处理方法需要人工标注特征区域，这不仅需要相关医学经验，还需要消耗人力资源，并且，拍摄眼底图像时的拍照环境、光照、拍摄角度等因素都会对标注结果造成影响。
现有技术中，存在基于深度学习网络分析眼底图像的技术方案，但目前基于深度学习网络分析眼底图像的技术方案效果较差，只能分析出眼底图像中面积较大的特征区域，但针对面积较小的特征区域，现有的基于深度学习网络分析眼底图像的技术方案无法识别。
可见，现有技术存在无法识别眼底图像中较小特征区域的技术问题。
发明内容
本发明实施例提供基于深度学习处理眼底图像的相关方法及设备，用以解决现有技术中的图像处理方法无法识别眼底图像中较小特征区域的技术问题。
第一方面，提供一种基于深度学习的眼底图像处理方法，所述方法包括：
以预设分割方式分割待处理眼底图像，获得至少一个分析图像；
通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；
其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
在一种可能的实现方式中，通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像，包括：
针对所述至少一个分析图像中的每个分析图像执行以下操作：
通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
在一种可能的实现方式中，融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像，包括：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；
针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：
确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。
在一种可能的实现方式中，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像，包括：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像；在叠加拼接所述至少一个中间图像的过程中，确定所述包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。
第二方面，提供一种眼底图像深度学习网络模型的生成方法，所述方法包括：
通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
在一种可能的实现方式中，结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，包括：
叠加计算所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得所述各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；
比较所述各训练图像的特征概率标记图和所述各训练图像的参考标准groundtruth图像，获得所述各训练图像的比较结果；其中，ground truth图像包含特征标记，特征标记用于标记图像中的像素点为何种特征区域；
根据所述各训练图像的比较结果，迭代更新深度学习网络模型。
在一种可能的实现方式中，在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，所述方法还包括：
以预设处理方式处理至少一个眼底图像和所述至少一个眼底图像的groundtruth图像，以获得所述至少一个训练图像和所述各训练图像的ground truth图像。
在一种可能的实现方式中，所述至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；
其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。
在一种可能的实现方式中，所述深度学习网络为16层卷积的VGG深度学习网络，所述至少一个更新特征图为对所述深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。
第三方面，提供一种基于深度学习的眼底图像处理设备，所述设备包括：
分割模块，用于以预设分割方式分割待处理眼底图像，获得至少一个分析图像；
分析模块，用于通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
融合模块，用于融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；
其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
在一种可能的实现方式中，分析模块用于：
针对所述至少一个分析图像中的每个分析图像执行以下操作：
通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
在一种可能的实现方式中，融合模块用于：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；
针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：
确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。
在一种可能的实现方式中，融合模块用于：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像；在叠加拼接所述至少一个中间图像的过程中，确定所述包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。
第四方面，提供一种眼底图像深度学习网络模型的生成设备，所述设备包括：
计算模块，用于通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
更新模块，用于结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
叠加计算所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得所述各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；
比较所述各训练图像的特征概率标记图和所述各训练图像的参考标准groundtruth图像，获得所述各训练图像的比较结果；其中，ground truth图像包含特征标记，特征标记用于标记图像中的像素点为何种特征区域；
根据所述各训练图像的比较结果，迭代更新深度学习网络模型。
在一种可能的实现方式中，所述设备还包括预处理模块，用于：
在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，以预设处理方式处理至少一个眼底图像和所述至少一个眼底图像的ground truth图像，以获得所述至少一个训练图像和所述各训练图像的ground truth图像。
在一种可能的实现方式中，所述至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；
其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。
在一种可能的实现方式中，所述深度学习网络为16层卷积的VGG深度学习网络，所述至少一个更新特征图为对所述深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。
第五方面，提供一种设备，所述设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求第一方面和/或第二方面所述的方法。
第六方面，提供一种计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面和/或第二方面所述的方法。
本发明实施例中，在处理眼底图像时，将待处理眼底图像分割获得至少一个分析图像，通过眼底图像深度学习网络模型对至少一个分析图像分别进行分析，获得至少一个包含特征概率标记的中间图像后，再融合获得的至少一个中间图像，以获得包含特征标记的待处理眼底图像。
通过先分割再融合的处理方式，可以避免因为眼底图像尺寸大、分辨率高，导致眼底图像深度学习网络模型标记特征区域难度高的问题，提高了特征标记的准确性。
进一步地，本发明实施例中，融合成的图像为包含特征标记的待处理眼底图像，方便用户观察眼底图像中的特征区域。
进一步地，本发明实施例中，采用的眼底图像深度学习网络模型在获得的过程中，结合了最后一层卷积计算获得的特征图及至少一个更新特征图更新深度学习网络模型，因而获得的眼底图像深度学习网络模型融合了训练图像更为底层的特征，可以实现对眼底图像中面积较小的特征区域的准确标记。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种眼底图像深度学习网络模型的生成方法的流程示意图；
图2为本发明实施例中一种基于深度学习的眼底图像处理方法的流程示意图；
图3为本发明实施例中一种基于深度学习的眼底图像处理设备的结构框图；
图4为本发明实施例中一种眼底图像深度学习网络模型的生成设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
应当说明的是，本发明实施例中基于深度学习处理眼底图像的相关方法及设备，可以用于处理医学图像，以标注中图像中的特征区域，所获得的标注结果仅仅是以图像本身为对象进行处理获得的。
实施例一
本发明实施例提供一种眼底图像深度学习网络模型的生成方法。该方法可以应用于服务器、手机、平板电脑、个人电脑、笔记本电脑、穿戴式电子设备等具有计算能力的电子设备。
为了更好的理解本发明实施例中的眼底图像深度学习网络模型的生成方法，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
请参见图1，本发明实施例中的眼底图像深度学习网络模型的生成方法的流程描述如下。
步骤101：通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率。
步骤102：结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
本发明实施例中，深度学习网络可以运行于前述的电子设备上，基于深度学习网络的特性，深度学习网络在不断的训练过程中，会不断地更新自身的深度学习网络模型。也就是说，本发明实施例中，通过深度学习网络对至少一个训练图像进行计算并迭代更新深度学习网络模型的过程，即是通过至少一个训练图像训练深度学习网络的过程；通过至少一个训练图像训练完成的深度学习网络模型即是本发明实施例中的眼底图像深度学习网络模型。
并且，前述的步骤101和步骤102都是在训练深度学习网络的过程中，通过深度学习网络执行的操作。
在具体的实施过程中，可以通过预设深度学习网络来实现前述的步骤101和步骤102，该预设深度学习网络为预先配置为用于执行前述步骤101和步骤102的深度学习网络。
本发明实施例中，通过深度学习网络对至少一个训练图像组成的训练集中的各训练图像分别进行计算，并结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，通过不断的计算、更新，获得眼底图像深度学习网络模型。为便于理解，以下以其中一次更新深度学习模型的过程进行举例说明：
首先，在使用某个训练图像训练深度学习网络时，通过当前的深度学习网络对训练图像依次进行多层的卷积计算，每一层卷积计算都可以获得一个特征图。并且，根据深度学习网络的特性，每一层卷积计算的结果都将作为下一层深度学习的基础，举例来说，第5层卷积计算获得的结果将作为第6层卷积计算的基础。
进而，在多层卷积计算获得的多个特征图中，选取至少一个特征图分别再次进行卷积计算，以获得至少一个更新特征图。在具体的实施过程中，可以在深度学习网络中，预先配置从多层卷积计算获得的特征图中选取指定层获得的特征图再次进行卷积计算。例如，可以配置选取全部层获得的特征图再次进行卷积计算，也可以配置选取部分层获得的特征图再次进行卷积计算。
进而，结合训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，更新前一次更新后的获得的深度学习网络模型，并且该次更新后的深度学习模型将作为下一次更新时被更新的对象。
本发明实施例中，特征图中可以包括有特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率。特征图中的特征概率标记可以用于表示对应的训练图像中的像素点为各种特征区域的概率。
举例来说，特征图中可以包括有特征图的每个像素的背景特征概率值和至少一种目标特征概率值。背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
在具体的实施过程中，目标特征区域可以是进行眼底图像处理想要确定出的区域，而背景特征区域可以是眼底图像中除所有目标特征区域之外的区域。
在具体的实施过程中，当使用第一个训练图像训练深度学习网络时，所更新的深度学习网络模型可以为深度学习网络中预设的深度学习网络模型，例如，预设的深度学习网络模型可以是通过开源的ImageNet数据库预训练后获得的深度学习网络模型。
在具体的实施过程中，当使用训练集中的最后一个训练图像训练深度学习网络时，该次更新后的深度学习网络模型即为本发明实施例中获得的眼底图像深度学习网络模型。
在一种可能的实施方式中，结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型的实施过程中，可以叠加计算各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得各训练图像的特征概率标记图；比较各训练图像的特征概率标记图和各训练图像的参考标准ground truth图像，获得各训练图像的比较结果；根据各训练图像的比较结果，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
其中，ground truth图像包含特征标记。本发明实施例中，每个训练图像都具有对应的ground truth图像，ground truth图像包含的特征标记为训练图像真实的特征标记。特征标记中可以包括有至少一种目标特征标记，也可以包括有背景特征标记，不同的特征标记采用不同的标记方式来标记，因而可以通过特征标记区分出不同的特征区域。
并且，本发明实施例中采用的标记方式中，可以包括不进行标记这一种特殊的标记方式。例如，在进行特征标记操作时，可以仅对目标特征区域进行标记操作，剩余未被标记操作标记上的区域即为背景特征区域。
本发明实施例中可以包括有一种或多种目标特征区域。以包括4种目标特征区域进行举例，这4种目标特征区域可以是第一目标特征区域、第二目标特征区域、第三目标特征区域、第四目标特征区域。而背景特征区域则是图像中除这4种目标特征区域外的背景区域。
在具体的实施过程中，ground truth图像可以是根据能够区别各种特征区域的专业人员做的特征标记获得的。特征标记中可以标注了每个像素点的特征情况，如背景特征、第一目标特征、第二目标特征、第三目标特征、第四目标等特征情况。也就是说，根据特征标记可以确定一个像素点所代表的视网膜区域是否为目标特征区域，以及为目标特征时为具体为何种目标特征区域。
为便于理解，以下以在使用某个训练图像训练深度学习网络时，一次结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，更新深度学习网络模型的过程进行举例说明：
首先，在获得训练图像最后一层卷积计算得到的特征图，以及计算获得训练图像至少一个更新特征图后，叠加计算训练图像最后一层卷积计算得到的特征图和训练图像的至少一个更新特征图，根据叠加计算，获得训练图像的特征概率标记图。
其中，特征概率标记图标记有训练图像的各像素点为各种特征区域的概率，例如，标记有训练图像的每个像素点表示的眼底图像区域发生了各种特征情况的概率。举例来说，深度学习网络所需要训练的特征情况包括有背景特征、第一目标特征、第二目标特征、第三目标特征、第四目标特征这5种特征情况时，特征概率标记图可以标记有每个像素点发生了这5种特征情况分别的概率，即1个像素点对应于5个概率值，这些概率值的和为1。
进而，比较训练图像的特征概率标记图和各训练图像的ground truth图像，获得各训练图像的比较结果。也就是说，将深度学习网络获得的各个像素点为各种特征区域的概率与各像素点事实上为何种特征区域进行比较，获得比较结果。例如，将深度学习网络获得的每个像素点发生各种特征情况的概率和真实的特征情况进行比较，获得比较结果。
进而，根据训练图像的比较结果，更新深度学习网络模型。本发明实施例中，在将深度学习网络获得的各个像素点为各种特征区域的概率与各像素点事实上为何种特征区域进行比较后(如将每个像素点发生各种特征情况的概率和真实的特征情况进行比较后)，可以根据比较结果修正当前的深度学习网络模式，以使得深度学习网络模型在不断的修正中变得越来越准确，以获得更为准确的图像处理结果。即通过微调(fine tunning)深度学习网络模型，获得眼底图像深度学习网络模型。
本发明实施例中，还可以根据至少一个训练图像中各类型的特征区域的面积占训练图像面积的比重，来设置各特征区域的损失权重(loss weight)，以避免训练集中各种特征区域类型的训练图像样本不均衡导致更新深度学习模型不准确的情况。
例如，根据至少一个训练图像中各类型的特征区域的面积占训练图像面积的比重，来设置各特征情况的损失权重(loss weight)，以避免训练集中各种特征类型的训练图像样本不均衡导致更新深度学习模型不准确的情况。
举例来说，目标特征区域的平均占比为2.47％，背景特征区域的平均占比为97.53％，其中，第一目标特征区域的平均面积占比为2.4％，第三目标特征区域的平均面积占比为1.72％，第四目标特征区域的平均面积占比为0.16％，第二目标特征区域的平均面积占比为2.74％。则，可以将背景特征区域的loss weight设为0.1，第四目标特征区域的loss weight设为2，第二目标特征区域的loss weight设为1.6，第三目标特征区域的lossweight设为1，第一目标特征区域的loss weight设为1。
在一种可能的实施方式中，在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，还可以预设处理方式处理至少一个眼底图像和至少一个眼底图像的ground truth图像，以获得前述的至少一个训练图像和各训练图像的groundtruth图像。
本发明实施例中，以预设处理方式处理至少一个眼底图像时，可以包括对至少一个眼底图像和至少一个眼底图像的ground truth图像进行分割，以获得至少一个眼底子图像和与各眼底子图像对应的ground truth图像。举例来说，将尺寸较大的眼底图像分割为尺寸较小的眼底子图像。
在具体的实施过程中，分割眼底图像时，采用的分割步长可以不同于获得的眼底子图像的边长。当采用的分割步长等于获得的眼底子图像的边长时，获得的至少一个眼底子图像中各眼底子图像之间没有重复的像素；当采用的分割步长小于获得的眼底子图像的边长时，获得的至少一个眼底子图像中部分眼底子图像之间存在重复的像素；当采用的分割步长大于获得的眼底子图像的边长时，眼底图像中的部分像素点未被包括在至少一个眼底子图像中。
其中，当采用的分割步长小于获得的训练图像的边长时，可以在眼底图像数目不变的情况下，获得更多的眼底子图像，从而增加训练集中训练图像的数量，提高训练出的眼底图像深度学习网络模型的图像处理结果的准确度。
举例来说，当一副眼底图像的分辨率为1944*2592时，采用分割步长为160，可以剪裁出165(即11*15)幅分辨率为321*321的眼底子图像。
本发明实施例中，通过对至少一个眼底图像进行分割获得的至少一个眼底子图像中可以包括有目标特征眼底子图像和背景特征眼底子图像。其中，目标特征眼底子图像即包含目标特征区域的眼底子图像，背景特征眼底子图像即不包含目标特征区域的图像。
并且，在具体的实施过程中，一个目标特征眼底子图像可以包括一个或多个目标特征区域，和/或，可以包括一个或多个不同的目标特征类型的目标特征区域。
本发明实施例中，以预设处理方式处理至少一个眼底图像时，可以包括对分割获得的至少一个眼底子图像进行筛选。
举例来说，可以将至少一个眼底子图像中所有的目标特征眼底子图像作为训练集中的一部分训练图像，并从至少一个眼底子图像中选取部分(如大约1倍于目标特征眼底子图像数量)的背景特征眼底子图像作为训练集中的一部分训练图像。
例如，将至少一个眼底子图像中所有的目标特征眼底子图像作为训练集中的一部分训练图像，并从至少一个眼底子图像中选取部分(如大约1倍于目标特征眼底子图像数量)的背景特征眼底子图像作为训练集中的一部分训练图像。
当然，在具体的实施过程中，也可以将所有的眼底子图像作为训练集中的训练图像。
在一种可能的实施方式中，至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；
其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。
例如，至少一个训练图像包括至少一个目标特征训练图像、至少一个背景特征训练图像和至少一个易错训练图像。其中，目标特征训练图像即包含目标特征区域的图像，背景特征训练图像即包含背景特征区域(即，不包含目标特征区域)的图像，该目标特征区域可以是深度学习网络所需要训练的特征情况中的目标特征类型所对应的目标特征区域。
在具体的实施过程中，可以在训练集中增加易错训练图像作为典型数据，以提高获得的眼底图像深度学习网络模型的图像处理结果的准确度。
本发明实施例中，以预设处理方式处理至少一个眼底图像时，还可以对获得的训练图像进行数据增广，以增加训练集中训练图像的数量。举例来说，可以通过训练图像进行镜像复制的方式进行数据增广。
在一种可能的实施方式中，用于实现前述的步骤101和步骤102的深度学习网络可以是预设的深度学习网络，该深度学习网络可以为16层卷积的VGG深度学习网络，例如，可以是对DeepLabv2_VGG16深度学习网络进行修改后获得的预设深度学习网络。在预设深度学习网络中，会结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型。
举例来说，在预设深度学习网络中，可以结合conv7层卷积计算得到的特征涂图，及对conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图再次进行卷积计算获得的5个更新特征图，迭代更新深度学习网络模型。也就是说，前述的至少一个更新特征图可以为对深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。
上述技术方案中的一个或多个技术方案，具有如下技术效果或优点：
本发明实施例中，结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型，因而获得的眼底图像深度学习网络模型融合了训练图像更为底层的特征，可以实现对眼底图像中小目标的准确标记。
进一步地，本发明实施例中，根据各训练图像的比较结果，迭代更新深度学习网络模型，可以不断地对深度学习网络模型进行fine tunning，保证获得的眼底图像深度学习网络模型的图像处理结果的准确性。
进一步地，本发明实施例中，根据至少一个训练图像中各类型的特征区域的面积占训练图像面积的比重，来设置各类型特征区域的loss weight，可以避免训练集中各种类型的特征区域的训练图像样本不均衡，导致更新深度学习模型不准确的情况。
进一步地，本发明实施例中，在训练集中包括有易错训练图像等典型数据，因而，眼底图像深度学习网络模型在处理图像时，可以准确区别出图像中容易混淆的区域，提高眼底图像深度学习网络模型的图像处理结果的准确度。
实施例二
基于同一发明构思，本发明实施例提供一种基于深度学习的眼底图像处理方法。该方法可以应用于服务器、手机、平板电脑、个人电脑、笔记本电脑、穿戴式电子设备等具有计算能力的电子设备。
并且，本发明实施例中采用的眼底图像深度学习网络模型可以是以实施例一中的生成方法生成的眼底图像深度学习网络模型，因而，本发明实施例中关于眼底图像深度学习网络模型的说明，可以参看和引用实施例一中的描述，在此不再赘述。
同时，由于实施例一和实施例二是基于同一发明构思的，因而，在理解和解释实施例一、二中的其它内容时，同样可以相互参看和引用。
为了更好的理解本发明实施例中的基于深度学习的眼底图像处理方法，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
请参见图2，本发明实施例中的基于深度学习的眼底图像处理方法的流程描述如下。
步骤201：以预设分割方式分割待处理眼底图像，获得至少一个分析图像。
本发明实施例中，以预设分割方式对待处理眼底图像进行分割，可以获得至少一个分析图像。例如，对尺寸较大的待处理眼底图像进行分割，获得多个尺寸较小的分析图像，等等。
其中，待处理眼底图像可以是彩色眼底图像，等等。
并且，在以预设分割方式分割待处理眼底图像时，可以以预设分割步长进行分割，该分割步长可以与实施例一种的分割步长相等或不相等，本发明实施例中对于分割步长的具体长度不做限制，分割步长可以小于或等于分割后获得的分析图像的边长。
举例来说，待处理眼底图像可以是分辨率为1944*2592的图像，可以设定将待处理眼底图像分割为分辨率513*513的分析图像，可以设定分割步长为463。
步骤202：通过眼底图像深度学习网络模型对至少一个分析图像进行分析，获得至少一个中间图像；至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；其中，眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
本发明实施例中，通过眼底图像深度学习网络模型对至少一个分析图像进行分析，可以获得各分析图像的中间图像，该中间图像包含有特征概率标记，如可以标记有分析图像中每个像素的背景特征概率值和至少一种目标特征概率值。
如至少一种目标特征区域为第一目标特征区域、第二目标特征区域、第三目标特征区域、第四目标特征区域时，中间图像中可以标记有分析图像中每个像素所在的区域为背景特征区域、第一目标特征区域、第二目标特征区域、第三目标特征区域和第四目标特征区域这5种情况分别的概率，即1个像素点对应于5个概率值，这些概率值的和为1。
步骤203：融合至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域。
本发明实施例中，在获得至少一个中间图像后，可以对至少一个中间图像进行融合，以获得包含特征标记的待处理眼底图像。通过该包含特征标记的待处理眼底图像，可以直观地看到待处理眼底图像中的背景特征区域、各目标特征区域分布情况。例如，可以看到背景特征区域和各种目标特征类型的目标特征区域。
在具体的实施过程中，可以以不同的颜色标记不同目标特征区域。例如，以不同的颜色标记不同目标特征类型的目标特征区域。
在一种可能的实施方式中，通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像的过程中，可以针对至少一个分析图像中的每个分析图像执行以下操作：
通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
举例来说，眼底图像深度学习网络模型处理有4种类型的目标特征区域时，每个像素点的目标特征概率值同样有4种。
在一种可能的实施方式中，融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像的过程中，可以以与预设分割方式相逆的叠加拼接方式，叠加拼接至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；
进而，针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：
确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。
本发明实施例中，在分割待处理眼底图像时以预设的分割方式分割，在融合至少一个中间图像时，以与预设分割方式相逆的叠加拼接方式叠加拼接至少一个中间图像，可以获得和待处理眼底图像的尺寸相同、像素点对应的图像，该图像为包含特征概率标记的待处理眼底图像。
在一种可能的实施方式中，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像时，在叠加拼接至少一个中间图像的过程中，确定包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。
本发明实施例中，当分割待处理眼底图像时的分割步长小于分割后获得的分析图像的边长时，获得的至少一个分析图像中部分分析图像相互存在重复的像素。在融合至少一个中间图像时，重复的像素会发生重叠，在确定包含特征概率标记的待处理眼底图像中各像素的特征概率标记时需要对这些发生重叠的像素进行特别的处理。
举例来说，当至少一个目标特征区域为第一目标特征区域、第二目标特征区域、第三目标特征区域、第四目标特征区域这四种，背景特征区域为背景特征时。若一个像素点在两个中间图像上重复，则该像素点在融合的过程中有两套特征概率标记，如该像素点第一套特征概率标记包括背景特征概率5％、第一目标特征概率19％、第二目标特征概率41％、第三目标特征概率20％、第四目标特征15％，该像素点第二套特征概率标记包括背景特征概率5％、第一目标特征概率21％、第二目标特征概率39％、第三目标特征概率20％、第四目标特征15％，则可以确定该像素点的特征概率标记为背景特征概率5％、第一目标特征概率20％、第二目标特征概率40％、第三目标特征概率20％、第四目标特征15％。
本发明实施例中，在获得包含特征概率标记的待处理眼底图像后，可以针对包含特征概率标记的待处理眼底图像中的每个像素点确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值，并以与最大概率值对应的特征标记，标记像素点。
举例来说，针对前述特征概率标记为背景特征概率5％、第一目标特征概率20％、第二目标特征概率40％、第三目标特征概率20％、第四目标特征15％的像素点，其中最大概率值为第二目标特征概率40％，则以第二目标特征对应的标记方式，标记像素点。
在具体的实施过程中，可以以与第二目标特征对应的标记颜色、标记图形等来标记该像素点。本发明实施例中对于标记像素点的形式不做限制。
上述技术方案中的一个或多个技术方案，具有如下技术效果或优点：
本发明实施例中，通过先分割再融合的处理方式，可以避免因为眼底图像尺寸大、分辨率高，导致眼底图像深度学习网络模型标记特征区域难度高的问题，提高了特征标记的准确性。
进一步地，本发明实施例中，融合成的图像为包含特征标记的待处理眼底图像，方便用户观察眼底图像中的特征区域。
进一步地，本发明实施例中，采用的眼底图像深度学习网络模型在获得的过程中，结合了最后一层卷积计算获得的特征图及至少一个更新特征图更新深度学习网络模型，因而获得的眼底图像深度学习网络模型融合了训练图像更为底层的特征，可以实现对眼底图像中面积较小的特征区域的准确标记。
进一步地，本发明实施例中，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，因而获得的包含特征概率标记的待处理眼底图像可以与待处理眼底图像的尺寸相等、像素点匹配。
进一步地，本发明实施例中，确定包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值，能够保证各像素点的特征概率标记的准确性。
进一步地，确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的特征标记，标记像素点，可以获得包含特征标记的待处理眼底图像，方便用户观察目前特征区域和背景特征区域的分布情况。
实施例三
请参见图3，基于同一发明构思，本发明实施例提供一种基于深度学习的眼底图像处理设备，包括分割模块301、分析模块302、融合模块303。其中：
分割模块301，用于以预设分割方式分割待处理眼底图像，获得至少一个分析图像；
分析模块302，用于通过眼底图像深度学习网络模型对至少一个分析图像进行分析，获得至少一个中间图像；至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
融合模块303，用于融合至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；
其中，眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
在一种可能的实施方式中，分析模块302用于：
针对至少一个分析图像中的每个分析图像执行以下操作：
通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
在一种可能的实施方式中，融合模块303用于：
以与预设分割方式相逆的叠加拼接方式，叠加拼接至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；
针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：
确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。
在一种可能的实施方式中，融合模块303用于：
以与预设分割方式相逆的叠加拼接方式，叠加拼接至少一个中间图像；在叠加拼接至少一个中间图像的过程中，确定包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。
实施例四
请参见图4，基于同一发明构思，本发明实施例提供一种眼底图像深度学习网络模型的生成设备，包括计算模块401、更新模块402。其中：
计算模块401，用于通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
更新模块402，用于结合各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
叠加计算各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；
比较各训练图像的特征概率标记图和各训练图像的参考标准ground truth图像，获得各训练图像的比较结果；其中，ground truth图像包含特征标记，特征标记用于标记图像中的像素点为何种特征区域；
根据各训练图像的比较结果，迭代更新深度学习网络模型。
在一种可能的实施方式中，设备还包括预处理模块403，用于：
在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，以预设处理方式处理至少一个眼底图像和至少一个眼底图像的ground truth图像，以获得至少一个训练图像和各训练图像的ground truth图像。
在一种可能的实施方式中，至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；
其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。
在一种可能的实施方式中，深度学习网络为16层卷积的VGG深度学习网络，至少一个更新特征图为对深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。
实施例五
基于同一发明构思，本发明实施例提供一种设备，包括：
至少一个处理器，以及
与至少一个处理器连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，至少一个处理器通过执行存储器存储的指令，执行如实施例一和/或实施例二所述的方法。
实施例六
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行实施例一和/或实施例二所述的方法。
在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种基于深度学习的眼底图像处理方法，其特征在于，所述方法包括：
以预设分割方式分割待处理眼底图像，获得至少一个分析图像；
通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；
其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
2.如权利要求1所述的方法，其特征在于，通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像，包括：
针对所述至少一个分析图像中的每个分析图像执行以下操作：
通过眼底图像深度学习网络模型对分析图像进行分析，确定并标记分析图像的每个像素点的背景特征概率值和至少一种目标特征概率值；其中，背景特征概率值表示像素点不为任何目标特征区域的概率，目标特征概率值表示像素点为某种目标特征区域的概率。
3.如权利要求1或2所述的方法，其特征在于，融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像，包括：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像；
针对包含特征概率标记的待处理眼底图像中的每个像素点执行以下操作：
确定像素点的背景特征概率值、至少一种目标特征概率值中的最大值概率值；以与最大概率值对应的标记方式，标记像素点。
4.如权利要求3所述的方法，其特征在于，以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像，以获得包含特征概率标记的待处理眼底图像，包括：
以与所述预设分割方式相逆的叠加拼接方式，叠加拼接所述至少一个中间图像；在叠加拼接所述至少一个中间图像的过程中，确定所述包含特征概率标记的待处理眼底图像中发生重叠的像素点的背景特征概率值、至少一种目标特征概率值，分别为发生重叠的像素点在中间图像中的对应概率值的均值。
5.一种眼底图像深度学习网络模型的生成方法，其特征在于，所述方法包括：
通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
6.如权利要求5所述的方法，其特征在于，结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，包括：
叠加计算所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，以获得所述各训练图像的特征概率标记图；特征概率标记图包含特征概率标记；
比较所述各训练图像的特征概率标记图和所述各训练图像的参考标准ground truth图像，获得所述各训练图像的比较结果；其中，ground truth图像包含特征标记，特征标记用于标记图像中的像素点为何种特征区域；
根据所述各训练图像的比较结果，迭代更新深度学习网络模型。
7.如权利要求5或6所述的方法，其特征在于，在通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算之前，所述方法还包括：
以预设处理方式处理至少一个眼底图像和所述至少一个眼底图像的ground truth图像，以获得所述至少一个训练图像和所述各训练图像的ground truth图像。
8.如权利要求7所述的方法，其特征在于，所述至少一个训练图像包括至少一个背景特征训练图像、至少一个目标特征训练图像和至少一个易错训练图像；
其中，易错训练图像为通过眼底图像深度学习网络模型进行图像处理时，处理结果容易和目标特征训练图像的处理结果混淆的图像。
9.如权利要求5或6所述的方法，其特征在于，所述深度学习网络为16层卷积的VGG深度学习网络，所述至少一个更新特征图为对所述深度学习网络中conv3层、conv4层、conv5层、conv6层和conv7层卷积计算得到的5个特征图，再次进行卷积计算获得的5个更新特征图。
10.一种基于深度学习的眼底图像处理设备，其特征在于，所述设备包括：
分割模块，用于以预设分割方式分割待处理眼底图像，获得至少一个分析图像；
分析模块，用于通过眼底图像深度学习网络模型对所述至少一个分析图像进行分析，获得至少一个中间图像；所述至少一个中间图像包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
融合模块，用于融合所述至少一个中间图像，以获得包含特征标记的待处理眼底图像；特征标记用于标记图像中的像素点为何种特征区域；
其中，所述眼底图像深度学习网络模型为通过深度学习网络对至少一个训练图像分别进行多层卷积计算，以迭代更新深度学习网络模型获得的；在每一次更新深度学习网络模型的过程中，结合最后一层卷积计算获得的特征图及至少一个更新特征图，更新深度学习网络模型；更新特征图为对一层卷积计算获得的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记。
11.一种眼底图像深度学习网络模型的生成设备，其特征在于，所述设备包括：
计算模块，用于通过深度学习网络对至少一个训练图像中各训练图像分别进行多层卷积计算，获得所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图；其中，更新特征图为对一层卷积计算得到的特征图再次进行卷积计算获得的特征图；特征图包含特征概率标记，特征概率标记用于标记图像中的像素点为各种特征区域的概率；
更新模块，用于结合所述各训练图像最后一层卷积计算得到的特征图及至少一个更新特征图，迭代更新深度学习网络模型，以获得眼底图像深度学习网络模型。
12.一种设备，其特征在于，所述设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-9中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-9中任一项所述的方法。
CN201710757936.2A 2017-08-29 2017-08-29 基于深度学习处理眼底图像的相关方法及设备 Active CN109427052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710757936.2A CN109427052B (zh) 2017-08-29 2017-08-29 基于深度学习处理眼底图像的相关方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710757936.2A CN109427052B (zh) 2017-08-29 2017-08-29 基于深度学习处理眼底图像的相关方法及设备

Publications (2)

Publication Number Publication Date
CN109427052A true CN109427052A (zh) 2019-03-05
CN109427052B CN109427052B (zh) 2020-10-02

Family

ID=65503587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710757936.2A Active CN109427052B (zh) 2017-08-29 2017-08-29 基于深度学习处理眼底图像的相关方法及设备

Country Status (1)

Country Link
CN (1) CN109427052B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136140A (zh) * 2019-04-16 2019-08-16 上海鹰瞳医疗科技有限公司 眼底图像血管影像分割方法及设备
CN111325281A (zh) * 2020-03-05 2020-06-23 新希望六和股份有限公司 深度学习网络的训练方法、装置、计算机设备和存储介质
WO2020215985A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831304B2 (en) * 2009-05-29 2014-09-09 University of Pittsburgh—of the Commonwealth System of Higher Education Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography
CN106408564A (zh) * 2016-10-10 2017-02-15 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106846278A (zh) * 2017-02-17 2017-06-13 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像像素标记方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831304B2 (en) * 2009-05-29 2014-09-09 University of Pittsburgh—of the Commonwealth System of Higher Education Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography
CN106408564A (zh) * 2016-10-10 2017-02-15 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106846278A (zh) * 2017-02-17 2017-06-13 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像像素标记方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUAN SHAN 等: "A Deep Learning Method for Microaneurysm Detection in Fundus Images", 《2015 IEEE FIRST CONFERENCE ON CONNECTED HEALTH: APPLICATIONS, SYSTEMS AND ENGINEERING TECHNOLOGIES》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136140A (zh) * 2019-04-16 2019-08-16 上海鹰瞳医疗科技有限公司 眼底图像血管影像分割方法及设备
WO2020215985A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
KR20210097772A (ko) * 2019-04-22 2021-08-09 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 의료 영상 세그먼트화 방법 및 디바이스, 전자 디바이스 및 저장 매체
KR102607800B1 (ko) * 2019-04-22 2023-11-29 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 의료 영상 세그먼트화 방법 및 디바이스, 전자 디바이스 및 저장 매체
US11887311B2 (en) 2019-04-22 2024-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for segmenting a medical image, and storage medium
CN111325281A (zh) * 2020-03-05 2020-06-23 新希望六和股份有限公司 深度学习网络的训练方法、装置、计算机设备和存储介质
CN111325281B (zh) * 2020-03-05 2023-10-27 新希望六和股份有限公司 深度学习网络的训练方法、装置、计算机设备和存储介质
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113344894B (zh) * 2021-06-23 2024-05-14 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置

Also Published As

Publication number Publication date
CN109427052B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN109427052A (zh) 基于深度学习处理眼底图像的相关方法及设备
US10078796B2 (en) Apparatus and method of hand gesture recognition based on depth image
US8903167B2 (en) Synthesizing training samples for object recognition
US10460256B2 (en) Interactive performance visualization of multi-class classifier
CN110349147B (zh) 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
CN110009027B (zh) 图像的比对方法、装置、存储介质及电子装置
CN108052984B (zh) 计数方法及装置
GB2573849A (en) Utilizing a deep neural network-based model to identify visually similar digital images based on user-selected visual attributes
CN106340021A (zh) 血管提取方法
US20220180490A1 (en) Image correction system and image correcting method thereof
CN106529527A (zh) 物体检测方法和装置、数据处理装置和电子设备
CN110599491A (zh) 基于先验信息的眼部图像分割方法、装置、设备及介质
CN109446889A (zh) 基于孪生匹配网络的物体追踪方法及装置
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN112614573A (zh) 基于病理图像标注工具的深度学习模型训练方法及装置
CN110197206A (zh) 图像处理的方法及装置
CN103942561A (zh) 一种基于主动学习的图像标注方法
JP2021043881A (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN108681731A (zh) 一种甲状腺癌症超声图片自动标注方法及系统
Cunningham et al. Analog Computer-Aided Detection (CAD) information can be more effective than binary marks
Schatzmann et al. Using self-organizing maps to visualize clusters and trends in multidimensional datasets
Boroujerdi et al. Deep interactive region segmentation and captioning
CN110110091B (zh) 知识元图谱的展示方法、系统、计算机设备及存储介质
CN110263861A (zh) 一种医疗图像分类方法、装置及存储介质
CN117173491B (zh) 医学图像的标注方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant