CN108492302B - 神经层分割方法和装置、电子设备、存储介质 - Google Patents

神经层分割方法和装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108492302B
CN108492302B CN201810254475.1A CN201810254475A CN108492302B CN 108492302 B CN108492302 B CN 108492302B CN 201810254475 A CN201810254475 A CN 201810254475A CN 108492302 B CN108492302 B CN 108492302B
Authority
CN
China
Prior art keywords
proposal
position information
node
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810254475.1A
Other languages
English (en)
Other versions
CN108492302A (zh
Inventor
王哲
乔宇
张秀兰
曲国祥
李飞
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810254475.1A priority Critical patent/CN108492302B/zh
Publication of CN108492302A publication Critical patent/CN108492302A/zh
Application granted granted Critical
Publication of CN108492302B publication Critical patent/CN108492302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开实施例提供了一种神经层分割方法和装置、电子设备、存储介质、程序，其中，方法包括：确定视网膜图像的特征图；基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果。本公开上述实施例大大降低了分割任务的复杂度，并提高了任务处理的速度和准确率。

Description

神经层分割方法和装置、电子设备、存储介质
技术领域
本公开涉及计算机视觉技术，尤其是一种神经层分割方法和装置、电子设备、存储介质。
背景技术
光学相干成像(OCT)是一种对视网膜成像广泛应用的手段，它具有非入侵，无辐射，获取速度快的特点。OCT对比传统的眼底彩照技术，能提供深度方向的信息，这使得测量某些特定疾病造成的视网膜层的厚度成为了可能。视网膜内的神经层根据生理结构，可以分为NFL神经纤维，GCL节细胞层，IPL内网织层等十多个层，一般根据实际的需要分割其中若干个或所有层。
发明内容
本公开实施例提供的一种神经层分割技术。
根据本公开实施例的一个方面，提供的一种神经层分割方法，包括：
获得视网膜图像的特征图；
基于所述特征图在横坐标方向上获得至少一组提案区域，获得所述提案区域的预测概率及所述提案区域对应的预测位置信息，每组提案区域包括在纵坐标方向上的至少一个提案区域；
基于所述提案区域的预测概率及所述提案区域对应的预测位置信息，确定所述视网膜图像的神经层位置。
可选地，所述预测位置信息包括预测高度和预测中心。
可选地，所述基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，包括：
对所述特征图进行第一卷积操作，得到每个所述提案区域的预测概率；
对所述特征图进行第二卷积操作，得到每个所述提案区域的预测位置信息。
可选地，所述基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果，包括：
基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域；
基于所述至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果。
可选地，所述基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域，包括：
基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域。
可选地，所述基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域，包括：
将所述特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为所述每列特征点对应的目标提案区域。
可选地，所述基于所述至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果，包括：
基于所述至少一个目标提案区域的预测位置信息，获得所述视网膜图像中的至少一个目标像素区域；
将所述视网膜图像中的至少一个目标像素区域确定为所述视网膜图像的神经层分割结果。
可选地，所述基于所述至少一个目标提案区域对应的预测位置信息，获得所述视网膜图像中的至少一个目标像素区域之前，还包括：
基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息。
可选地，基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息，包括：
基于所述至少一个目标提案区域建立有环图模型，每个所述目标提案区域对应所述有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；
基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息。
可选地，在所述有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，所述第一目标提案区域和所述第二目标提案区域对应于位于所述特征图的横向两侧边界的两列特征点。
可选地，所述优化处理后的有环图模型满足以下至少一个条件：
所述有环图模型中的第一节点与优化后的所述第一节点之间的第一交并比大于或等于第一预设值；
所述第一节点和所述有环图模型中与所述第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
可选地，所述第一节点与所述第二节点之间的连续度是基于所述第一节点和所述第二节点对应的外观相似度与所述第一节点和所述第二节点之间的第二交并比确定的。
可选地，所述基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息，包括：
基于所述有环图模型中第一节点对应的目标提案区域的预测位置信息，得到所述第一节点的多个候选调整区域；
基于所述第一节点的至少一个相邻节点，确定所述第一节点的多个候选调整区域中每个候选调整区域的预测概率；
基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息。
可选地，基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息，包括：
将所述第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为所述第i节点对应的目标提案区域的调整位置信息。
可选地，所述确定视网膜图像的特征图，包括：
对所述视网膜图像进行卷积操作，确定所述视网膜图像的特征图。
可选地，所述视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
所述方法由神经层分割网络执行，所述方法还包括：
基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络。
可选地，基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络，包括：
利用分类损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测概率，得到第一误差；
利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差；
基于第一误差和第二误差，训练神经层分割网络。
可选地，所述基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络之前，还包括：
基于所述标注的神经层时间位置信息，将所述样本视网膜图像中的神经层分割为至少一个神经层片段；
基于所述神经层片段获得所述样本视网膜图像的标注神经层分割结果。
可选地，所述利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差之前，还包括：
基于所述样本视网膜图像的神经层实际位置信息和所述提案区域之间的交并比，获得至少一个有效提案区域；
所述利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差，包括：
利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差。
可选地，所述神经层实际位置信息包括标注框中心和标注框高度；所述有效提案区域对应的预测位置信息包括预测框中心和预测框高度；所述有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
所述利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差，包括：
基于所述预测框中心和所述有效提案区域中心确定预测相对中心，基于所述预测框高度和所述有效提案区域高度确定预测相对高度；
基于所述标注框中心和所述有效提案区域中心确定真实相对中心，基于所述标注框高度和所述有效提案区域高度确定真实相对高度；
利用回归损失函数，基于所述预测相对中心、所述预测相对高度、所述真实相对中心和所述真实相对高度，得到第二误差。
根据本公开实施例的另一个方面，提供的一种神经层分割装置，包括：
特征提取单元，用于确定视网膜图像的特征图；
区域预测单元，用于基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；
神经层分割单元，用于基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果。
可选地，所述预测位置信息包括预测高度和预测中心。
可选地，所述区域预测单元，具体用于对所述特征图进行第一卷积操作，得到每个所述提案区域的预测概率；对所述特征图进行第二卷积操作，得到每个所述提案区域的预测位置信息。
可选地，所述神经层分割单元，包括：
目标确定模块，用于基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域；
分割结果确定模块，用于基于所述至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果。
可选地，所述目标确定模块，具体用于基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域。
可选地，所述目标确定模块，具体用于将所述特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为所述每列特征点对应的目标提案区域。
可选地，所述分割结果确定模块，包括：
像素区域获取模块，用于基于所述至少一个目标提案区域的预测位置信息，获得所述视网膜图像中的至少一个目标像素区域；
像素分割模块，用于将所述视网膜图像中的至少一个目标像素区域确定为所述视网膜图像的神经层分割结果。
可选地，所述分割结果确定模块，还包括：
位置调整模块，用于基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息。
可选地，所述位置调整模块，具体用于基于所述至少一个目标提案区域建立有环图模型，每个所述目标提案区域对应所述有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息。
可选地，在所述有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，所述第一目标提案区域和所述第二目标提案区域对应于位于所述特征图的横向两侧边界的两列特征点。
可选地，所述优化处理后的有环图模型满足以下至少一个条件：
所述有环图模型中的第一节点与优化后的所述第一节点之间的第一交并比大于或等于第一预设值；
所述第一节点和所述有环图模型中与所述第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
可选地，所述第一节点与所述第二节点之间的连续度是基于所述第一节点和所述第二节点对应的外观相似度与所述第一节点和所述第二节点之间的第二交并比确定的。
可选地，所述位置调整模块，包括：
候选调整区域模块，用于基于所述有环图模型中第一节点对应的目标提案区域的预测位置信息，得到所述第一节点的多个候选调整区域；
区域预测概率模块，用于基于所述第一节点的至少一个相邻节点，确定所述第一节点的多个候选调整区域中每个候选调整区域的预测概率；
调整信息确定模块，用于基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息。
可选地，所述调整信息确定模块，具体用于将所述第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为所述第一节点对应的目标提案区域的调整位置信息。
可选地，所述特征提取单元，具体用于对所述视网膜图像进行卷积操作，确定所述视网膜图像的特征图。
可选地，所述视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
所述装置还包括：
训练单元，用于基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络。
可选地，所述网络训练单元，包括：
第一误差模块，用于利用分类损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测概率，得到第一误差；
第二误差模块，用于利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差；
网络训练模块，用于基于第一误差和第二误差，训练神经层分割网络。
可选地，还包括：
神经层分割单元，用于基于所述标注的神经层时间位置信息，将所述样本视网膜图像中的神经层分割为至少一个神经层片段；
片段分割单元，用于基于所述神经层片段获得所述样本视网膜图像的标注神经层分割结果。
可选地，所述网络训练单元，还包括：
有效区域获取模块，用于基于所述样本视网膜图像的神经层实际位置信息和所述提案区域之间的交并比，获得至少一个有效提案区域；
所述第二误差模块，用于利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差。
可选地，所述神经层实际位置信息包括标注框中心和标注框高度；所述有效提案区域对应的预测位置信息包括预测框中心和预测框高度；所述有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
所述第二误差模块，具体用于基于所述预测框中心和所述有效提案区域中心确定预测相对中心，基于所述预测框高度和所述有效提案区域高度确定预测相对高度；
基于所述标注框中心和所述有效提案区域中心确定真实相对中心，基于所述标注框高度和所述有效提案区域高度确定真实相对高度；
利用回归损失函数，基于所述预测相对中心、所述预测相对高度、所述真实相对中心和所述真实相对高度，得到第二误差。
根据本公开实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的神经层分割装置。
根据本公开实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述神经层分割方法的操作。
根据本公开实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述神经层分割方法的操作。
根据本公开实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上所述神经层分割方法中各步骤的指令。
根据本公开实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的神经层分割方法。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。
根据本公开实施例还提供了另一种神经层分割方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：确定视网膜图像的特征图；基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果。
基于本公开上述实施例提供的一种神经层分割方法和装置、电子设备、存储介质、程序，获得视网膜图像的特征图；在特征图在横坐标方向上获得至少一组提案区域，获得提案区域的预测概率及提案区域对应的预测位置信息，基于提案区域的预测概率及提案区域对应的预测位置信息，确定视网膜图像的神经层位置，通过提案区域获得预测神经层的位置，大大降低了分割任务的复杂度，并提高了任务处理的速度和准确率。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开实施例提供的神经层分割方法的流程图。
图2为本公开实施例提供的神经层分割装置的结构示意图。
图3为适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开实施例提供的神经层分割方法的流程图。如图1所示，该实施例方法包括：
步骤110，确定视网膜图像的特征图。
在一个或多个可选的实施例中，可以基于视网膜图像获得特征图，例如，可以通过对视网膜图像进行卷积操作，确定视网膜图像的特征图，也可以采用其他操作获取视网膜图像的特征图，例如从其他装置处接收该视网膜图像的特征图，本公开对具体获得特征图的技术不做限制。例如：以VGG16卷积神经网络为例，将图像通过该网络的conv1至conv5层，得到conv5层输出的W×H×C的特征图，其中，W×H为特征图的空间尺寸，C为特征图的通道数。
可选地，视网膜图像可以是基于视网膜环扫OCT图像获得的，例如，对于环扫OCT图像，处理时可以先把环扫面展开成平面，平面图像为本实施例待处理的视网膜图像。OCT光学相干断层扫描(Optical Coherence tomography)利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织二维或三维结构图像，本公开一些实施例利用OCT技术对视网膜进行扫描，获得环形二维的视网膜图像。
步骤120，基于特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息。
其中，可以获得一组或多组提案区域，每组提案区域包括对应于相同特征点的至少一个提案区域。
可选地，同一组提案区域中的不同提案区域可以具有相同或不同的宽度以及相同或不同的高度，在一些实施例中，同一组提案区域中的各个提案区域的宽度相同、高度不同，基于对应的提案区域的高度和宽度，即可确定该特征点对应的视网膜图像位置的神经层的所在位置的宽度及高度。
例如：可以基于特征图中的一个或多个特征点中每个特征点对应的K个提案区域，在特征图的横轴方向上获得至少一组提案区域，K为大于或等于1的整数。以W×H×C的特征图为例，可以对特征图中每个特征点设置K个提案区域，则可以得到特征图对应的W×H×K个提案区域。可选地，提案区域也可以称为锚点，但本公开实施例不限于此。例如：在一个可选的具体示例中，用密集的3×3的滑窗作为检测器对特征图进行卷积，每个滑窗的输入是特征图上3×3×C的区域，输出是预测结果。每个滑窗对应的水平位置和k个提案区域位置是预先固定的，这k个提案区域共享同一个宽度为16像素的水平位置，但k个提案区域的竖直位置有k个不同的高度。例如：在实验中设k＝10，高度从11到108像素不等(每次÷0.8)。预测的结果是k个提案区域对应真实视神经层位置的预测概率。
在本公开实施例中，预测概率可以指提案区域所在位置是神经层的概率，可以通过预测概率确定一个特征点对应一组提案区域中的某一个提案区域。
可选地，预测位置信息可以包括预测高度和预测中心中的任意一项或多项。在一些实施例中，预测位置信息可以包括预测高度和预测中心，此时，可以以预测中心为起点、向纵轴两个方向分别移动预测高度的距离，即可获得提案区域所在的区域范围。
在一个或多个可选实施例中，包括：
对特征图进行第一卷积操作，得到每个提案区域的预测概率；
对特征图进行第二卷积操作，得到每个提案区域的预测位置信息。
可选地，利用第一卷积层对特征图进行第一卷积操作，得到提案区域对应的预测概率，该预测概率指该提案区域所在位置是神经层的概率；利用第二卷积层对特征图进行第二卷积操作，得到对应提案区域的预测位置信息。分别通过不同的卷积层对特征图进行卷积操作，获得对应提案区域的预测概率和对应提案区域的预测位置信息。
步骤130，基于至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定视网膜图像的神经层分割结果。
在一个或多个可选的实施例中，包括：
基于至少一组提案区域中每个提案区域的预测概率，从至少一组提案区域中为特征图确定至少一个目标提案区域；
可选地，基于特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从多个提案区域中确定每列特征点对应的目标提案区域；通过神经层分割确定各个神经层的位置，对于分割后获得的神经层在每列特征点应对应一个提案区域，因此对每列特征点确定一个提案区域，提案区域对应的预测概率越大说明这个提案区域所在位置越可能是神经层；因此可选地，将特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为每列特征点对应的目标提案区域。
可选地，可以为特征图的每列特征点确定目标提案区域。在一些实施例中，确定目标提案区域的方式，还可以包括：基于对应于特征图中第i列特征点的多个第一提案区域中每个第一提案区域的预测概率，从多个第一提案区域中确定第i列特征点对应的目标提案区域，其中，至少一组提案区域包括多个第一提案区域。例如，可以将每列特征点对应的至少一组提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为该列特征点对应的目标提案区域。
具体地，例如：对于一个维度为W×H的特征图，其对于的提案区域数量为W×H×K个，即特征图中的一个特征点对应K个提案区域，可将W×H的特征图看着是W列特征点，其中，每列特征点包括H个特征点，每列特征点对应H×K个提案区域，这H×K个提案区域对应的预测概率不仅需要在该在这H×K个中最大，还需要大于或等于概率阈值，如果该列对应的所有提案区域的预测概率都小于概率阈值，说明该列特征点对应的图像区域不存在神经层，即：响应于预测概率最大的提案区域的预测概率小于概率阈值，特征图中该列特征点不存在对应的目标提案区域。
由于每个提案区域对应一个高度，在确定目标提案区域后，即可确定该神经层在视网膜图像所占的大致高度，但由于提案区域的高度是固定的，通常两个提案区域之间存在一定的高度差，导致提案区域的高度与神经层所对应的准确高度会存在一定误差，因此需要基于提案区域高度确定提案区域对应的预测位置信息。
基于至少一个目标提案区域的预测位置信息，确定视网膜图像的神经层分割结果。在该实施例中，可选地，包括：基于至少一个目标提案区域的预测位置信息，获得视网膜图像中的至少一个目标像素区域；
将视网膜图像中的至少一个目标像素区域确定为视网膜图像的神经层分割结果。
其中，预测位置信息可以包括预测高度和预测中心，在确定特征图对应的至少一个目标提案区域之后，以目标提案区域对应的预测高度和预测中心在视网膜图像中获取对应的神经层区域，神经层区域是基于目标提案区域查找视网膜图像中对应像素确定的，具体查找方式可以通过目标提案区域对应的特征点查找对应的像素。
可选地，在基于至少一个目标提案区域对应的预测位置信息，获得视网膜图像中的至少一个目标像素区域之前，还包括：基于条件随机场对至少一个目标提案区域的预测位置信息进行调整处理，得到至少一个目标提案区域对应的第一特征点的调整位置信息。
由于提案区域的高度是预设的高度，这个高度与实际神经层的高度存在一定的偏差，为了更准确的对视网膜图像进行分割，需要对目标提案区域的预测位置信息进行调整处理。
具体地，可以包括：
基于至少一个目标提案区域建立有环图模型，每个目标提案区域对应有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；
在有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，第一目标提案区域和第二目标提案区域对应于位于特征图的横向两侧边界的两列特征点。通过第一目标提案区域对应的节点和第二目标提案区域对应的节点之间的连接，确定了图为有环图。
基于条件随机场对有环图模型进行优化处理，得到至少一个目标提案区域的调整位置信息。
根据有环图模型对预测位置信息进行调整是基于视网膜图像(OCT图像)是环扫图的特性决定的，并且视网膜本身是球面的，因此，神经层在视网膜图像中的最左侧与最右侧应当是存在连接的，在上述神经层分割过程中，是将视网膜图像展开作为平面图进行处理，处理得到的神经层位置可能忽略其最左侧和最右侧之间的连接关系，因此，在本实施例中通过建立有环图模型连接神经层的最左侧和最右侧，当然，还可以通过其他方法连接神经层的最左侧和最右侧，并对神经层的位置进行微调，本公开对调整位置信息的具体方法不作限定。
具体地，优化处理后的有环图模型满足以下至少一个条件：
有环图模型中的第一节点与优化后的第一节点之间的第一交并比大于或等于第一预设值；
第一节点和有环图模型中与第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
在一些可选实施例中，由于OCT图像是环扫图，最左侧和最右侧在物理上是连在一起的，因此可以把OCT图像中每一列像素作为一个节点(或将基于预测概率对每列像素确定的锚点作为一个节点)，任意相邻的两个节点之间存在一个连接，最左侧和最右侧的两个节点之间也有存在一个连接，这样构建一个有环图模型。由于OCT图像中神经层是连续分布的，因此，有环图模型上定义条件随机场(Conditional Random Field),该条件随机场满足在一个连接的两端的两个节点上的神经层区域是连续的。
如果节点之间的外观相似度不大的话，连续性本身不太高，可以降低对连续性的要求，也就是说，两个节点的连续度是外观相似度和交并比的综合结果，可选地，第一节点与第二节点之间的连续度是基于第一节点和第二节点对应的外观相似度与第一节点和第二节点之间的第二交并比确定的。
假设每个节点上神经层的预测位置信息包括预测高度和预测中心，可表示xi＝{hi，ci}，其中，xi表示预测位置信息，hi表示预测高度，ci表示预测中心；输出变量为
Figure GDA0002907026900000131
其中，yi表示优化后的位置信息，
Figure GDA0002907026900000132
表示优化后的高度，
Figure GDA0002907026900000133
表示优化后的中心,定义一个条件随机场的条件分布如公式(1)所示：
Figure GDA0002907026900000134
其中Z为partition函数使得P(y|x)是一个0-1之间的概率分布，能量函数E(y，x)定义为公式(2)：
E(y，x)＝∑iφ(xi，yi)+∑jψ(yj，yj+1) 公式(2)
其中，φ(xi，yi)＝IoU(xi，yi)用于表示有环图模型中的第一节点与优化后的第一节点之间的第一交并比，ψ(yj，yj+1)＝k(pj，pj+1)IoU(yj，yj+1)用于表示第一节点和有环图模型中与第一节点相邻的第二节点之间的连续度，该连续度基于第一节点和第二节点对应的外观相似度与第一节点和第二节点之间的第二交并比获得，具体地，IoU(xi，yi)为xi，yi之间的Intersection-over-Union交并比，IoU(yj，yj+1)表示两个优化后的相邻节点yj，yj+1(如：第一节点和第二节点)之间的交并比，k(pj，pj+1)为第j和第j+1个区域的外观相似度，pj为该区域内的图像灰度值直方图，
Figure GDA0002907026900000135
为高斯核函数，其中，θ是高斯核函数的常数参数，默认可设为1。
直接求解公式(1)的条件随机场复杂度很高，因此采用一种近似的方式实现，例如：假设，一、yi应该不能和xi距离太远，因此设定
Figure GDA0002907026900000136
的取值范围是{hi±Δh，ci±Δc}，其中，Δh和Δc是待优化变量，hi±Δh和ci±Δc分别是优化后的h和c，即每列像素上的神经层共有l＝Δh*Δc*4种可能的取值。二，用mean-field平均场理论近似条件分布，即用一组独立可分解的分布
Figure GDA0002907026900000137
近似P(y|x),根据联合分布，可以推导出更新算法为公式(3)，定义初始化为Q：
Figure GDA0002907026900000138
在收敛前一直循环(while not converged do)而不做聚合，
Figure GDA0002907026900000139
Figure GDA00029070269000001310
Figure GDA00029070269000001311
停止循环(end while)结束。
上述公式中，Q表示能量分布函数；
Figure GDA0002907026900000141
表示初始化的Q；
Figure GDA0002907026900000142
表示Q在更新中的临时值；Φ(xi，yi)表示IoU函数，用来计算优化前后x和y的交并比；Qi(xi)表示第i个位置上的能量分布函数。
在优化结束后，对于每个Qi，取概率最大的
Figure GDA0002907026900000143
对应的
Figure GDA0002907026900000144
即为该位置的神经层高度和中心。
可选地，基于条件随机场对有环图模型进行优化处理，得到至少一个目标提案区域的调整位置信息，包括：
基于有环图模型中第一节点对应的目标提案区域的预测位置信息，得到第一节点的多个候选调整区域；
基于第一节点的至少一个相邻节点，确定第一节点的多个候选调整区域中每个候选调整区域的预测概率；
基于第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定第一节点对应的目标提案区域的调整位置信息。
具体地，将第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为第一节点对应的目标提案区域的调整位置信息。
可选地，条件随机场的输入作为初始的预测位置信息，针对每个节点，计算前面和/或后面的节点对它的影响，例如：第i+1个节点和/或第i-1个节点对第i节点的影响因子；然后将影响因子作用到第i个节点的初始的预测位置信息，得到第i个节点的修正结果；每个节点可以对应至少一种状态，例如：对应100种状态，这100种状态的初始概率值都是一样的，或者也可以不一样，本公开对初始概率值是否相同不作限定，对节点的100种状态的结果进行归一化，变成100个状态的概率；从100个状态中选择概率最大的状态作为该节点对应的状态。
每个节点的输入只有一个最大概率的框，进行一定的偏移或者高度上的伸缩，例如：上下移动5个像素，高度正负5个像素。
基于本公开上述实施例提供的一种神经层分割方法，获得视网膜图像的特征图；在特征图在横坐标方向上获得至少一组提案区域，获得提案区域的预测概率及提案区域对应的预测位置信息，基于提案区域的预测概率及提案区域对应的预测位置信息，确定视网膜图像的神经层位置，通过提案区域获得预测神经层的位置，大大降低了分割任务的复杂度，并提高了任务处理的速度和准确率。
在一些实施例中，将原本狭长型的视神经层，分解成若干段具有固定或非固定宽度的片段，每次只去预测一个片段中某个视神经层的位置。这种方式大大降低了任务的复杂度，把一个狭长区域分割的问题，转化成了一个固定或非固定宽度区域里的检测问题。
对于环扫的OCT图，处理时需要先把环扫面展开成平面，因此图像的最左侧和最右侧在物理上是连接的。但是，深度神经网络在处理图像时，并没有利用这一信息。为了改进这一问题，本公开实施例提出，在预测得到一系列片段后，在这些片段上建立有环图(loopygraph)模型，用条件随机场(Conditional Random Field)来模拟片段之间的互相联系。通过Mean Field算法对条件随机场做近似后，求得的条件随机场的解就可以更好的满足片段之间的物理联系。与其他不考虑视神经层的拓扑结构的方法相比，能够避免“孤岛”、不同神经层错位等问题的出现。
本公开一些可选的实施例提供的神经层分割方法，在上述各实施例的基础上，视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
本公开方法由神经层分割网络执行，方法还包括：
基于样本视网膜图像的神经层实际位置信息和样本视网膜图像的神经层分割结果，训练神经层分割网络。
训练神经层分割网络是为了获得针对神经层分割任务具有更高准确性的网络，基于已知神经层时间位置信息的样本视网膜图像对神经层分割网络进行训练，其具体过程可以如普通神经网络的训练过程，基于损失函数通过反向传播调整网络中的参数，进而获取训练后的神经层分割网络，还可以利用多种损失函数获得多个误差，再通过反向传播调整网络中的参数，本公开实施例对具体神经层分割网络的具体参数调整方法不作限定。
可选地，在训练神经层分割网络之前，还可以包括：基于标注的神经层时间位置信息，将样本视网膜图像中的神经层分割为至少一个神经层片段；基于神经层片段获得样本视网膜图像的标注神经层分割结果。其中，标注神经层分割结果可以包括在视网膜图像中神经层对应的像素位置信息。
由于眼部神经层的结构决定，神经层在样本视网膜图像中的倾斜度变化不大，为了简化样本视网膜图像的处理，本实施例将样本视网膜图像中的神经层进行分割，对于分割得到的神经层片段，以该片段中神经层所有像素对应的中心的平均值作为该片段的中心，以该片段中神经层所有像素对应的高度的平均值作为该片段的高度，通过分割简化，提高了神经层分割网络的训练速度。
可选地，样本视网膜图像的获得可以包括：准备几百张或更多的视网膜OCT图像以及他们的标注，标注是指，对于视网膜环扫OCT图像，把需要分割的视神经层所对应的像素用任意方式表示出来，包括但不限于：用不同颜色将不同层标出来，这些标注可以由医生通过photoshop等工具来完成。将标注转化成所需的格式，环扫OCT一般是从水平方向展开的，因此视神经层也是水平方向的，转化方式包括对：对于某个层(以NFL为例)，从左至右，每隔设定数量(如：16个)像素，将该段内的NFL的上边缘和下边缘分别算出平均值，作为该段的标注神经层位置信息。例如：对于一张大小为600*1280的OCT环扫图，可以得到一个1280/16＝80维的向量，即该图上NFL转化后的标注。
具体地，基于样本视网膜图像获得特征图的过程可以应用操作110的步骤。
在特征图在横坐标方向上获得至少一组提案区域，获得提案区域的预测概率和预测位置信息，每组提案区域包括在纵坐标方向上的至少一个提案区域；
在训练过程中，与分割过程的区别在于，还获得提案区域的位置信息。
可选地，对特征图进行卷积处理，获得特征图在横坐标方向上获得至少一组提案区域。例如：用密集的3×3的滑窗作为检测器(卷积核)对特征图进行卷积，每个滑窗的输入是特征图上3×3×C的区域，输出是预测结果。每个滑窗对应的水平位置和k个提案区域位置是预先固定的，这k个提案区域共享同一个宽度为设定数量(如：16个)像素的水平位置，但它们的竖直位置有k个不同的高度；如设k＝10，高度从11到108像素不等(每次÷0.8)。预测的结果是k个提案区域对应真实视神经层位置的预测概率。
训练神经层分割网络可以基于损失函数进行，可选地，利用分类损失函数，基于样本视网膜图像的标注神经层分割结果和提案区域的预测概率，得到第一误差；
具体地，基于神经层对应的像素位置信息，确定提案区域对应的像素的真实标注；确定提案区域对应的所有像素的真实标注与预测概率之间的第一误差。
基于第一误差训练神经层分割网络，其中获得第一误差的方法，也可以是除了分类损失函数之外的其他损失函数，本公开对具体采用的损失函数不作限定。
利用回归损失函数，基于样本视网膜图像的标注神经层分割结果和提案区域的预测位置信息，得到第二误差；
基于第二误差训练神经层分割网络，其中获得第二误差的方法，也可以是除了回归损失函数之外的其他损失函数，本公开对具体采用的损失函数不作限定。
基于第一误差和第二误差，训练神经层分割网络。
在基于第一误差和第二误差训练神经层分割网络时，可以将第一误差和第二误差加权求和，以加权求和的结果训练神经层分割网络。
在一些实施例中，基于第一误差和第二误差，训练神经层分割网络，包括：
基于设定的权重值对第一误差和第二误差求和，获得第三误差；基于第三误差，通过反向梯度传播方法训练神经层分割网络。
可选地，第三误差可以基于公式(4)计算获得：
Figure GDA0002907026900000171
其中，si是第i个锚点的预测概率，
Figure GDA0002907026900000172
是真实标注，Ns是锚点的总数，Nv是有效锚点的总数，j是有效锚点的索引，有效的锚点是指与真实的标注之间Intersection-over-Union(IoU)大于0.5的那些锚点，vj和
Figure GDA0002907026900000173
分别是第j个有效锚点对应的预测的和真实的y方向坐标。Ls是分类的损失函数，可以采用softmax损失，Lv是回归的损失函数，可以采用平滑的L1损失。α是两个损失函数之间的权重常数。
可选地，在得到第二误差之前，还包括：
基于样本视网膜图像的标注神经层分割结果和提案区域之间的交并比，获得至少一个有效提案区域；
利用回归损失函数，基于样本视网膜图像的标注神经层分割结果和提案区域的预测位置信息，得到第二误差，包括：
利用回归损失函数，基于样本视网膜图像的神经层实际位置信息和有效提案区域的预测位置信息，得到第二误差。
可选地，基于神经层对应的像素位置信息和所有有效提案区域对应的预测位置信息，得到第二误差。
在一个或多个实施例中，神经层对应的像素位置信息包括标注框中心和标注框高度；有效提案区域对应的预测位置信息包括预测框中心和预测框高度；有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
利用回归损失函数，基于神经层对应的像素位置信息、有效提案区域位置信息和所有有效提案区域对应的预测位置信息，得到第二误差，包括：
基于预测框中心和有效提案区域中心确定预测相对中心，基于预测框高度和有效提案区域高度确定预测相对高度；
基于标注框中心和有效提案区域中心确定真实相对中心，基于标注框高度和有效提案区域高度确定真实相对高度；
利用回归损失函数，基于预测相对中心、预测相对高度、真实相对中心和真实相对高度，得到第二误差。
或者，可以基于其他信息确定位置信息，例如：神经层对应的像素位置信息包括标注框下边缘位置和标注框上边缘位置，有效提案区域对应的预测位置信息包括预测框下边缘位置和预测框上边缘位置，有效提案区域位置信息包括有效提案区域下边缘位置和有效提案区域下边缘位置；
此时，利用回归损失函数，基于神经层对应的像素位置信息、有效提案区域位置信息和所有有效提案区域对应的预测位置信息，得到第二误差，包括：
基于预测框下边缘位置和有效提案区域下边缘位置确定预测相对下边缘位置，基于预测框上边缘位置和有效提案区域上边缘位置确定预测相对上边缘位置；
基于标注框下边缘位置和有效提案区域下边缘位置确定真实相对下边缘位置，基于标注框上边缘位置和有效提案区域上边缘位置确定真实相对上边缘位置；
利用回归损失函数，基于预测相对下边缘位置、预测相对上边缘位置、真实相对下边缘位置和真实相对上边缘位置，得到第二误差。
可选地，第二误差的获取过程可以包括：
利用回归损失函数，基于预测相对中心和真实相对中心获得第二中心误差；
利用回归损失函数，基于预测相对高度和真实相对高度获得第二高度误差；
基于第二中心误差和第二高度误差确定第二误差。
上述公式(4)中第二误差对应的
Figure GDA0002907026900000181
其中，vj和
Figure GDA0002907026900000182
可以通过以下公式(5)计算
Figure GDA0002907026900000183
vh＝log(h/ha)
Figure GDA0002907026900000184
Figure GDA0002907026900000185
其中，vj包含vc和vh两个值，分别对应预测的相对中心和相对高度，cy是预测的提议框的中心，
Figure GDA0002907026900000186
是锚点的中心，h是预测的高度，ha是锚点的高度；相对应的，
Figure GDA0002907026900000187
包含
Figure GDA0002907026900000188
和
Figure GDA0002907026900000189
两个值，分别对应真实的相对中心和相对高度，
Figure GDA00029070269000001810
是真实的框的中心，h*是真实的框高度。
在一个或多个可选实施例中，将样本视网膜图像作为视网膜图像，获得样本视网膜图像的特征图之后，还包括：
利用递归神经网络，对特征图进行处理，得到处理后的特征图。
可选地，将特征图基于滑框获取至少一个滑框特征；
将滑框特征输入递归神经网络，输出至少一个隐藏状态；
在特征图在横坐标方向上获得至少一组提案区域，包括：
对隐藏状态进行卷积处理，获得特征图在横坐标方向上获得至少一组提案区域。
为了提高定位的准确性，可以将视神经层分成了一系列小片段，然后分别预测每一段上神经层的位置。但是，独立地预测每个孤立的片段的鲁棒性不佳，由于视神经层具有很强空间连续性，本实施例将这种信息通过递归神经网络编码到卷积层中。具体地，设计了一个递归神经网络层，以特征图作为一个输入序列，然后递归地更新隐藏层的内在状态Ht，其中Ht可通过公式(6)计算：
Figure GDA0002907026900000191
其中，Xt∈R3×3×C是特征图中第t个滑窗的输入(3×3)，R为实数集；
Figure GDA0002907026900000192
表示递归神经网络(例如，长短期记忆网络)。本公开实施例对递归神经网络的结构不做限制，如：以长短期记忆网络(Long Short Term Memory)为例，并且可以推广到双向的长短期记忆网络上，使得从左到右和从右到左两个方向都可以编码语义信息。本实施例不限定LSTM的隐藏层维度，这里以128维为例，双向LSTM层可以得到Ht∈R256。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图2为本公开实施例提供的神经层分割装置的结构示意图。该实施例的装置可用于实现本公开上述各方法实施例。如图2所示，该实施例的装置包括：
特征提取单元21，用于确定视网膜图像的特征图。
在一个或多个可选的实施例中，可以基于视网膜图像获得特征图，例如，可以通过对视网膜图像进行卷积操作，确定视网膜图像的特征图，也可以采用其他操作获取视网膜图像的特征图，例如从其他装置处接收该视网膜图像的特征图，本公开对具体获得特征图的技术不做限制。例如：以VGG16卷积神经网络为例，将图像通过该网络的conv1至conv5层，得到conv5层输出的W×H×C的输出特征图，其中，W×H为特征图的空间尺寸，C为特征图的通道数。
区域预测单元22，用于基于特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息。
其中，可以获得一组或多组提案区域，每组提案区域包括对应于相同特征点的至少一个提案区域。
可选地，同一组提案区域中的不同提案区域可以具有相同或不同的宽度以及相同或不同的高度，在一些实施例中，同一组提案区域中的各个提案区域的宽度相同、高度不同，基于对应的提案区域的高度和宽度，即可确定该特征点对应的视网膜图像位置的神经层的所在位置的宽度及高度。
可选地，预测位置信息可以包括预测高度和预测中心中的任意一项或多项。
在一个或多个可选实施例中，区域预测单元22，具体用于对特征图进行第一卷积操作，得到每个提案区域的预测概率；对特征图进行第二卷积操作，得到每个提案区域的预测位置信息。
可选地，利用第一卷积层对特征图进行第一卷积操作，得到提案区域对应的预测概率，该预测概率指该提案区域所在位置是神经层的概率；利用第二卷积层对特征图进行第二卷积操作，得到对应提案区域的预测位置信息。分别通过不同的卷积层对特征图进行卷积操作，获得对应提案区域的预测概率和对应提案区域的预测位置信息。
神经层分割单元23，用于基于至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定视网膜图像的神经层分割结果。
在一个或多个可选的实施例中，神经层分割单元23包括：
目标确定模块，用于基于至少一组提案区域中每个提案区域的预测概率，从至少一组提案区域中为特征图确定至少一个目标提案区域；
可选地，通过神经层分割确定各个神经层的位置，对于分割后获得的神经层在每列特征点应对应一组提案区域，因此对每列特征点确定一组提案区域，提案区域对应的预测概率越大说明这个提案区域所在位置越可能是神经层；因此可选地，目标确定模块，具体用于将特征图对应的至少一组提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为特征图的目标提案区域，为每列特征点确定一组目标提案区域，其中每个特征点对应一个目标提案区域。
可选地，目标确定模块，可以用于基于特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从多个提案区域中确定每列特征点对应的目标提案区域。
可选地，目标确定模块，具体用于将特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为每列特征点对应的目标提案区域。
分割结果确定模块，用于基于至少一个目标提案区域的预测位置信息，确定视网膜图像的神经层分割结果。
在一个或多个可选的实施例中，分割结果确定模块，包括：
像素区域获取模块，用于基于至少一个目标提案区域的预测位置信息，获得视网膜图像中的至少一个目标像素区域；
像素分割模块，用于将视网膜图像中的至少一个目标像素区域确定为视网膜图像的神经层分割结果。
可选地，分割结果确定模块，还可以包括：
位置调整模块，用于基于条件随机场对至少一个目标提案区域的预测位置信息进行调整处理，得到至少一个目标提案区域的调整位置信息。
由于提案区域的高度是预设的高度，这个高度与实际神经层的高度存在一定的偏差，为了更准确的对视网膜图像进行分割，需要对目标提案区域的预测位置信息进行调整处理。
可选地，位置调整模块，可以用于基于至少一个目标提案区域建立有环图模型，每个目标提案区域对应有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；
在有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，第一目标提案区域和第二目标提案区域对应于位于特征图的横向两侧边界的两列特征点。
基于条件随机场对有环图模型进行优化处理，得到至少一个目标提案区域的调整位置信息。
具体地，优化处理后的有环图模型满足以下至少一个条件：
有环图模型中的第一节点与优化后的第一节点之间的第一交并比大于或等于第一预设值；
第一节点和有环图模型中与第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
在一些可选实施例中，由于OCT图像是环扫图，最左侧和最右侧在物理上是连在一起的，因此可以把OCT图像中每一列像素作为一个节点(或将基于预测概率对每列像素确定的锚点作为一个节点)，任意相邻的两个节点之间存在一个连接，最左侧和最右侧的两个节点之间也有存在一个连接，这样构建一个有环图模型。由于OCT图像中神经层是连续分布的，因此，有环图模型上定义条件随机场(Conditional Random Field),该条件随机场满足在一个连接的两端的两个节点上的神经层区域是连续的。
如果节点之间的外观相似度不大的话，连续性本身不太高，可以降低对连续性的要求，也就是说，两个节点的连续度是外观相似度和交并比的综合结果，可选地，第一节点与第二节点之间的连续度是基于第一节点和第二节点对应的外观相似度与第一节点和第二节点之间的第二交并比确定的。
可选地，位置调整模块，包括：
候选调整区域模块，用于基于有环图模型中第一节点对应的目标提案区域的预测位置信息，得到第一节点的多个候选调整区域；
区域预测概率模块，用于基于第一节点的至少一个相邻节点，确定第一节点的多个候选调整区域中每个候选调整区域的预测概率；
调整信息确定模块，用于基于第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定第一节点对应的目标提案区域的调整位置信息。
具体地，调整信息确定模块，可以用于将第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为第一节点对应的目标提案区域的调整位置信息。
可选地，条件随机场的输入作为初始的预测位置信息，针对每个节点，计算前面和/或后面的节点对它的影响，例如：第i+1个节点和/或第i-1个节点对第i节点的影响因子；然后将影响因子作用到第i个节点的初始的预测位置信息，得到第i个节点的修正结果；每个节点可以对应至少一种状态，例如：对应100种状态，这100种状态的初始概率值都是一样的，或者也可以不一样，本公开对初始概率值是否相同不作限定，对节点的100种状态的结果进行归一化，变成100个状态的概率；从100个状态中选择概率最大的状态作为该节点对应的状态。
在一个或多个可选的实施例中，视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
本公开实施例提供的装置还包括：
训练单元，用于基于样本视网膜图像的神经层实际位置信息和样本视网膜图像的神经层分割结果，训练神经层分割网络。
训练神经层分割网络是为了获得针对神经层分割任务具有更高准确性的网络，基于已知神经层时间位置信息的样本视网膜图像对神经层分割网络进行训练，其具体过程可以如普通神经网络的训练过程，基于损失函数通过反向传播调整网络中的参数，进而获取训练后的神经层分割网络，还可以利用多种损失函数获得多个误差，再通过反向传播调整网络中的参数，本公开实施例对具体神经层分割网络的具体参数调整方法不作限定。
可选地，网络训练单元，包括：
第一误差模块，用于利用分类损失函数，基于样本视网膜图像的标注神经层分割结果和提案区域的预测概率，得到第一误差；
第二误差模块，用于利用回归损失函数，基于样本视网膜图像的标注神经层分割结果和提案区域的预测位置信息，得到第二误差；
网络训练模块，用于基于第一误差和第二误差，训练神经层分割网络。
可选地，在训练神经层分割网络之前，还可以包括：
神经层分割单元，用于基于标注的神经层时间位置信息，将样本视网膜图像中的神经层分割为至少一个神经层片段；
片段分割单元，用于基于神经层片段获得样本视网膜图像的标注神经层分割结果。
可选地，网络训练单元，还包括：
有效区域获取模块，用于基于样本视网膜图像的神经层实际位置信息和提案区域之间的交并比，获得至少一个有效提案区域；
第二误差模块，用于利用回归损失函数，基于样本视网膜图像的神经层实际位置信息和有效提案区域的预测位置信息，得到第二误差。
可选地，神经层实际位置信息包括标注框中心和标注框高度；有效提案区域对应的预测位置信息包括预测框中心和预测框高度；有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
第二误差模块，具体用于基于预测框中心和有效提案区域中心确定预测相对中心，基于预测框高度和有效提案区域高度确定预测相对高度；
基于标注框中心和有效提案区域中心确定真实相对中心，基于标注框高度和有效提案区域高度确定真实相对高度；
利用回归损失函数，基于预测相对中心、预测相对高度、真实相对中心和真实相对高度，得到第二误差。
根据本公开实施例的另一个方面，提供的一种电子设备，包括处理器，处理器包括本公开上述任一实施例的神经层分割装置。
根据本公开实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成本公开提供的神经层分割方法上述任一实施例。
根据本公开实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，指令被处理器执行时，该处理器执行本公开提供的神经层分割方法上述任一实施例。
根据本公开实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行本公开提供的神经层分割方法。
根据本公开实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的神经层分割方法。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一实施例中所述的神经层分割方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
根据本公开实施例还提供了另一种神经层分割方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：确定视网膜图像的特征图；基于特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；基于至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定视网膜图像的神经层分割结果。
在一些实施例中，该目标跟踪指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行神经层分割，相应地，响应于接收到调用指令，第二装置可以执行上述神经层分割方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。
还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备300的结构示意图：如图3所示，电子设备300包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)301，和/或一个或多个图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器302和/或随机访问存储器303中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，确定视网膜图像的特征图；基于特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；基于至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定视网膜图像的神经层分割结果。
此外，在RAM 303中，还可存储有装置操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使处理器301执行上述通信方法对应的操作。输入/输出(I/O)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
需要说明的，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，确定视网膜图像的特征图；基于特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；基于至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定视网膜图像的神经层分割结果。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (41)

1.一种神经层分割方法，其特征在于，包括：
确定视网膜图像的特征图；
基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；
基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果；
所述基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果，包括：
基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域；
根据有环图模型对所述至少一个目标提案区域的预测位置信息进行调整；其中，所述有环图模型基于所述至少一个目标提案区域建立，每个所述目标提案区域对应所述有环图模型中的一个节点；
基于所述调整后的至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果。
2.根据权利要求1所述的方法，其特征在于，所述预测位置信息包括预测高度和预测中心。
3.根据权利要求1所述的方法，其特征在于，所述基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，包括：
对所述特征图进行第一卷积操作，得到每个所述提案区域的预测概率；
对所述特征图进行第二卷积操作，得到每个所述提案区域的预测位置信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域，包括：
基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域，包括：
将所述特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为所述每列特征点对应的目标提案区域。
6.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果，包括：
基于所述至少一个目标提案区域的预测位置信息，获得所述视网膜图像中的至少一个目标像素区域；
将所述视网膜图像中的至少一个目标像素区域确定为所述视网膜图像的神经层分割结果。
7.根据权利要求1所述的方法，其特征在于，所述根据有环图模型对所述至少一个目标提案区域的预测位置信息进行调整，包括：
基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息。
8.根据权利要求7所述的方法，其特征在于，基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息，包括：
基于所述至少一个目标提案区域建立有环图模型，每个所述目标提案区域对应所述有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；
基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息。
9.根据权利要求1-8任一所述的方法，其特征在于，在所述有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，所述第一目标提案区域和所述第二目标提案区域对应于位于所述特征图的横向两侧边界的两列特征点。
10.根据权利要求9所述的方法，其特征在于，优化处理后的所述有环图模型满足以下至少一个条件：
所述有环图模型中的第一节点与优化后的所述第一节点之间的第一交并比大于或等于第一预设值；
所述第一节点和所述有环图模型中与所述第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
11.根据权利要求10所述的方法，其特征在于，所述第一节点与所述第二节点之间的连续度是基于所述第一节点和所述第二节点对应的外观相似度与所述第一节点和所述第二节点之间的第二交并比确定的。
12.根据权利要求1-8任一所述的方法，其特征在于，所述基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息，包括：
基于所述有环图模型中第一节点对应的目标提案区域的预测位置信息，得到所述第一节点的多个候选调整区域；
基于所述第一节点的至少一个相邻节点，确定所述第一节点的多个候选调整区域中每个候选调整区域的预测概率；
基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息。
13.根据权利要求12所述的方法，其特征在于，基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息，包括：
将所述第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为所述第一节点对应的目标提案区域的调整位置信息。
14.根据权利要求1-8任一所述的方法，其特征在于，所述确定视网膜图像的特征图，包括：
对所述视网膜图像进行卷积操作，确定所述视网膜图像的特征图。
15.根据权利要求1-8任一所述的方法，其特征在于，所述视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
所述方法由神经层分割网络执行，所述方法还包括：
基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络。
16.根据权利要求15所述的方法，其特征在于，基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络，包括：
利用分类损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测概率，得到第一误差；
利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差；
基于第一误差和第二误差，训练神经层分割网络。
17.根据权利要求15所述的方法，其特征在于，所述基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练所述神经层分割网络之前，还包括：
基于标注的神经层时间位置信息，将所述样本视网膜图像中的神经层分割为至少一个神经层片段；
基于所述神经层片段获得所述样本视网膜图像的标注神经层分割结果。
18.根据权利要求16所述的方法，其特征在于，所述利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差之前，还包括：
基于所述样本视网膜图像的神经层实际位置信息和所述提案区域之间的交并比，获得至少一个有效提案区域；
所述利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差，包括：
利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差。
19.根据权利要求18所述的方法，其特征在于，所述神经层实际位置信息包括标注框中心和标注框高度；所述有效提案区域对应的预测位置信息包括预测框中心和预测框高度；所述有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
所述利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差，包括：
基于所述预测框中心和所述有效提案区域中心确定预测相对中心，基于所述预测框高度和所述有效提案区域高度确定预测相对高度；
基于所述标注框中心和所述有效提案区域中心确定真实相对中心，基于所述标注框高度和所述有效提案区域高度确定真实相对高度；
利用回归损失函数，基于所述预测相对中心、所述预测相对高度、所述真实相对中心和所述真实相对高度，得到第二误差。
20.一种神经层分割装置，其特征在于，包括：
特征提取单元，用于确定视网膜图像的特征图；
区域预测单元，用于基于所述特征图，获得至少一组提案区域中每个提案区域的预测概率和预测位置信息，其中，每组提案区域包括对应于相同特征点的至少一个提案区域；
神经层分割单元，用于基于所述至少一组提案区域中每个提案区域的预测概率和预测位置信息，确定所述视网膜图像的神经层分割结果；
所述神经层分割单元，包括：
目标确定模块，用于基于所述至少一组提案区域中每个提案区域的预测概率，从所述至少一组提案区域中为所述特征图确定至少一个目标提案区域；
分割结果确定模块，用于根据有环图模型对所述至少一个目标提案区域的预测位置信息进行调整；其中，所述有环图模型基于所述至少一个目标提案区域建立，每个所述目标提案区域对应所述有环图模型中的一个节点；基于所述调整后的至少一个目标提案区域的预测位置信息，确定所述视网膜图像的神经层分割结果。
21.根据权利要求20所述的装置，其特征在于，所述预测位置信息包括预测高度和预测中心。
22.根据权利要求21所述的装置，其特征在于，所述区域预测单元，具体用于对所述特征图进行第一卷积操作，得到每个所述提案区域的预测概率；对所述特征图进行第二卷积操作，得到每个所述提案区域的预测位置信息。
23.根据权利要求20所述的装置，其特征在于，所述目标确定模块，具体用于基于所述特征图的每列特征点对应的多个提案区域中每个提案区域的预测概率，从所述多个提案区域中确定所述每列特征点对应的目标提案区域。
24.根据权利要求23所述的装置，其特征在于，所述目标确定模块，具体用于将所述特征图的每列特征点对应的多个提案区域中提案区域预测概率最大且预测概率大于或等于概率阈值的提案区域确定为所述每列特征点对应的目标提案区域。
25.根据权利要求20所述的装置，其特征在于，所述分割结果确定模块，还包括：
像素区域获取模块，用于基于所述至少一个目标提案区域的预测位置信息，获得所述视网膜图像中的至少一个目标像素区域；
像素分割模块，用于将所述视网膜图像中的至少一个目标像素区域确定为所述视网膜图像的神经层分割结果。
26.根据权利要求20所述的装置，其特征在于，所述分割结果确定模块在根据有环图模型对所述至少一个目标提案区域的预测位置信息进行调整时，用于基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息。
27.根据权利要求26所述的装置，其特征在于，所述分割结果确定模块在基于条件随机场对所述至少一个目标提案区域的预测位置信息进行调整处理，得到所述至少一个目标提案区域的调整位置信息时，具体用于基于所述至少一个目标提案区域建立有环图模型，每个所述目标提案区域对应所述有环图模型中的一个节点，对应相邻列的特征点的目标提案区域所对应的节点之间通过边连接；基于条件随机场对所述有环图模型进行优化处理，得到所述至少一个目标提案区域的调整位置信息。
28.根据权利要求20-27任一所述的装置，其特征在于，在所述有环图模型中，第一目标提案区域对应的节点和第二目标提案区域对应的节点之间通过边连接，其中，所述第一目标提案区域和所述第二目标提案区域对应于位于所述特征图的横向两侧边界的两列特征点。
29.根据权利要求28所述的装置，其特征在于，优化处理后的所述有环图模型满足以下至少一个条件：
所述有环图模型中的第一节点与优化后的所述第一节点之间的第一交并比大于或等于第一预设值；
所述第一节点和所述有环图模型中与所述第一节点相邻的第二节点之间的连续度大于或等于第二预设值。
30.根据权利要求29所述的装置，其特征在于，所述第一节点与所述第二节点之间的连续度是基于所述第一节点和所述第二节点对应的外观相似度与所述第一节点和所述第二节点之间的第二交并比确定的。
31.根据权利要求20-27任一所述的装置，其特征在于，所述位置调整模块，包括：
候选调整区域模块，用于基于所述有环图模型中第一节点对应的目标提案区域的预测位置信息，得到所述第一节点的多个候选调整区域；
区域预测概率模块，用于基于所述第一节点的至少一个相邻节点，确定所述第一节点的多个候选调整区域中每个候选调整区域的预测概率；
调整信息确定模块，用于基于所述第一节点的多个候选调整区域中每个候选调整区域的预测概率，确定所述第一节点对应的目标提案区域的调整位置信息。
32.根据权利要求31所述的装置，其特征在于，所述调整信息确定模块，具体用于将所述第一节点的多个候选调整区域中预测概率最大的候选调整区域的位置信息确定为所述第一节点对应的目标提案区域的调整位置信息。
33.根据权利要求20-27任一所述的装置，其特征在于，所述特征提取单元，具体用于对所述视网膜图像进行卷积操作，确定所述视网膜图像的特征图。
34.根据权利要求20-27任一所述的装置，其特征在于，所述视网膜图像具体为标注有神经层实际位置信息的样本视网膜图像；
所述装置还包括：
训练单元，用于基于所述样本视网膜图像的神经层实际位置信息和所述样本视网膜图像的神经层分割结果，训练神经层分割网络。
35.根据权利要求34所述的装置，其特征在于，所述训练单元，包括：
第一误差模块，用于利用分类损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测概率，得到第一误差；
第二误差模块，用于利用回归损失函数，基于所述样本视网膜图像的标注神经层分割结果和所述提案区域的预测位置信息，得到第二误差；
网络训练模块，用于基于第一误差和第二误差，训练神经层分割网络。
36.根据权利要求34述的装置，其特征在于，还包括：
神经层分割单元，用于基于标注的神经层时间位置信息，将所述样本视网膜图像中的神经层分割为至少一个神经层片段；
片段分割单元，用于基于所述神经层片段获得所述样本视网膜图像的标注神经层分割结果。
37.根据权利要求35所述的装置，其特征在于，所述网络训练单元，还包括：
有效区域获取模块，用于基于所述样本视网膜图像的神经层实际位置信息和所述提案区域之间的交并比，获得至少一个有效提案区域；
所述第二误差模块，用于利用回归损失函数，基于所述样本视网膜图像的神经层实际位置信息和所述有效提案区域的预测位置信息，得到第二误差。
38.根据权利要求37所述的装置，其特征在于，所述神经层实际位置信息包括标注框中心和标注框高度；所述有效提案区域对应的预测位置信息包括预测框中心和预测框高度；所述有效提案区域位置信息包括有效提案区域中心和有效提案区域高度；
所述第二误差模块，具体用于基于所述预测框中心和所述有效提案区域中心确定预测相对中心，基于所述预测框高度和所述有效提案区域高度确定预测相对高度；
基于所述标注框中心和所述有效提案区域中心确定真实相对中心，基于所述标注框高度和所述有效提案区域高度确定真实相对高度；
利用回归损失函数，基于所述预测相对中心、所述预测相对高度、所述真实相对中心和所述真实相对高度，得到第二误差。
39.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求20至38任意一项所述的神经层分割装置。
40.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至19任意一项所述神经层分割方法。
41.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至19任意一项所述神经层分割方法。
CN201810254475.1A 2018-03-26 2018-03-26 神经层分割方法和装置、电子设备、存储介质 Active CN108492302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254475.1A CN108492302B (zh) 2018-03-26 2018-03-26 神经层分割方法和装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254475.1A CN108492302B (zh) 2018-03-26 2018-03-26 神经层分割方法和装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108492302A CN108492302A (zh) 2018-09-04
CN108492302B true CN108492302B (zh) 2021-04-02

Family

ID=63337985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254475.1A Active CN108492302B (zh) 2018-03-26 2018-03-26 神经层分割方法和装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108492302B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009656B (zh) * 2019-03-05 2021-11-19 腾讯科技（深圳）有限公司 目标对象的确定方法、装置、存储介质及电子装置
CN109977952B (zh) * 2019-03-27 2021-10-22 深动科技（北京）有限公司 基于局部最大值的候选目标检测方法
CN110211166B (zh) * 2019-06-13 2021-10-12 北京理工大学 磁共振图像中视神经分割方法及装置
CN111895923B (zh) * 2020-07-07 2021-09-21 上海辰慧源科技发展有限公司 一种拟合测量薄膜厚度的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法
CN107292887B (zh) * 2017-06-20 2020-07-03 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107578413B (zh) * 2017-10-11 2018-08-21 吉林大学 视网膜图像分层的方法、装置、设备及可读存储介质
CN107657612A (zh) * 2017-10-16 2018-02-02 西安交通大学 适用于智能便携设备的全自动视网膜血管分析方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks;Shaoqing Ren等;《arXiv数据库》;20160106;第1-14页 *
基于卷积神经网络的商品图像分类研究;匡青;《软件导刊》;20170228;第16卷(第02期);全文 *

Also Published As

Publication number Publication date
CN108492302A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108492302B (zh) 神经层分割方法和装置、电子设备、存储介质
Žbontar et al. Stereo matching by training a convolutional neural network to compare image patches
US11367181B2 (en) Systems and methods for ossification center detection and bone age assessment
US10497126B2 (en) Producing a segmented image using markov random field optimization
JP6368709B2 (ja) ３次元身体データを生成する方法
US7400767B2 (en) System and method for graph cuts image segmentation using a shape prior
US7995841B2 (en) Hybrid graph model for unsupervised object segmentation
JP2021530061A (ja) 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
US11295157B2 (en) Image processing method and information processing device
US20060210168A1 (en) Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same
JP2003108981A (ja) 顔の特徴を位置確認するための方法及びコンピュータープログラム製品
US20150063709A1 (en) Methods and systems of detecting object boundaries
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
US9449395B2 (en) Methods and systems for image matting and foreground estimation based on hierarchical graphs
US11720745B2 (en) Detecting occlusion of digital ink
Abdelsamea et al. A SOM-based Chan–Vese model for unsupervised image segmentation
US20150030231A1 (en) Method for Data Segmentation using Laplacian Graphs
CN113313672A (zh) 一种基于slic超像素分割和显著性检测算法的主动轮廓模型图像分割方法
CN113450396A (zh) 基于骨骼特征的三维/二维图像配准方法及装置
Asl et al. Tracking and diameter estimation of retinal vessels using Gaussian process and Radon transform
Lan et al. An elastic interaction-based loss function for medical image segmentation
Prasad et al. ADTBO: Aquila driving training-based optimization with deep learning for skin cancer detection
Belghith et al. A unified framework for glaucoma progression detection using Heidelberg Retina Tomograph images
Youssry et al. A quantum mechanics-based algorithm for vessel segmentation in retinal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant