CN115511883B - 确定视网膜眼底血管的弯曲度的方法、设备和存储介质 - Google Patents

Abstract

本申请公开了一种用于确定视网膜眼底血管的弯曲度的方法、设备和存储介质。所述方法包括：获取待进行确定视网膜眼底血管的弯曲度的视网膜眼底图像；基于所述视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和目标检测区域；基于所述动静脉分割结果和目标检测区域确定视网膜眼底血管的各血管分支的结构属性信息；以及根据所述结构属性信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。利用本申请的方案，可以获得完整且连续走向的血管分支以及结构属性信息，以获得准确的弯曲度测量结果。

Description

确定视网膜眼底血管的弯曲度的方法、设备和存储介质

技术领域

本申请一般涉及视网膜眼底血管技术领域。更具体地，本申请涉及一种用于确定视网膜眼底血管的弯曲度的方法、设备和计算机可读存储介质。

背景技术

心血管疾病是我国居民的首要死因，早期识别心血管疾病的高危个体是心血管疾病防治工作的关键所在，也是当前国内外相关疾病防治指南的重要内容。研究表明，视网膜是全身唯一可以直接观察到血管和神经的部位，通过评估视网膜血管的病变程度可提示系统性血管病变的状况。例如，通过评估高血压患者的视网膜会出现特异性的改变，如视网膜反光带增宽，视网膜眼底血管的管径比减小，视网膜眼底血管的弯曲度增大等。又例如，通过评估阿尔兹海默患者的视网膜，也会发现视网膜眼底血管的弯曲度参数与阿尔兹海默病存在相关性。在实际应用场景中，在评估时往往需要先分割视网膜眼底血管，再进行弯曲度参数的测量。

近些年，随着计算机视觉技术的快速发展，基于深度学习技术的语义分割模型能实现图像中目标轮廓的精确提取，从而进一步得到目标精确的形态信息测量结果。目前，已经有许多使用计算机视觉技术对医疗影像进行自动分析处理的研究工作。然而，现有的方法是直接对分割出的眼底血管网络以分叉和交叉点进行血管段分离，使得分支的走向连续性得到破坏，从而导致测量结果不精准。此外，基于现有的方法无法保留被测量眼底血管分支的结构属性，使得测量的结果的对象不明确，可对比性较差。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本申请提供了一种用于确定视网膜眼底血管的弯曲度的方案。利用本申请的方案，可以获得完整且连续走向的血管分支以及结构属性信息，以获得准确的弯曲度测量结果。为此，本申请在如下的多个方面提供解决方案。

在第一方面中，本申请提供一种用于确定视网膜眼底血管的弯曲度的方法，包括：获取待进行确定视网膜眼底血管的弯曲度的视网膜眼底图像；基于所述视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和所述目标检测区域；基于所述动静脉分割结果和目标检测区域确定视网膜眼底血管的各血管分支的结构属性信息；以及根据所述结构属性信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。

在一个实施例中，其中所述神经网络模型包括动静脉分割模型和目标检测模型，并且基于所述视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和目标检测区域包括：使用所述动静脉分割模型对所述视网膜眼底图像进行动静脉分割，以获取所述动静脉分割结果；以及使用所述目标检测模型对所述视网膜眼底图像进行目标检测，以获取所述目标检测区域和对应的位置信息。

在另一个实施例中，其中基于所述动静脉分割结果和所述目标检测区域确定视网膜眼底血管的各血管分支的结构属性信息包括：基于所述动静脉分割结果和所述目标检测区域分割出所述视网膜眼底血管中的血管骨架的多个连通区域；根据所述目标检测区域对应的位置信息和所述多个连通区域确定所述视网膜眼底血管中的血管主干分支和对应的主干分支起点；以及基于所述对应的主干分支起点，利用深度优先搜索算法确定视网膜眼底血管的各血管分支的结构属性信息。

在又一个实施例中，其中根据所述目标检测区域对应的位置信息和所述多个连通区域确定所述视网膜眼底血管中的血管主干分支和对应的主干分支起点包括：根据所述目标检测区域对应的位置信息确定所述视网膜眼底图像的颞侧；将所述多个连通区域中重心位于所述颞侧并且连通面积大于预设面积阈值的连通区域确定为所述视网膜眼底血管中的血管主干分支；以及根据所述目标检测区域的边界与所述血管主干分支的交点确定为对应的主干分支起点。

在又一个实施例中，其中基于所述对应的主干分支起点，利用深度优先搜索算法确定视网膜眼底血管的各血管分支的结构属性信息包括：以所述对应的主干分支起点为中心，搜索目标邻域中的相应主干分支的前景的像素个数；基于所述像素个数设置新主干分支起点或者从相应主干分支分离出两个新分支；响应于设置新主干分支起点，以所述新主干分支起点，搜索所述目标邻域中的相应主干分支的前景的像素个数；或者响应于从相应主干分支分离出两个新分支，确定所述两个新分支的结构属性信息并根据所述两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

在又一个实施例中，其中根据所述两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息包括：对所述两个新分支进行分支判断，以判断所述两个新分支属于分支点的分支或者分岔点的分支；以及根据判断结果和相应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

在又一个实施例中，其中根据判断结果和相应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息包括：响应于所述两个新分支属于分岔点的分支，保存所述两个新分支和相应的结构属性信息；或者响应于所述两个新分支属于分支点的分支，基于管径值判断所述两个新分支中的大分支和小分支，保存所述小分支和相应的结构属性信息以及基于所述大分支和相应的结构属性信息进行搜索，以确定视网膜眼底血管的各血管分支的结构属性信息。

在又一个实施例中，其中所述结构属性信息至少包括坐标信息，并且根据所述结构属性信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度包括：基于预设步长从所述结构属性信息中依次选取目标点和所述目标点的坐标信息；根据所述目标点选取与其连续相关的两个坐标点和对应的坐标信息；以及基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。

在又一个实施例中，其中基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度包括：基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计计算曲率值；以及根据所述曲率值确定所述视网膜眼底血管的各血管分支的弯曲度。

在第二方面中，本申请还提供一种用于确定视网膜眼底血管的弯曲度的设备，包括：处理器；以及存储器，其存储有用于确定视网膜眼底血管的弯曲度的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面中的多个实施例。

在第三方面中，本申请还提供一种计算机可读存储介质，其上存储有用于确定视网膜眼底血管的弯曲度的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面中的多个实施例。

通过本申请的方案，通过神经网络模型分别获取动静脉分割结果和目标检测区域，以基于动静脉分割结果和目标检测区域确定视网膜眼底血管的各血管分支的结构属性信息，可以获得完整连续走向的血管分支的结构属性信息，以便获得准确的弯曲度测量结果。进一步地，本申请实施例通过深度优先搜索来搜索各血管分支的结构属性信息以及通过曲率估计来计算各血管分支的弯曲度，极大地提升了测量精度，不仅有利于不同患者之间的视网膜眼底血管的弯曲度的横向对比，也有利于同一患者不同时期中更细粒度的参数变化对比。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本申请实施例的用于确定视网膜眼底血管的弯曲度的方法的示例性流程框图；

图2是示出根据本申请实施例的预处理后的视网膜眼底图像的示例性示意图；

图3是示出根据本申请实施例的获取的动静脉分割结果和目标检测区域的示例性示意图；

图4是示出根据本申请实施例的视网膜眼底图像分为颞上侧、颞下侧，鼻上侧以及鼻下侧四个区域的示例性示意图；

图5是示出根据本申请实施例的颞侧动脉的血管主干分支和对应的主干分支起点的示例性示意图；

图6是示出根据本申请实施例的选取的目标点与其连续相关的两个坐标点示例性示意图；以及

图7是示出根据本申请实施例的用于确定视网膜眼底血管的弯曲度的设备的示例性结构框图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本申请的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是示出根据本申请实施例的用于确定视网膜眼底血管的弯曲度的方法100的示例性流程框图。如图1中所示，在步骤102处，获取待进行确定视网膜眼底血管的弯曲度的视网膜眼底图像。在一个实施场景中，可以通过例如眼底相机采集设备来采集前述视网膜眼底图像。基于采集的视网膜眼底图像，在步骤104处，基于视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和目标检测区域。在一些实施例中，可以对视网膜眼底图像进行预处理操作，以基于预处理后的视网膜眼底图像获取动静脉分割模型和目标检测模型。例如，首先可以通过像素值判断方法去除视网膜眼底图像中边界的黑色背景区域，接着使用直方图均衡化进行处理，以获得预处理后的视网膜眼底图像（例如图2中的右图所示）。

在一个实施例中，上述神经网络模型可以包括动静脉分割模型和目标检测模型。具体而言，可以通过使用动静脉分割模型对视网膜眼底图像进行动静脉分割，以获取动静脉分割结果，通过使用目标检测模型对视网膜眼底图像进行目标检测，以获取目标检测区域和对应的位置信息。其中，前述动静脉分割结果包括动脉分割结果和静脉分割结果，前述目标检测区域可以例如是视盘和黄斑区域（例如图3中所示）。

在一个实现场景中，可以采用训练好的动静脉分割模型和目标检测模型分别获取动静脉分割结果和目标检测区域。在一个实施例中，前述动静脉分割模型可以包括U型连接的全卷积神经网络（例如unet基础网络）和二分类分支网络。在该场景下，将视网膜眼底图像输入至动静脉分割模型，首先通过unet基础网络对视网膜眼底图像进行特征提取，以获得特征向量（或者特征图）。接着，通过将特征向量输入至二分类分支网络，以分别输出动脉分割结果和静脉分割结果，其分别包含动脉和静脉的前景（或者说是掩膜）信息。其中，在前述二分类分支网络中可以采用激活函数sigmoid，以确保数据在传递的过程中不容易发散。在一个实施例中，前述目标检测模型可以例如是YOLOv3网络模型，通过将视网膜眼底图像输入至YOLOv3网络模型，可以获得视盘和黄斑区域以及其各自的位置信息。

在获得上述动静脉分割结果和目标检测区域后，在步骤106处，基于动静脉分割结果和目标检测区域确定视网膜眼底血管的各血管分支的结构属性信息。在一个实施例中，首先可以基于动静脉分割结果和目标检测区域分割出视网膜眼底血管中的血管骨架的多个连通区域，接着根据目标检测区域对应的位置信息和多个连通区域确定视网膜眼底血管中的血管主干分支和对应的主干分支起点，进而基于对应的主干分支起点，利用深度优先搜索算法确定视网膜眼底血管的各血管分支的结构属性信息。

在一个实现场景中，在基于动静脉分割结果和目标检测区域分割多个连通区域中，首先可以分别取动脉分割结果或静脉分割结果，将目标检测区域（如视盘区域）内的像素置为背景值0。接着，采用例如OPENCV中的connectedComponents()函数进行处理，以分割出动脉分割结果或静脉分割结果中的前景区域的多个连通区域。进一步地，可以基于标检测区域对应的位置信息和多个连通区域确定血管主干分支和对应的主干分支起点。在一个实施场景中，首先可以根据目标检测区域对应的位置信息确定视网膜眼底图像的颞侧，接着将多个连通区域中重心位于颞侧并且连通面积大于预设面积阈值的连通区域确定为视网膜眼底血管中的血管主干分支，进而根据目标检测区域的边界与血管主干分支的交点确定为对应的主干分支起点。

具体来说，可以根据视盘和黄斑的位置信息，将视网膜眼底图像分为颞上侧、颞下侧，鼻上侧以及鼻下侧四个区域（例如图4所示），并且通过以视盘为中心，将黄斑所在的区域确定为颞侧，在视盘中心上方的为颞上侧，在视盘中心下方的为颞下侧。在确定颞侧后，将多个连通区域中重心位于颞侧并且连通面积大于预设面积阈值的连通区域确定为血管主干分支（例如图5中左图所示出的颞侧动脉的血管主干分支）。进一步地，取视盘边界与血管主干分支中血管骨架的交点作为起始点，以分别得到血管主干分支对应的主干分支起点（例如图5中右图所示出的起点）。根据获得的主干分支起点，通过利用深度优先搜索算法可以获得各血管分支的结构属性信息。

在一个实施例中，首先以对应的主干分支起点为中心，搜索目标邻域中的相应主干分支的前景的像素个数，接着基于像素个数设置新主干分支起点或者从相应主干分支分离出两个新分支。响应于设置新主干分支起点，以新主干分支起点，搜索目标邻域中的相应干分支的前景的像素个数。响应于从相应主干分支分离出两个新分支，确定两个新分支的结构属性信息并根据两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

在一个实现场景中，上述目标邻域可以例如是8邻域。可以理解，由于血管分支为1或者2，由此目标邻域中的相应主干分支的前景的像素个数为1或者2。在一个实施例中，当像素个数为1可以设置新主干分支起点，当像素个数为2可以从相应主干分支分离出两个新分支。在实施场景中，将像素个数为1的前景点确定为新主干分支起点，基于当像素个数为2的两个前景点从相应主干分支分离出两个新分支。基于设置的新主干分支起点，继续搜索目标邻域中的相应干分支的前景的像素个数。基于分离出两个新分支，确定两个新分支的结构属性信息并根据两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

也就是说，当目标邻域中存在一个前景点时，以该前景点为中心，继续搜索其目标邻域中的前景的像素个数，再根据像素个数确定设置下一新起点或者分离新分支。当目标邻域中存在两个前景点时，基于两个前景点分离出两个新支点，以确定视网膜眼底血管的各血管分支的结构属性信息。在一个实施场景中，首先通过对两个新分支进行分支判断，以判断两个新分支属于分支点的分支或者分岔点的分支，接着根据判断结果和相应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

更为具体地，在一个实施例中，响应于两个新分支属于分岔点的分支，保存两个新分支和相应的结构属性信息。响应于两个新分支属于分支点的分支，基于管径值判断两个新分支中的大分支和小分支，保存小分支和相应的结构属性信息以及基于大分支和相应的结构属性信息进行搜索，以确定视网膜眼底血管的各血管分支的结构属性信息。也即，基于分离出的两个新分支，首先判断这两个新分支是属于分支点的分支或者分岔点的分支。当两个新分支属于分岔点的分支时，将这两个新分支及其相应的结构属性信息进行保存。当两个新分支属于分支点的分支，再根据其各自的管径值确定其中的大分支和小分支。对于小分支而言，可以直接保存该小分支及其相应的结构属性信息，而对于大分支而言，再通过前述深度优先搜索操作继续搜索，直至遍历完所有血管主干分支时停止，获得视网膜眼底血管的各血管分支的结构属性信息。

进一步地，在步骤108处，根据结构属性信息，利用曲率估计确定视网膜眼底血管的各血管分支的弯曲度。其中，前述结构属性信息中至少可以包括血管前景点的坐标信息。在一个实施场景中，首先可以基于预设步长从结构属性信息中依次选取目标点和所述目标点的坐标信息，接着根据目标点选取与其连续相关的两个坐标点和对应的坐标信息，以基于目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。

在一些实施例中，在选取与目标点连续相关的两个坐标点时，可以根据预设时间间隔，选取连续预设时间间隔下的坐标点，以确定所述视网膜眼底血管的各血管分支的弯曲度。具体地，基于目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计计算曲率值，进而根据曲率值确定视网膜眼底血管的各血管分支的弯曲度。

结合上述描述可知，本申请实施例通过使用训练好的动静脉分割模型和目标检测模型分别获取动静脉分割结果和目标检测区域，以获得完整连续走向的血管主干分支和对应的结构属性信息。接着，通过以各血管主干分支的起点为中心，利用深度优先搜索来获取更细小且连续的分支，并通过各分支上的三个坐标点计算曲率值，进而通过曲率值计算各血管分支的弯曲度。基于此，可以获得完整连续走向的血管分支的结构属性信息，从而获得准确的弯曲度测量结果。

图2是示出根据本申请实施例的预处理后的视网膜眼底图像的示例性示意图。如图2中左图所示为待进行确定视网膜眼底血管的弯曲度的视网膜眼底图像，如图2中右图所示为预处理后的视网膜眼底图像。根据前文可知，通过像素值判断方法去除图2中左图所示的视网膜眼底图像中边界的黑色背景区域，并使用直方图均衡化进行处理，可以获得图2中右图预处理后的视网膜眼底图像。基于获得的预处理后的视网膜眼底图像，通过神经网络模型（包括动静脉分割模型和目标检测模型）可以分别获取动静脉分割结果（包括动脉分割结果和静脉分割结果）和目标检测区域（例如视盘区域和黄斑区域），例如图3中所示。

图3是示出根据本申请实施例的获取的动静脉分割结果和目标检测区域的示例性示意图。如图3中左图所示为视网膜眼底图像，将视网膜眼底图像输入至神经网络模中，首先经过动静脉分割模型对齐进行分割，获得动静脉分割结果。接着，经由目标检测区域进行目标检测，获得目标检测区域，例如图3中右图所示。在实现场景中，前述动静脉分割模型可以包括例如unet基础网络和二分类分支网络，以分别获得动脉分割结果和静脉分割结果，其分别包含动脉和静脉的前景信息（例如图中箭头所指处）。前述目标检测模型可以例如是YOLOv3网络模型，经前述YOLOv3网络模型获得视盘区域（例如图中圆形框内所示）和黄斑区域（例如图中矩形框内所示）以及各自的位置信息。

根据上述获得的动静脉分割结果和目标检测区域，首先可以分割出视网膜眼底血管中的血管骨架的多个连通区域。如前所述，首先可分别取动脉分割结果或静脉分割结果，将例如视盘区域内的像素置为背景值0，通过采用例如OPENCV中的connectedComponents()函数进行处理，以分割出动脉分割结果或静脉分割结果中的前景区域的多个连通区域。接着，将多个连通区域中重心位于颞侧（例如图4所示）并且连通面积大于预设面积阈值T的连通区域确定为视网膜眼底血管中的血管主干分支。进一步地，可以根据目标检测区域的边界与血管主干分支的交点确定对应的主干分支起点（例如图5中所示）。

图4是示出根据本申请实施例的视网膜眼底图像分为颞上侧、颞下侧，鼻上侧以及鼻下侧四个区域的示例性示意图。如图4中所示，以视盘为中心，将黄斑（图中未示出）所在的区域确定为颞侧，在视盘中心上方的为颞上侧，在视盘中心下方的为颞下侧。进一步地，将黄斑（图中未示出）所在的区域的另外一侧确定为鼻侧，在视盘中心上方的为鼻上侧，在视盘中心下方的为鼻下侧。

图5是示出根据本申请实施例的颞侧动脉的血管主干分支和对应的主干分支起点的示例性示意图。如图5中的左图示例性示出颞侧动脉的四个血管主干分支。在实施场景中，可以分别对该四个血管主干分支取血管骨架，通过取视盘边界和血管骨架的交点为起点，以分别获得图5中的右图示出的四个血管主干分支的起始点。

进一步地，获得的主干分支起点，通过利用深度优先搜索算法可以获得各血管分支的结构属性信息。具体地，通过以对应的主干分支起点为中心，搜索目标邻域中的相应主干分支的前景的像素个数。当目标邻域中存在一个前景点时，以该前景点为中心，继续搜索其目标邻域中的前景的像素个数，再根据像素个数确定设置下一新起点或者分离新分支。当目标邻域中存在两个前景点时，基于两个前景点分离出两个新支点，通过对两个新分支进行分支判断，以判断两个新分支属于分支点的分支或者分岔点的分支。

接着，当两个新分支属于分岔点的分支时，将这两个新分支及其相应的结构属性信息进行保存。当两个新分支属于分支点的分支，再根据其各自的管径值确定其中的大分支和小分支。对于小分支而言，可以直接保存该小分支及其相应的结构属性信息，而对于大分支而言，再通过前述深度优先搜索操作继续搜索，直至遍历完所有血管主干分支时停止，获得视网膜眼底血管的各血管分支的结构属性信息。

在一个实现场景中，具体可以通过一下步骤Step1-步骤Step4来获取各血管分支的结构属性信息：

Step1：建立一个保存待处理血管分支信息的列表，待上述得到的主干分支的结构属性信息加入到列表中。其中，表示血管主干分支的连通区域的前景（或者说掩膜），表示起始点，表示结构属性（即第一分支、第二分支、… 、第N分支，其中表示血管主干分支），s表示位置信息（例如位于颞上侧或者位于颞下侧）。

 Step2：从列表中取待处理的分支的掩膜，通过起始点以及结构属性和位置信息，建立一个存储血管连续走向的列表；

Setp3：将起始点加入到列表中，在掩膜中将点设置为背景（即值为0），并以为中心，搜索8邻域中的前景的像素个数n。当像素个数n为1时，则将该前景的坐标设置为新的起始点，并且重复Setp3；当像素个数n为2时，则基于该两个前景像素分离出两个新分支，将其分别记为和。其中，和为8邻域中的前景点，和为对应的连通域的掩膜，和都与相同（即位置与主干相同）。

接上述Setp3，基于分离出的两个新分支，判断两个新分支是分支点的分支还是分岔点的分支。当判断为分岔点的分支时，则将两个新分支的结构属性信息都加入到列表中，并且此情形下），进而保存列表为一个血管连续走向结果，并且继续Step2。当判断为分支点的分支时，计算两个新分支的起始点所在的管径值，以确定小分支和分支。对于小分支，将小分支的结构属性信息都加入到列表中，并且此情形下。对于大分支（主干分支），，继续Setp3。在一些实施例中，可以通过两个分支的管径值来确定分支点和分岔点。例如当两个分支的管径值的比值大于预设值时，判断为分支点。反之，则判断为分岔点。

Setp4：当列表为空，则结束并返回所有的列表，其包含各血管分支的结构属性信息。

在获得上述各血管分支的结构属性信息后，可以利用曲率估计确定视网膜眼底血管的各血管分支的弯曲度。在一个实施场景中，对于每个血管主干分支对于的列表，首先可以按照预设步长依次取出一个目标点和对应的坐标值，例如目标点，其中，表示分支数，并且的值小于等于列表的长度。接着，对每一个目标点，根据预设时间间隔选取与其连续相关的两个坐标点和对应的坐标信息，例如根据间隔值从列表中取出和，例如图6所示。

图6是示出根据本申请实施例的选取的目标点与其连续相关的两个坐标点示例性示意图。如图6中所示为目标点和与其连续相关的两个坐标点和。进一步地，根据前述三个坐标点，和（例如图6中所示），利用曲率估计的算法计算曲率值，进而基于公式计算各血管分支的弯曲度。

在一个实施例中，在计算曲率值时，首先可以将选取的三个坐标点，和拟合至二维参数方程，例如以下式子表示：

 （1）

其中，x,y表示三个坐标点，和拟合后的坐标，和均表示常系数，t表示x和y之间的对应关系。

基于上述二维参数方程，可以获得方程的上限值和下限值，并且将其应用于三个坐标点，和上，例如：

  （2）

其中，分别为三个坐标点，和。进一步地，上述公式（2）可以变化成如下式子：

 （3）

和

 （4）

接着，上述公式（3）和公式（4）可以通过矩阵表示，例如下方公式（5）和公式（6）所示：

 （5）

和

 （6）

在一个实施例中，上述公式（5）和公式（6）可以通过逆矩阵进行求解，例如：

 （7）

基于上述公式（7）可以分别获得和，由此可以获得曲线的参数方程，并且获得曲线的导数，即：

 （8）

可以理解，在二维参数方程中，曲率值。由此，将上述公式（7）中各阶导数代入曲率值中，可以获得：

 （9）

基于上述获得的曲率值，通过即可获得各血管分支的弯曲度测量结果。在本申请实施例中，通过深度优先搜索来搜索各血管分支的结构属性信息以及通过曲率估计来计算各血管分支的弯曲度，极大地提升了测量精度，不仅有利于不同患者之间的视网膜眼底血管的弯曲度的横向对比，也有利于同一患者不同时期中更细粒度的参数变化对比。

图7是示出根据本申请实施例的用于确定视网膜眼底血管的弯曲度的设备700的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图7中所示，本申请的设备可以包括中央处理器或中央处理单元（“CPU”）711，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备700还可以包括大容量存储器712和只读存储器（“ROM”）713，其中大容量存储器712可以配置用于存储各类数据，包括各种与视网膜眼底图像、算法数据、中间结果和运行设备700所需要的各种程序。ROM 713可以配置成存储对于设备700的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备700还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）714、图形处理单元（“GPU”）715、现场可编程门阵列（“FPGA”）716和机器学习单元（“MLU”）717。可以理解的是，尽管在设备700中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备700可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于确定视网膜眼底血管的弯曲度的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备700还包括通信接口718，从而可以通过该通信接口718连接到局域网/无线局域网（“LAN/WLAN”）705，进而可以通过该LAN/WLAN连接到本地服务器706或连接到因特网（“Internet”）707。替代地或附加地，本申请的设备700还可以通过通信接口718基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备700还可以根据需要访问外部网络的服务器708和数据库709，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如视网膜眼底图像、动静脉分割结果、动静脉前景等的各类数据或指令。

设备700的外围设备可以包括显示装置702、输入装置703和数据传输接口704。在一个实施例中，显示装置702可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的确定视网膜眼底血管的弯曲度进行语音提示和/或图像视频显示。输入装置703可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口704可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口704可以接收来自于眼底相机采集的视网膜眼底图像，并且向设备700传送包括视网膜眼底图像或各种其他类型的数据或结果。

本申请的设备700的上述CPU 711、大容量存储器712、ROM 713、TPU 714、GPU 715、FPGA 716、MLU 717和通信接口718可以通过总线719相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线719，CPU 711可以控制设备700中的其他硬件组件及其外围设备。

以上结合图7描述了可以用于执行本申请的用于确定视网膜眼底血管的弯曲度的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图1-图6所描述的用于确定视网膜眼底血管的弯曲度的方法。

应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种用于确定视网膜眼底血管的弯曲度的方法，其特征在于，包括：

获取待进行确定视网膜眼底血管的弯曲度的视网膜眼底图像；

基于所述视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和目标检测区域；

基于所述动静脉分割结果和所述目标检测区域分割出所述视网膜眼底血管中的血管骨架的多个连通区域；

根据所述目标检测区域对应的位置信息确定所述视网膜眼底图像的颞侧；

将所述多个连通区域中重心位于所述颞侧并且连通面积大于预设面积阈值的连通区域确定为所述视网膜眼底血管中的血管主干分支；

根据所述目标检测区域的边界与所述血管主干分支的交点确定为对应的主干分支起点；

以所述对应的主干分支起点为中心，搜索目标邻域中的相应主干分支的前景的像素个数，以设置新主干分支起点或者从相应主干分支分离出两个新分支；

基于所述新主干分支起点继续搜索所述前景的像素个数；

确定所述两个新分支的结构属性信息并根据所述两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息；以及

根据所述结构属性信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。

2. 根据权利要求1所述的方法，其特征在于，所述神经网络模型包括动静脉分割模型和目标检测模型，并且基于所述视网膜眼底图像，使用神经网络模型分别获取动静脉分割结果和目标检测区域包括：

使用所述动静脉分割模型对所述视网膜眼底图像进行动静脉分割，以获取所述动静脉分割结果；以及

使用所述目标检测模型对所述视网膜眼底图像进行目标检测，以获取所述目标检测区域和对应的位置信息。

3. 根据权利要求1所述的方法，其特征在于，根据所述两个新分支及其对应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息包括：

对所述两个新分支进行分支判断，以判断所述两个新分支属于分支点的分支或者分岔点的分支；以及

根据判断结果和相应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息。

4. 根据权利要求3所述的方法，其特征在于，根据判断结果和相应的结构属性信息确定视网膜眼底血管的各血管分支的结构属性信息包括：

响应于所述两个新分支属于分岔点的分支，保存所述两个新分支和相应的结构属性信息；或者

响应于所述两个新分支属于分支点的分支，基于管径值判断所述两个新分支中的大分支和小分支，保存所述小分支和相应的结构属性信息以及基于所述大分支和相应的结构属性信息进行搜索，以确定视网膜眼底血管的各血管分支的结构属性信息。

5.根据权利要求1所述的方法，其特征在于，所述结构属性信息至少包括坐标信息，并且根据所述结构属性信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度包括：

基于预设步长从所述结构属性信息中依次选取目标点和所述目标点的坐标信息；

根据所述目标点选取与其连续相关的两个坐标点和对应的坐标信息；以及

基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度。

6. 根据权利要求5所述的方法，其特征在于，基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计确定所述视网膜眼底血管的各血管分支的弯曲度包括：

基于所述目标点的坐标信息和与其连续相关的两个坐标点对应的坐标信息，利用曲率估计计算曲率值；以及

根据所述曲率值确定所述视网膜眼底血管的各血管分支的弯曲度。

7. 一种用于确定视网膜眼底血管的弯曲度的设备，其特征在于，包括：

处理器；以及

存储器，其存储有用于确定视网膜眼底血管的弯曲度的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现根据权利要求1-6任意一项所述的方法。

8.一种计算机可读存储介质，其特征在于，其上存储有用于确定视网膜眼底血管的弯曲度的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-6任意一项所述的方法。

Images