CN114359284B - 用于对视网膜眼底图像进行分析的方法及其相关产品 - Google Patents

用于对视网膜眼底图像进行分析的方法及其相关产品 Download PDF

Info

Publication number
CN114359284B
CN114359284B CN202210270685.6A CN202210270685A CN114359284B CN 114359284 B CN114359284 B CN 114359284B CN 202210270685 A CN202210270685 A CN 202210270685A CN 114359284 B CN114359284 B CN 114359284B
Authority
CN
China
Prior art keywords
point
branch
network
artery
vein
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210270685.6A
Other languages
English (en)
Other versions
CN114359284A (zh
Inventor
黄烨霖
赵昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202210270685.6A priority Critical patent/CN114359284B/zh
Publication of CN114359284A publication Critical patent/CN114359284A/zh
Application granted granted Critical
Publication of CN114359284B publication Critical patent/CN114359284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于对视网膜眼底图像进行分析的方法及其相关产品。其中该方法包括：利用预训练的动静脉分割模型对所述视网膜眼底图像进行处理，以得到动脉分割结果和静脉分割结果，其中所述动脉分割结果包括连续的动脉网络，所述静脉分割结果包括连续的静脉网络；获取所述视网膜眼底图像中的定位参照物的位置信息；以及根据所述定位参照物的位置信息、所述动脉分割结果和所述静脉分割结果，确定所述动脉网络和所述静脉网络中关键点的结构属性信息。通过本发明的技术方案，利用关于视网膜眼底图像的连续的动脉网络和静脉网络，并结合定位参照物的位置信息，可以实现对关键点的多维度结构属性的精细化检测。

Description

用于对视网膜眼底图像进行分析的方法及其相关产品
技术领域
本发明一般地涉及图像处理技术领域。更具体地，本发明涉及一种用于对视网膜眼底图像进行分析的方法、以及执行前述方法的设备和计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
心血管疾病属于严重威胁人类健康的疾病，而早期识别心血管疾病高危个体是心血管疾病防治工作的关键所在。视网膜是全身唯一可以直接观察到血管和神经的部位，大量医学研究表明很多全身性的心血管疾病会反映在视网膜血管的形态变化中，通常可以通过对血管中关键点的检测和统计来分析心血管疾病的病症。传统的筛查方式依赖专业人员（例如医生）借助手动或半自动工具对视网膜的血管参数进行测量记录，效率很低。近些年，计算机辅助诊断技术快速发展，尤其是人工智能医疗影像分析技术，大大提高了辅助诊断的效率。
然而，目前基于深度学习的血管参数自动测量技术方案存在缺陷。基于医学常识可知，动脉和静脉的拓扑结构应当是连续的，且从视乳头中的主干出发，扩展出各个分支。然后，由于动脉和静脉存在互相交叉重叠的情况，通常在视网膜眼底图像中表现是动脉和静脉都存在局部遮掩，并且拍摄的眼底图像经常出现局部过暗或过亮的情况。若使用传统的分割网络（例如输出层共享参数且使用多类别的softmax激活函数）分割出来的动脉和静脉都出现拓扑结构上不连续的情况，进而基于该不连续的拓扑图无法进行关键点的精细化检测，使得测量结果单一且缺乏实用性。
发明内容
为了至少解决上述背景技术部分所描述的技术问题，本发明提出了一种用于对视网膜眼底图像进行分析的方法。通过从视网膜眼底图像中分割出连续的动脉网络和静脉网络，以便基于完整的动静脉网络进行关键点的精细化检测。
鉴于此，本发明在如下的多个方面提供解决方案。
本发明的第一方面提供了一种用于对视网膜眼底图像进行分析的方法，包括：利用预训练的动静脉分割模型对所述视网膜眼底图像进行处理，以得到动脉分割结果和静脉分割结果，其中所述动脉分割结果包括连续的动脉网络，所述静脉分割结果包括连续的静脉网络；获取所述视网膜眼底图像中的定位参照物的位置信息；以及根据所述定位参照物的位置信息、所述动脉分割结果和所述静脉分割结果，确定所述动脉网络和所述静脉网络中关键点的结构属性信息。
在一个实施例中，利用预训练的动静脉分割模型对所述视网膜眼底图像进行处理包括：将所述视网膜眼底图像输入至所述动静脉分割模型进行特征提取处理，以得到关于所述视网膜眼底图像的特征信息；以及将所述特征信息分别输入至所述动静脉分割模型中的不同输出分支中进行识别处理，以得到所述动脉分割结果和所述静脉分割结果。
在一个实施例中，其中所述动静脉分割模型包括U型连接的全卷积神经网络和二分类分支网络，并且所述动静脉分割网络是经由以下操作而预先训练的：利用所述U型连接的全卷积神经网络和所述二分类分支网络对训练用的眼底图像进行处理，以输出预测的动脉分割结果和静脉分割结果；对所述眼底图像分别进行动脉标注和静脉标注；以及分别利用所述预测的动脉分割结果和所述动脉标注、所述预测的静脉分割结果和所述静脉标注进行交叉熵损失计算，以基于相应的交叉熵损失训练所述动静脉分割模型。
在一个实施例中，确定所述动脉网络和所述静脉网络中关键点的结构属性信息包括：从所述动脉分割结果或所述静脉分割结果中分离出关于所述动脉网络或所述静脉网络的多个连通区域；依据所述定位参照物的位置信息确定所述多个连通区域对应的主干分支的起始点；以及基于每个主干分支的起始点、结合用深度优先搜索算法对每个主干分支进行关键点的结构属性信息的检测。
在一个实施例中，其中所述每个主干分支的关键点的结构属性信息包括分支点和/或分岔点的位置属性、距离属性以及角度属性。
在一个实施例中，对每个主干分支进行关键点的结构属性信息的检测包括：获取所述每个主干分支的掩膜图；从所述每个主干分支上的起始点开始，对所述每个主干分支上的待检测点执行以下操作：获取关于所述每个主干分支上的待检测点在其对应掩膜图中的前景点；基于所述待检测点在其对应掩膜图中的前景点，判断所述待检测点是否是分支点或者分岔点；以及响应于所述待检测点是分支点或者分岔点，确定所述待检测点为关键点，以及确定其对应的位置属性、距离属性以及角度属性。
在一个实施例中，判断所述待检测点是否是分支点或者分岔点包括：响应于确定所述待检测点在其对应掩膜图中存在两个前景点，获取每个前景点的管径值；以及利用所述每个前景点的管径值确定所述待检测点是分支点或者分岔点。
在一个实施例中，根据以下公式确定所述待检测点是分支点或者分岔点：
Figure 822064DEST_PATH_IMAGE001
；其中，
Figure 942466DEST_PATH_IMAGE002
、
Figure 987783DEST_PATH_IMAGE003
表示前景点的管径值，若
Figure 730129DEST_PATH_IMAGE004
小于或等于阈值，确定所述待检测点为分岔点，若
Figure 278922DEST_PATH_IMAGE004
大于阈值，确定所述待检测点为分支点。
在一个实施例中，其中所述定位参照物包括视盘和黄斑，依据所述定位参照物的位置信息确定所述多个连通区域对应的主干分支的起始点包括：分别对所述多个连通区域取骨架处理，以得到每个连通区域对应的血管中心线；根据所述视盘的边界与各个所述血管中心线的交点，确定每个连通区域对应的起始点；以及根据所述视盘的中心点和所述黄斑的位置信息，确定每个起始点所在的主干分支。
在一个实施例中，确定每个起始点所在的主干分支包括：基于所述视盘的中心点对所述视网膜眼底图像进行不同区域划分；根据不同区域中起始点与所述黄斑的距离远近，确定所述起始点所在主干分支为颞上、颞下、鼻上以及鼻下中的任一主干分支。
本发明的第二方面提供了一种设备，包括：处理器；以及存储器，其存储有用于对视网膜眼底图像进行分析的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据本发明的第一方面所述的方法。
本发明的第三方面提供了一种计算机可读存储介质，包含用于对视网膜眼底图像进行分析的程序指令，当所述程序指令由处理器执行时，使得实现根本发明的第一方面所述的方法。
利用本发明所提供的方案，通过关于视网膜眼底图像的连续的动脉网络和静脉网络，并结合定位参照物的位置信息，可以实现对关键点的多维度结构属性的检测。由此，本发明的方案可以实现对关键点的精细化检测，使得测量结果更加贴合实际需求。在本发明的一些实施例中，动静脉分割模型可以通过U型连接的全卷积神经网络和二分类分支网络进行训练来实现，其区别于传统分类层共享参数的形式，使得分割得到的动脉和静脉网络更完整，从而有利于后续的关键点检测任务。
在本发明的另一些实施例中，可以根据定位参照物（例如视盘和黄斑）的位置信息来确定主干分支的起始点，并利用深度优先搜索的算法，从起始点开始沿主干分支走向顺序查找各个分支点/分岔点并确定其结构属性（例如分支点和/或分岔点的位置属性、距离属性以及角度属性）。由此，可以根据关键点的多维度的结构属性信息大大增加辅助诊断的信息，从而能够为相关人员提供更好的诊断决策。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本发明一个实施例的用于对视网膜眼底图像进行分析的方法流程图；
图2是示出根据本发明实施例的动静脉分割模型的框架图；
图3是示出根据本发明实施例的动静脉分割模型的训练流程图；
图4是示出根据本发明实施例的动静脉分割模型训练用的动静脉标注示意图；
图5是示出根据本发明另一个实施例的用于对视网膜眼底图像进行分析的方法流程图；
图6是示出根据本发明实施例的检测各主干分支上关键点的方法流程图；
图7是示出根据本发明实施例的经目标检测模型和动静脉分割模型处理的视网膜眼底图像；
图8是示出根据本发明实施例的从动脉分割结果中分离出的四个连通区域的主干分支图；
图9是示出根据本发明实施例的四个连通区域对应的血管骨架以及起始点的示意图；
图10是示出根据本发明实施例的主干分支的掩膜图；
图11是示出根据本发明实施例的8连通算子的示意图；以及
图12是示出根据本发明实施例的分岔角度的算法示意图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施方式的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合附图来详细描述本发明的具体实施方式。
图1是示出根据本发明一个实施例的用于对视网膜眼底图像进行分析的方法100流程图。
如图1所示，在步骤S101处，可以利用预训练的动静脉分割模型对视网膜眼底图像进行处理，以得到包括连续动脉网络的动脉分割结果和包括连续静脉网络的静脉分割结果。如前文所述，现有的关键点检测结果存在不全面以及缺乏精细化结构属性的问题。为了克服这一问题，发明人经过大量研究发现对视网膜眼底图像中血管的有效识别为一关键因素。因拍摄因素或视网膜自身生理的影响，使得利用传统分割技术得到的血管分割结果存在拓扑结构上的不连续性，进而基于该不连续的拓扑结构进行的关键点检测存在缺失以及缺乏精细化结构属性的问题。为此，发明人发现通过对视网膜眼底图像中动脉网络和静脉网络进行分别分割识别，可得到连续的动静脉网络。具体地，通过将该视网膜眼底图像输入至预先训练好的动静脉分割模型中进行处理，可以得到包括连续动脉网络的动脉分割结果和包括连续静脉网络的静脉分割结果，从而为后续实现关键点的精细化检测提供前提保障。可以理解的是，这里的视网膜眼底图像可以包括由光学仪器或其他图像采集设备采集到的眼底图像，例如RGB眼底图像。
接着，在步骤S102处，可以获取前述视网膜眼底图像中的定位参照物的位置信息。在一些实施例中，这里的定位参照物的位置信息可以包括定位参照物在图像中的坐标等。而定位参照物可以根据实际应用需求进行调整，例如可以包括视网膜眼底图像中的视盘和/或黄斑，或其他一些与血管网络之间形成相对固定位置关系的参照物等。结合定位参照物的位置信息可以确定关键点的精细化属性信息（例如关键点所属的血管位置以及关键点在血管上的具体位置信息等）。
接着，在步骤S103处，可以根据前述的定位参照物的位置信息、动脉分割结果和静脉分割结果，来确定前述动脉网络和静脉网络中关键点的结构属性信息。具体地，可以根据定位参照物的位置信息和动脉分割结果确定动脉网络中关键点的结构属性信息，以及根据定位参照物的位置信息和静脉分割结果确定静脉网络中关键点的结构属性信息。由此，可避免因动静脉网络间断不连续而导致对关键点的检测不够全面，同时结合定位参照物的位置信息可以实现对关键点进行全面及精细化的检测。
进一步地，在一些实施例中，前述的动静脉分割模型可以通过预训练来获得。在实际应用中，可以将视网膜眼底图像输入至该动静脉分割模型进行特征提取处理，以得到关于该视网膜眼底图像的特征信息，并将该特征信息分别输入至前述动静脉分割模型中的不同输出分支中进行识别处理，以得到动脉分割结果和静脉分割结果。对于前述的动静脉分割模型的训练方式可以有多种，图2和图3分别示出了一种动静脉分割模型的可行性训练框架200和训练过程300。
具体地，如图2所述，前述的动静脉分割模型可以包括U型连接的全卷积神经网络（例如unet基础网络
Figure 507910DEST_PATH_IMAGE005
）和二分类分支网络（例如输出分支
Figure 712626DEST_PATH_IMAGE006
和输出分支
Figure 849209DEST_PATH_IMAGE007
）。其中，unet基础网络
Figure 783667DEST_PATH_IMAGE005
的功能是特征提取，该部分可以采用传统unet的网络结构和参数。例如，unet基础网络
Figure 980293DEST_PATH_IMAGE005
部分的输入可以是尺寸为512×512×3的RGB眼底图像，而输出是512×512×128的特征图。unet基础网络
Figure 875568DEST_PATH_IMAGE005
部分的输出特征图分别输入到分支
Figure 812913DEST_PATH_IMAGE006
和分支
Figure 601877DEST_PATH_IMAGE007
中（其中分支
Figure 234984DEST_PATH_IMAGE006
可以负责输出动脉的分割结果，分支
Figure 883134DEST_PATH_IMAGE007
可以负责输出静脉的分割结果）。其中，输出分支
Figure 423837DEST_PATH_IMAGE006
和分支
Figure 270570DEST_PATH_IMAGE007
部分分别负责一个类别的二分类结果，且输出分支
Figure 746682DEST_PATH_IMAGE006
和分支
Figure 210024DEST_PATH_IMAGE007
部分的结构和网络超参数相同。例如，可以采用输入尺寸为512×512×128、输出尺寸为512×512×2、输出层的激活函数为sigmoid的二分类分支网络。其中采用激活函数sigmoid可确保数据在传递的过程中不容易发散。需要说明的是，这里对动静脉分割模型各种细节性描述仅是示例性说明。
在一些实施例中， Unet网络通常可以包括特征提取部分和上采样部分。其中特征提取部分每经过一个池化层就是一个尺度。本发明所采用的unet基础网络
Figure 429784DEST_PATH_IMAGE005
+二分类分支网络所构建的动静脉分割模型不同于传统的分割网络。传统的分割网络多采用输出层共享参数且使用多类别的softmax激活函数，其不具体区分动静脉，且所输出的血管网络会因动静脉局部相互遮挡而导致拓扑结构不连续。本发明方案中的unet基础网络可以采用传统unet的网络结构和参数来进行特征的提取，然后利用二分类分支网络对unet基础网络
Figure 131024DEST_PATH_IMAGE005
部分输出的特征图进行识别，从而实现对动脉网络和静脉网络的单独分割。由此，可以有效规避局部动静脉相互遮挡所产生的影响等情况，从而能够得到连续的动脉网络和静脉网络，以为后续对关键点进行全局及精细化测量提供必要前提保障。
在一些实施例中，该动静脉分割模型的训练过程具体如图3所示。例如，在步骤S301处，可以利用U型连接的全卷积神经网络和二分类分支网络对训练用的眼底图像进行处理，以输出预测的动脉分割结果和静脉分割结果。具体地，可以将眼底图像输入至U型连接的全卷积神经网络以进行特征提取，然后将提取到的特征分别输入至二分类分支网络中的各个分支中进行识别，以输出预测的动脉分割结果和静脉分割结果。在步骤S302处，可以对前述的眼底图像分别进行动脉标注和静脉标注。分割标注使用动脉和静脉分别标注，具体可以在动静脉交叉重叠的地方，同时标注动脉和静脉的前景信息。另外，在因拍摄因素或生理上部分血管未显露在视网膜上等情况导致视网膜眼底图像中出现局部缺失时，可以根据对血管走向认识的经验补上这部分标注。图4是示出一种动静脉标注过程400示意图。如图4所示，标注的动脉和静脉网络是主干从视盘区域延伸出来与其余分支连接为一个整体的（除了部分从视野外伸展到边界的少量血管枝干以及从视盘中伸展出来的小血管分支，是与主干血管不连接的）。
接着，在步骤S303处，可以分别利用前述预测的动脉分割结果和动脉标注、预测的静脉分割结果和静脉标注进行交叉熵损失计算，以基于相应的交叉熵损失训练动静脉分割模型。可以看出，本发明采用的动静脉分割模型（例如前述的多输出分支的unet网络）不同于传统的分割网络，其具体可以由每个分支来负责一个类别的二分类结果，从而能够分别输出连续的动脉和静脉网络，有益于后续的参数检测以及测量工作。
图5是示出根据本发明另一个实施例的用于对视网膜眼底图像进行分析的方法500流程图。可以理解的是，方法500可以是对方法100中部分步骤的进一步限定和补充。因此，前文结合图1中的一些细节性描述同样适用于下文。
如图5所示，在步骤S501处，可以利用预训练的动静脉分割模型对视网膜眼底图像进行处理，以得到动脉分割结果和静脉分割结果。这里的动静脉分割模型可以参考前文图1至图4中的相关描述，这里不再进行赘述。接着，在步骤S502处，可以获取该视网膜眼底图像中的定位参照物的位置信息。在一些实施例中，前述的定位参照物可以包括视盘和黄斑。具体可以通过预训练的眼底部位的目标检测模型来检测该视盘和黄斑的位置信息。例如，前述的目标检测模型可以使用YOLOv3的网络结构，其输入可以是尺寸为512×512×3的RGB图像，其可以输出目标类别以及对应的矩形框坐标信息。另外，训练阶段可以使用带检测标注的数据进行监督训练。需要说明的是，这里对目标检测模型的细节性描述仅是示例性说明，本发明的方案并不受此限制。
在一些实施例中，可以利用目标检测模型和动静脉分割模型对视网膜眼底图像进行并行处理。图7是示出根据本发明实施例的经目标检测模型和动静脉分割模型处理的视网膜眼底图像700。如图7所示，视网膜眼底图像经前述的目标检测模型和动静脉分割模型处理后，可以得到视盘和黄斑的位置信息，以及动脉分割结果和静脉分割结果。其中，图中深颜色的血管网络是静脉分割结果，浅色的是动脉分割结果。
在得到视盘、黄斑的位置信息以及动脉分割结果和静脉分割结果之后，继续图5。在骤S503处，可以从前述的动脉分割结果或静脉分割结果中分离出关于动脉网络或静脉网络的多个连通区域。具体地，以对动脉网络中关键点的检测为例（需要说明的是，静脉网络中关键点的检测过程可以参考动脉网络中关键点的检测过程）。可以取动脉分割结果，将视盘区域内像素置为背景值0。然后用OPENCV中的connectedComponents()函数进行处理，分离出动脉分割结果中前景区域的每个连通区域。如图8所示，在实际应用中，可以保留4个面积最大连通区域对应的主干分支网络。
接着，在步骤S504处，可以依据前述的定位参照物的位置信息确定多个连通区域对应的主干分支的起始点。在一些实施例中，可以分别对多个连通区域取骨架处理，以得到每个连通区域对应的血管中心线。同时，可以使用OPENCV中的distanceTransform()函数得到每部分（例如每个待测点）的管径值，记为
Figure 433829DEST_PATH_IMAGE008
。接着，可以根据视盘的边界与各个血管中心线的交点来确定每个连通区域对应的起始点。最后，可以根据前述视盘的中心点和黄斑的位置信息确定每个起始点所在的主干分支。由此，通过起始点的确定，有利于后续依次实现关键点的全局检测以及具体的结构属性的检测（例如每个关键点相对起始点的距离等）。
在一些实施例中，可以基于视盘的中心点对视网膜眼底图像进行不同区域划分。例如，如图9所示，可以取视盘边界与血管中心线交点为起始点，分别得到4个主干分支的起始点
Figure 313362DEST_PATH_IMAGE009
。具体地，以视盘为中心点画水平线，将视网膜分为上半部分和下半部分，结合黄斑的位置信息，上半部分的两个起始点更靠近黄斑的为颞上侧的分支起始点
Figure 336812DEST_PATH_IMAGE010
，另一个点为鼻上侧的分支起始点
Figure 220455DEST_PATH_IMAGE011
。同理，下半部分更靠近黄斑位置的为颞下侧分支起点
Figure 100686DEST_PATH_IMAGE012
，鼻下侧的分支起始点
Figure 741883DEST_PATH_IMAGE013
。考虑到在许多视网膜疾病的分析中，颞上、颞下、鼻上以及鼻下的四根主干分支均有自己的独特性。通过对这四根血管进行区分，以便后续能够针对性对某一主干分支上的关键点进行检测和统计（比如统计分析所有患者在颞下血管的第一分支的分支角度的差异），从而进一步满足对关键点的精细化检测需求。
在完成对起始点的确定后，继续图5。在步骤S505处，可以基于每个主干分支的起始点、结合用深度优先搜索算法对每个主干分支进行关键点的结构属性信息的检测。考虑到血管一般为二分叉树的结构。结合血管的这一结构特性优选采用深度优先搜索算法进行关键点属性的检测，可确保对关键点搜索检测的全面性。关于深度优先搜索算法的具体实现可以有多种方式。图6示出了一种检测各主干分支上关键点的可行方式600。如图6所示，在步骤S601处，可以获取每个主干分支的掩膜图。这里的掩膜可以理解为是用选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，来控制图像处理的区域或处理过程。掩膜图具体可以通过一些通用的图像掩膜模型来获取。在关键点的搜索过程中，通过利用各个主干分支的掩膜图可以屏蔽图像中一些不参与处理的区域或参数，提高搜索精准度与效率。
然后，可以从每个主干分支上的起始点开始，对每个主干分支上的待检测点执行步骤S602~ S604。其中，在步骤S602处，可以获取关于每个主干分支上的待检测点在其对应掩膜图中的前景点。这里的前景点可以理解为是指分割区域的点。具体地，例如在对动脉网络进行分析时，获取动脉的分割掩膜mask，前景点即为该点的像素属于动脉类别。接着，在步骤S603处，可以基于前述待检测点在其对应掩膜图中的前景点，判断该待检测点是否是分支点或者分岔点。以及在步骤S604处，响应于待检测点是分支点或者分岔点，确定所述待检测点为关键点，以及确定其对应的结构属性信息（例如位置属性、距离属性以及角度属性）。需要说明的是，本发明的上下文中，血管可以理解为是二叉树形式的。“分支”（Branch）是指在分出的两根血管的管径值有明显的大小之分，而大的那根与主干大小相当，称为分支。“分岔”（Bifurcation）是指分出的两根血管的管径值大小相当，都略小于主干。而分支点和分岔点都是指骨架中的二分起始点，即血管分叉处的中心点。本发明上下文中的关键点可以包括分支点和分岔点。
在实际应用中，步骤1.首先取待处理的主干分支的掩膜图mask（如图10所示）。然后建立一个空的栈
Figure 303446DEST_PATH_IMAGE014
，用来记录待查看的点的坐标；建立一个空的栈
Figure 307174DEST_PATH_IMAGE015
，用来记录待查看的点的属性；建立一个字典
Figure 358306DEST_PATH_IMAGE016
，保留关键点以及对应的属性。
其中，关于属性编码的说明：属性可以包括位置属性和距离属性。根据血管的二叉树特点，属性编码中位置属性可以采用’0‘和’1’分别表示主干和分支。对于关键点，可以用后缀’bi’表示分岔点，用后缀’br’表示分支点。而距离属性可以采用整型数值。例如，属性
Figure 690062DEST_PATH_IMAGE017
，其中
Figure 117632DEST_PATH_IMAGE018
为’1-10’表示经过第一分支的主干上，’1-01’表示经过第一分支点的分支上，而’1-10-bi’表示经过第一分支的主干上的分岔点，也称为第一分岔点。又例如，
Figure 444708DEST_PATH_IMAGE018
为’1-10-11’表示点在经过了一个分支点的主干上再经过一次分岔的枝干中，’1-10-11-br’表示点在经过了一个分支点的主干上再经过一次分岔的枝干中的第一个分支点。距离属性
Figure 929392DEST_PATH_IMAGE019
表示该点距离起始点的最短距离。
步骤2.在初始阶段时，可以先将起始点（此处为
Figure 482864DEST_PATH_IMAGE020
）压入栈
Figure 714125DEST_PATH_IMAGE014
中，将对应的属性编码
Figure 161287DEST_PATH_IMAGE021
（起始点
Figure 554222DEST_PATH_IMAGE012
的属性编码为
Figure 594990DEST_PATH_IMAGE022
）同步压栈
Figure 364363DEST_PATH_IMAGE015
中。步骤3.判断如果栈
Figure 197190DEST_PATH_IMAGE014
为空，则跳至步骤4。如果不为空，则从栈
Figure 698710DEST_PATH_IMAGE014
中取出一个点
Figure 289091DEST_PATH_IMAGE023
，以及从栈
Figure 924472DEST_PATH_IMAGE015
中取出该点对应的属性
Figure 21259DEST_PATH_IMAGE021
。然后在mask中将该点
Figure 959259DEST_PATH_IMAGE023
置为背景后，以该点为中心，获取相应的前景点数量。例如，可以采用图11中所示的8连通的算子计算在mask中该8个点中的前景点数量n。
其中，如果
Figure 99254DEST_PATH_IMAGE024
，继续执行步骤3。如果
Figure 210429DEST_PATH_IMAGE025
，则将8连通中的前景点坐标
Figure 424373DEST_PATH_IMAGE026
压入栈
Figure 533274DEST_PATH_IMAGE014
中，对应的属性编码
Figure 832669DEST_PATH_IMAGE027
的位置属性与
Figure 809852DEST_PATH_IMAGE021
一致，距离属性值加1后，同步压栈
Figure 81564DEST_PATH_IMAGE015
中，继续执行步骤3。如果
Figure 158105DEST_PATH_IMAGE028
，则分别计算两个前景点
Figure 272691DEST_PATH_IMAGE026
和
Figure 722740DEST_PATH_IMAGE029
的管径值
Figure 848959DEST_PATH_IMAGE002
和
Figure 361980DEST_PATH_IMAGE003
。具体地，可以从前文描述的
Figure 963862DEST_PATH_IMAGE008
进行索引查询。然后根据公式来判断该点是分岔点或分支点：
Figure 158214DEST_PATH_IMAGE030
。
具体地，如果
Figure 201257DEST_PATH_IMAGE031
（其中
Figure 947496DEST_PATH_IMAGE032
为区分是分支还是分岔的判断阈值，其具体可以通过关于分支或分岔点的标注数据的统计分析得到，例如
Figure 443199DEST_PATH_IMAGE033
），则判断该点为分岔点，将当前点
Figure 441242DEST_PATH_IMAGE023
的属性在
Figure 338791DEST_PATH_IMAGE021
的位置属性编码基础上添加后缀’-bi’，距离属性与
Figure 521511DEST_PATH_IMAGE021
的相同形成
Figure 331659DEST_PATH_IMAGE034
。同时计算当前分岔点的分岔角度
Figure 133393DEST_PATH_IMAGE023
。将分岔角度
Figure 947765DEST_PATH_IMAGE023
、点坐标
Figure 239069DEST_PATH_IMAGE023
以及属性
Figure 647048DEST_PATH_IMAGE034
一起保存到字典
Figure 377106DEST_PATH_IMAGE016
中。然后分别将点坐标
Figure 983668DEST_PATH_IMAGE023
和
Figure 383556DEST_PATH_IMAGE035
对应的属性
Figure 341148DEST_PATH_IMAGE021
和
Figure 343739DEST_PATH_IMAGE036
中的位置属性在
Figure 273649DEST_PATH_IMAGE021
的位置属性基础上增加后缀’-11’，距离属性在
Figure 638247DEST_PATH_IMAGE021
的距离属性值基础上加1。然后将这两个点的坐标以及属性依次同步压栈
Figure 817555DEST_PATH_IMAGE014
和
Figure 623837DEST_PATH_IMAGE015
中，并继续执行步骤3。
如果
Figure 673833DEST_PATH_IMAGE037
，则判断该点为分支点，将当前点
Figure 212262DEST_PATH_IMAGE023
的属性
Figure 206763DEST_PATH_IMAGE021
的位置属性编码添加后缀’-br’，距离属性不变得到
Figure 488839DEST_PATH_IMAGE034
。将点坐标
Figure 393341DEST_PATH_IMAGE023
以及属性
Figure 164988DEST_PATH_IMAGE034
一起保存到字典
Figure 584468DEST_PATH_IMAGE016
中。比较
Figure 607919DEST_PATH_IMAGE002
和
Figure 491562DEST_PATH_IMAGE003
，较大者对应的点
Figure 640302DEST_PATH_IMAGE026
对应的属性
Figure 219182DEST_PATH_IMAGE034
的位置属性在
Figure 170957DEST_PATH_IMAGE021
的位置属性基础上增加后缀’-10’，表示在过分支点的主干上。另一个点
Figure 846789DEST_PATH_IMAGE035
对应的属性
Figure 835605DEST_PATH_IMAGE036
则增加后缀’-01’，表示在过分支点的分支上。然后，将这两个点的距离属性都加1，以及将这两个点的坐标以及属性依次同步压栈
Figure 964098DEST_PATH_IMAGE014
和
Figure 453985DEST_PATH_IMAGE015
中，并继续执行步骤3。
在一些实施例中，分岔角度的计算方式包括多种。例如，如图12所示，可以取得当前的掩膜图mask，用OPENCV的connectedComponents()函数进行处理来得到分岔角度。具体地，可以取当前点坐标
Figure 187586DEST_PATH_IMAGE023
所在的连通区域，然后以点
Figure 675199DEST_PATH_IMAGE023
为中心，半径为m（例如m=10像素）画圆，得到圆与前景点相交的点
Figure 353305DEST_PATH_IMAGE038
和
Figure 318987DEST_PATH_IMAGE039
，然后求向量
Figure 638586DEST_PATH_IMAGE040
和
Figure 297100DEST_PATH_IMAGE041
的角度
Figure 462502DEST_PATH_IMAGE042
。需要说明的是，这里对分岔角度的计算过程细节性描述仅是示例性说明，本发明的方案并不受此限制。
步骤4. 结束计算过程，字典
Figure 231875DEST_PATH_IMAGE016
中保留的即为关键点的坐标以及属性等参数结果。由此，本发明的方案可以实现对关键点的多维度结构属性检测，包括属于第1、2、…、n分支/分岔点、分岔角度、全局的分支点和分岔点个数等。通过正确区分视网膜血管中每个分支点/分岔点的结构属性，能使得在同一层次中分析不同心血管疾病患者的病症（例如分析第一分支的分支角度、第一分岔中的分岔角度等，可以从分支角度的动态变化中确定出一些心血管疾病，以及从同一水平上的分支点和分岔点个数的差异可以分析分泌的生长激素水平等），大大增加了辅助诊断的信息，能够为相关人员提供更好的诊断决策。
另外，本发明还提出了一种设备。该设备可以包括处理器和存储器。其中存储器存储有用于对视网膜眼底图像进行分析的计算机指令，当所述计算机指令由处理器运行时，使得设备执行根据前文结合图1、图3、图5和图6所描述的方法。例如，该设备可以执行对视网膜眼底图像的动静脉分割、定位参照物的检测、关键点的检测以及动静脉模型的训练等。在一些实施场景中，设备可以包括具有图像处理功能的设备（例如电脑、PC、图像分析仪等终端设备等）。在实际应用中，设备可以由具有上述多种功能的一台设备来构成，也可以由多台具有部分功能的设备组合构成。本发明的方案对设备可具备的结构设计并不进行限制。
还应当理解，本发明示例的执行操作的主体（例如设备、模块或组件等）可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有用于对视网膜眼底图像进行分析的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现在前结合附图所描述的方法和操作。
虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (10)

1.一种用于对视网膜眼底图像进行分析的方法，其特征在于，包括：
利用预训练的动静脉分割模型对所述视网膜眼底图像进行处理，以得到动脉分割结果和静脉分割结果，其中所述动脉分割结果包括连续的动脉网络，所述静脉分割结果包括连续的静脉网络；
获取所述视网膜眼底图像中的定位参照物的位置信息；以及
根据所述定位参照物的位置信息、所述动脉分割结果和所述静脉分割结果，确定所述动脉网络和所述静脉网络中关键点的结构属性信息；
其中，利用预训练的动静脉分割模型对所述视网膜眼底图像进行处理包括：将所述视网膜眼底图像输入至所述动静脉分割模型进行特征提取处理，以得到关于所述视网膜眼底图像的特征信息；以及将所述特征信息分别输入至所述动静脉分割模型中的不同输出分支中进行识别处理，以得到所述动脉分割结果和所述静脉分割结果；
其中，确定所述动脉网络和所述静脉网络中关键点的结构属性信息包括：从所述动脉分割结果或所述静脉分割结果中分离出关于所述动脉网络或所述静脉网络的多个连通区域；依据所述定位参照物的位置信息确定所述多个连通区域对应的主干分支的起始点；以及基于每个主干分支的起始点、结合深度优先搜索算法对每个主干分支进行关键点的结构属性信息的检测。
2.根据权利要求1所述的方法，其特征在于，其中所述动静脉分割模型包括U型连接的全卷积神经网络和二分类分支网络，并且所述动静脉分割网络是经由以下操作而预先训练的：
利用所述U型连接的全卷积神经网络和所述二分类分支网络对训练用的眼底图像进行处理，以输出预测的动脉分割结果和静脉分割结果；
对所述眼底图像分别进行动脉标注和静脉标注； 以及
分别利用所述预测的动脉分割结果和所述动脉标注、所述预测的静脉分割结果和所述静脉标注进行交叉熵损失计算，以基于相应的交叉熵损失训练所述动静脉分割模型。
3.根据权利要求1所述的方法，其特征在于，其中所述每个主干分支的关键点的结构属性信息包括分支点和/或分岔点的位置属性、距离属性以及角度属性。
4.根据权利要求3所述的方法，其特征在于，对每个主干分支进行关键点的结构属性信息的检测包括：
获取所述每个主干分支的掩膜图；
从所述每个主干分支上的起始点开始，对所述每个主干分支上的待检测点执行以下操作：
获取关于所述每个主干分支上的待检测点在其对应掩膜图中的前景点；
基于所述待检测点在其对应掩膜图中的前景点，判断所述待检测点是否是分支点或者分岔点；以及
响应于所述待检测点是分支点或者分岔点，确定所述待检测点为关键点，以及确定其对应的位置属性、距离属性以及角度属性。
5.根据权利要求4所述的方法，其特征在于，判断所述待检测点是否是分支点或者分岔点包括：
响应于确定所述待检测点在其对应掩膜图中存在两个前景点，获取每个前景点的管径值；以及
利用所述每个前景点的管径值确定所述待检测点是分支点或者分岔点。
6.根据权利要求5所述的方法，其特征在于，根据以下公式确定所述待检测点是分支点或者分岔点：
Figure 777772DEST_PATH_IMAGE001
；
其中，
Figure 36584DEST_PATH_IMAGE002
、
Figure 617738DEST_PATH_IMAGE003
分别表示两个前景点的管径值，若
Figure 343117DEST_PATH_IMAGE004
小于或等于阈值，确定所述待检测点为分岔点，若
Figure 275301DEST_PATH_IMAGE004
大于阈值，确定所述待检测点为分支点。
7.根据权利要求1所述的方法，其特征在于，其中所述定位参照物包括视盘和黄斑，依据所述定位参照物的位置信息确定所述多个连通区域对应的主干分支的起始点包括：
分别对所述多个连通区域取骨架处理，以得到每个连通区域对应的血管中心线；
根据所述视盘的边界与各个所述血管中心线的交点，确定每个连通区域对应的起始点；以及
根据所述视盘的中心点和所述黄斑的位置信息，确定每个起始点所在的主干分支。
8.根据权利要求7所述的方法，其特征在于，确定每个起始点所在的主干分支包括：
基于所述视盘的中心点对所述视网膜眼底图像进行不同区域划分；
根据不同区域中起始点与所述黄斑的距离远近，确定所述起始点所在主干分支为颞上、颞下、鼻上以及鼻下中的任一主干分支。
9.一种计算机设备，其特征在于，包括：
处理器；以及
存储器，其存储有用于对视网膜眼底图像进行分析的计算机指令，当所述计算机指令由所述处理器运行时，使得所述计算机设备执行根据权利要求1-8的任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包含用于对视网膜眼底图像进行分析的程序指令，当所述程序指令由处理器执行时，使得实现根据权利要求1-8的任意一项所述的方法。
CN202210270685.6A 2022-03-18 2022-03-18 用于对视网膜眼底图像进行分析的方法及其相关产品 Active CN114359284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210270685.6A CN114359284B (zh) 2022-03-18 2022-03-18 用于对视网膜眼底图像进行分析的方法及其相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210270685.6A CN114359284B (zh) 2022-03-18 2022-03-18 用于对视网膜眼底图像进行分析的方法及其相关产品

Publications (2)

Publication Number Publication Date
CN114359284A CN114359284A (zh) 2022-04-15
CN114359284B true CN114359284B (zh) 2022-06-21

Family

ID=81094660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270685.6A Active CN114359284B (zh) 2022-03-18 2022-03-18 用于对视网膜眼底图像进行分析的方法及其相关产品

Country Status (1)

Country Link
CN (1) CN114359284B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511883B (zh) * 2022-11-10 2023-04-18 北京鹰瞳科技发展股份有限公司 确定视网膜眼底血管的弯曲度的方法、设备和存储介质
CN115457038B (zh) * 2022-11-11 2023-08-22 北京鹰瞳科技发展股份有限公司 分级预测模型的训练方法、分级预测的方法及相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966792A (zh) * 2021-05-19 2021-06-15 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
CN113850812A (zh) * 2021-09-06 2021-12-28 北京航空航天大学 一种眼底动静脉图像分割方法、装置和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348541B (zh) * 2019-05-10 2021-12-10 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质
US20210142470A1 (en) * 2019-11-12 2021-05-13 International Intelligent Informatics Solution Laboratory LLC System and method for identification of pulmonary arteries and veins depicted on chest ct scans
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN113192074B (zh) * 2021-04-07 2024-04-05 西安交通大学 一种适用于octa图像的动静脉自动化分割方法
CN113012146B (zh) * 2021-04-12 2023-10-24 东北大学 血管信息获取方法及装置、电子设备和存储介质
CN113792740B (zh) * 2021-09-16 2023-12-26 平安创科科技(北京)有限公司 眼底彩照的动静脉分割方法、系统、设备及介质
CN113920078A (zh) * 2021-09-30 2022-01-11 北京鹰瞳科技发展股份有限公司 一种针对眼底图像的血管分割方法和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966792A (zh) * 2021-05-19 2021-06-15 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
CN113850812A (zh) * 2021-09-06 2021-12-28 北京航空航天大学 一种眼底动静脉图像分割方法、装置和设备

Also Published As

Publication number Publication date
CN114359284A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
Xu et al. Multi-task joint learning model for segmenting and classifying tongue images using a deep neural network
Wu et al. Scs-net: A scale and context sensitive network for retinal vessel segmentation
WO2021169128A1 (zh) 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN114359284B (zh) 用于对视网膜眼底图像进行分析的方法及其相关产品
CN107945173B (zh) 一种基于深度学习的皮肤疾病检测方法以及系统
Liu et al. A framework of wound segmentation based on deep convolutional networks
Chetoui et al. Explainable end-to-end deep learning for diabetic retinopathy detection across multiple datasets
Abbasi-Sureshjani et al. Automatic detection of vascular bifurcations and crossings in retinal images using orientation scores
Li et al. Joint learning of vessel segmentation and artery/vein classification with post-processing
Zhao et al. Retinal vascular junction detection and classification via deep neural networks
Kang et al. AVNet: A retinal artery/vein classification network with category-attention weighted fusion
CN114299072B (zh) 一种基于人工智能的解剖变异识别提示方法及系统
US20210142470A1 (en) System and method for identification of pulmonary arteries and veins depicted on chest ct scans
Chen et al. AI-PLAX: AI-based placental assessment and examination using photos
Yuan et al. A multi-scale convolutional neural network with context for joint segmentation of optic disc and cup
Wang et al. Automatic vessel crossing and bifurcation detection based on multi-attention network vessel segmentation and directed graph search
CN112733953B (zh) 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
Wang et al. AVDNet: Joint coronary artery and vein segmentation with topological consistency
CN116363311A (zh) 冠脉Leiden分数计算及风险分级的方法和系统
CN113792740B (zh) 眼底彩照的动静脉分割方法、系统、设备及介质
Wang et al. Optic disc detection based on fully convolutional neural network and structured matrix decomposition
CN116109872A (zh) 一种血管的命名方法、装置、电子设备及存储介质
Hassan et al. Combining transfer learning with retinal lesion features for accurate detection of diabetic retinopathy
CN114998582A (zh) 一种冠脉血管的分割方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant