CN110136140A - 眼底图像血管影像分割方法及设备 - Google Patents

眼底图像血管影像分割方法及设备 Download PDF

Info

Publication number
CN110136140A
CN110136140A CN201910305288.6A CN201910305288A CN110136140A CN 110136140 A CN110136140 A CN 110136140A CN 201910305288 A CN201910305288 A CN 201910305288A CN 110136140 A CN110136140 A CN 110136140A
Authority
CN
China
Prior art keywords
image
blood vessel
eye fundus
block
vessel image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910305288.6A
Other languages
English (en)
Inventor
马永培
熊健皓
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201910305288.6A priority Critical patent/CN110136140A/zh
Publication of CN110136140A publication Critical patent/CN110136140A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种眼底图像血管影像分割方法及设备,所述包括如下步骤:获取眼底图像;将所述眼底图像划分为多个图像块,并利用分割模型分别针对各个所述图像块中的血管影像进行分割得到分割图像块;利用分割图像块拼接出眼底血管图像。

Description

眼底图像血管影像分割方法及设备
技术领域
本发明涉及医学影像识别领域,具体涉及一种眼底图像血管影像分割方法。
背景技术
图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域,使得这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。语义分割是在图像分割的基础上,识别出每一块区域的语义。图像语义分割是AI领域中一个重要的分支,目前被广泛应用在地理信息系统、无人车驾驶、医疗影像分析、机器人等领域中。
眼底图像中包括大量且细小的血管影像,很多眼底疾病与血管状态有关。例如眼底血管弹性减弱,其体现为动脉壁反光增强,这种情况在眼底图像中被显示为反光区域,其像素值与正常的区域有一些区别。但是这种区域的特征不明显,观测区分难度很大。
端到端的卷积神经网络依靠强大的表达能力在图像分割领域能够得到比较准确的结果。但是对于卷积神经网络等机器学习模型而言,如果前景信息只占图像区域很小的比例,则比较难训练出性能优秀的表达模型,模型的识别准确性会比较低。
眼底图像的尺寸通常较大,而血管区域只占非常小的比率,现有技术利用卷积神经网络等机器学习模型对眼底图像中的血管区域进行分割,所得到的分割结果正确性较低,例如容易漏掉细小的血管区域或者将背景或其它纹理误判为血管区域。
发明内容
有鉴于此,本发明提供一种眼底图像血管影像分割方法,包括如下步骤:
获取眼底图像;
将所述眼底图像划分为多个图像块,并利用分割模型分别针对各个所述图像块中的血管影像进行分割得到分割图像块;
利用分割图像块拼接出眼底血管图像。
可选地,相邻的所述图像块有部分重叠。
可选地,将所述眼底图像划分为多个图像块,包括:
利用滑动窗口遍历所述眼底图像取得图像块,遍历过程中的滑动方向包括水平方向和竖直方向,在两个所述方向中的滑动步长均小于所述滑动窗口的长度和宽度。
可选地,在利用分割图像块拼接出眼底血管图像的过程中,对于相邻的分割图像块的重叠部分,取重叠部分像素值的平均值或者最大值。
可选地,所述分割模型输出二值图像块,以两种像素值分别表达背景和血管影像。
本发明提供另一种眼底图像血管影像分割方法,包括:
获取眼底图像;
利用分割模型采用自循环处理方式针对所述眼底图像中的血管影像进行分割,在达到设定的循环终止条件时输出眼底血管图像,在自循环过程中,使所述分割模型以当前的输入数据和针对当前的输入数据提取的血管特征数据进行叠加作为下一次的输入数据,所述眼底血管图像是根据循环终止时的输入数据和血管特征数据的叠加结果得到的图像。
可选地,所述循环终止条件为循环次数。
可选地,所述分割模型输出二值眼底血管图像,以两种像素值分别表达背景和血管影像。
相应地,本发明提供一种眼底图像血管影像分割设备,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述第一种眼底图像血管影像分割方法。
相应地,本发明提供一种眼底图像血管影像分割设备,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述第二种眼底图像血管影像分割方法。
根据本发明提供的一种眼底图像血管影像分割方法及设备,将眼底图像划分为图像块,并利用分割模型针对图像块中的血管影像进行分割,得到对应于图像块的分割结果,然后将这些分割结果拼接为完整的眼底血管图像,由此实现自动化的血管影像分割操作,并且提高了分割结果的准确性,所得到的眼底血管图像能够协助医生对眼底血管弹性减弱等疾病进行诊断,提高医生的工作效率。
根据本发明提供的另一种眼底图像血管影像分割方法及设备,使分割模型针对眼底图像全图的血管影像进行分割,不必事先划分图像块,采用自循环的工作方式,使分割模型对血管特征数据进行多次提取,参考自身提取到的血管特征数据做进一步的分割,以此来提高最终分割结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的眼底图像血管影像分割方法的流程图;
图2为本发明实施例中的眼底图像;
图3为图2所示眼底图像中的一个图像块;
图4为分割模型针对图3所示图像块的分割结果;
图5为针对图2所示图像进行分割并拼接得到的眼底血管图像;
图6是本发明实施例中使用滑动窗口获取图像块的示意图;
图7为本发明实施例中的眼底图像血管壁反光状态标记数据生成方法的流程图;
图8为本发明实施例中的全局血管区域图像;
图9为针对图3所示的血管影像拟合椭圆区域的示意图;
图10为根据椭圆区域和血管影像选取像素点的示意图;
图11为本发明实施例中一种优选的眼底图像血管壁反光状态标记数据生成方法的流程图;
图12为本发明实施例中增强对比度的眼底图像;
图13、图14为本发明实施例中搜索血管区域的过程示意图;
图15为本发明实施例中在眼底图像中添加了标记数据的结果示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明提供了一种眼底图像血管影像分割方法,该方法可以由计算机和服务器等电子设备执行。如图1所示该方法包括如下步骤:
S1A,获取眼底图像。在一个实施例中,对眼底拍照设备采集的眼底视网膜照片进行裁剪,去除了边界得到如图2示正方形眼底图像。在其它实施例中也可以不进行这些预处理,可直接使用眼底拍照设备采集的眼底照片。
S2A,将眼底图像划分为多个图像块,图像块的尺寸根据眼底图像的尺寸进行设定,对于多数情况,划分的图像块的尺寸应当明显小于整个眼底图像的尺寸。例如眼底图像的尺寸为1000*1000(像素),所划分出的图像块的尺寸是100*100(像素)。
各个图像块的尺寸可以是相同或者不同的。相邻的图像块边界可以相互紧邻,也可以有部分重叠。
S3A,利用分割模型分别针对各个图像块中的血管影像进行分割得到分割图像块。分割模型具体可以是FCN、SegNet、DeepLab等神经网络,在使用分割模型之前应当使用样本数据对其进行训练使其具备一定的语义分割能力,具体可使用人工标记了血管区域的样本图像块训练得到。
分类模型会提取图像块中血管影像的特征,并根据提取的特征形成分割图像块,在其中凸显出血管影像,具体的凸显方式有多种,例如采用明显不同于背景的各种像素值表达血管所在的位置等等。
作为一个具体的举例,将图3所示的图像块输入分割模型,可以得到如图4所示的分割图像块,在这一实施例中所使用的分类模型输出的是二值图像,它采用两种像素值分别表达背景和血管影像,直观地凸显血管位置,并且二值图像更有利于后续对血管影像的测量操作。
S4A,利用分割图像块拼接出眼底血管图像,例如图5所示的图像。图5清楚地表达了眼底图像中的血管影像和背景,尤其是对于图中箭头所指的位置,这些实际上是异常的血管影像,这使得医生可以更容易发现眼底中关于血管的病变。
所谓的拼接包括多种情况,这取决于步骤S2A中的划分情况以及步骤S3A中所使用的分类模型输出的分割图像块的尺寸。以一种比较简单的情况为例进行说明,如果划分的各个图像块大小相同、相互紧邻并没有重叠,分割模型输出的分割图像块与划分的图像块尺寸一致,则直接按照图像块在眼底图像中的位置将分割图像块排列在一起即可形成最终的眼底血管图像。
根据本发明实施例提供的眼底图像血管影像分割方法,将眼底图像划分为图像块,并利用分割模型针对图像块中的血管影像进行分割,得到对应于图像块的分割结果,然后将这些分割结果拼接为完整的眼底血管图像,由此实现自动化的血管影像分割操作,并且提高了分割结果的准确性,所得到的眼底血管图像能够协助医生对眼底血管弹性减弱等疾病进行诊断,提高医生的工作效率。
为了避免边界效应影像分割和拼接结果的准确性,在一个优选的实施例中,在步骤S2A划分图像块时,采用相邻的图像块有部分重叠的划分方式。具体地,利用滑动窗口遍历眼底图像取得图像块,遍历过程中的滑动方向包括水平方向和竖直方向,在两个方向中的滑动步长均小于滑动窗口的长度和宽度。
在本实施例中滑动窗口的尺寸为128*128(像素),由此取得的图像块的尺寸为128*128(像素)。图6示出了滑动窗口遍历眼底图像的过程示意图,利用滑动窗口取得图像块a后向右移动窗口,步长为64(像素),取得图像块b,使得水平方向相邻的图像块有部分重叠(本实施例中有一半重叠);类似地,在竖直方向向下移动窗口,步长为64(像素),取得图像块c,竖直向相邻的图像块有部分重叠(本实施例中有一半重叠),同时图像块b与图像块c也有部分重叠(本实施例中有四分之一重叠)。按照这种方式遍历图像后可以将整个眼底图像划分成多个图像块,部分重叠的图像块在后续拼接时可以消除边界效应对拼接结果的影响。需要说明的是,图6只是为了清楚地说明而提供的示例性图像,实际使用时应当设置执行滑动窗口的起始和终点位置,并且设置合适的尺寸使其能够完整遍历眼底图像。
在图像块间有部分重叠的情况下,使得步骤S4A的拼接操作变得复杂,但可以提高拼接出的眼底血管图像所表达的血管影像的准确性。具体地,在利用分割图像块拼接出眼底血管图像的过程中,对于相邻的分割图像块的重叠部分,取重叠部分像素值的平均值或者最大值。例如对于上述图像块a和图像块b,分割模型输出分割图像块a’和分割图像块b’,它们之间也相应地有一半重叠。在拼接时对于分割图像块a’和分割图像块b’重叠的部分取像素值的平均值或者最大值都是可行的,如果需要保证最终的结果是二值图像,在此需要取最大值。假如对于同一像素点,在分割图像块a’中像素值为0、在分割图像块b’中像素值为255,则在拼接结果图像中取值为255。
本发明提供另一种眼底图像血管影像分割方法,该方法可以由计算机和服务器等电子设备执行。该方法包括如下步骤:
S1B,获取眼底图像。具体可参照上述实施例中关于步骤S1A的描述。
S2B,利用分割模型采用自循环处理方式针对眼底图像中的血管影像进行分割,在达到设定的循环终止条件时输出眼底血管图像。
在自循环过程中,分割模型以当前的输入数据和针对当前的输入数据提取的血管特征数据进行叠加作为下一次的输入数据,眼底血管图像是根据循环终止时的输入数据和血管特征数据的叠加结果得到的图像。
具体地,分割模型在第一次执行分割任务时,输入数据为眼底图像,分割模型实际上是将图像视为向量数据,针对眼底图像的向量数据提取血管特征数据,在本领域中也称之为segmentation map(分割图),这是一种不可视的中间结果,是一种向量数据。
为了便于说明,将首次输入的眼底图像的向量数据称为sm(0),将分割模型针对sm(0)提取的血管特征数据称为sm(1),之后进行自循环,将sm(0)+sm(1)(二者进行叠加)作为新的输入数据,分割模型针对sm(0)+sm(1)提取血管特征数据sm(2);如果没有达到终止条件则进行下一次自循环,将sm(0)+sm(1)+sm(2)(三者进行叠加)作为新的输入数据,分割模型针对sm(0)+sm(1)+sm(2)提取血管特征数据sm(3),以此方式进行自循环处理,直至达到终止条件。
例如当分割模型针对sm(0)+sm(1)+……+sm(N-1)提取血管特征数据sm(N)时达到终止条件,则根据sm(0)+sm(1)+……+sm(N)输出可视的眼底血管图像。
相应地,在训练这种分割模型时,也应当使其采用自循环的方式处理训练数据。样本数据是眼底图像以及对其中血管影像的标注结果,另外还应当设置循环终止条件。
与前一种分割方案的区别在于,本方案不需要对图2所示的眼底图像进行划分,而直接将其作为分割模型的输入数据,通过分割模型的自循环工作方式即可得到如图5所示的分割结果。
根据本发明实施例提供的眼底图像血管影像分割方法,使分割模型针对眼底图像全图的血管影像进行分割,不必事先划分图像块,采用自循环的工作方式,使分割模型对血管特征数据进行多次提取,参考自身提取到的血管特征数据做进一步的分割,以此来提高最终分割结果的准确性。
在理想情况下,应当根据输出向量的内容是否达到预期作为循环终止的条件。根据上述举例,如果sm(N)为空值,则说明分割模型已经不能再找到更多的血管特征数据,因此终止循环输出结果。更具体地,如果选用输出二值图像的分割模型,在sm(N)的内容为0的情况下则终止循环。
但在实际应用中,受到分割模型性能的影响,根据上述理想情况下的终止条件并不一定能得到预期的结果。因为分割模型可能会将一些不是血管影像的细微纹理误判为血管。所以在一个优选的实施例中,将循环次数设置为循环终止条件,根据实际应用的经验将循环次数设置为10-15次即能够比较准确地分割出血管影像,并且能够提高分割效率。
本发明的一个实施例还提供了一种眼底图像血管影像分割装置,包括:
获取单元,用于获取眼底图像;
划分单元,用于将所述眼底图像划分为多个图像块;
分割模型,用于分别针对各个所述图像块中的血管影像进行分割得到分割图像块;
拼接单元,用于利用分割图像块拼接出眼底血管图像。
作为一个优选的实施方式,相邻的所述图像块有部分重叠。
作为一个优选的实施方式,划分单元利用滑动窗口遍历所述眼底图像取得图像块,遍历过程中的滑动方向包括水平方向和竖直方向,在两个所述方向中的滑动步长均小于所述滑动窗口的长度和宽度。
作为一个优选的实施方式,拼接单元在利用分割图像块拼接出眼底血管图像的过程中,对于相邻的分割图像块的重叠部分,取重叠部分像素值的平均值或者最大值。
作为一个优选的实施方式,所述分割模型输出二值图像块,以两种像素值分别表达背景和血管影像。
本发明的一个实施例还提供了另一种眼底图像血管影像分割装置,包括:
获取单元,用于获取眼底图像;
分割模型,采用自循环处理方式针对所述眼底图像中的血管影像进行分割,在达到设定的循环终止条件时输出眼底血管图像,在自循环过程中,使所述分割模型以当前的输入数据和针对当前的输入数据提取的血管特征数据进行叠加作为下一次的输入数据,所述眼底血管图像是根据循环终止时的输入数据和血管特征数据的叠加结果得到的图像。
作为一个优选的实施方式,所述分割模型输出二值图像块,以两种像素值分别表达背景和血管影像。
作为一个优选的实施方式,所述循环终止条件为循环次数。
本发明的一个实施例还提供了一种眼底图像血管影像设备,包括:
至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述眼底图像血管影像分割。
本发明提供一种眼底图像血管壁反光状态标记数据生成方法,该方法可以由计算机和服务器等电子设备执行。如图7所示该方法包括如下步骤:
S1C,在眼底图像中确定血管区域。如图2所示的眼底图像中包含较多血管影像以及黄斑、视盘和背景等其它影像,在此步骤中需要提取以血管影像为主的区域,所确定的血管区域例如是图3所示的血管区域图像,或者是去除了其它影像的如图8所示的全局血管区域图像。
需要说明的是,在后续步骤中需要用到血管影像的像素值,因此所谓的血管区域至少是单通道图像(灰度图像),或者三通道图像(彩色图像)也是可行的,但不能是二值图像。
S2C,根据血管区域中的血管影像拟合椭圆区域。以图3所示图像块为例,图像中包含至少一个条形连通区域,即血管影像,将不规则的条形区域拟合为椭圆区域的方式有多种,本发明可以使用现有的形状拟合算法得到对应于血管影像的椭圆区域。对图3所示内容进行拟合可以得到如图9所示的椭圆区域91,图9中只示出了一个椭圆区域91,实际应用时对于图像上方的另外两个条形区域也将采取相同方式拟合出相应的椭圆区域。
S3C,根据处于椭圆区域短轴上的血管影像的像素点的像素值生成用于标记血管壁反光状态的数据。图10示出了一幅椭圆区域与血管影像的示意图,为了清楚地展示如何选取像素点,图10采用二值图像进行示意,实际应用时图10中的白色条形区域(血管影像)至少是具有灰度的,或者彩色的。
首先确定椭圆区域的短轴101,它可以是一条线或者一个比较窄的区域。然后确定既处在短轴101上,又是血管影像的像素点,也就是图10中黑色线段102(可以是一条线或者一个比较窄的区域)上的像素点。继而分别确定这些像素点的像素值。
血管壁(动脉壁)不同的反光情况会体现为像素值的大小不同。在一个实施例中,采用单通道图像进行判断,设置一个判断阈值例如100,将黑色线段102上像素值大于或等于100的像素点判定为反光增强的像素点、将黑色线段102上像素值小于100的像素点判定为正常血管的像素点,由此至少能够得到这两种像素点的数量信息,并将该信息作为用于标记血管壁反光状态的数据。
在一个实施例中,在得到上述两种像素点的数量信息后,计算二者的比值,并将该比值作为用于标记血管壁反光状态的数据。在一个实施例中,在计算得到上述两种像素点的数量之比后,根据该比值判断这一血管影像是否属于血管壁(动脉壁)反光增强的结论,或者是否属于眼底血管弹性减弱的结论,作为用于标记血管壁反光状态的数据。例如当像素值大于或等于100的像素点的数量与像素值小于100的像素点的数量之比大于或等于2:3时,将这一血管影像的状态判断为血管壁(动脉壁)反光增强。
根据本发明实施例提供的眼底图像血管壁反光状态标记数据生成方法,通过在在眼底图像中确定血管区域,并将血管区域中的血管影像拟合椭圆区域,然后根据椭圆区域短轴上的血管影像的像素点的像素值生成用于标记血管壁反光状态的数据,这种标记数据能够准确地体现血管的反光情况,将眼底图像呈现的细微或模糊的内容转换为直观的标记数据,可以使用户清楚地了解到血管壁反光的状态,辅助医生对眼底血管弹性减弱病症的诊断,提高医生的工作效率。
本发明还提供一种优选的眼底图像血管壁反光状态标记数据生成方法,该方法可以由计算机和服务器等电子设备执行。在一个实施例中,基于上述两种眼底图像血管影像分割方法中的任一种,搜索血管区域并进行后续处理,具体如图11所示,本方法包括如下步骤:
S1D,根据彩色的眼底图像获得单通道的眼底图像和眼底血管掩膜图。其中的彩色眼底图像例如是如图2所示的图像,将其转换为单通道图像的算法有多种,例如取三通道像素值的平均值、取某一通道的像素值等都是可行的。在一个优选的实施例中,在取得单通道的眼底图像后,对其进行对比度增强的处理,以突显出图像中的差异,经过处理可得到如图12所示的图像。这种优选的处理方式能够突出血管的反光状态,以提高后续处理结果的准确性。
在本实施例中,眼底血管掩膜图是根据上述两种基于分割模型的眼底图像血管影像分割方法中的任一种所得到的如图5所示的二值图。在其它实施例中,也可以采用其它方式得到这种血管掩膜图。在一个优选的实施例中,还可以对分割得到的掩膜图做进一步地处理,去除其中较小的分割区域,具体可采用连通区域搜索算法,将图5中一些面积小于设定阈值的连通区域从图中去掉(将像素值置0)。这种优选的处理方式可以筛选掉一些可能被误判为血管的内容,或者细小的血管影像,使得保留的血管影像尽可能是动脉影像。
S2D,根据单通道的眼底图像和眼底血管掩膜图获得单通道的眼底血管图像。利用二值图像对单通道眼底图像进行掩膜处理,可以去除图中不是血管影像的内容,得到如图8所示的具有灰度的全局血管区域图像。
S3D,在单通道的眼底血管图像中搜索血管区域。所谓搜索可以被理解为截取,或者截取并筛选。例如采用上述实施例中提到的滑动窗口遍历图像的方式,从图8所示的图像中遍历截取图像块,即为截取血管区域。而为了提高处理效率,还可从图8中挑选出一部分血管区域而非遍历全部图像块,具体将在下文中进行介绍。
S4D,分别根据搜索到的血管区域中的血管影像拟合椭圆区域。具体可参照上述实施例中关于步骤S2B的描述,此处不再赘述。
S5D,分别根据处于椭圆区域短轴上的血管影像的像素点的像素值生成用于标记血管壁反光状态的数据。具体可参照上述实施例中关于步骤S3B的描述,此处不再赘述。
根据本发明实施例提供的方案,通过彩色的眼底图像获得单通道的眼底图像和眼底血管掩膜图,并利用眼底血管掩膜图和单通道的眼底图像获得单通道的眼底血管图像,由此可以基本完全去除眼底图像中血管以外的影像,并且保留血管影像的色彩,在搜索血管区域时具有较高的准确性和效率,进而使生成的标记数据更加准确。
关于上述步骤S3D,在一个实施例中提供了一种优选的搜索血管区域的方式,下面结合图13、图14对这种搜索方式进行介绍:
S3D1,在单通道的眼底血管图像中确定具有最大像素值的像素点。例如对于图8所述的单通道图像,首先寻找其中具有最大像素值的像素点(如果有多个像素值相等的像素点,可随机取其中一个像素点)。
S3D2,基于具有最大像素值的像素点确定血管区域。在本实施例中,预先设定截取尺寸为m*m,在确定像素点131后,以其为中心取一个m*m的区域1311即为血管区域。
在一个优选的实施例中,步骤循环执行S3D1-S3D2(或者理解为多次执行),在循环执行的过程中,对已被确定的血管区域进行标记,例如在第一次执行时确定了区域1311后,将其中的像素点全部置0得到如图14所述的图像,然后再次寻找剩余内容中具有最大像素值的像素点,并再基于该像素点取一个m*m的区域,以此方式多次执行搜索步骤,直至达到设定的终止条件为止。这可以使每一次执行时所确定的血管区域不重叠。
关于循环终止条件,如果将其设置为当图像中具有最大像素值的像素点的像素值为0时终止搜索血管区域,由于图像中背景内容本身为0、曾被搜索到的血管区域被标为0,所以当图中像素值全为0时表示所有区域都被搜索到,也即实现遍历全图的血管区域。
然而,即使在存在眼底血管壁(动脉壁)反光增强的情况下,眼底中仍有相当一部分的血管是正常的,如果遍历图像,仍可能使后续步骤中对于正常的血管区域进行计算,而增大了计算量。因此在一个优选的实施例中,采用根据循环次数和/或用于与最大像素值进行比较的像素值阈值来确定终止条件。具体地,例如当搜索血管区域的步骤被执行了10-15次时,也即确定了10-15个血管区域时终止搜索,或者当找到当图像中具有最大像素值的像素点的像素值小于或等于100(阈值)时终止搜索,或者根据这两种因素综合设定终止条件都是可行的。
上述优选方案可以初步筛选出疑似为血管壁(动脉壁)反光增强的区域,使得后续生成标记数据时只针对这些疑似的区域进行计算,而不必针对其它血管区域进行计算,由此可以提高计算效率。
本发明的一个实施例还提供了一种眼底图像血管壁反光状态标记数据生成装置,包括:
区域分割单元,用于在眼底图像中确定血管区域;
拟合单元,用于根据所述血管区域中的血管影像拟合椭圆区域;
数据生成单元,用于根据处于所述椭圆区域短轴上的血管影像的像素点的像素值生成用于标记血管壁反光状态的数据。
作为一个优选的实施方式,区域分割单元包括:
图像处理单元,用于根据彩色的眼底图像获得单通道的眼底图像和眼底血管掩膜图;
图像获取单元,用于根据所述单通道的眼底图像和所述眼底血管掩膜图获得单通道的眼底血管图像;
区域搜索单元,用于在所述单通道的眼底血管图像中搜索所述血管区域。
作为一个优选的实施方式,区域搜索单元包括:
像素点搜索单元,用于在所述单通道的眼底血管图像中确定具有最大像素值的像素点;
区域截取单元,用于基于所述像素点确定所述血管区域。
作为一个优选的实施方式,区域搜索单元循环执行在所述单通道的眼底血管图像中搜索所述血管区域的步骤,在循环执行的过程中,对已被确定的血管区域进行标记,以使每一次执行时所确定的血管区域不重叠,直至达到设定的终止条件为止。
作为一个优选的实施方式,所述终止条件是根据循环次数和/或用于与所述最大像素值进行比较的像素值阈值确定的。
作为一个优选的实施方式,所述用于标记血管壁反光状态的数据是像素值大于设定阈值的像素点数量与像素值小于或等于所述设定阈值的像素点数量的比值。
作为一个优选的实施方式,数据生成单元包括:
比值计算单元,用于确定所述短轴上像素值大于设定阈值的像素点数量与像素值小于或等于所述设定阈值的像素点数量的比值;
判定单元,用于根据所述比值确定所述血管区域是否为血管壁反光区域的结论。
本发明的一个实施例还提供了一种眼底图像血管壁反光状态标记数据生成设备,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述眼底图像血管壁反光状态标记数据生成方法。
本发明还提供了一种眼底图像血管壁反光区域标记方法,用于将根据图7或图11所示的方法生成的标记数据呈现在原始的眼底图像中,也即首先利用上述标记数据生成方法获得至少一个用于标记血管壁反光状态的数据,根据这些数据所针对的血管影像在眼底图像中的位置,将其标注在原始眼底图像中相应的位置上。
在一个实施例中,针对某一个血管影像的标记数据是上述像素点数量的比值,根据这一血管影像的位置,在图15所示图像中添加一个虚线框,并且在其中显示这一比值,由此来直观地表达反光状态标记数据所针对的血管影像,使医生可以清楚地了解各处血管影像的反光情况,医生可以在标记数据的提示下重点观察这些区域,以提高阅片工作的针对性和效率。
图15只是为了清楚地说明而做出的举例,实际应用时根据上述标记数据生成方法可能会生成多个分别针对不同位置的血管影像的标记数据,相应地,会在图15中的多个位置上分别呈现出这些标记数据。此外,也可以采用诸如箭头等其它图形呈现这些标记数据,只要能够表达标记数据所针对的血管影像即是可行的。
作为优选的实施方式,如果生成标记数据时,针对全局血管影像生成了大量的标记数据,应当在生成的标记数据中选择疑似为血管壁(动脉壁)反光增强的血管影像及其标记数据进行展示,具体可根据标记数据的内容,例如上述像素点数量比例或者生成的结论等进行选择;
或者在生成标记数据时,只针对择疑似为血管壁(动脉壁)反光增强的血管影像生成标记数据,具体参加上述实施例中关于血管区域搜索的描述。
只显示疑似为血管壁(动脉壁)反光增强的血管影像及其标记数据,可以优化显示效果,使得图像中所显示的标记内容针对性更强。
本发明的一个实施例还提供了一种眼底图像血管壁反光区域标记装置,该装置包括数据获取单元,用于根据上述眼底图像血管壁反光状态标记数据生成方法获得标记数据;标记单元,用于将标记数据添加到眼底图像中相应的位置上。
本发明的一个实施例还提供了一种眼底图像血管壁反光区域标记设备,至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器上述眼底图像血管壁反光区域标记方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种眼底图像血管影像分割方法,其特征在于,包括如下步骤:
获取眼底图像;
将所述眼底图像划分为多个图像块,并利用分割模型分别针对各个所述图像块中的血管影像进行分割得到分割图像块;
利用分割图像块拼接出眼底血管图像。
2.根据权利要求1所述的方法,其特征在于,相邻的所述图像块有部分重叠。
3.根据权利要求2所述的方法,其特征在于,将所述眼底图像划分为多个图像块,包括:
利用滑动窗口遍历所述眼底图像取得图像块,遍历过程中的滑动方向包括水平方向和竖直方向,在两个所述方向中的滑动步长均小于所述滑动窗口的长度和宽度。
4.根据权利要求2或3所述的方法,其特征在于,在利用分割图像块拼接出眼底血管图像的过程中,对于相邻的分割图像块的重叠部分,取重叠部分像素值的平均值或者最大值。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述分割模型输出二值图像块,以两种像素值分别表达背景和血管影像。
6.一种眼底图像血管影像分割方法,其特征在于,包括:
获取眼底图像;
利用分割模型采用自循环处理方式针对所述眼底图像中的血管影像进行分割,在达到设定的循环终止条件时输出眼底血管图像,在自循环过程中,使所述分割模型以当前的输入数据和针对当前的输入数据提取的血管特征数据进行叠加作为下一次的输入数据,所述眼底血管图像是根据循环终止时的输入数据和血管特征数据的叠加结果得到的图像。
7.根据权利要求6所述的方法,其特征在于,所述循环终止条件为循环次数。
8.根据权利要求6或7所述的方法,其特征在于,所述分割模型输出二值眼底血管图像,以两种像素值分别表达背景和血管影像。
9.一种眼底图像血管影像分割设备,其特征在于,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-5中任一项所述的眼底图像血管影像分割方法。
10.一种眼底图像血管影像分割设备,其特征在于,包括:至少一个处理器以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求6-8中任一项所述的眼底图像血管影像分割方法。
CN201910305288.6A 2019-04-16 2019-04-16 眼底图像血管影像分割方法及设备 Pending CN110136140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910305288.6A CN110136140A (zh) 2019-04-16 2019-04-16 眼底图像血管影像分割方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910305288.6A CN110136140A (zh) 2019-04-16 2019-04-16 眼底图像血管影像分割方法及设备

Publications (1)

Publication Number Publication Date
CN110136140A true CN110136140A (zh) 2019-08-16

Family

ID=67570140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910305288.6A Pending CN110136140A (zh) 2019-04-16 2019-04-16 眼底图像血管影像分割方法及设备

Country Status (1)

Country Link
CN (1) CN110136140A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862033A (zh) * 2020-07-15 2020-10-30 上海联影医疗科技有限公司 医学图像处理方法、装置、图像处理设备及存储介质
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN115598025A (zh) * 2022-12-13 2023-01-13 四川亿欣新材料有限公司(Cn) 图像处理方法及使用该方法的碳酸钙粉质检系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016073537A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 眼底画像解析装置及び眼底画像解析方法
CN106407917A (zh) * 2016-09-05 2017-02-15 山东大学 基于动态尺度分配的视网膜血管提取方法及系统
US20180315193A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN108921169A (zh) * 2018-07-12 2018-11-30 珠海上工医信科技有限公司 一种眼底图像血管分割方法
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技(深圳)有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109427052A (zh) * 2017-08-29 2019-03-05 中国移动通信有限公司研究院 基于深度学习处理眼底图像的相关方法及设备
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016073537A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 眼底画像解析装置及び眼底画像解析方法
CN106407917A (zh) * 2016-09-05 2017-02-15 山东大学 基于动态尺度分配的视网膜血管提取方法及系统
US20180315193A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN109427052A (zh) * 2017-08-29 2019-03-05 中国移动通信有限公司研究院 基于深度学习处理眼底图像的相关方法及设备
CN108921169A (zh) * 2018-07-12 2018-11-30 珠海上工医信科技有限公司 一种眼底图像血管分割方法
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技(深圳)有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862033A (zh) * 2020-07-15 2020-10-30 上海联影医疗科技有限公司 医学图像处理方法、装置、图像处理设备及存储介质
CN111862033B (zh) * 2020-07-15 2024-02-20 上海联影医疗科技股份有限公司 医学图像处理方法、装置、图像处理设备及存储介质
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN115598025A (zh) * 2022-12-13 2023-01-13 四川亿欣新材料有限公司(Cn) 图像处理方法及使用该方法的碳酸钙粉质检系统

Similar Documents

Publication Publication Date Title
JP7496389B2 (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
CN109493343A (zh) 医疗图像异常区域分割方法及设备
CN109684981A (zh) 青光眼图像识别方法、设备和筛查系统
Akita et al. A computer method of understanding ocular fundus images.
CN105096259B (zh) 深度图像的深度值恢复方法和系统
CN108022251B (zh) 一种管状结构的中心线的提取方法及系统
CN110136140A (zh) 眼底图像血管影像分割方法及设备
CN110909780A (zh) 一种图像识别模型训练和图像识别方法、装置及系统
CN113160257B (zh) 图像数据标注方法、装置、电子设备及存储介质
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN109583364A (zh) 图像识别方法及设备
CN110263755B (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110428421A (zh) 黄斑图像区域分割方法和设备
CN109697716B (zh) 青光眼图像识别方法、设备和筛查系统
CN110599507B (zh) 一种番茄识别定位方法及系统
CN110210483A (zh) 医疗图像病变区域分割方法、模型训练方法和设备
CN107564048A (zh) 基于分叉点特征配准方法
CN110348345B (zh) 一种基于动作连贯性的弱监督时序动作定位方法
CN109961848A (zh) 黄斑图像分类方法和设备
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN112581438A (zh) 切片图像识别方法、装置和存储介质及电子设备
CN109427062A (zh) 道路特征标记方法、装置、计算机设备以及可读存储介质
CN109671055B (zh) 肺结节检测方法及装置
KR20210126485A (ko) 매칭 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 프로그램
CN113658165A (zh) 杯盘比确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination