CN110070531B - 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 - Google Patents

用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 Download PDF

Info

Publication number
CN110070531B
CN110070531B CN201910320422.XA CN201910320422A CN110070531B CN 110070531 B CN110070531 B CN 110070531B CN 201910320422 A CN201910320422 A CN 201910320422A CN 110070531 B CN110070531 B CN 110070531B
Authority
CN
China
Prior art keywords
fundus
pixels
super
pixel
fundus picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910320422.XA
Other languages
English (en)
Other versions
CN110070531A (zh
Inventor
张梦蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910320422.XA priority Critical patent/CN110070531B/zh
Publication of CN110070531A publication Critical patent/CN110070531A/zh
Priority to PCT/CN2020/076501 priority patent/WO2020211530A1/zh
Application granted granted Critical
Publication of CN110070531B publication Critical patent/CN110070531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

本发明的实施例提供一种用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置,涉及计算机视觉信息领域,可以提高检测的速度和准确度。一种用于检测眼底图片的模型训练方法,包括:将眼底图片训练集的N个眼底图片中的每个眼底图片,分割为M个超像素;N和M均为正整数;根据M×N个超像素,训练得到第一网络模型;第一网络模型用于将输入的每个超像素,在输出时标识为关键像素或背景像素;根据M×N个超像素中属于关键像素的超像素,训练得到第二网络模型;第二网络模型用于将输入的每个超像素,在输出时标识为病变或非病变。

Description

用于检测眼底图片的模型训练方法、眼底图片的检测方法及 装置
技术领域
本发明涉及计算机视觉信息领域,尤其涉及一种用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置。
背景技术
眼底是眼球内后部的组织,眼底的图片即眼底图片。眼底图片可用于诊断诸如青光眼、眼底黄斑性病变等眼底疾病,也可以为诊断糖尿病、高血压等疾病提供参考依据。
目前,医生对眼底病变的识别诊断过程较长,并且对于初期的微小病变,也容易误诊或漏诊。而通过计算机视觉技术对眼底图片进行分析,不仅可以为协助医生快速诊断,也可以降低误诊、漏诊的概率。
发明内容
本发明的实施例提供一种用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置,可以提高检测的速度和准确度。
为达到上述目的,本发明的实施例采用如下技术方案:
一方面,本发明的实施例提供了一种用于检测眼底图片的模型训练方法,包括:将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素;N和M均为正整数;根据M×N个所述超像素,训练得到第一网络模型;所述第一网络模型用于将输入的每个所述超像素,在输出时标识为关键像素或背景像素;根据M×N个所述超像素中属于关键像素的所述超像素,训练得到第二网络模型;所述第二网络模型用于将输入的每个所述超像素,在输出时标识为病变或非病变。
可选地,根据M×N个所述超像素,训练得到第一网络模型,包括:构建深层神经网络;每次选取M×N个所述超像素中的至少一个所述超像素,输入所述深层神经网络中;其中,M×N个所述超像素中的每个所述超像素已预先被标记为关键像素或背景像素;将所述深层神经网络的输出结果与所述超像素预先的标记结果进行比较,训练所述深层神经网络的网络参数,直至所述深层神经网络在输出时,将所述超像素标识为关键像素或者背景像素的正确率达到第一阈值,得到所述第一网络模型。
进一步可选地,所述深层神经网络为深度信念网络。
可选地,根据M×N个所述超像素中属于关键像素的所述超像素,训练得到第二网络模型,包括:构建卷积神经网络;每次选取M×N个所述超像素中,属于关键像素的所有所述超像素中的至少一个所述超像素,输入所述卷积神经网络中;其中,属于关键像素的每个所述超像素已预先被标记为病变或非病变;将所述卷积神经网络的输出结果与属于关键像素的所述超像素预先的标记结果进行比较,训练所述卷积神经网络的网络参数,直至所述卷积神经网络的损失值减小到第二阈值,得到所述第二网络模型;所述卷积神经网络的输出结果包括将所述超像素标识为病变或非病变。
进一步可选地,所述卷积神经网络为残差网络和Inception网络的结合。
可选地,将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素之前,所述用于检测眼底图片的模型训练方法还包括:对所述眼底图片进行第一预处理;所述第一预处理,包括:旋转、剪切、扭曲、缩放、调整色差、降低分辨率中的至少一种。
再一方面,本发明的实施例还提供眼底图片的检测方法,包括:将待检测眼底图片分割为P个超像素,并获取P个所述超像素一一对应的地址;将该P个所述超像素输入,由上述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的所述超像素;将标识为关键像素的所述超像素输入由上述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的所述超像素;根据标识为关键像素且病变的所述超像素对应的地址,在所述待检测眼底图片找到该超像素的位置,并在所述待检测眼底图片上标识出该位置。
可选地,将待检测眼底图片分割为P个超像素,并获取P个所述超像素一一对应的地址之前,所述眼底图片的检测方法还包括:对所述待检测眼底图片进行第二预处理;所述第二预处理,包括:剪切和缩放中的至少一种。
另一方面,本发明的实施例还提供一种计算机设备,包括存储单元和处理单元;所述存储单元中存储可在所述处理单元上运行的计算机程序;所述处理单元执行所述计算机程序时实现上述的用于检测眼底图片的模型训练方法或上述的眼底图片的检测方法。
又一方面,本发明的实施例还提供一种计算机可读介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述的用于检测眼底图片的模型训练方法或上述的眼底图片的检测方法。
又一方面,本发明的实施例还提供一种用于检测眼底图片的模型训练装置,包括:分割模块,配置为将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素;N和M均为正整数;训练模块,配置为根据M×N个所述超像素,训练得到第一网络模型;所述第一网络模型用于将输入的每个所述超像素,在输出时标识为关键像素或背景像素;训练模块,还配置为根据已标记为关键像素的所述超像素,训练得到第二网络模型;所述第二网络模型用于将输入的每个所述超像素,在输出时标识为病变或非病变。
又一方面,本发明的实施例还提供一种眼底图片的检测装置,包括:分割模块,配置为将待检测眼底图片分割为M个超像素;获取模块,配置为获取P个所述超像素一一对应的地址;获取模块,还配置为将该P个所述超像素输入,由上述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的所述超像素;获取模块,还配置为将标识为关键像素的所述超像素输入由上述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的所述超像素;标识模块,配置为根据标识为关键像素且病变的所述超像素对应的地址,在所述待检测眼底图片找到该超像素的位置,并在所述待检测眼底图片上标识出该位置。
本发明的实施例提供一种用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置,通过将眼底图片训练集中的眼底图片分割为多个超像素,使用超像素训练第一网络模型,以使第一网络模型在后续应用中能够识别出超像素为关键像素或背景像素。在此基础上,使用关键像素训练第二网络模型,以使第二网络模型在后续应用中能够识别出关键像素为病变或非病变,从而通过上述简易的训练方法,使得训练出的模型识别病变速度快、准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于检测眼底图片的模型训练方法的流程图;
图2为本发明实施例提供的再一种用于检测眼底图片的模型训练方法的流程图;
图3为本发明实施例提供的另一种用于检测眼底图片的模型训练方法的流程图;
图4为本发明实施例提供的又一种用于检测眼底图片的模型训练方法的流程图;
图5为本发明实施例提供的又一种用于检测眼底图片的模型训练方法的流程图;
图6为本发明实施例提供的一种用于检测眼底图片的模型训练装置的结构示意图;
图7为本发明实施例提供的一种眼底图片的检测方法的流程图;
图8为本发明实施例提供的再一种眼底图片的检测方法的流程图;
图9为本发明实施例提供的一种眼底图片的检测装置的结构示意图。
附图标记:
10-分割模块;20-训练模块;30-获取模块;40-标识模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供一种用于检测眼底图片的模型训练方法,如图1所示,包括:
S10、将眼底图片训练集的N个眼底图片中的每个眼底图片,分割为M个超像素;N和M均为正整数。
其中,眼底图片训练集指多张用于训练模型的眼底图片的集合。眼底图片训练集中的眼底图片的数量可以根据需要进行设置。
超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。少量的超像素可以代替大量的像素来表达眼底图片的特征,降低了眼底图片后续处理的复杂度。
示例的,将一个眼底图片分割为M个超像素,也就是说,用M个超像素代替一个眼底图片中大量的像素,降低了该眼底图片的复杂度。在此基础上,将每个眼底图片都分割为M个超像素,使得所有眼底图片的复杂度被降低,且被降低成同等程度,在训练模型时,更容易进行训练,误差更小。
将每个眼底图片分割为M个超像素的方法叫作超像素分割法。超像素分割法的原理基于聚类算法,即,将聚类算法使用在眼底图片的分割上。
基于上述描述,以下以一个眼底图片为例,提供一种将眼底图片分割为M个超像素的方法,以清楚描述其过程:
首先,设定超像素的个数M,在眼底图片中,均匀的选择M个像素作为初始聚类中心,对于其余像素,则根据其余像素与这些聚类中心的距离,按照最邻近原则,分别分配给距离最近的聚类。
其次,重新计算每个所获新聚类的聚类中心(聚类中所有像素的均值),不断的重复这个过程,直到聚类中心的变化极少为止,则超像素分割完成。
S20、根据M×N个超像素,训练得到第一网络模型;第一网络模型用于将输入的每个超像素,在输出时标识为关键像素或背景像素。
其中,训练第一网络模型时,M×N个超像素需要分批次输入,而每一次输入超像素的个数可以根据需要进行设定。
在眼底图片中,最能体现眼底图片内容的超像素称之为关键像素,其余的超像素则称之为背景像素。对所有超像素进行关键像素和背景像素的区分,能够排除眼底图片中背景像素的干扰,接近用户的检测意图,有利于检测性能的提高。
S30、根据M×N个超像素中属于关键像素的超像素,训练得到第二网络模型;第二网络模型用于将输入的每个超像素,在输出时标识为病变或非病变。
其中,训练第二网络模型时,关键像素也需要分批次输入,而每一次输入关键像素的个数可以根据需要进行设定。
在关键像素中,最能体现出眼底病变信息的关键像素被标识为病变,其余的关键像素则被标识为非病变。对关键像素进行病变或非病变的区分,能够排除眼底图片中非病变的超像素的干扰,实现用户的检测意图。
本申请的实施例提供了一种用于检测眼底图片的模型训练方法,通过将眼底图片训练集中的眼底图片分割为多个超像素,使用超像素训练第一网络模型,以使第一网络模型在后续应用中能够识别出超像素为关键像素或背景像素。在此基础上,使用关键像素训练第二网络模型,以使第二网络模型在后续应用中能够识别出关键像素为病变或非病变,从而通过上述简易的训练方法,使得训练出的模型识别病变速度快、准确率高。
可选地,上述S10中将眼底图片训练集的N个眼底图片中的每个眼底图片,分割为M个超像素之前,如图2所示,上述用于检测眼底图片的模型训练方法还包括:
S40、对眼底图片进行第一预处理。
第一预处理,包括:旋转、剪切、扭曲、缩放、调整色差、降低分辨率中的至少一种。
旋转是将眼底图片以中心或某个顶点为原点随机旋转一定角度;剪切是随机选取图像的一部分;扭曲是对图像应用一个随机的四点透视变换;缩放是将眼底图片的尺寸进行统一;调整色差是将眼底图片的色调、饱和度等进行随机处理。
在训练模型之前,对眼底图片进行第一预处理,校正眼底图片的内容,可以起到扩充眼底图片训练集的作用,使训练出的模型可以处理多种拍摄条件下拍摄的图像,提高模型识别的准确度。
此外,当第一预处理包括降低分辨率时,通过使用低分辨率的眼底图片训练模型,使得训练出的模型在实际检测眼底病变的过程中,识别的效果会更精准。
可选地,上述S20中根据M×N个超像素,训练得到第一网络模型之后,S30根据M×N个超像素中属于关键像素的超像素,训练得到第二网络模型之前,如图3所示,用于检测眼底图片的模型训练方法还包括:
S50、删除第一网络模型输出的背景像素。
将第一网络模型输出的背景像素进行删除,仅保留关键像素用于后续处理,减少了计算量,可以提高计算速度。
可选地,上述S20中根据M×N个超像素,训练得到第一网络模型,如图4所示,包括:
S201、构建深层神经网络。
可选地,S201中的深层神经网络为深度信念网络(Deep Belief Network,DBN)。
深度信念网络包括多个堆叠的受限玻尔兹曼机(Restricted BoltzmannMachine,RBM)。受限玻尔兹曼机的结构原理来源于物理中的玻尔兹曼分布。其中,每个受限玻尔兹曼机有两层神经元,一层叫做显层(Visible Layer),由显元(Visible Units)组成,用于输入;另一层叫做隐层(Hidden Layer),由隐元(Hidden Units)组成,用作检测。显元和隐元都是二值变量,即,其状态取值为0或1。每一层神经元,层内无连接,层与层之间全连接。
多个堆叠的受限玻尔兹曼机构成深度信念网络时,下层受限玻尔兹曼机的隐层作为高一层受限玻尔兹曼机的显层,为高一层受限玻尔兹曼机输入数据。
堆叠成深度信念网络的受限玻尔兹曼机个数可以根据需要进行设置,本发明对此不进行限定。
S202、每次选取M×N个超像素中的至少一个超像素,输入深层神经网络中;其中,M×N个所述超像素中的每个超像素已预先被标记为关键像素或背景像素。
示例的,可以通过人工标记的方式对每个超像素预先进行标记。
S203、将深层神经网络的输出结果与超像素预先的标记结果进行比较,训练深层神经网络的网络参数,直至深层神经网络在输出超像素时,将超像素标识为关键像素或者背景像素的正确率达到第一阈值,得到第一网络模型。
基于上述描述,当深层神经网络为深度信念网络时,以下提供一种根据M×N个超像素,训练得到第一网络模型的方法,以清楚描述其实现过程。
首先,构建深度信念网络,设定深度信念网络由Q个受限玻尔兹曼机堆叠而成。Q为正整数。
其次,每次将至少一个超像素输入深度信念网络中的第一个受限玻尔兹曼机的显层,进行无监督训练,提取超像素的特征,通过对比散度法,更新权重。将第一个受限玻尔兹曼机的隐层作为第二个受限玻尔兹曼机的显层,提取特征,更新权重。依次类推。将第Q-1个受限玻尔兹曼机的隐层作为第Q个受限玻尔兹曼机的显层,并设置分别代表关键像素和背景像素的标签神经元,继续提取特征,更新权重。将第Q个受限玻尔兹曼机的隐层连接输出层输出。
需要说明的是,无监督训练,是指针对每个受限玻尔兹曼机,在训练阶段,输入显层的数据不需要人工标记。
对比散度法(Contrastive Divergence,CD)主要步骤包括,根据超像素设置受限玻尔兹曼机的显层状态,利用显层条件下隐层的条件概率,计算隐层状态;在隐层各隐元的状态确定后,根据隐层条件显层的条件概率,计算下一层显层状态,重构显层,重复采样,直到模型参数收敛为止。
然后,将深度信念网络的输出结果与人工标记结果进行比较,计算所有超像素通过深度信念网络被标识为关键像素或背景像素的正确率。当正确率很低时,可以利用误差逆传播(Error Back Propagation,BP)算法计算深度信念网络的均方误差,通过不断地调整网络参数,使深度信念网络的均方误差小于设定的第一阈值,从而得到深度信念网络。
可选地,上述S30中根据M×N个超像素中属于关键像素的超像素,训练得到第二网络模型,如图5所示,包括:
S301、构建卷积神经网络。
卷积神经网络模型是一个多层结构学习算法,利用图片中的空间相对位置和权重,减少网络权重的数目,以提高复杂网络训练性能。
卷积神经网络在训练时,是一种在监督下进行学习的机器学习模型。
可选地,卷积神经网络为残差网络和Inception网络的结合。
残差网络,通过跳跃连接技术构建,打破了传统的神经网络S-1层的输出只能给S层作为输入的惯例,使其某一层的输出可以直接跨过几层作为后面某一层的输入。多个残差网络的堆叠可以降低网络参数的数目,减少计算量,提高运算速度。
Inception网络,是一种具有并行结构的网路,其通过不对称的卷积核结构,可以在保证信息损失足够小的情况下,降低计算量,提高运算速度。
S302、每次选取M×N个超像素中,属于关键像素的所有超像素中的至少一个超像素,输入卷积神经网络中;其中,属于关键像素的每个超像素已预先被标记为病变或非病变。
示例的,可以通过人工标记的方式对属于关键像素的每个超像素进行预先标记。
S303、将卷积神经网络的输出结果与属于关键像素的超像素预先的标记结果进行比较,训练卷积神经网络的网络参数,直至卷积神经网络的损失值减小到第二阈值,得到第二网络模型;所述卷积神经网络的输出结果包括将超像素标识为病变或非病变。
基于上述描述,当卷积神经网络为残差网络和Inception网络的结合时,以下提供一种根据M×N个超像素中属于关键像素的超像素,训练得到第二网络模型的方法,以清楚描述其实现过程。
首先,构建卷积神经网络。
卷积神经网络中包括的残差网络的个数、Inception网络的个数可以根据需要进行设定,本发明对此不进行限定。
其次,每次将至少一个属于关键像素的超像素输入卷积神经网络的输入层,利用残差网络和Inception网络对其进行卷积,将卷积结果输入全连接层,标识为病变或非病变后输出。
然后,将卷积神经网络的输出结果与人工标记结果进行比较,计算所有属于关键像素的超像素的损失值。当损失值很大时,可以利用反向传播,调整网络参数,直至损失值减小到第二阈值,从而得到深度信念网络。
其中,卷积神经网络的主要作用是将属于关键像素的超像素分为病变或非病变,被用作分类模型,此时,求损失值的损失函数使用的是交叉熵(Cross Entroy Loss)损失函数。
交叉熵损失函数的关系式为:
Figure GDA0002868734990000101
yi表示人工标记结果,yi'表示卷积神经网络的输出结果的概率分布。
交叉熵描述了两个概率分布之间的距离,当交叉熵越大,说明二者之间差异越大,交叉熵越小说明二者之间越接近。
需要说明的是,在利用交叉熵损失函数计算损失值之前,由于卷积神经网络的输出结果并不是一个概率分布,因此,还需要使用Softmax回归将卷积神经网络的输出结果,归一化至(0,1)区间内,变成概率分布。
示例的,将M×N个超像素分批次输入卷积神经网络,进行卷积后输出,其中某一次的输出结果为包含K个超像素的数据,1≤K≤M×N,K为正整数,i表示其中第i个超像素,则根据Softmax回归,第i个超像素的卷积神经网络的输出结果的概率分布为:
Figure GDA0002868734990000102
本发明的实施例还提供一种计算机设备,包括存储单元和处理单元;存储单元中存储可在处理单元上运行的计算机程序;处理单元执行计算机程序实现上述的用于检测眼底图片的模型训练方法。
本发明的实施例还提供一种计算机可读介质,其存储有计算机程序,计算机程序被处理器执行时实现上述的用于检测眼底图片的模型训练方法。
本发明的实施例还提供一种用于检测眼底图片的模型训练装置,如图6所示,包括:
分割模块10,配置为将眼底图片训练集的N个眼底图片中的每个眼底图片,分割为M个超像素;N和M均为正整数。
训练模块20,配置为根据M×N个超像素,训练得到第一网络模型;第一网络模型用于将输入的每个所述超像素,在输出时标识为关键像素或背景像素。
训练模块20,还配置为根据已标记为关键像素的超像素,训练得到第二网络模型;第二网络模型用于将输入的每个超像素,在输出时标识为病变或非病变。
本申请的实施例提供了一种用于检测眼底图片的模型训练装置,通过分割模块,将眼底图片训练集中的眼底图片分割为多个超像素,再使用训练模块,利用超像素训练第一网络模型,使第一网络模型能够识别出超像素为关键像素或背景像素,继续使用训练模块,利用关键像素训练第二网络模型,使第二网络模型能够识别出关键像素为病变或非病变,从而通过上述简易的训练装置,可以训练出快速识别眼底图片中病变且识别效果好,准确率高的模型。
本发明的实施例还提供一种眼底图片的检测方法,如图7所示,包括:
S100、将待检测眼底图片分割为P个超像素,并获取P个超像素一一对应的地址。
S200、将该P个超像素输入,由上述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的超像素。
S300、将标识为关键像素的超像素输入由上述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的超像素。
S400、根据标识为关键像素且病变的超像素对应的地址,在待检测眼底图片找到该超像素的位置,并在待检测眼底图片上标识出该位置。
基于此,可以依次遍历标识为关键像素且病变的超像素的地址。将相邻地址标识为关键像素且病变的超像素进行合并,再在待检测眼底图片上标识出合并的位置。
示例的,一个标识为关键像素且病变的超像素对应的地址L,将其作为种子像素,根据地址L,检索其相邻地址L-1和L+1的超像素是否也同样为关键像素且病变。
若否,则单独对其位置进行标识。
若至少有一个是,则将地址L-1或L+1的超像素作为种子像素,寻找该种子像素相邻地址的超像素是否为关键像素且病变,依次类推,直至相邻地址的超像素均不是关键像素且病变,则一次检索结束,并将之前找到的所有相邻的关键像素且病变的超像素为位置进行合并标识。再继续遍历下一个未标识位置的属于关键像素且病变的超像素。
此外,在待检测眼底图片上标识病变位置时,标识可以为圆圈、点、对号等,只要能使人眼可以从眼底图片区分出来即可,其形状和颜色,本发明对比并不进行限定。
本发明提供的实施例提供了一种眼底图片的检测方法,通过将待检测的眼底图片分割为多个超像素,使用训练得到的第一网络模型对超像素进行识别,获取出其中的关键像素,将关键像素输入训练得到的第二网络模型,对关键像素进行识别,获取出其中的病变的超像素,再根据该超像素的地址,在眼底图像中找到其位置并进行标记。由此通过上述方法可快速且准确的检测出眼底图片中的病变,在应用时,可协助医生进行快速诊断,并降低误诊、漏诊的概率。
可选地,S100将待检测眼底图片分割为P个超像素,并获取P个所述超像素一一对应的地址之前,如图8所示,用于检测眼底图片的模型训练方法还包括:
S500、对待检测眼底图片进行第二预处理;第二预处理,包括:剪切和缩放中的至少一种。
在检测眼底图片之前,对眼底图片进行第二预处理,统一眼底图片的尺寸,降低不良影响,提高检测的准确度。
本发明的实施例还提供一种计算机设备,包括存储单元和处理单元;存储单元中存储可在处理单元上运行的计算机程序;处理单元执行计算机程序实现上述的眼底图片的检测方法。
本发明的实施例还提供一种计算机可读介质,其存储有计算机程序,计算机程序被处理器执行时实现上述的用于检测眼底图片的模型训练方法。
本发明的实施例还提供一种眼底图片的检测装置,如图9所示,包括:
分割模块10,配置为将待检测眼底图片分割为M个超像素。
获取模块30,配置为获取P个超像素一一对应的地址。
获取模块30,还配置为将该P个超像素输入,由上述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的超像素。
获取模块30,还配置为将标识为关键像素的所述超像素输入由上述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的所述超像素。
标识模块40,配置为根据标识为关键像素且病变的所述超像素对应的地址,在所述待检测眼底图片找到该超像素的位置,并在所述待检测眼底图片上标识出该位置。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种用于检测眼底图片的模型训练方法,其特征在于,包括:
将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素;N和M均为正整数;
根据M×N个所述超像素,训练得到第一网络模型;所述第一网络模型用于将输入的每个所述超像素,在输出时标识为关键像素或背景像素;
根据M×N个所述超像素中属于关键像素的所述超像素,训练得到第二网络模型;所述第二网络模型用于将输入的每个所述超像素,在输出时标识为病变或非病变;
其中,根据M×N个所述超像素,训练得到第一网络模型,包括:
构建深层神经网络;
每次选取M×N个所述超像素中的至少一个所述超像素,输入所述深层神经网络中;其中,M×N个所述超像素中的每个所述超像素已预先被标记为关键像素或背景像素;
将所述深层神经网络的输出结果与所述超像素预先的标记结果进行比较,训练所述深层神经网络的网络参数,直至所述深层神经网络在输出时,将所述超像素标识为关键像素或者背景像素的正确率达到第一阈值,得到所述第一网络模型;
其中,根据M×N个所述超像素,训练得到第二网络模型,包括:
构建卷积神经网络;所述卷积神经网络为残差网络和Inception网络的结合;
每次选取M×N个所述超像素中,属于关键像素的所有所述超像素中的至少一个所述超像素,输入所述卷积神经网络中;其中,属于关键像素的每个所述超像素已预先被标记为病变或非病变;将所述卷积神经网络的输出结果与属于关键像素的所述超像素预先的标记结果进行比较,训练所述卷积神经网络的网络参数,直至所述卷积神经网络的损失值减小到第二阈值,得到所述第二网络模型;所述卷积神经网络的输出结果包括将所述超像素标识为病变或非病变。
2.根据权利要求1所述的用于检测眼底图片的模型训练方法,其特征在于,所述深层神经网络为深度信念网络。
3.根据权利要求1所述的用于检测眼底图片的模型训练方法,其特征在于,将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素之前,所述用于检测眼底图片的模型训练方法还包括:
对所述眼底图片进行第一预处理;
所述第一预处理,包括:旋转、剪切、扭曲、缩放、调整色差、降低分辨率中的至少一种。
4.一种眼底图片的检测方法,其特征在于,包括:
将待检测眼底图片分割为P个超像素,并获取P个所述超像素一一对应的地址;
将该P个所述超像素输入由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的所述超像素;
将标识为关键像素的所述超像素输入由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的所述超像素;
根据标识为关键像素且病变的所述超像素对应的地址,在所述待检测眼底图片找到该超像素的位置,并在所述待检测眼底图片上标识出该位置。
5.根据权利要求4所述的眼底图片的检测方法,其特征在于,将待检测眼底图片分割为P个超像素,并获取P个所述超像素一一对应的地址之前,所述眼底图片的检测方法还包括:
对所述待检测眼底图片进行第二预处理;
所述第二预处理,包括:剪切和缩放中的至少一种。
6.一种计算机设备,其特征在于,包括存储单元和处理单元;所述存储单元中存储可在所述处理单元上运行的计算机程序;所述处理单元执行所述计算机程序时实现如权利要求1-3任一项所述的用于检测眼底图片的模型训练方法或如权利要求4-5任一项所述的眼底图片的检测方法。
7.一种计算机可读介质,其存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的用于检测眼底图片的模型训练方法或如权利要求4-5任一项所述的眼底图片的检测方法。
8.一种用于检测眼底图片的模型训练装置,其特征在于,包括:
分割模块,配置为将眼底图片训练集的N个眼底图片中的每个所述眼底图片,分割为M个超像素;N和M均为正整数;
训练模块,配置为根据M×N个所述超像素,训练得到由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第一网络模型;所述第一网络模型用于将输入的每个所述超像素,在输出时标识为关键像素或背景像素;
训练模块,还配置为根据已标记为关键像素的所述超像素,训练得到由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第二网络模型;所述第二网络模型用于将输入的每个所述超像素,在输出时标识为病变或非病变。
9.一种眼底图片的检测装置,其特征在于,包括:
分割模块,配置为将待检测眼底图片分割为M个超像素;
获取模块,配置为获取P个所述超像素一一对应的地址;
获取模块,还配置为将该P个所述超像素输入由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第一网络模型中,获取标识为关键像素的所述超像素;
获取模块,还配置为将标识为关键像素的所述超像素输入由权利要求1-3任一项所述的用于检测眼底图片的模型训练方法得到的第二网络模型中,获取标识为关键像素且病变的所述超像素;
标识模块,配置为根据标识为关键像素且病变的所述超像素对应的地址,在所述待检测眼底图片找到该超像素的位置,并在所述待检测眼底图片上标识出该位置。
CN201910320422.XA 2019-04-19 2019-04-19 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 Active CN110070531B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910320422.XA CN110070531B (zh) 2019-04-19 2019-04-19 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
PCT/CN2020/076501 WO2020211530A1 (zh) 2019-04-19 2020-02-25 用于检测眼底图片的模型训练方法和装置、眼底图片的检测方法和装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910320422.XA CN110070531B (zh) 2019-04-19 2019-04-19 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置

Publications (2)

Publication Number Publication Date
CN110070531A CN110070531A (zh) 2019-07-30
CN110070531B true CN110070531B (zh) 2021-05-07

Family

ID=67368200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910320422.XA Active CN110070531B (zh) 2019-04-19 2019-04-19 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置

Country Status (2)

Country Link
CN (1) CN110070531B (zh)
WO (1) WO2020211530A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070531B (zh) * 2019-04-19 2021-05-07 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN111046835A (zh) * 2019-12-24 2020-04-21 杭州求是创新健康科技有限公司 一种基于区域特征集合神经网络的眼底照多病种检测系统
CN111402246A (zh) * 2020-03-20 2020-07-10 北京工业大学 一种基于联合网络的眼底图像分类方法
CN111716368A (zh) * 2020-06-29 2020-09-29 重庆市柏玮熠科技有限公司 智能匹配核对机器人
CN112926596B (zh) * 2021-02-10 2023-04-07 北京邮电大学 基于循环神经网络的实时超像素分割方法及系统
CN114693670B (zh) * 2022-04-24 2023-05-23 西京学院 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040122672A1 (en) * 2002-12-18 2004-06-24 Jean-Francois Bonastre Gaussian model-based dynamic time warping system and method for speech processing
US9443314B1 (en) * 2012-03-29 2016-09-13 Google Inc. Hierarchical conditional random field model for labeling and segmenting images
US8879855B2 (en) * 2012-08-17 2014-11-04 Nec Laboratories America, Inc. Image segmentation for large-scale fine-grained recognition
CN104517116A (zh) * 2013-09-30 2015-04-15 北京三星通信技术研究有限公司 在图像中确定目标区域的装置和方法
CN106599805B (zh) * 2016-12-01 2019-05-21 华中科技大学 一种基于有监督数据驱动的单目视频深度估计方法
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法
CN107016677B (zh) * 2017-03-24 2020-01-17 北京工业大学 一种基于fcn和cnn的云图分割方法
CN107194929B (zh) * 2017-06-21 2020-09-15 太原理工大学 一种对肺部ct图像感兴趣区域的追踪方法
CN110070531B (zh) * 2019-04-19 2021-05-07 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置

Also Published As

Publication number Publication date
WO2020211530A1 (zh) 2020-10-22
CN110070531A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN112419271B (zh) 一种图像分割方法、装置及计算机可读存储介质
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
WO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN113592783B (zh) 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN110689526B (zh) 基于视网膜眼底图像的视网膜血管分割方法及系统
CN108364297B (zh) 血管图像分割方法、终端、存储介质
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN113240655A (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN113793357A (zh) 一种基于深度学习的支气管肺段图像分割方法及系统
CN115526801A (zh) 基于条件对抗神经网络的遥感影像自动匀色方法和装置
CN112200887A (zh) 一种基于梯度感知的多聚焦图像融合方法
CN114332166A (zh) 基于模态竞争协同网络的可见光红外目标跟踪方法及装置
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN113591601B (zh) 角膜共聚焦图像中菌丝识别方法及装置
CN115100731A (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
CN111753723B (zh) 一种基于密度校准的指纹识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant