CN107256410B - 眼底图像分类方法及装置 - Google Patents

眼底图像分类方法及装置 Download PDF

Info

Publication number
CN107256410B
CN107256410B CN201710387498.5A CN201710387498A CN107256410B CN 107256410 B CN107256410 B CN 107256410B CN 201710387498 A CN201710387498 A CN 201710387498A CN 107256410 B CN107256410 B CN 107256410B
Authority
CN
China
Prior art keywords
fundus image
fundus
images
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710387498.5A
Other languages
English (en)
Other versions
CN107256410A (zh
Inventor
谷硕
史晓宇
郝瑞瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201710387498.5A priority Critical patent/CN107256410B/zh
Publication of CN107256410A publication Critical patent/CN107256410A/zh
Application granted granted Critical
Publication of CN107256410B publication Critical patent/CN107256410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种对类镜像图像分类的方法及装置,其中,该方法包括:对一定量的类镜像图像的第一对象进行标注,并将标注好的类镜像图像输入深度学习检测模型,训练卷积神经网络,学习第一对象的特征,当训练过程收敛后,得到的深度学习检测模型将具备能够准确定位出第一目标在输入新的类镜像照片中的所在位置。再根据第一对象在类镜像图像中的位置的属性将目标图像分类,相比人工分类,高效、准确。可以保证分析结果失真较小。

Description

眼底图像分类方法及装置
技术领域
本发明涉及图像分类领域,具体涉及一种眼底图像分类方法及装置。
背景技术
类镜像图像由于相似度比较高,在整理图像时,区分图像的类别的过程经常发生错误,例如,眼底图像为类镜像图像,计算机处理眼底图像时,由于左右眼病征的关联性,经常出现需要双眼多张图像同时分析。当采样率需求较高时,一次检查通常需要单眼十几张至几十张的照片。然而,由于眼底图像的相似性,在整理图像时,区分左右眼的图片的过程经常发生错误。
现在的眼底照相机通常分为三种规格,分别为200度,45度和20度眼底照相机。度数越低,眼底的细节信息越丰富,但随之而来的问题是视野变小。若想在不丢失细节信息的同时观察眼底大面积区域,需要在大面积区域上滑动拍摄。并且,由于眼底组织如黄斑,视盘,棉絮斑是连续的,我们采样时为了保证其组织的完整性,需要将连续拍摄的两张图之间保留一定的重叠,将拍摄的采样率提高。当我们希望从20度眼底照相机拍摄的图像还原出45度眼底照相机图像的视野时,我们通常需要将重叠部分设为50%以上,需要十张到二十张图像进行还原,若想还原出200度图像的视野则需要几十张甚至上百张图像,对大量眼底图像进行分组,是一件重复性强,耗费时间多的事情,给操作人员带来了困扰。
判断眼底图像为左眼有眼通常是根据视盘在图像中的相对位置,当视盘在图像的左侧时明当前图像为左眼眼底图像,反之当视盘在图像右侧时,说明当前图像为右眼图像。当人们上传照片至图像处理系统时,现在的图像分析系统通常为让人们手动的将需分析的眼底图像分为左眼右眼分别上传。这样带来的风险是当采样率提高,比较容易将图像的组别分错,造成分析结果的失真。
发明内容
本发明需要解决的问题是如何对大量类镜像图像进行较为精确的分类。
有鉴于此,根据第一方面,本发明实施例提供了一种对类镜像图像分类的方法,可以包括如下步骤:
对多张类镜像图像的第一对象分别进行区域标注,得到多个标注区域的位置;使用深度卷机神经网络学习标注区域的第一特征信息,得到深度学习模型,深度学习模型包括:深度学习检测、深度学习分类或深度学习分割模型中的任意一种,第一特征信息为第一对象的特征信息;根据深度学习模型判断类镜像图像中是否存在第一对象;如果类镜像图像中存在第一对象,则根据深度学习模型得到第一对象的位置;基于第一对象的位置确定当前第一对象在类镜像图像中的相对位置;根据第一对象在类镜像图像中位置的属性和当前第一对象在类镜像图像中的相对位置确定类镜像图像的类别。
可选地,如果类镜像图像中不存在第一对象,则基于模糊变换识别第二对象的第二特征信息;根据第二特征信息在类镜像图像中的属性确定类镜像图像的类别。
可选地,类镜像图像为左右眼底图像;第一对象为视盘,第一特征信息为视盘颜色和/或视盘纹理;第二对象为血管,第二特征为血管弯曲方向。
可选地,根据深度学习模型判断类镜像图像中是否存在第一对象包括:将类镜像图像分为多个检测区域;判断检测区域的确信度是否大于确信度阈值,确信度为检测区域中的第一特征信息与标注区域的第一特征信息的相似度;如果检测区域的确信度大于确信度阈值,则确认检测区域内存在第一对象。
可选地,根据深度学习模型得到第一对象的位置包括:根据深度学习模型的结果得到包含第一对象的检测区域的坐标。
可选地,在确定类镜像图像的类别之后还包括:从确定类别的类镜像图像中选择至少一张类镜像图像作为模板,验证对应类别的其他类镜像图像。可选地,从确定类别的类镜像图像中选择至少一张类镜像图像作为模板验证对应类别的其他类镜像图像包括:从确定类别的类镜像图像中选择至少一张类镜像图像;在当前类镜像图像的至少一个预设位置对应选择预设面积的区域作为模板;利用模板对当前类别所有未检测出第一对象的类镜像图像分别进行扫描;判断扫描过程中模板对应的区域的相似度是否大于预设相似度;如果扫描过程中模板对应的区域的相似度小于预设相似度,则确认被扫描的类镜像图像为当前类别。
可选地,如果扫描过程中模板对应的区域的相似度均小于预设相似度,则剔除当前扫描的类镜像图像。
根据第二方面,本发明实施例提供了一种对类镜像图像分类的装置,包括:标注单元,用于对多类镜像图像的第一对象分别进行区域标注,得到多个标注区域的位置;训练单元,使用深度卷机神经网络学习标注区域的第一特征信息,得到深度学习模型,深度学习模型包括:深度学习检测、深度学习分类或深度学习分割模型中的任意一种,第一特征信息为第一对象的特征信息;判断单元,用于根据深度学习模型判断类镜像图像中是否存在第一对象;确认单元,用于在判断单元判断出类镜像图像中存在第一对象后,根据深度学习模型得到第一对象的位置;相对位置确认单元,用于基于第一对象的位置确定当前第一对象在类镜像图像中的相对位置;第一类别确认单元,用于根据第一对象在类镜像图像中位置的属性和当前第一对象在类镜像图像中的相对位置确定类镜像图像的类别。
可选地,识别单元,用于在判断单元判断出类镜像图像中不存在第一对象后,基于模糊变换识别第二对象的第二特征信息;第二类别确认单元,用于根据第二特征信息在左右眼中的属性确定类镜像图像的类别。
可选地,类镜像图像为左右眼底图像;第一对象为视盘,第一特征信息为视盘颜色和/或视盘纹理;第二对象为血管,第二特征为血管弯曲方向。
可选地,判断单元包括:划分子单元,用于将类镜像图像分为多个检测区域;第一判断子单元,用于判断检测区域的确信度是否大于确信度阈值,确信度为检测区域中的第一特征信息与标注区域的第一特征信息的相似度;确认子单元,用于在第一判断子单元判断出检测区域的确信度大于确信度阈值后,确认检测区域内存在第一对象。
可选地,确认单元包括:坐标检测子单元,用于根据深度学习模型的结果得到包含第一对象的检测区域的坐标。
可选地,验证单元,用于从确定类别的目标眼底图像中选择至少一张目标眼底图像作为模板验证对应类别的其他目标眼底图像。
可选地,验证单元包括:第一选择子单元,用于从确定类别的类镜像图像中选择至少一张目标眼底图;第二选择子单元,用于在当前类镜像图像的至少一个预设位置对应选择预设面积的区域作为模板;扫描子单元,用于利用模板对当前类别所有未检测出第一对象的类镜像图像分别进行扫描;第二判断子单元,用于判断扫描过程中模板对应的区域的相似度是否大于预设相似度;类别确认子单元,用于在第二判断子单元判断出相似度大于预设相似度,确认被扫描的类镜像图像为当前类别。
可选地,验证单元还包括:剔除子单元,在第二判断子单元判断出相似度均小于预设值,剔除当前扫描的类镜像图像。
本发明实施例提供的类镜像图像分类方法及装置,对一定量的类镜像图像的第一对象进行标注,利用第一对象的特征对深度学习模型进行训练,训练完成后,在目标图像输入后,利用训练结果识别并标注第一特征的位置,在根据第一对象在类镜像图像中的位置的属性将目标图像分类,相比人工分类,高效、准确。可以保证分析结果失真较小。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例的类镜像图像分类方法的流程示意图;
图2示出了本发明实施例的确定类镜像图像中第一对象位置的流程示意图;
图3示出了本发明另一实施例的类镜像图像分类方法的流程示意图;
图4示出了本发明实施例的类镜像图像分类验证方法的流程示意图;
图5示出了本发明实施例的类镜像图像分类装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,本发明中术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供了一种对类镜像图像分类的方法,该方法适用于区分数量较多的类镜像图像,如图1所示,该方法包括:
S110.对多张类镜像图像的第一对象分别进行区域标注。在具体的实施例中,类镜像图像可以包括左右眼底图像,在本实施例中以左右眼底图像为例进行说明,在对左右眼底图像分类进行分类之前,需要使用标注好的眼底图像训练深度卷机神经网络,需要使用大量标注图像。选择图像的张数可以根据分类要求的精度确定,选择张数越多,训练结果越准确。
第一对象可以是眼底组织中较为明显的组织,例如视盘或黄斑。由于视盘特征最为明显、最能说明眼底的左右眼属性,因此选取视盘作为第一对象。在对左右眼的眼底图像的视盘进标注时,可以标注视盘的位置。具体地,可以将视盘用大小合适的方框标出,并记录方框对应顶点的坐标,例如,左上和右下顶点坐标。即可得到标注区域位置。
S120.使用深度卷机神经网络学习标注区域的第一特征信息,得到深度学习检测模型。在具体的实施例中,类镜像图像可以包括左右眼底图像,在本实施例中以左右眼底图像为例进行说明,深度学习模型包括:深度学习检测、深度学习分类或深度学习分割模型中的任意一种,在对眼底图像的第一对象进行标注完成后,将记录的标注区域位置的坐标和对应的眼底图像一起输入至深度学习系统中,深度学习检测模型训练标注区域即第一对象的特征,以第一对象为视盘为例,可以学习视盘的特征,即标注区域的颜色和/或纹理特征,通过对多张图像的学习,得到学习结果。
S130.根据深度学习检测模型判断类镜像图像中是否存在第一对象。在具体的实施例中,以左右眼底图像为例,训练结果即为深度学习检测模型,深度学习检测模型是一个数学模型,用数十万个参数来拟合第一对象的第一特征,例如,视盘颜色和/或纹理特征,在输入目标眼底图像后,深度学习检测模型将首先提取图像内待检测区域,然后根据待检测区域内部特征给出对应的响应,响应值越大,代表其越接近第一对象的第一特征。在检测到第一特征信息后,可以确定目标眼底图像中存在第一对象。如果目标眼底图像中存在第一对象,则进入步骤S140。如果目标眼底图像中不存在第一对象,则进入步骤S170。
S140.根据深度学习检测模型得到第一对象的位置。在具体的实施例中,在检测到目标图像中存在第一对象后,根据标注区域的位置得到目标图像中第一对象的位置。
S150.基于第一对象的位置确定当前第一对象在类镜像图像中的相对位置。在具体的实施例中,根据标注区域的位置得到包含第一对象的检测区域的坐标。如果检测区域内存在第一对象,选择与该检测区域相似度最高的标注区域,获取该标注区域的位置信息,作为该检测区域的位置信息。基于检测区域的坐标估算第一对象的坐标。通常检测区域为矩形,在与之对应的标注区域获取的位置信息为矩形的对角顶点的坐标,视盘往往为圆形或近似圆形,可以检测区域的坐标估算视盘的坐标,即利用矩形顶点坐标估算矩形内切的近似圆的圆心的坐标。根据第一对象的坐标确认第一对象在目标眼底图像的相对位置。
S160.根据第一对象在类镜像图像中位置的属性和当前第一对象在类镜像图像中的相对位置确定类镜像图像的类别。在具体的实施例中,所称眼底图像中位置属性为左眼底图像的视盘一般在图像的左侧,右眼底视盘一般图像的右侧。在检测到当前第一对象在目标眼底图像中的相对位置后可以根据该位置属性对眼底图像进行分类,目标眼底图像中的第一对象在左侧时,将该目标眼底图像确定为左眼底图像,目标眼底图像中的第一对象在右侧时,将该目标眼底图像确定为右眼底图像。
在对眼底进行拍照时,采集的眼底图像大部分都包含视盘,但是可能存在不包含视盘的眼底图像,一般包含视盘的眼底图像比例约为95%。为保证可以将所有眼底图像进行分类,保证分类的准确性,在可选地实施例中,对于不包含视盘的眼底图像,该分类方法还可以包括:
S170.基于模糊变换识别第二对象的第二特征信息。在具体的实施例中,以左右眼底图像为例,所称第一对象特征为血管,所称第一特征信息为血管弯曲方向,由于左眼和右眼底的血管弯曲方向不同,各有特点,可以基于血管的弯曲方向判断左右眼眼底图像。由于眼底存在大量的毛细血管或出血点,若血管分割法进行判断,虽然可以得到结论,但是需要大量的计算耗时较长。在本实施例中,可以基于高斯模糊和霍夫变换的血管弯曲方向判别算法,为了避免细小血管的干扰,在做霍夫变换之前首先对图像做高斯模糊处理,将细小的血管与出血点的干扰去除只保留图像中大的轮廓信息。霍夫变换是一种可以判断图像中存在的直线的算法。判断较粗血管的弯曲方向时可以视其为多个直线进行组合得到的。通过霍夫变换,将每条直线的拟合出来,并计算其组合得到曲线的曲率,得到曲率后即可得出血管的弯曲方向,
S180.根据第二特征信息在类镜像中的属性确定类镜像图像的类别。在具体的实施例中,以左右眼底图像为例,可以根据血管在左右眼中不同弯曲方向的属性和上述步骤S170得到的血管的弯曲方向确定目标眼底图像的类别
对一定量的类镜像图像的第一对象进行标注,利用第一对象的特征对深度学习模型进行训练,训练完成后,在目标图像输入后,利用训练结果识别并标注第一特征的位置,在根据第一对象在类镜像图像中的位置的属性将目标图像分类,相比人工分类,高效、准确。可以保证分析结果失真较小。
在可选的实施例中,以类镜像图像为左右眼底图像进行说明,如图2所示,步骤S130可以包括如下步骤:
S131.将类镜像图像分为多个检测区域。在具体的实施例中,可以选择性搜索方法将图像分为多个候选区域,可以将多个候选区域根据与深度学习检测模型中的标注区域的第一特信息的相似度进行初步分类,分别为可能包含第一对象即视盘的区域即检测区域和不包含第一对象的区域。
S132.判断检测区域的确信度是否大于确信度阈值。在具体的实施例中,以类镜像图像为左右眼底图像为例进行说明,在对目标眼底图像进行划分检测区域时,可以得到各个区域与标注区域的相似度的概率值,并设置确信度阈值,该阈值可以设置在0.85-1之间,由于视盘区域与其他区域的颜色及纹理都有较大差别,不同检测区域确信度相差很大,如果检测区域的确信度大于确信度阈值,则进入步骤S133。如果所有的检测区域的确信度小于确信度阈值,则进入步骤S134。
S133.确认当前类镜像图像中存在第一对象。
S134.确认当前类镜像图像不存在第一对象。
为保证分类的准确性,往往需要对确认分类后的类镜像图像进行验证,在可选的实时中,可以采用模板匹配方法进行验证,如图3所示,具体的步骤如下:
S210.对多张类镜像图像的第一对象分别进行区域标注。具体地,可以参见上述实施例步骤S110中对于对第一对象进行区域标注的描述。
S220.使用深度卷机神经网络学习标注区域的第一特征信息,得到深度学习检测模型。具体地,可以参见上述实施例步骤S120中对于学习标注区域的第一特征信息的描述。
S230.根据深度学习检测模型判断类镜像图像中是否存在第一对象。具体地,可以参见上述实施例步骤S130中对于判断类镜像图像中是否存在第一对象的描述,如果类镜像图像中存在第一对象,则进入步骤S240。如果类镜像图像中不存在第一对象,则进入步骤S270。
S240.根据深度学习检测模型得到所述第一对象的位置。具体地,可以参见上述实施例步骤S140中对于确定第一对象的位置的描述。
S250.基于第一对象的位置确定当前第一对象在类镜像图像中的相对位置。具体地,可以参见上述实施例步骤S150中对于确定当前第一对象在类镜像图像中的相对位置的描述。
S260.根据第一对象在类镜像图像中位置的属性和当前第一对象在类镜像图像中的相对位置确定类镜像图像的类别。具体地,可以参见上述实施例步骤S160中对于确定类镜像图像的类别的描述。
S270.基于模糊变换识别第二对象的第二特征信息。具体地,可以参见上述实施例步骤S170中对于识别第二对象的第二特征信息的描述。
S280.根据第二特征信息在类镜像图像中的属性确定类镜像图像的类别。具体地,可以参见上述实施例步骤S180中对于识别第二对象的第二特征信息的描述。
S290.从确定类别的类镜像图像中选择至少一张类镜像图像作为模板验证对应类别的其他类镜像图像。在具体的实施例中,以类镜像图像为左右眼底图像为例进行说明,在分类完成的目标眼底图像中寻找出至少一张的属于当前眼睛的照片,并且根据这一张图像确定出属于当前眼睛的其他所有图像。模板匹配是一种常用的图像搜索算法,算法将使用某一选定模板作为滑窗,并在图片库中所有的图像上滑动,滑动的过程中与图像对应区域求欧式距离或卡方距离,当欧距离小于一定数值时,则说明模板匹配。
在可选的实施例中,如图4所示,具体的验证流程可以包括以下步骤:
S281.从确定类别的类镜像图像中选择至少一张类镜像图像。在具体的实施例中,以类镜像图像为左右眼底图像为例进行说明,在包含视盘的目标眼底图像和不包含视盘的目标眼底图像分类后,在各自分类的组别中选择至少一张目标眼底图像。
S282.在当前类镜像图像的预设位置选择预设面积的区域作为模板。在具体的实施例中,以类镜像图像为左右眼底图像为例进行说明,眼底图像拍摄时,若想扩大视野,眼底照相机通常为横向扫描或纵向扫描,选择的重叠区域一般为,图像超过边缘的50%的区域。模板的选择应为图像重叠区域,并且为了防止拍摄镜头留下的黑边对匹配造成干扰,选择的区域应不包含黑边。为了减少计算量,模板应在保证准确率的情况下选择尽量小。为了确保选定的模板出现在另一张眼底图像上,我们将选择眼底图中上下左右顶点的一块的100*100像素的区域作为模板。
S283.利用模板对当前类别所有未检测出第一对象的类镜像图像分别进行扫描。在具体地实施例中,对于每个模板,在当前类别其他图像的内部扫描,并计算每一步的欧式距离,模板与图像对应区域欧式距离的公式为:
其中a为模板长度,b为模板宽度,
Figure GDA0003023285210000091
为被检测图像的对应区域上(i,j)这个坐标的在RGB三个通道上的像素值,
Figure GDA0003023285210000101
Figure GDA0003023285210000102
为模板(i,j)坐标在RGB三个通道上的像素值。
S284.判断扫描过程中模板对应的区域的相似度是否大于预设相似度。相似度可以采用欧氏距离表示,还可以采用卡方距离表示,如果所有确定类别图像的所都模板与待检测图片上截取的模板相似度大于预设相似度,则进入步骤S285。如果所有确定类别图像的所都模板与待检测图片上截取的模板欧式距离均小于预设相似度,则进入步骤S286。
S285.确认被扫描的类镜像图像为当前类别。
S286.剔除当前扫描的类镜像图像。以类镜像图像为左右眼底图像为例进行说明,模板可以选择多个,在当前确定类别的目标眼底图像中选择的模板对所有未检测出第一对象的目标眼底图像进行扫描完成后,再次从其他的确定类别的目标眼底图像中选取预设大小的区域作为新的模板,继续对所有未检测第一对象的目标眼底图像进行扫描匹配,直至匹配完成所有的确定类别的目标眼底图像将无法通过验证的图像剔除。
本发明实施例还提供了一种对类镜像图像分类的装置,如图5所示,该装置包括:
标注单元100,用于对多类镜像图像的第一对象分别进行区域标注,得到多个标注区域的位置;训练单元200,使用深度卷机神经网络学习标注区域的第一特征信息,得到深度学习模型,深度学习模型包括:深度学习检测、深度学习分类或深度学习分割模型中的任意一种,第一特征信息为第一对象的特征信息;判断单元300,用于根据深度学习模型判断类镜像图像中是否存在第一对象;确认单元400,用于在判断单元判断出类镜像图像中存在第一对象后,根据深度学习模型得到第一对象的位置;相对位置确认单元500,用于基于第一对象的位置确定当前第一对象在类镜像图像中的相对位置;第一类别确认单元600,用于根据第一对象在类镜像图像中位置的属性和当前第一对象在类镜像图像中的相对位置确定类镜像图像的类别。
在可选的实施例中,识别单元,用于在判断单元判断出类镜像图像中不存在第一对象后,基于模糊变换识别第二对象的第二特征信息;第二类别确认单元,用于根据第二特征信息在左右眼中的属性确定类镜像图像的类别。
在可选的实施例中,类镜像图像为左右眼底图像;第一对象为视盘,第一特征信息为视盘颜色和/或视盘纹理;第二对象为血管,第二特征为血管弯曲方向。
在可选的实施例中,判断单元包括:划分子单元,用于将类镜像图像分为多个检测区域;第一判断子单元,用于判断检测区域的确信度是否大于确信度阈值,确信度为检测区域中的第一特征信息与标注区域的第一特征信息的相似度;确认子单元,用于在第一判断子单元判断出检测区域的确信度大于确信度阈值后,确认检测区域内存在第一对象。
在可选的实施例中,确认单元包括:坐标检测子单元,用于根据深度学习模型的结果得到包含第一对象的检测区域的坐标。
在可选的实施例中,验证单元,用于从确定类别的目标眼底图像中选择至少一张目标眼底图像作为模板验证对应类别的其他目标眼底图像。
在可选的实施例中,验证单元包括:第一选择子单元,用于从确定类别的类镜像图像中选择至少一张目标眼底图;第二选择子单元,用于在当前类镜像图像的至少一个预设位置对应选择预设面积的区域作为模板;扫描子单元,用于利用模板对当前类别所有未检测出第一对象的类镜像图像分别进行扫描;第二判断子单元,用于判断扫描过程中模板对应的区域的相似度是否大于预设相似度;类别确认子单元,用于在第二判断子单元判断出相似度大于预设相似度,确认被扫描的类镜像图像为当前类别。
在可选的实施例中,验证单元还包括:剔除子单元,在第二判断子单元判断出相似度均小于预设值,剔除当前扫描的类镜像图像。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种眼底图像分类方法,其特征在于,包括:
获取多张眼底图像,其中包含针对视盘的标注区域;
将记录的标注区域位置和对应的眼底图像作为训练数据,使用深度卷机神经网络学习所述标注区域的第一特征信息,得到深度学习模型,所述深度学习模型是深度学习检测、深度学习分类或深度学习分割模型中的任意一种,所述第一特征信息为视盘的特征信息;
利用所述深度学习模型判断眼底图像中是否存在视盘;
如果所述眼底图像中存在视盘,则利用所述深度学习模型得到所述标注区域的位置;
基于所述标注区域的位置确定视盘在眼底图像中的相对位置;
根据视盘在所述眼底图像中的相对位置及位置属性,确定所述眼底图像是左眼底图像或是右眼底图像;
如果所述眼底图像中不存在视盘,则去除所述眼底图像中的细小血管与出血点,识别与保留的血管相应的线段,根据所述线段的组合得到曲线的曲率,根据所述曲率得到血管的弯曲方向;
根据所述弯曲方向确定所述眼底图像是左眼底图像或是右眼底图像。
2.如权利要求1所述的眼底图像分类方法,其特征在于,所述第一特征信息为视盘颜色和/或视盘纹理。
3.如权利要求1所述的眼底图像分类方法,其特征在于,所述利用所述深度学习模型判断眼底图像中是否存在视盘包括:
将所述眼底图像分为多个检测区域;
判断所述检测区域的确信度是否大于确信度阈值,所述确信度为检测区域中的第一特征信息与所述标注区域的第一特征信息的相似度;
如果所述检测区域的确信度大于所述确信度阈值,则确认所述检测区域内存在视盘。
4.如权利要求1所述的眼底图像分类方法,其特征在于,在确定所述眼底图像是左眼底图像或是右眼底图像之后还包括:
将所述眼底图像作为模板,用于验证同类别的其他眼底图像。
5.如权利要求4所述的眼底图像分类方法,其特征在于,将所述眼底图像作为模板包括:
从确定类别的眼底图像中选择至少一张目标眼底图;
在目标眼底图的至少一个预设位置对应选择预设面积的区域作为模板;
利用所述模板对同类别的未检测出视盘的眼底图像进行扫描;
判断扫描过程中所述模板对应的区域的相似度是否大于预设相似度;
如果扫描过程中所述模板对应的区域的相似度大于所述预设相似度,则确认被扫描的所述眼底图像为当前类别。
6.如权利要求5所述的眼底图像分类方法,其特征在于,如果扫描过程中所述模板对应的区域的相似度均小于所述预设相似度,则剔除当前扫描的所述眼底图像。
7.一种眼底图像分类装置,其特征在于,包括:
获取单元,用于获取多张眼底图像,其中包括针对视盘的标注区域;
训练单元,用于将记录的标注区域位置和对应的眼底图像作为训练数据,使用深度卷机神经网络学习所述标注区域的第一特征信息,得到深度学习模型,所述深度学习模型是深度学习检测、深度学习分类或深度学习分割模型中的任意一种,所述第一特征信息为视盘的特征信息;
判断单元,用于利用所述深度学习模型判断眼底图像中是否存在视盘;
确认单元,用于在所述判断单元判断出所述眼底图像中存在所述视盘后,利用深度学习模型得到所述标注区域的位置;
相对位置确认单元,基于所述标注区域的位置确定视盘在眼底图像中的相对位置;
第一类别确认单元,用于根据视盘在所述眼底图像中的相对位置及位置属性,确定所述眼底图像是左眼底图像或是右眼底图像;
识别单元,用于在所述眼底图像中不存在视盘时,去除所述眼底图像中的细小血管与出血点,识别与保留的血管相应的线段,根据所述线段的组合得到曲线的曲率,根据所述曲率得到血管的弯曲方向;
第二类别确认单元,用于根据所述弯曲方向确定所述眼底图像是左眼底图像或是右眼底图像。
8.如权利要求7所述的眼底图像分类装置,其特征在于,所述第一特征信息为视盘颜色和/或视盘纹理。
9.如权利要求7所述的眼底图像分类装置,其特征在于,所述判断单元包括:
划分子单元,用于将所述眼底图像分为多个检测区域;
第一判断子单元,用于判断所述检测区域的确信度是否大于确信度阈值,所述确信度为检测区域中的第一特征信息与所述标注区域的第一特征信息的相似度;
确认子单元,用于在所述第一判断子单元判断出所述检测区域的确信度大于确信度阈值后,确认所述检测区域内存在视盘。
10.如权利要求7所述的眼底图像分类装置,其特征在于,还包括:
验证单元,用于将所述眼底图像作为模板,以验证同类别的其他眼底图像。
11.如权利要求10所述的眼底图像分类装置,其特征在于,所述验证单元包括:
第一选择子单元,用于从确定类别的眼底图像中选择至少一张目标眼底图;
第二选择子单元,用于在目标眼底图的至少一个预设位置对应选择预设面积的区域作为模板;
扫描子单元,用于利用所述模板对同类别的未检测出视盘的眼底图像进行扫描;
第二判断子单元,用于判断扫描过程中所述模板对应的区域的相似度是否大于预设相似度;
类别确认子单元,用于在所述第二判断子单元判断出所述相似度大于预设相似度,确认被扫描的所述眼底图像为当前类别。
12.如权利要求11所述的眼底图像分类装置,其特征在于,所述验证单元还包括:
剔除子单元,在所述第二判断子单元判断出所述相似度均小于预设值,剔除当前扫描的所述眼底图像。
CN201710387498.5A 2017-05-26 2017-05-26 眼底图像分类方法及装置 Active CN107256410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710387498.5A CN107256410B (zh) 2017-05-26 2017-05-26 眼底图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710387498.5A CN107256410B (zh) 2017-05-26 2017-05-26 眼底图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN107256410A CN107256410A (zh) 2017-10-17
CN107256410B true CN107256410B (zh) 2021-05-14

Family

ID=60028064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710387498.5A Active CN107256410B (zh) 2017-05-26 2017-05-26 眼底图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN107256410B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171274B (zh) * 2018-01-17 2019-08-09 百度在线网络技术(北京)有限公司 用于识别动物的方法和装置
CN108717696B (zh) * 2018-05-16 2022-04-22 上海鹰瞳医疗科技有限公司 黄斑影像检测方法和设备
CN110335254B (zh) * 2019-06-10 2021-07-27 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
CN110516715B (zh) * 2019-08-05 2022-02-11 杭州依图医疗技术有限公司 一种手骨分类方法及装置
CN111080630B (zh) * 2019-12-20 2024-03-08 腾讯医疗健康(深圳)有限公司 眼底图像检测设备、方法、装置及存储介质
CN113128601B (zh) * 2021-04-22 2022-04-29 北京百度网讯科技有限公司 分类模型的训练方法和对图像进行分类的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651827A (zh) * 2016-09-09 2017-05-10 浙江大学 一种基于sift特征的眼底图像配准方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453057B1 (en) * 2000-11-02 2002-09-17 Retinal Technologies, L.L.C. Method for generating a unique consistent signal pattern for identification of an individual
US8218838B2 (en) * 2008-11-03 2012-07-10 Ut-Battelle, Llc Method and system for assigning a confidence metric for automated determination of optic disc location
CN104573716A (zh) * 2014-12-31 2015-04-29 浙江大学 基于广度搜索算法的眼底图像的动静脉视网膜血管分类方法
CN105513077B (zh) * 2015-12-11 2019-01-04 北京大恒图像视觉有限公司 一种用于糖尿病性视网膜病变筛查的系统
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651827A (zh) * 2016-09-09 2017-05-10 浙江大学 一种基于sift特征的眼底图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的视盘自动检测;张贵英;《贵州师范学院学报》;20170331;第33卷(第3期);第27-31页 *

Also Published As

Publication number Publication date
CN107256410A (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
CN107256410B (zh) 眼底图像分类方法及装置
US11109941B2 (en) Tracking surgical items with prediction of duplicate imaging of items
CN110569878B (zh) 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
US10872272B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
CN103093215B (zh) 人眼定位方法及装置
US20080193020A1 (en) Method for Facial Features Detection
JP2005250556A (ja) トリミング処理方法および装置並びにプログラム
US20040037460A1 (en) Method for detecting objects in digital images
US7680357B2 (en) Method and apparatus for detecting positions of center points of circular patterns
JP2002305667A (ja) 色調不良を自動的に補正する方法および装置
CN112001920B (zh) 眼底图像识别方法及装置和设备
CN116664559A (zh) 基于机器视觉的内存条损伤快速检测方法
CN114004858B (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN114445843A (zh) 固定版式的卡证图像文字识别方法和装置
CN117576121A (zh) 一种显微镜扫描区域自动分割方法、系统、设备及介质
US20040247183A1 (en) Method for image analysis
CN112597868A (zh) 基于无定位点的试卷识别和矫正方法
CN116934734A (zh) 基于图像的零件缺陷多路并行检测方法、装置及相关介质
JP4510562B2 (ja) 円中心位置検出方法および装置並びにプログラム
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置
CN114926635A (zh) 与深度学习方法相结合的多焦图像中目标分割方法
CN114494142A (zh) 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN115705748A (zh) 一种面部特征的识别系统
CN115223034A (zh) 一种冷冻电镜自动选孔方法及装置
CN110751158A (zh) 一种治疗床显示器中的数字识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180510

Address after: 200030 room 01, 8 building, 1 Yizhou Road, Xuhui District, Shanghai, 180

Applicant after: Shanghai Eagle pupil Medical Technology Co., Ltd.

Address before: 100080 Zhongguancun South Street, Haidian District, Haidian District, Beijing

Applicant before: Beijing tulip partner Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant