CN114420265A - 一种眼底图像标注的方法、装置及存储介质 - Google Patents
一种眼底图像标注的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114420265A CN114420265A CN202111624172.2A CN202111624172A CN114420265A CN 114420265 A CN114420265 A CN 114420265A CN 202111624172 A CN202111624172 A CN 202111624172A CN 114420265 A CN114420265 A CN 114420265A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- lesion
- fundus
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本申请实施例公开了一种眼底图像标注的方法、装置及存储介质。其中,该方法包括:通过根据已标注图像的角度与第一未标注图像的角度的对应关系,建立至少一个第一特征与至少一个第二特征的映射关系,按照已标注图像中的标记对第一未标注图像中相应的病灶进行标注,得到第一标注图像按照已标注图像中的标记对第一未标注图像中相应的病灶和/或解剖位置,得到第一标注图像,从而减小了标记多张眼底影像需要花费的时间,并且通过建立至少一个第一特征与至少一个第二特征的映射关系,不易出现漏掉标记病灶和/或解剖位置的种类和情况,更不易出现将病灶和/或解剖位置的种类和标注错误的问题,提高了标注的效率,节省了大量的标注时间。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种眼底图像标注的方法、装置及存储介质。
背景技术
在治疗眼部疾病过程中,需要对眼球进行多角度拍照并形成多张眼底影像,然后基于多张眼底影像分析眼部的病灶的种类,并对病灶的种类进行标记。
由于病灶的种类较多,而且不同病灶的特征不同,并且有些病灶体积较小,基于此,将病灶的种类分别对应标记在多张眼底影像上需要花费较多的时间,且容易出现漏掉标记的情况,以及容易出现标注错误的情况。
发明内容
针对现有技术中的上述技术问题,本申请实施例提出了一种眼底图像标注的方法、装置及存储介质,以解决将病灶的种类分别对应标记在多张眼底影像上需要花费较多的时间,且容易出现漏掉标记的情况,以及容易出现标注错误的问题。
本申请实施例的第一方面提供了一种眼底图像标注的方法,包括:
获取至少两幅眼底图像,所述至少两幅眼底图像是第一眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置;
提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征;
根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相互映射的第一特征和第二特征指示所述眼球的同一结构特征;
根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。
优选地,所述方法还包括:
获取第二眼球的至少两幅眼底图像,其中,所述第二眼球与所述第一眼球为同一人的左眼和右眼;
提取第二未标注图像的至少一个第三特征,所述第二未标注图像是所述第二眼球的至少两幅眼底图像之一;
根据所述第一眼球与所述第二眼球的结构的对应关系,建立所述至少一个第一特征与所述至少一个第三特征的映射关系,相互映射的第一特征指示的所述第一眼球的结构和第三特征指示的所述第二眼球的结构相对应;
根据所述至少一个第一特征与所述至少一个第三特征的映射关系,按照所述已标注图像中的标记对所述第二未标注图像中相应的病灶和/或解剖位置进行标注,得到第二标注图像。
优选地,所述方法还包括:
校验所述第一标注图像的病灶的类型和/或解剖位置是否正常;
若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像;
若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。
优选地,所述建立所述至少一个第一特征与所述至少一个第二特征的映射关系,包括:
当所述已标注图像与所述第一未标注图像具有重叠区域时,建立所述重叠区域内包含的第一特征与第二特征的映射关系。
优选地,所述得到第二标注图像之后,还包括:
建立病种列表,所述病种列表包括所述第一标注图像所包含的所述第一眼球病灶对应的病种;
建立未标注图像的病种列表,并将所述病种列表中的病种映射到所述未标注图像的病种列表,得到已标注图像的病种列表。
所述已标注图像的病种列表包括所述第二标注图像所包含的所述第二眼球病灶对应的病种;
判断所述第二眼球病灶对应的病种的或类型是否正确;
若不正确,对第二标注图像所包含的所述第二眼球病灶对应的病种进行增加或删减。
优选地,在提取第二未标注图像的至少一个第三特征之前,还包括:
对所述已标注图像与所述第二未标注图像的眼底视盘和眼底黄斑位置定位,得到所述眼底视盘和所述眼底盘黄斑之间的对应位置;
根据所述眼底视盘和所述眼底盘黄斑之间的对应位置,将所述已标注图像和所述第二未标注图像分别划分为一一对应的至少一个区域;
从所述已标注图像的所述至少一个区域中的任意区域提取至少一个第一特征;
从所述第二未标注图像的至少一个区域中选取目标区域,所述目标区域与所述提取至少一个第一特征的区域对应,从所述目标区域中提取至少一个第三特征。
优选地,在所述得到第二标注图像之后,还包括:
根据预设的病变程度等级设置已标注图像包含的病灶的病变程度等级以及所述第二标注图像包含的病灶的病变程度等级;
针对每一种病灶,确定所述第二标注图像包含的所述病灶的病变程度等级与所述已标注图像包含的所述病灶的病变程度等级的差别程度;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差别程度大于预设程度,则重新执行所述设置所述已标注图像的病灶的病变程度等级,得到第一新等级,以及确定所述第二标注图像的病灶的病变程度等级,得到第二新等级,若第一新等级与第二新等级差别程度大于预设程度,确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差小于所述预设程度,则确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级。
本申请实施例的第二方面提供了一种眼底图像标注装置,所述装置包括:
获取模块,用于获取至少两幅眼底图像,所述至少两幅眼底图像是一只眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置;
提取模块,用于提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征;
映射模块,用于根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相关映射的第一特征和第二特征指示所述眼球的同一结构特征;
标注模块,用于根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。
优选地,所述装置还包括:
校验模块,用于校验所述第一标注图像的病灶的类型和/或解剖位置是否正常;
若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像;
若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。
本申请实施例的第三方面提供了一种存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
本申请实施例,通过根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像,从而减小了标记多张眼底影像需要花费的时间,并且通过建立所述至少一个第一特征与所述至少一个第二特征的映射关系,不易出现漏掉标记病灶的种类和情况,更不易出现将病灶的种类和标注错误的问题,提高了标注的效率,节省了大量的标注时间。
附图说明
通过参考附图会更加清楚的理解本申请的特征和优点,附图是示意性的而不应理解为对本申请进行任何限制,在附图中:
图1是根据本申请的一些实施例所示的一种眼底图像标注的方法流程图。
具体实施方式
在下面的详细描述中,通过示例阐述了本申请的许多具体细节,以便提供对相关披露的透彻理解。然而,对于本领域的普通技术人员来讲,本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是,本申请中使用“系统”、“装置”、“单元”和/或“模块”术语,是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可以被其他表达式替换。
应当理解的是,当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时,其可以直接在另一设备、单元或模块上,连接或耦合到或与其他设备、单元或模块通信,或者可以存在中间设备、单元或模块,除非上下文明确提示例外情形。例如,本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本申请所用术语仅为了描述特定实施例,而非限制本申请范围。如本申请说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件,而该类表述并不构成一个排它性的罗列,其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图,本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解,其中说明和附图形成了说明书的一部分。然而,可以清楚地理解,附图仅用作说明和描述的目的,并不意在限定本申请的保护范围。可以理解的是,附图并非按比例绘制。
本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是,前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。
如图1所示,本申请提供了一种眼底图像标注的方法,包括:
步骤S10获取至少两幅眼底图像,所述至少两幅眼底图像是第一眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置。需要说明的是,第一眼球可以是左眼球图像,也可以是右眼球图像,当然不管是左眼球图像,还是右眼球图像,都必须是同一个病人的眼睛,对应确定是左眼球图像,还是右眼球图像。若本申请采集的数据包含每个病例图像的左右眼图像分类信息本,通过采用图像采集时所对应的基本信息或者左右眼自动分类的技术手段,将一例患者的图像分为左眼球图像和右眼球图像,若采集的数据不包含左右眼分类信息,则可以利用一些算法对一病例图像的左右眼进行自动分类。自动分类算法可以有多种,比如传统机器学习算法SVM分类器、深度学习算法中的各种二分类网络等,本申请可以采用上述中的任意一种眼睛分类方法。事实上,为了能够更加准确和全面的标注同一只眼球图像上的病灶类型,需要至少两幅眼底图,且需要不同角度获取的第一眼球图像,这样最终得到的标注图像更加准确和更加全面。
步骤S20提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征。具体地,本申请可以按照滑动窗的形式提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征。还可以根据眼底图像上结构的关键点提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,比如先进行对已标注图像的眼底血管分割,找到血管的分叉点,即为第一特征,然后对已标注图像的眼底血管分割,找到血管的分叉点,即为第二特征。
步骤S30根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相互映射的第一特征和第二特征指示所述眼球的同一结构特征。通过建立所述至少一个第一特征与所述至少一个第二特征的映射关系,从而将至少一个第一特征和至少一个第二特征一一对应,才能完成所述已标注图像与所述第一未标注图像的配准,即所述已标注图像中的至少一个第一特征与所述第一未标注图像中的至少一个第二特征位置匹配。事实上,这个过程是在下一步标注时,可以将已标注图像上标注的病灶区域,映射到未标注图像的对应位置。事实上,拍摄角度的不同导致了拍摄的图像区域不同。但是由于拍摄的是同一只眼,所以解剖结构是相同的。至少一张图像上根据相同的解剖结构可以得到对应的特征点,通过图像上对应的映射点,可以计算两张图像上的映射关系。
步骤S40根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。具体地,根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,即所述已标注图像与所述第一未标注图像的配准,得到配准结果,配准结果是一个变换的矩阵,这个变换的矩阵能够将所述已标注图像中的标记病灶区域初始化到第一未标注图像中的对应区域,从而得到第一标注图像。
通过上述步骤得到第一标注图像,解决了有多幅图像标注从需要花费大量的标注时间,并且通过建立所述至少一个第一特征与所述至少一个第二特征的映射关系,不易出现漏掉标记病灶的种类和情况,更不易出现将病灶的种类和标注错误的问题,提高了标注的效率,节省了大量的标注时间。
在一种实施例中,所述方法还包括:
获取第二眼球的至少两幅眼底图像,其中,所述第二眼球与所述第一眼球为同一人的左眼和右眼,提取第二未标注图像的至少一个第三特征,所述第二未标注图像是所述第二眼球的至少两幅眼底图像之一,根据所述第一眼球与所述第二眼球的结构的对应关系,建立所述至少一个第一特征与所述至少一个第三特征的映射关系,相互映射的第一特征指示的所述第一眼球的结构和第三特征指示的所述第二眼球的结构相对应,根据所述至少一个第一特征与所述至少一个第三特征的映射关系,按照所述已标注图像中的标记对所述第二未标注图像中相应的病灶和/或解剖位置进行标注,得到第二标注图像。而第二眼球是与第一眼球是同一个人的左右眼。
具体地,第二眼球的图像和第一眼球的图像为同一人的可能具有相同病例的两只左右眼球图像,事实上,两只左右眼球图像的病灶类型的标注与只标注一只眼睛的病灶类型的标注是有一些差别,在两只左右眼球图像的病灶类型的标注是根据所述第一眼球与所述第二眼球的结构的对应关系,建立所述至少一个第一特征与所述至少一个第三特征的映射关系,其中,所述第一眼球与所述第二眼球的结构的对应关系具体是指同样生理结构,比如,左眼和右眼的生理结构为视盘、黄斑区、上方血管弓和下方血管弓,这些生理结构一一对应,对至少一个第一特征与所述至少一个第三特征配准,即根据所述至少一个第一特征与所述至少一个第三特征的映射关系,按照所述已标注图像中的标记对所述第二未标注图像中相应的病灶进行标注,从而得到第二标注图像,然后判断第二标注图像上的病灶标记是否正确,若不正确,人工重新标注第二未标注图像。
在另一实施例中,可以不先确定第二眼球所包含病灶的类型与所述第一眼球所包含病灶的类型相同,直接按照上述步骤执行,等到完成第二未标注图像,得到第二标注图像,再确定第二眼球所包含病灶的类型与所述第一眼球所包含病灶的类型是否相同,若第一眼球和第二眼球病灶的类型相同,则第二标注图像标注成功,若第一眼球和第二眼球病灶的类型不相同,则确认另一只眼球的病灶类型,对其一一标注,此时,标注眼球类型变成了分别对第一眼球和第二眼球的单只眼球进行标注,即对第一未标注图像和第二未标注图像单独分别进行标注,单只眼球的法标注已经在上述公开,此处不再赘述。当然还有一种情况第一眼球或第二眼球中有一只正常,一只有病灶,此时只需要标注具有病灶眼球的未标注图像。
在一种实施例中,所述方法还包括:
校验所述第一标注图像的病灶的类型和/或解剖位置是否正常,若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像,若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。通过校验能够及时发现标注完成的图像是否正常,保证了标注图像的正确率,同时,也减小了医生的标注工作量,提高了工作效率。
在一种实施例中,所述建立所述至少一个第一特征与所述至少一个第二特征的映射关系,包括:
当所述已标注图像与所述第一未标注图像具有重叠区域时,建立所述重叠区域内包含的第一特征与第二特征的映射关系。
具体地,所述至少两幅眼底图像是一只眼球不同角度的图像,至少两幅眼底图像具有重叠区域,在所述重叠区域内建立所述至少一个第一特征与所述至少一个第二特征的映射关系。或者,所述至少两幅眼底图像是一只眼球同一角度且远近距离不同的图像,所述同一角度且远近距离不同的图像具有重叠区域,在所述重叠区域建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。这两种方法都是为了更能够得到更加准确的标记图像。
在一种实施例中,所述得到第二标注图像之后,还包括:
建立病种列表,所述病种列表包括所述第一标注图像所包含的所述第一眼球病灶对应的病种,建立未标注图像的病种列表,并将所述病种列表中的病种映射到所述未标注图像的病种列表,得到已标注图像的病种列表,所述已标注图像的病种列表包括所述第二标注图像所包含的所述第二眼球病灶对应的病种,判断所述第二眼球病灶对应的病种的或类型是否正确,若不正确,对第二标注图像所包含的所述第二眼球病灶对应的病种进行增加或删减。
具体地,为了能够得到更加准确的第二标注图像的病灶类型和病种,进而需要对得到第二标注图像的病灶类型进行判断,确认列表的病灶类型和对应的病种是否正确,则需要对第二标注图像的病灶类型和对应的病种进行增加或删减,提高了对未标注图像进行标注后得到的标注图像准确率,不易发生标注错误,同时,方便后续对第二标注图像的病灶类型和对应的病种的信息利用。
在一种实施例中,在在提取第二未标注图像的至少一个第三特征之前,还包括:
对所述已标注图像与所述第二未标注图像的眼底视盘和眼底黄斑位置定位,得到所述眼底视盘和所述眼底盘黄斑之间的对应位置,根据所述眼底视盘和所述眼底盘黄斑之间的对应位置,将所述已标注图像和所述第二未标注图像分别划分为一一对应的至少一个区域,从所述已标注图像的所述至少一个区域中的任意区域提取至少一个第一特征,从所述第二未标注图像的至少一个区域中选取目标区域,所述目标区域与所述提取至少一个第一特征的区域对应,从所述目标区域中提取至少一个第三特征。
具体地,对所述已标注图像与所述第二未标注图像的眼底视盘和眼底黄斑位置定位,可以是标注过程中医生手动定位,也可以是任意一种自动定位黄斑视盘的算法,其中,定位需要眼睛的几个生理结构,包括视盘、黄斑区、上方血管弓和下方血管弓,然后根据视盘黄斑连线进一步确定上下血管弓位置,位置确定后,将眼底图像划分为视盘区、黄斑区、上方血管弓区域和下方血管弓区域的四个区域,事实上,还可以是大于四个区域,也可以是一个区域到四个区域之间,本申请是取四个区域,这个四个区域将整个眼球结构均包含在内,所述已标注图像和所述第二未标注图像分别划分为一一对应的四个区域,从所述已标注图像的所述至少一个区域中的任意区域提取至少一个第一特征,从所述目标区域中提取至少一个第三特征,将第一特征和第三特征进行配准,即将已标注图像中的病灶映射标注到第二未标注图像上。
在一种实施例中,在所述得到第二标注图像之后,还包括:
根据预设的病变程度等级设置已标注图像包含的病灶的病变程度等级以及所述第二标注图像包含的病灶的病变程度等级;
针对每一种病灶,确定所述第二标注图像包含的所述病灶的病变程度等级与所述已标注图像包含的所述病灶的病变程度等级的差别程度;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差别程度大于预设程度,则重新执行所述设置所述已标注图像的病灶的病变程度等级,得到第一新等级,以及确定所述第二标注图像的病灶的病变程度等级,得到第二新等级,若第一新等级与第二新等级差别程度大于预设程度,确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差小于所述预设程度,则确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级。
具体地,根据病种发病的的实际情况设置不同的校验规则。比如对于糖尿病视网膜病变,第一眼球和第二眼球的病变差别程度最好不超过预设程度,其中可以将预设程度分为多个级别,级别值一般是整数,若出现病变差别程度差异过大的情况,提示检查确认;对于高血压性视网膜病变,第一眼球和第二眼球发病的差异也不宜过大,如果出现两眼求诊断结果不同,提示标注者进行检查确认,看是否正常。
本申请还提供一种眼底图像标注装置,所述装置包括:
获取模块,用于获取至少两幅眼底图像,所述至少两幅眼底图像是一只眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置。
提取模块,用于提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征。
映射模块,用于根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相关映射的第一特征和第二特征指示所述眼球的同一结构特征。
标注模块,用于根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。
需要说明的是,第一眼球可以是左眼球图像,也可以是右眼球图像,当然不管是左眼球图像,还是右眼球图像,都必须是同一个病人的眼睛,对应确定是左眼球图像,还是右眼球图像。
通过获取模块、提取模块、映射模块和标注模块,从而解决了有多幅图像标注从需要花费大量的标注时间,并且通过建立所述至少一个第一特征与所述至少一个第二特征的映射关系,不易出现漏掉标记病灶的种类和情况,更不易出现将病灶的种类和标注错误的问题,提高了标注的效率,节省了大量的标注时间。
在一种实施例中,所述装置还包括:
校验模块,用于校验所述第一标注图像的病灶的类型和/或解剖位置是否正常,若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像,若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。通过校验模块防止在标注的过程中出现意外状况的发生,从而避免了标注遗漏或标注错误的情况发生。事实上,若出现标注异常,在标注的过程中也会出现报警提示,这样标注完成后的图像,不用再去查看标注图像,直接重新标注,判断按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶进行标注是否正确,若出现已标注图像的病灶对应标注在第一未标注图像的病灶相差一定范围,这个范围是预设已知的,出现报警情况,需要确定是否标注有误,这样极大的提升了标注的准确率,防止出现标注错误。
本申请还提供了一种存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
应当理解的是,本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理,而不构成对本申请的限制。因此,在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。此外,本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种眼底图像标注的方法,其特征在于,包括:
获取至少两幅眼底图像,所述至少两幅眼底图像是第一眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置;
提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征;
根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相互映射的第一特征和第二特征指示所述眼球的同一结构特征;
根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。
2.根据权利要求1所述眼底图像标注的方法,其特征在于,所述方法还包括:
获取第二眼球的至少两幅眼底图像,其中,所述第二眼球与所述第一眼球为同一人的左眼和右眼;
提取第二未标注图像的至少一个第三特征,所述第二未标注图像是所述第二眼球的至少两幅眼底图像之一;
根据所述第一眼球与所述第二眼球的结构的对应关系建立所述至少一个第一特征与所述至少一个第三特征的映射关系,相互映射的第一特征指示的所述第一眼球的结构和第三特征指示的所述第二眼球的结构相对应;
根据所述至少一个第一特征与所述至少一个第三特征的映射关系,按照所述已标注图像中的标记对所述第二未标注图像中相应的病灶和/或解剖位置进行标注,得到第二标注图像。
3.根据权利要求1所述眼底图像标注的方法,其特征在于,所述方法还包括:
校验所述第一标注图像的病灶的类型和/或解剖位置是否正常;
若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像;
若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。
4.根据权利要求1所述眼底图像标注的方法,其特征在于,所述建立所述至少一个第一特征与所述至少一个第二特征的映射关系,包括:
当所述已标注图像与所述第一未标注图像具有重叠区域时,建立所述重叠区域内包含的第一特征与第二特征的映射关系。
5.根据权利要求2所述眼底图像标注的方法,其特征在于,所述得到第二标注图像之后,还包括:
建立病种列表,所述病种列表包括所述第一标注图像所包含的所述第一眼球病灶对应的病种;
建立未标注图像的病种列表,并将所述病种列表中的病种映射到所述未标注图像的病种列表,得到已标注图像的病种列表;
所述已标注图像的病种列表包括所述第二标注图像所包含的所述第二眼球病灶对应的病种;
判断所述第二眼球病灶对应的病种的或类型是否正确;
若不正确,对第二标注图像所包含的所述第二眼球病灶对应的病种进行增加或删减。
6.根据权利要求2所述眼底图像标注的方法,其特征在于,在提取第二未标注图像的至少一个第三特征之前,还包括:
对所述已标注图像与所述第二未标注图像的眼底视盘和眼底黄斑位置定位,得到所述眼底视盘和所述眼底盘黄斑之间的对应位置;
根据所述眼底视盘和所述眼底盘黄斑之间的对应位置,将所述已标注图像和所述第二未标注图像分别划分为一一对应的至少一个区域;
从所述已标注图像的所述至少一个区域中的任意区域提取至少一个第一特征;
从所述第二未标注图像的至少一个区域中选取目标区域,所述目标区域与所述提取至少一个第一特征的区域对应,从所述目标区域中提取至少一个第三特征。
7.根据权利要求2所述眼底图像标注的方法,其特征在于,在所述得到第二标注图像之后,还包括:
根据预设的病变程度等级设置已标注图像包含的病灶的病变程度等级以及所述第二标注图像包含的病灶的病变程度等级;
针对每一种病灶,确定所述第二标注图像包含的所述病灶的病变程度等级与所述已标注图像包含的所述病灶的病变程度等级的差别程度;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差别程度大于预设程度,则重新执行所述设置所述已标注图像的病灶的病变程度等级,得到第一新等级,以及确定所述第二标注图像的病灶的病变程度等级,得到第二新等级,若第一新等级与第二新等级差别程度大于预设程度,确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级;
若所述第二标注图像的病灶的病变程度等级与所述已标注图像的病灶的病变程度等级差小于所述预设程度,则确定所述已标注图像的病灶的病变程度等级为正常等级以及确定所述第二标注图像的病灶的病变程度等级为正常等级。
8.一种眼底图像标注装置,其特征在于,所述装置包括:
获取模块,用于获取至少两幅眼底图像,所述至少两幅眼底图像是一只眼球不同角度的图像,所述至少两幅眼底图像中包括已标注图像和至少一幅未标注的眼底图像,所述已标注图像包括至少一种标记类型,所述标记类型包括病灶和/或解剖位置;
提取模块,用于提取所述已标注图像的至少一个第一特征,以及第一未标注图像的至少一个第二特征,所述至少一个第一特征与所述至少一个第二特征是对所述眼球结构特征从不同角度的表征;
映射模块,用于根据所述已标注图像的角度与所述第一未标注图像的角度的对应关系,建立所述至少一个第一特征与所述至少一个第二特征的映射关系,相关映射的第一特征和第二特征指示所述眼球的同一结构特征;
标注模块,用于根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置进行标注,得到第一标注图像。
9.根据权利要求8所述的眼底图像标注装置,其特征在于,所述装置还包括:
校验模块,用于校验所述第一标注图像的病灶的类型和/或解剖位置是否正常;
若确定标记的所述第一标注图像的病灶的类型正常,则输出所述第一标注图像;
若确定标记的所述第一标注图像的病灶的类型和/或解剖位置不正常,则根据所述根据建立所述至少一个第一特征与所述至少一个第二特征的映射关系,按照所述已标注图像中的标记对所述第一未标注图像中相应的病灶和/或解剖位置手动标记。
10.一种存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111624172.2A CN114420265A (zh) | 2021-12-28 | 2021-12-28 | 一种眼底图像标注的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111624172.2A CN114420265A (zh) | 2021-12-28 | 2021-12-28 | 一种眼底图像标注的方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114420265A true CN114420265A (zh) | 2022-04-29 |
Family
ID=81268684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111624172.2A Pending CN114420265A (zh) | 2021-12-28 | 2021-12-28 | 一种眼底图像标注的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114420265A (zh) |
-
2021
- 2021-12-28 CN CN202111624172.2A patent/CN114420265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615051B (zh) | 基于深度学习的糖尿病视网膜图像分类方法及系统 | |
US11210789B2 (en) | Diabetic retinopathy recognition system based on fundus image | |
US20200160946A1 (en) | Longitudinal data quality assurance system | |
US10441160B2 (en) | Method and system for classifying optic nerve head | |
Aquino | Establishing the macular grading grid by means of fovea centre detection using anatomical-based and visual-based features | |
CN109697719B (zh) | 一种图像质量评估方法、装置及计算机可读存储介质 | |
WO2019180742A1 (en) | System and method for retinal fundus image semantic segmentation | |
US10832410B2 (en) | Computer system, method, and program for diagnosing subject | |
CN113768461B (zh) | 一种眼底图像分析方法、系统和电子设备 | |
Lee et al. | Deep learning based cephalometric landmark identification using landmark-dependent multi-scale patches | |
CN111563910B (zh) | 眼底图像分割方法及设备 | |
CN103584876A (zh) | 用于x射线图像的自动质量控制 | |
CN113808125A (zh) | 医学影像处理方法、病灶类型识别方法以及相关产品 | |
US9675245B2 (en) | Method and device for determining the eye torsion | |
CN114420265A (zh) | 一种眼底图像标注的方法、装置及存储介质 | |
CN113077499A (zh) | 骨盆配准方法、骨盆配准装置和骨盆配准系统 | |
CN116030042B (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 | |
CN113035329A (zh) | 一种医学影像质控系统 | |
KR101659056B1 (ko) | 2차원 기술자를 이용한 두개골유합증 자동진단시스템 및 이를 이용한 두개골유합증 자동진단방법 | |
CN114693587A (zh) | 眼底图像的数据标注的质量控制方法及质量控制系统 | |
CN210043980U (zh) | 一种色卡 | |
CN109509189B (zh) | 一种基于多个子区域模板的腹部肌肉标注方法及标注装置 | |
CN113256625A (zh) | 一种电子设备和识别装置 | |
Niemeijer | Automatic detection of diabetic retinopathy in digital fundus photographs | |
JP2023525075A (ja) | 診断セッションに伴う患者の検出、識別、及び検証 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |