CN110264443B - 基于特征可视化的眼底图像病变标注方法、装置及介质 - Google Patents
基于特征可视化的眼底图像病变标注方法、装置及介质 Download PDFInfo
- Publication number
- CN110264443B CN110264443B CN201910418190.1A CN201910418190A CN110264443B CN 110264443 B CN110264443 B CN 110264443B CN 201910418190 A CN201910418190 A CN 201910418190A CN 110264443 B CN110264443 B CN 110264443B
- Authority
- CN
- China
- Prior art keywords
- fundus image
- marked
- image
- classification
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 101
- 238000012800 visualization Methods 0.000 title claims abstract description 64
- 238000002372 labelling Methods 0.000 title claims abstract description 27
- 238000013145 classification model Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000740 bleeding effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明属于人工智能技术领域，公开了一种基于特征可视化的眼底图像病变标注方法，包括：获取待标注眼底图像；通过训练得到的分类模型对所述待标注眼底图像进行分类；根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；根据所述灰度特征图获取最小矩形框坐标；利用矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。本发明还公开了一种电子装置和存储介质。本发明通过对待标注眼底图像进行特征可视化处理，实现对眼底图像的病灶标注，减少了标注的工作量，不需要专家进行人工标注，节省人力。并且，通过本发明可以实现对数据集的批量标注，提高效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于特征可视化的眼底图像病变标注方法、装置及介质。
背景技术
目前，由于医学图像的特殊性，通常只有经过专业培养的医生才能够精确且可靠的对医学图像进行标注，包括病灶等区域。在对医学图像进行标注的过程中，通常需要医生手动确定疾病类型、筛查病变区域、勾画病灶区域等，这一标注过程需要医生投入大量的时间和精力。深度学习被广泛应用于医学图像处理，大大提高医生筛查疾病的效率，但是，利用神经网络对医学图像进行标注时，难以直观地看出输入的医学图像的哪些地方被神经网络关注到，导致难以实现对图像数据集进行批量标注，使得标注的工作量较大。
发明内容
本发明提供一种基于特征可视化的眼底图像病变标注方法、装置及介质，以解决现有技术难以实现对图像进行批量标注的问题。
为了实现上述目的，本发明的一个方面是提供一种基于特征可视化的眼底图像病变标注方法，包括：
获取待标注眼底图像；
通过训练得到的分类模型对所述待标注眼底图像进行分类；
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；
根据所述灰度特征图获取最小矩形框坐标；
利用矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。
优选地，通过训练得到的分类模型对所述待标注眼底图像进行分类的步骤包括：将所述待标注眼底图像输入所述分类模型；通过所述分类模型输出与所述待标注眼底图像相对应的多个分类类别的概率值；获取设定的概率阈值；将大于所述概率阈值的概率值所对应的分类类别作为分类结果。
优选地，所述分类结果包括与所述待标注眼底图像对应的多个分类类别时，根据分类结果对所述待标注眼底图像进行特征可视化处理，包括：根据分类结果对应的各个分类类别分别对所述待标注眼底图像进行特征可视化处理，得到多个灰度特征图；根据所述灰度特征图获取最小矩形框坐标，包括：分别根据每个灰度特征图获取与相应分类类别对应的最小矩形框坐标。
优选地，所述分类模型包括输入层、多层卷积层(Convolutional layer，CONV)、全局平均池化(Global Average Pooling，GAP)层和全连接层。
优选地，对所述待标注眼底图像进行特征可视化处理的步骤包括：获取所述待标注眼底图像的分类类别；根据所述待标注眼底图像的分类类别选择所述分类模型中与所述分类类别相对应的全连接层的权重值；将选择的权重值与所述分类模型中最后一个卷积层的输出做内积运算，得到第一图像；将第一图像通过上采样处理，与输入的待标注眼底图像叠加，得到所述待标注眼底图像的灰度特征图。
优选地，根据所述灰度特征图获取最小矩形框坐标的步骤包括：提取所述灰度特征图的图像像素点；根据所述图像像素点获取所述灰度特征图的所有轮廓；根据轮廓点坐标确定包含轮廓的最小矩形框坐标。
优选地，提取所述灰度特征图的图像像素点的步骤包括：设定不同的特征阈值；根据所述特征阈值对所述灰度特征图的图像像素点进行分类；根据对图像像素点的分类结果提取所述图像像素点。
优选地，根据所述图像像素点获取所述灰度特征图的所有轮廓的步骤包括：获取第一个非零像素点，将所述第一个非零像素点入栈，并将所述第一个非零像素点作为栈顶元素；获取所述栈顶元素相邻的八邻域非零像素点，并将所述八邻域非零像素点入栈；将所述栈顶元素删除，完成区域的连通，获取一个轮廓；重复上述步骤，获取所有轮廓。
为了实现上述目的，本发明的另一个方面是提供一种电子装置，该电子装置包括：处理器，存储器，所述存储器中包括基于特征可视化的眼底图像病变标注程序，所述眼底图像病变标注程序被所述处理器执行时实现如上所述的眼底图像病变标注方法的步骤。
为了实现上述目的，本发明的再一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中包括眼底图像病变标注程序，所述眼底图像病变标注程序被处理器执行时，实现如上所述的眼底图像病变标注方法的步骤。
相对于现有技术，本发明具有以下优点和有益效果：
本发明通过分类模型进行眼底图像分类，根据分类结果对待标注眼底图像进行特征可视化处理，实现对眼底图像的病灶标注，减少了标注的工作量，不需要专家进行人工标注，节省人力。并且，通过本发明可以同时标注多种病灶类型，实现对数据集的批量标注，提高效率。并且，在实际筛查系统中通过本发明所述病变标注方法可以对病灶区域进行显示，辅助医生诊疗。
附图说明
图1为本发明所述基于特征可视化的眼底图像病变标注方法的流程示意图；
图2和图3为本发明中对待标注眼底图像进行特征可视化的过程示意图；
图4为本发明中基于特征可视化的眼底图像病变标注程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，仅仅用以解释本发明，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
图1为本发明所述基于特征可视化的眼底图像病变标注方法的流程示意图，如图1所示，本发明所述基于特征可视化的眼底图像病变标注方法，包括以下步骤：
步骤S1、获取待标注眼底图像，待标注的眼底图像中可能包括一种或多种病灶类型，或者一个或多个病灶位置；
步骤S2、通过训练得到的分类模型对所述待标注眼底图像进行分类，根据图像中包括的病灶类型获取待标注眼底图像所属的分类类别；
步骤S3、根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；
步骤S4、根据所述灰度特征图获取最小矩形框坐标，最小矩形框坐标表征了病灶在眼底图像中的相对位置，以对眼底图像中包括的病灶进行定位，但本发明并不限于此，也可以用于对图像中的某一关键区域定位，获取该关键区域的最小矩形框坐标，对关键区域进行标注；
步骤S5、利用所述矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。
本发明通过分类模型进行眼底图像分类，根据分类结果进行特征可视化处理，实现对眼底图像的病灶标注，减少了标注的工作量，不需要专家进行人工标注。并且，通过本发明可以实现对数据集的批量标注，提高效率。并且，在实际筛查系统中通过本发明所述病变标注方法可以对病灶区域进行显示，辅助医生诊疗。
优选地，所述分类模型包括输入层、多层卷积层、全局平均池化层和全连接层。
本发明中，通过经过训练的分类模型对待标注眼底图像进行分类。训练时，选用的待标注眼底图像训练样本来自Kaggle挑战赛中的糖尿病性视网膜病变检测提供的公开数据集，并对该数据集进行重新标注，对数据集中每张眼底图像进行多分类标注，标签分为四类：微动脉瘤，软渗出，硬渗出，出血点。训练时的损失函数为二类交叉熵损失函数，优化方法使用Adam方法，初始学习率为0.001，训练得到平均召回率为0.93。
本发明的一个可选的实施例中，通过训练得到的分类模型对所述待标注眼底图像进行分类的步骤包括：将所述待标注眼底图像输入所述分类模型；通过所述分类模型输出与所述待标注眼底图像相对应的多个分类类别的概率值；获取设定的概率阈值；将大于所述概率阈值的概率值所对应的分类类别作为分类结果。根据分类结果获取待标注眼底图像中可能包括的病灶类型。
病人的一张眼底图像可能有多种类型的病变，根据设定的概率阈值的不同，通过分类模型得到的分类结果可能包括一个或多个分类类别，当分类结果包括多个分类类别时，根据分类结果对所述待标注眼底图像进行特征可视化处理，包括：根据分类结果对应的各个分类类别分别对所述待标注眼底图像进行特征可视化处理，得到多个灰度特征图；根据所述灰度特征图获取最小矩形框坐标，包括：分别根据每个灰度特征图获取与相应分类类别对应的最小矩形框坐标。即，对应几个分类类别对待标注眼底图像处理几次，每次处理获取的最小矩形框坐标表征与此次分类类别对应的病灶位置。例如，若一张待标注眼底图像中包括出血点、软渗出和硬渗出等，将该眼底图像输入分类模型中之后，通过分类模型得到该眼底图像属于出血点病变类别的概率值为0.9，属于软渗出病变类别的概率值为0.8，属于硬渗出类别的概率值为0.6，通过设定概率阈值为0.75之后，获得的分类结果为与该眼底图像相对应的病变类别为出血点病变和软渗出病变。获取最小矩形框坐标时，先针对出血点病变对待标注眼底图像进行可视化处理，获取与出血点病变对应的最小矩形框坐标，再针对软渗出病变对待标注眼底图像进行可视化处理，获取与软渗出病变对应的最小矩形框坐标，因此，对于图像中的每个病灶都被会标注出一个矩形框。应当理解的是，针对不同分类类别对待标注眼底图像的处理没有先后次序之分。
本发明的一个实施例中，通过训练得到的分类模型对所述待标注眼底图像进行分类的步骤包括：将所述待标注眼底图像输入所述分类模型；通过所述分类模型输出与所述待标注眼底图像相对应的多个分类类别的概率值；将得到的概率值按照从大到小的顺序排列；选择排序靠前的一个或多个概率值所对应的分类类别作为分类结果。
本发明的一个实施例中，对所述待标注眼底图像进行特征可视化处理的步骤包括：获取所述待标注眼底图像的分类类别；根据所述待标注眼底图像的分类类别选择所述分类模型中与所述分类类别相对应的全连接层的权重值；将选择的权重值与所述分类模型中最后一个卷积层的输出做内积运算，得到第一图像；将第一图像通过上采样处理(上采样到原图大小)，然后与输入的待标注眼底图像叠加，得到所述待标注眼底图像的灰度特征图。图2和图3为本发明中对待标注眼底图像进行特征可视化的过程示意图，如图2所示，对于待标注的眼底图像，经过多层CONV层、GAP层的处理，根据待标注眼底图像对应的“出血”的分类类别，确定对应的全连接层的权重值W1，W2，…，Wn，之后，如图3所示，将权重值W1，W2，…，Wn与最后一个CONV层的输出做内积运算，得到第一图像，其中，最后一个CONV层的输出为最深层次的特征图，将第一图像通过上采样处理，得到与待标注的眼底图像相同分辨率的第二图像，再将第二图像与输入的待标注眼底图像按照7:3的权重比进行相加，得到经过特征图渲染后的图像，即为待标注眼底图像的灰度特征图，最后，利用最小矩形框坐标对应的矩形框进行标注。
当一张眼底图像通过分类模型得到多个分类类别时，对于每种分类类别分别进行特征可视化处理，得到与每种分类类别相对应的灰度特征图，用于确定最小矩形框坐标。例如，当一张眼底图像获得的分类结果为与该眼底图像相对应的病变类别为出血点病变和软渗出病变时，先选择与出血点病变类别对应的全连接层的权重值，得到与出血点病变对应的第一灰度特征图，通过第一灰度特征图确定出血点病灶的最小矩形框坐标，再选择与软渗出病变类别对应的全连接层的权重值，得到与软渗出病变对应的第二灰度特征图，通过第二特征灰度图确定软渗出病灶的最小矩形框坐标，经过两次可视化处理得到的最小矩形框坐标可以在待标注的眼底图像中进行病灶标注。
上述仅以分类结果包括两种病灶分类类别为例进行说明，而本发明并不限于此，一张待标注眼底图像可能包括多种病灶分类类别，依照上述方式，可以分别对相应的多个灰度特征图进行处理，获取最小矩形框坐标。
应当理解的是，本发明中的术语“第一”和“第二”等仅用于区别类似的对象，而不用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换，以便于本发明中描述的实施例能够以除了描述的那些以外的顺序实施。例如，对于第一灰度特征图和第二灰度特征图的处理顺序并无先后之分。
本发明的一个可选实施例中，根据所述灰度特征图获取最小矩形框坐标的步骤包括：提取所述灰度特征图的图像像素点；根据所述图像像素点获取所述灰度特征图的所有轮廓；根据轮廓点坐标确定包含轮廓的最小矩形框坐标。将获取的最小矩形框坐标标注到原始的眼底图像上，即可得到图像中的病灶类型以及病灶位置。不同的病灶类型可以使用不同颜色的矩形框进行标注，以便于从标注后的图像中显而易见的获取到病灶数量以及相应的病灶种类。
进一步地，提取所述灰度特征图的图像像素点的步骤包括：设定不同的特征阈值；根据所述特征阈值对所述灰度特征图的图像像素点进行分类；根据对图像像素点的分类结果提取所述图像像素点。
本发明的一个实施例中，采用最大连通区域算法寻找灰度特征图的所有轮廓，优选地，根据所述图像像素点获取所述灰度特征图的所有轮廓的步骤包括：
获取第一个非零像素点，将所述第一个非零像素点入栈，并将所述第一个非零像素点作为栈顶元素；获取所述栈顶元素相邻的八邻域非零像素点，并将所述八邻域非零像素点入栈；将所述栈顶元素删除，完成区域的连通，获取一个轮廓；重复上述步骤，获取所有轮廓。
进一步地，获取第一个非零像素点之前，还包括：为所述图像像素点添加是否已访问的属性；获取第一个非零像素点之后，还包括：将所述第一个非零像素点是否已访问的属性设置为真，从而可以避免在获取所有轮廓时，对图像像素点的查询进入死循环。
需要说明的是，本发明所述眼底图像病变标注方法不仅可以用于眼底图像的病变标注，还可以用于对基于分类问题的数据进行关键区域标注，通用性较强。
通过本发明所述眼底图像病变标注方法完成病灶区域的标注之后，对于已经标注病灶区域的眼底图像病变的数据集可以用于对眼底病变的检测。
本发明所述基于特征可视化的眼底图像病变标注方法应用于电子装置，所述电子装置可以是电视机、智能手机、平板电脑、计算机等终端设备。
所述电子装置包括：处理器；存储器，用于存储基于特征可视化的眼底图像病变标注程序，处理器执行所述基于特征可视化的眼底图像病变标注程序，实现以下的基于特征可视化的眼底图像病变标注方法的步骤：
获取待标注眼底图像；
通过训练得到的分类模型对所述待标注眼底图像进行分类；
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；
根据所述灰度特征图获取最小矩形框坐标；
利用矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。
所述电子装置还包括网络接口和通信总线等。其中，网络接口可以包括标准的有线接口、无线接口，通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质，可以是闪存、硬盘、光盘等非易失性存储介质，也可以是插接式硬盘等，且并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中，存储器存储的软件程序包括基于特征可视化的眼底图像病变标注程序，并可以向处理器提供该基于特征可视化的眼底图像病变标注程序，以使得处理器可以执行该基于特征可视化的眼底图像病变标注程序，实现基于特征可视化的眼底图像病变标注方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等，可以运行存储器中的存储程序，例如，本发明中基于特征可视化的眼底图像病变标注程序。
所述电子装置还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置中处理的信息以及用于显示可视化的工作界面，包括原始的待标注眼底图像以及利用矩形框标注后的眼底图像等信息。
所述电子装置还可以包括用户接口，用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
在其他实施例中，基于特征可视化的眼底图像病变标注程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器中，并由处理器执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。图4为本发明中基于特征可视化的眼底图像病变标注程序的模块示意图，如图4所示，所述基于特征可视化的眼底图像病变标注程序可以被分割为：图像获取模块1、分类模块2、可视化处理模块3、坐标获取模块4和标注模块5。上述模块所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
图像获取模块1，获取待标注眼底图像；分类模块2，通过训练得到的分类模型对所述待标注眼底图像进行分类；可视化处理模块3，根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；坐标获取模块4，根据所述灰度特征图获取最小矩形框坐标；标注模块5，利用矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。
优选地，所述分类模型包括输入层、多层卷积层、全局平均池化层和全连接层。对分类模型进行训练时，选用的待标注眼底图像训练样本来自Kaggle挑战赛中的糖尿病性视网膜病变检测提供的公开数据集，并对该数据集进行重新标注，对数据集中每张眼底图像进行多分类标注，标签分为四类：微动脉瘤，软渗出，硬渗出，出血点。训练时的损失函数为二类交叉熵损失函数，优化方法使用Adam方法，初始学习率为0.001，训练得到平均召回率为0.93。
本发明的一个可选的实施例中，分类模块2包括：输入单元，将所述待标注眼底图像输入所述分类模型；输出单元，通过所述分类模型输出与所述待标注眼底图像相对应的多个分类类别的概率值；阈值设定单元，设定概率阈值；结果获取单元，将大于所述概率阈值的概率值所对应的分类类别作为分类结果。根据分类结果获取待标注眼底图像中可能包括的病灶类型。
病人的一张眼底图像可能有多种类型的病变，根据设定的概率阈值的不同，通过分类模型得到的分类结果可能包括一个或多个分类类别，当分类结果包括多个分类类别时，可视化处理模块根据分类结果对应的各个分类类别分别对所述待标注眼底图像进行特征可视化处理，得到多个灰度特征图；坐标获取模块分别根据每个灰度特征图获取与相应分类类别对应的最小矩形框坐标。即，对应几个分类类别对待标注眼底图像处理几次，每次处理获取的最小矩形框坐标表征与此次分类类别对应的病灶位置。例如，若一张待标注眼底图像中包括出血点、软渗出和硬渗出等，将该眼底图像输入分类模型中之后，通过分类模型得到该眼底图像属于出血点病变类别的概率值为0.9，属于软渗出病变类别的概率值为0.8，属于硬渗出类别的概率值为0.6，通过设定概率阈值为0.75之后，获得的分类结果为与该眼底图像相对应的病变类别为出血点病变和软渗出病变。获取最小矩形框坐标时，先针对出血点病变对待标注眼底图像进行可视化处理，获取与出血点病变对应的最小矩形框坐标，再针对软渗出病变对待标注眼底图像进行可视化处理，获取与软渗出病变对应的最小矩形框坐标，因此，对于图像中的每个病灶都被会标注出一个矩形框。应当理解的是，针对不同分类类别对待标注眼底图像的处理没有先后次序之分。
本发明的一个实施例中，可视化处理模块包括：类别获取单元，获取所述待标注眼底图像的分类类别；权重选择单元，根据所述待标注眼底图像的分类类别选择所述分类模型中与所述分类类别相对应的全连接层的权重值；内积运算单元，将选择的权重值与所述分类模型中最后一个卷积层的输出做内积运算，得到第一图像；叠加单元，将第一图像通过上采样处理(上采样到原图大小)，与输入的待标注眼底图像叠加，得到所述待标注眼底图像的灰度特征图。
当一张眼底图像通过分类模型得到多个分类类别时，对于每种分类类别分别进行特征可视化处理，得到与每种分类类别相对应的灰度特征图，用于确定最小矩形框坐标。例如，当一张眼底图像获得的分类结果为与该眼底图像相对应的病变类别为出血点病变和软渗出病变时，先选择与出血点病变类别对应的全连接层的权重值，得到与出血点病变对应的第一灰度特征图，通过第一灰度特征图确定出血点病灶的最小矩形框坐标，再选择与软渗出病变类别对应的全连接层的权重值，得到与软渗出病变对应的第二灰度特征图，通过第二特征灰度图确定软渗出病灶的最小矩形框坐标，经过两次可视化处理得到的最小矩形框坐标可以在待标注的眼底图像中进行病灶标注。
本发明的一个可选实施例中，坐标获取模块4包括：提取单元，提取所述灰度特征图的图像像素点；轮廓获取单元，根据所述图像像素点获取所述灰度特征图的所有轮廓；坐标确定单元，根据轮廓点坐标确定包含轮廓的最小矩形框坐标。将获取的最小矩形框坐标标注到原始的眼底图像上，即可得到图像中的病灶类型以及病灶位置。不同的病灶类型可以使用不同颜色的矩形框进行标注，以便于从标注后的图像中显而易见的获取到病灶数量以及相应的病灶种类。
进一步地，通过提取单元提取所述灰度特征图的图像像素点的步骤包括：设定不同的特征阈值；根据所述特征阈值对所述灰度特征图的图像像素点进行分类；根据对图像像素点的分类结果提取所述图像像素点。
本发明的一个实施例中，所述轮廓获取单元采用最大连通区域算法寻找灰度特征图的所有轮廓，优选地，通过轮廓获取单元获取所述灰度特征图的所有轮廓的步骤包括：
获取第一个非零像素点，将所述第一个非零像素点入栈，并将所述第一个非零像素点作为栈顶元素；获取所述栈顶元素相邻的八邻域非零像素点，并将所述八邻域非零像素点入栈；将所述栈顶元素删除，完成区域的连通，获取一个轮廓；重复上述步骤，获取所有轮廓。
进一步地，获取第一个非零像素点之前，还包括：为所述图像像素点添加是否已访问的属性；获取第一个非零像素点之后，还包括：将所述第一个非零像素点是否已访问的属性设置为真，从而可以避免在获取所有轮廓时，对图像像素点的查询进入死循环。
本发明的一个实施例中，计算机可读存储介质可以是任何包含或存储程序或指令的有形介质，其中的程序可以被执行，通过存储的程序指令相关的硬件实现相应的功能。例如，计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括基于特征可视化的眼底图像病变标注程序，所述基于特征可视化的眼底图像病变标注程序被处理器执行时，实现如下的基于特征可视化的眼底图像病变标注方法：
获取待标注眼底图像；
通过训练得到的分类模型对所述待标注眼底图像进行分类；
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；
根据所述灰度特征图获取最小矩形框坐标；
利用所述矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注。
本发明之计算机可读存储介质的具体实施方式与上述基于特征可视化的眼底图像病变标注方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于特征可视化的眼底图像病变标注方法，应用于电子装置，其特征在于，包括：
获取待标注眼底图像；
通过训练得到的分类模型对所述待标注眼底图像进行分类；
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图；
根据所述灰度特征图获取最小矩形框坐标；
利用所述最小矩形框坐标对应的矩形框对所述待标注眼底图像进行病灶标注；
其中，所述分类结果包括与所述待标注眼底图像对应的多个分类类别时，
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图，包括：根据所述分类结果对应的各个分类类别分别对所述待标注眼底图像进行特征可视化处理，得到多个灰度特征图；
根据所述灰度特征图获取最小矩形框坐标，包括：分别根据每个灰度特征图获取与相应分类类别对应的最小矩形框坐标；
根据分类结果对所述待标注眼底图像进行特征可视化处理，得到所述待标注眼底图像的灰度特征图，还包括：
获取所述待标注眼底图像的分类类别；
根据所述待标注眼底图像的分类类别选择所述分类模型中与所述分类类别相对应的全连接层的权重值；
将选择的权重值与所述分类模型中最后一个卷积层的输出做内积运算，得到第一图像；
将第一图像通过上采样处理，与输入的待标注眼底图像叠加，得到所述待标注眼底图像的灰度特征图；
根据所述灰度特征图获取最小矩形框坐标的步骤包括：
提取所述灰度特征图的图像像素点；
根据所述图像像素点获取所述灰度特征图的所有轮廓；
根据轮廓点坐标确定包含轮廓的最小矩形框坐标。
2.根据权利要求1所述的基于特征可视化的眼底图像病变标注方法，其特征在于，通过训练得到的分类模型对所述待标注眼底图像进行分类的步骤包括：
将所述待标注眼底图像输入所述分类模型；
通过所述分类模型输出与所述待标注眼底图像相对应的多个分类类别的概率值；
获取设定的概率阈值；
将大于所述概率阈值的概率值所对应的分类类别作为分类结果。
3.根据权利要求1所述的基于特征可视化的眼底图像病变标注方法，其特征在于，所述分类模型包括输入层、多层卷积层、全局平均池化层和全连接层。
4.根据权利要求1所述的基于特征可视化的眼底图像病变标注方法，其特征在于，提取所述灰度特征图的图像像素点的步骤包括：
设定不同的特征阈值；
根据所述特征阈值对所述灰度特征图的图像像素点进行分类；
根据对图像像素点的分类结果提取所述图像像素点。
5.根据权利要求1所述的基于特征可视化的眼底图像病变标注方法，其特征在于，根据所述图像像素点获取所述灰度特征图的所有轮廓的步骤包括：
获取第一个非零像素点，将所述第一个非零像素点入栈，并将所述第一个非零像素点作为栈顶元素；
获取所述栈顶元素相邻的八邻域非零像素点，并将所述八邻域非零像素点入栈；
将所述栈顶元素删除，完成区域的连通，获取一个轮廓；
重复上述步骤，获取所有轮廓。
6.一种电子装置，其特征在于，该电子装置包括：处理器，存储器，所述存储器中包括基于特征可视化的眼底图像病变标注程序，所述眼底图像病变标注程序被所述处理器执行时实现如权利要求1至5中任一项所述的眼底图像病变标注方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于特征可视化的眼底图像病变标注程序，所述眼底图像病变标注程序被处理器执行时，实现如权利要求1至5中任一项所述的眼底图像病变标注方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418190.1A CN110264443B (zh) | 2019-05-20 | 2019-05-20 | 基于特征可视化的眼底图像病变标注方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910418190.1A CN110264443B (zh) | 2019-05-20 | 2019-05-20 | 基于特征可视化的眼底图像病变标注方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264443A CN110264443A (zh) | 2019-09-20 |
| CN110264443B true CN110264443B (zh) | 2024-04-16 |
Family
ID=67914849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910418190.1A Active CN110264443B (zh) | 2019-05-20 | 2019-05-20 | 基于特征可视化的眼底图像病变标注方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264443B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851607A (zh) * | 2019-11-19 | 2020-02-28 | 中国银行股份有限公司 | 资讯分类模型的训练方法及装置 |
| CN111105431A (zh) * | 2019-12-20 | 2020-05-05 | 深圳市智影医疗科技有限公司 | 一种标记图像的方法及装置 |
| CN111709436A (zh) * | 2020-05-21 | 2020-09-25 | 浙江康源医疗器械有限公司 | 一种医学影像轮廓的标记方法及系统、分类方法及系统 |
| CN111933274A (zh) * | 2020-07-15 | 2020-11-13 | 平安科技（深圳）有限公司 | 疾病分类诊断方法、装置、电子设备及存储介质 |
| CN111986785B (zh) * | 2020-08-26 | 2023-09-12 | 北京至真互联网技术有限公司 | 医学影像标注方法和装置、设备及存储介质 |
| CN112331314A (zh) * | 2020-11-25 | 2021-02-05 | 中山大学附属第六医院 | 一种图像标注方法、装置、存储介质和电子设备 |
| CN112541906B (zh) * | 2020-12-17 | 2022-10-25 | 上海鹰瞳医疗科技有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
| CN112667834A (zh) * | 2020-12-23 | 2021-04-16 | 深圳开立生物医疗科技股份有限公司 | 一种图像标注方法及相关装置 |
| CN112925938A (zh) * | 2021-01-28 | 2021-06-08 | 上海商汤智能科技有限公司 | 一种图像标注方法、装置、电子设备及存储介质 |
| CN113793301B (zh) * | 2021-08-19 | 2023-07-21 | 首都医科大学附属北京同仁医院 | 基于稠密卷积网络模型的眼底影像分析模型的训练方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020045A1 (en) * | 2015-07-30 | 2017-02-02 | VisionQuest Biomedical LLC | System and methods for malarial retinopathy screening |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| CN108665456A (zh) * | 2018-05-15 | 2018-10-16 | 广州尚医网信息技术有限公司 | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 |
| CN109063723A (zh) * | 2018-06-11 | 2018-12-21 | 清华大学 | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 |
| CN109657087A (zh) * | 2018-11-30 | 2019-04-19 | 平安科技（深圳）有限公司 | 一种数据批量标注方法、装置及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10963737B2 (en) * | 2017-08-01 | 2021-03-30 | Retina-Al Health, Inc. | Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images |
-
2019
- 2019-05-20 CN CN201910418190.1A patent/CN110264443B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020045A1 (en) * | 2015-07-30 | 2017-02-02 | VisionQuest Biomedical LLC | System and methods for malarial retinopathy screening |
| CN108615051A (zh) * | 2018-04-13 | 2018-10-02 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| CN108665456A (zh) * | 2018-05-15 | 2018-10-16 | 广州尚医网信息技术有限公司 | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 |
| CN109063723A (zh) * | 2018-06-11 | 2018-12-21 | 清华大学 | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 |
| CN109657087A (zh) * | 2018-11-30 | 2019-04-19 | 平安科技（深圳）有限公司 | 一种数据批量标注方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 糖尿病视网膜病变眼底图像分类方法;梁平 等;深圳大学学报(理工版);第34卷(第03期);第290-299页 * |
| 融合深度特征和语义邻域的自动图像标注;柯逍 等;模式识别与人工智能;第30卷(第03期);第193-203页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264443A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264443B (zh) | 基于特征可视化的眼底图像病变标注方法、装置及介质 | |
| CN107895367B (zh) | 一种骨龄识别方法、系统及电子设备 | |
| CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| CN109003269B (zh) | 一种能提高医生效率的医学影像病灶的标注提取方法 | |
| US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| WO2020140370A1 (zh) | 眼底出血点的自动检测方法、装置及计算机可读存储介质 | |
| CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| JP2021517330A (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
| CN112581438B (zh) | 切片图像识别方法、装置和存储介质及电子设备 | |
| CN113283446B (zh) | 图像中目标物识别方法、装置、电子设备及存储介质 | |
| WO2021174941A1 (zh) | 人体属性识别方法、系统、计算机设备及存储介质 | |
| Saleh et al. | An efficient algorithm for retinal blood vessel segmentation using h-maxima transform and multilevel thresholding | |
| CN112966548A (zh) | 一种大豆地块识别方法及系统 | |
| CN104951440B (zh) | 一种图像处理方法及电子设备 | |
| CN111524144A (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN114170440A (zh) | 图像特征点的确定方法、装置、计算机设备和存储介质 | |
| CN113077464A (zh) | 一种医学图像处理方法、医学图像识别方法及装置 | |
| CN115661810A (zh) | 安检ct目标物识别方法和装置 | |
| CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| CN111179222A (zh) | 脑出血点智能检测方法、装置及计算机可读存储介质 | |
| US20230297646A1 (en) | System and methods for classifying magnetic resonance imaging (mri) image characteristics | |
| CN110910409A (zh) | 一种灰度图像处理方法、装置和计算机可读存储介质 | |
| CN113963311B (zh) | 一种安全生产风险视频监控方法及系统 | |
| CN115690486A (zh) | 识别图像中病灶方法、装置、设备及存储介质 | |
| CN112242193B (zh) | 一种基于深度学习的自动血管穿刺方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |