CN109410204A - 一种基于cam的皮质白内障图像处理及增强方法 - Google Patents
一种基于cam的皮质白内障图像处理及增强方法 Download PDFInfo
- Publication number
- CN109410204A CN109410204A CN201811292102.XA CN201811292102A CN109410204A CN 109410204 A CN109410204 A CN 109410204A CN 201811292102 A CN201811292102 A CN 201811292102A CN 109410204 A CN109410204 A CN 109410204A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- cortex
- box
- cataract
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000002177 Cataract Diseases 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 230000004913 activation Effects 0.000 claims abstract description 43
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 31
- 230000007423 decrease Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 claims 1
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 2
- 238000001994 activation Methods 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于CAM的皮质白内障图像处理及增强方法，涉及机器视觉及医学影像计算机辅助诊断领域，包括以下步骤：1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。本方法可以预测白内障图像中最能代表其特征的区域，有利于辅助医生判断特征区域位置。基于蒙版对图像进行裁剪，可以在保留原始图像关键信息的前提下扩充后续图像处理的数据，提高了样本数据的利用率。
Description
技术领域
本发明涉及机器视觉及医学影像计算机辅助诊断领域，具体涉及一种基于CAM的皮质白内障图像处理及增强方法。
背景技术
白内障是最容易引起失明的眼科疾病，目前，中国已确诊白内障患者多达3500万人，而且每年还以8％-10％的速度递增。由于白内障患者的病患部位在外，具有视觉可变性，所以可以利用机器视觉等技术对患者的体检照片进行自动处理，辅助医生进行诊断，从而减轻医生工作负担和误诊率，提高医生的工作效率。
然而，在医学辅助诊断过程中，提取出医学图像中病理特征最明显的区域可以有效地帮助医生排除无关区域的干扰，将注意力集中于关键区域。但是，由于医学领域的特殊性，导致难以获得大量的有效图像数据，无法满足深度学习需要的庞大的数据量需求，因此，需要一种能够适用于医学领域的小样本学习的方法，尤其是在疾病样本十分稀有，并且肉眼难以分辨的情况下。在小样本学习中，数据增强是一种常用的方法，然而一般的非监督数据增强方法可能因为参数设置不当而破坏原始图像信息，因此，需要一种监督数据增强方法来产生更合理的增强数据。
目前，针对于皮质白内障的辅助诊断，对其图像处理的方法主要包括以下几类：
1、基于原始图像样本，人为地设计灰度、纹理、能量等特征，然后通过最大期望算法(Expectation Maximization，EM)、逻辑回归(Logistic Regression，LR)等分类器进行概率分析。该方法的优点是特征维度低，处理速度快。但该方法的缺点更明显，这些特征的选取取决于人的主观经验，可能出现特征不完善，冗余甚至毫无关系的情况。所以该方法最终效果不尽人意。
2、使用诸如特征包(BagofFeatures，BOF)等方法对提取的特征进行线性组合，再利用群体稀疏回归(Group Sparsity Regression，GSR)等方法进行概率分析。该方法通过对特征的进一步组合，可以学习出一个表示特征的字典，从而提炼出更为典型的特征。但该方法的缺点也和上一方法相同，即所用的特征必须事先决定好，而且这种使用局部特征来表示全局的方法其实难以处理图像中的几何信息。
3、利用基于卷积递归等结构的深度学习网络模型完成特征提取和概率分析的一体化，或者基于深度学习网络模型提取特征后采用支持向量机(Support Vector Machine，SVM)、随机森林(Random Forests，RF)等分类器进行概率分析。广泛的实验证明了这种自动提取特征的方法在处理医学图像上的效果远胜于以上人工定义特征的方法。但其缺点也较为明显，需要大量的样本来支持网络模型的学习，也需要大量的时间来进行训练。
发明内容
本发明的目的在于：为解决医学领域的图像样本数量少而不适用于训练深度学习网络模型以及人为选定图像样本特征的不完善、而基于分类的网络模型无法帮助医生确定图像的特征区域的问题，提供了一种基于CAM的皮质白内障图像处理及增强方法。
本发明采用的技术方案如下：
一种基于CAM(Class Activation Map，类激活图)的皮质白内障图像处理及增强方法，包括以下步骤：
步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；
步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；
步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。
进一步地，步骤1中，训练出最优网络模型的具体步骤如下：
步骤1.1.去除深度学习网络模型中处理特定数据的全连接层，并在去除的全连接层原有位置依次加入一个用于压缩参数的全局均值池化层、将高维张量展平到行向量的全连接层及随机初始化的分类器，得到新型神经网络模型；
步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本进行去中心化和标准化处理，得到训练集、验证集和测试集；
步骤1.3.基于训练集，利用带有学习率衰减的Adam优化器以分类交叉熵为损失函数训练出原始分类网络模型；训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型；若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降；若通过调整学习率无法使损失值下降，则终止训练；其中，分类交叉熵的计算公式如下：
其中，M表示图像样本类别总数，c表示图像样本的类别，y(o，C)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率；
步骤1.4.基于验证集，利用网格搜索法对超参数集合D中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型。
进一步地，所述超参数集合D包括Adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。
进一步地，步骤2中，得到特征区域图像的具体步骤如下：
步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集T；
步骤2.2.基于步骤1得到的图像特征，利用CAM获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：
其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，y)表示特征图集T中的第i张特征图；
步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图；
步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像。
进一步地，步骤3的具体步骤如下：
步骤3.1.将类激活图响应大于数值A的区域均记为最高响应区域(HighestRespond Area，HRA)，并判断最高响应区域HRA之间是否连通；若连通，则将所有最高响应区域HRA连通后的区域A的最小外接矩形记为最高响应盒(Highest Respond Box，HRB)；若不连通，则将最高响应区域HRA之间最大的连通域的最小外接矩形记为最高响应盒HRB；
步骤3.2.将类激活图响应小于数值B的区域均记为目标区域(Anchor Area，AA)，并判断目标区域AA之间是否连通；若连通，则将所有目标区域AA连通后的区域B的最小外接矩形作为目标盒(Anchor Box，AB)；若不连通，则将所有连通域中包含最高响应盒HRB的一个连通域的最小外接矩形中最大的矩形作为目标盒AB；
步骤3.3.在类激活图上任取一个与目标盒AB大小相等的盒子，在保证该盒子能完全包含最高响应盒HRB的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒(Supervised Crop Box，SCB)；
步骤3.4.将目标盒AB作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据；
步骤3.5.从监督裁剪盒SCB中任取若干个大小与目标盒AB相等的矩形作为蒙版，对训练集中的图像样本进行裁剪，作为图像处理的增强数据。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，首先使用已有的小样本的皮质白内障图像样本数据集，端对端地训练出一个最优网络模型，然后利用该模型来自动地提取待处理皮质白内障图像的图像特征。从而缓解了人为选取图像特征的不完善、冗余甚至毫无关系的问题。之后结合最优网络模型自身的参数，获得该模型的类激活图，通过类激活图反映出皮质白内障图像样本数据集中最能代表其特征的区域，并将其作为预测的特征区域图像。这种小样本学习方法相较于其他辅助图像处理方法，可以预测白内障图像中最能代表其特征的区域，有利于辅助医生判断特征区域位置。
2、本发明中，通过定义目标盒AB、监督裁剪盒SCB等区域，进一步地指定随机裁剪区域来进行监督、增强数据。通过将目标盒AB作为蒙版裁剪皮质白内障图像样本数据集，将裁剪得到的图像作为后续图像处理的原始数据，将监督裁剪盒SCB中的任意大小与目标盒AB相等的区域作为蒙版来裁剪训练集，将裁剪得到的图像作为后续图像处理的增强数据。该方式可以在保留原始图像关键信息的前提下扩充后续图像处理的数据，提高了样本数据的利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的流程示意图；
图2为本发明的实施例一采用的待处理皮质白内障图像；
图3为本发明的实施例一的特征区域图像；
图4为本发明的实施例一的ARB、HRA和SCB区域。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
本发明较佳实施例提供的一种基于CAM的皮质白内障图像处理及增强方法，如图1所示，包括以下步骤：
步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征，待处理皮质白内障图像如图2所示。其中，训练出最优网络模型的具体步骤如下：
步骤1.1.去除深度学习网络模型MobileNet中处理特定数据的全连接层，并在去除的全连接层原有位置依次加入一个用于压缩参数的全局均值池化层、将高维张量展平到行向量的全连接层及随机初始化的分类器，并在MobileNet的每一层之后都接上一个batchnormalization层，用ReLU作为激活函数，得到新型神经网络模型。
步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集以6∶2∶2的比例分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本的RGB三通道分别进行去中心化和标准化处理，得到训练集、验证集和测试集。
步骤1.3.基于训练集，利用带有学习率衰减的Adam优化器以分类交叉熵为损失函数训练出原始分类网络模型。训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型、根据验证集的损失值跟踪训练情况。若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降。若通过调整学习率无法使损失值下降，则终止训练，以缓解过拟合现象。其中，分类交叉熵的计算公式如下：
其中，M表示图像样本类别总数，c表示图像样本的类别，y(o，c)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率。本实施例中，学习率调整倍数m的取值为0.9。
步骤1.4.基于验证集，利用网格搜索法对超参数集合D中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型，通过测试集衡量最优网络模型的优良性。记皮质白内障图像样本数据集包含的所有数据参与一次分类网络模型更新的时间t为epoch，其中，超参数集合D包括Adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。本实施例中，学习率初始值为e-4，衰减系数为e-5，时间期限q为10epoch，更新时间t为10epoch，上限值p为21epoch，时间s为200epoch。
步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像。得到特征区域图像的具体步骤如下：
步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集T。
步骤2.2.基于步骤1得到的图像特征以及最优网络模型自身的参数，利用CAM获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：
其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，y)表示特征图集T中的第i张特征图。
步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图。
步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像，如图3所示。
步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像，具体步骤如下：
步骤3.1.将特征区域图像响应小于0.05的区域记为0，排出噪声影响，再将类激活图响应大于数值A的区域均记为最高响应区域HRA，并判断最高响应区域HRA之间是否连通。若连通，则将所有最高响应区域HRA连通后的区域A的最小外接矩形记为最高响应盒HRB；若不连通，则将最高响应区域HRA之间最大的连通域的最小外接矩形记为最高响应盒HRB。
步骤3.2.将类激活图响应小于数值B的区域均记为目标区域AA，并判断目标区域AA之间是否连通。若连通，则将所有目标区域AA连通后的区域B的最小外接矩形作为目标盒AB；若不连通，则将所有连通域中包含最高响应盒HRB的一个连通域的最小外接矩形中最大的矩形作为目标盒AB。
步骤3.3.在类激活图上任取一个与目标盒AB大小相等的盒子，在保证该盒子能完全包含最高响应盒HRB的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒SCB，得到的最高响应盒HRB、目标盒AB和监督裁剪盒SCB如图4所示。本实施例中，数值A的取值为0.05.数值B的取值为0.3。
步骤3.4.将目标盒AB作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据。
步骤3.5.从监督裁剪盒SCB中任取若干个大小与目标盒AB相等的矩形作为蒙版，对训练集中的图像样本进行裁剪，作为图像处理的增强数据。
通过图3的特征区域图像与图2的原始图像相比较，图3的特征区域图像中的已圈出区域可以表示具有皮质白内障性质的区域，医生在无法判断是否为白内障的情况下，可更快速地预测及定位特征区域。通过图4的各种区域与图2的原始图像相比较，图4中的最高响应区域HRA包含了皮质白内障性质最明显的区域，在监督裁剪盒SCB中任意裁剪出大小为目标盒AB的区域，均能保留皮质白内障的关键信息，即可在保留原始图像关键信息的前提下扩充后续图像处理的数据，通过载剪的方式为后续图像处理提供了训练数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，包括以下步骤：
步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；
步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；
步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。
2.根据权利要求1所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，步骤1中，训练出最优网络模型的具体步骤如下：
步骤1.1.去除深度学习网络模型中处理特定数据的全连接层，并依次加入一个全局均值池化层、全连接层及分类器，得到新型神经网络模型；
步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本进行去中心化和标准化处理，得到训练集、验证集和测试集；
步骤1.3.基于训练集，利用带有学习率衰减的Adam优化器以分类交叉熵为损失函数训练出原始分类网络模型；训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型；若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降；若通过调整学习率无法使损失值下降，则终止训练；其中，分类交叉熵的计算公式如下：
其中，M表示图像样本类别总数，c表示图像样本的类别，y(o，c)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率；
步骤1.4.基于验证集，利用网格搜索法对超参数集合D中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型。
3.根据权利要求2所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，所述超参数集合D包括Adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。
4.根据权利要求1所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，步骤2中，得到特征区域图像的具体步骤如下：
步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集T；
步骤2.2.基于步骤1得到的图像特征，利用CAM获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：
其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，，y)表示特征图集T中的第i张特征图；
步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图；
步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像。
5.根据权利要求1所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，步骤3的具体步骤如下：
步骤3.1.将类激活图响应大于数值A的区域均记为最高响应区域HRA，并判断最高响应区域HRA之间是否连通；若连通，则将所有最高响应区域HRA连通后的区域A的最小外接矩形记为最高响应盒HRB；若不连通，则将最高响应区域HRA之间最大的连通域的最小外接矩形记为最高响应盒HRB；
步骤3.2.将类激活图响应小于数值B的区域均记为目标区域AA，并判断目标区域AA之间是否连通；若连通，则将所有目标区域AA连通后的区域B的最小外接矩形作为目标盒AB；若不连通，则将所有连通域中包含最高响应盒HRB的一个连通域的最小外接矩形中最大的矩形作为目标盒AB；
步骤3.3.在类激活图上任取一个与目标盒AB大小相等的盒子，在保证该盒子能完全包含最高响应盒HRB的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒SCB；
步骤3.4.将目标盒AB作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据；
步骤3.5.从监督裁剪盒SCB中任取若干个大小与目标盒AB相等的矩形作为蒙版，对训练集中的图像样本进行裁剪，作为图像处理的增强数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811292102.XA CN109410204B (zh) | 2018-10-31 | 2018-10-31 | 一种基于cam的皮质白内障图像处理及增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811292102.XA CN109410204B (zh) | 2018-10-31 | 2018-10-31 | 一种基于cam的皮质白内障图像处理及增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410204A true CN109410204A (zh) | 2019-03-01 |
| CN109410204B CN109410204B (zh) | 2022-04-15 |
Family
ID=65470904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811292102.XA Active CN109410204B (zh) | 2018-10-31 | 2018-10-31 | 一种基于cam的皮质白内障图像处理及增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410204B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232700A (zh) * | 2019-06-19 | 2019-09-13 | 电子科技大学 | 基于暗通道强度比的c型白内障图像反光的移除方法 |
| CN110599451A (zh) * | 2019-08-05 | 2019-12-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
| CN110648332A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 |
| CN110766027A (zh) * | 2019-10-22 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 图像的区域定位方法和目标区域定位模型的训练方法 |
| CN110956621A (zh) * | 2019-11-27 | 2020-04-03 | 北京航空航天大学合肥创新研究院 | 一种基于神经网络的组织癌变的检测方法及系统 |
| CN112006651A (zh) * | 2020-09-10 | 2020-12-01 | 孙礼华 | 一种白内障手术辅助诊断系统及其方法 |
| CN112488203A (zh) * | 2020-11-30 | 2021-03-12 | 中国航天时代电子有限公司 | 一种面向似六边形弹孔智能识别检测的数据集扩增方法 |
| CN112954198A (zh) * | 2021-01-27 | 2021-06-11 | 北京有竹居网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN113408575A (zh) * | 2021-05-12 | 2021-09-17 | 桂林电子科技大学 | 一种基于判别性区域定位的图像数据增广方法 |
| CN114612732A (zh) * | 2022-05-11 | 2022-06-10 | 成都数之联科技股份有限公司 | 样本数据增强方法及系统及装置及介质及目标分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050103849A1 (en) * | 2003-11-13 | 2005-05-19 | Xiaoxun Zhu | Automatic hand-supportable image-based bar code symbol reader having image-processing based bar code reading subsystem employing simple decode image processing operations applied in an outwardly-directed manner referenced from the center of a captured narrow-area digital image of an object bearing a 1D bar code symbol |
| CN108573491A (zh) * | 2017-03-10 | 2018-09-25 | 南京大学 | 一种基于机器学习的三维超声图像分割方法 |
| CN108594321A (zh) * | 2018-05-02 | 2018-09-28 | 深圳市唯特视科技有限公司 | 一种基于数据增强的弱监督目标定位方法 |
-
2018
- 2018-10-31 CN CN201811292102.XA patent/CN109410204B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050103849A1 (en) * | 2003-11-13 | 2005-05-19 | Xiaoxun Zhu | Automatic hand-supportable image-based bar code symbol reader having image-processing based bar code reading subsystem employing simple decode image processing operations applied in an outwardly-directed manner referenced from the center of a captured narrow-area digital image of an object bearing a 1D bar code symbol |
| CN108573491A (zh) * | 2017-03-10 | 2018-09-25 | 南京大学 | 一种基于机器学习的三维超声图像分割方法 |
| CN108594321A (zh) * | 2018-05-02 | 2018-09-28 | 深圳市唯特视科技有限公司 | 一种基于数据增强的弱监督目标定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| BOLEI ZHOU等: "Learning Deep Features for Discriminative Localization", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 * |
| DOHYEUN KIM等: "Tournament Based Ranking CNN for the Cataract grading", 《网页在线公开：HTTPS://ARXIV.ORG/ABS/1807.02657》 * |
| PENGZE LIU等: "Localization Guided Learning for Pedestrian Attribute Recognition", 《网页在线公开：HTTPS://ARXIV.ORG/ABS/1808.09102》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232700A (zh) * | 2019-06-19 | 2019-09-13 | 电子科技大学 | 基于暗通道强度比的c型白内障图像反光的移除方法 |
| CN110599451A (zh) * | 2019-08-05 | 2019-12-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
| US11961227B2 (en) | 2019-08-05 | 2024-04-16 | Ping An Technology (Shenzhen) Co., Ltd. | Method and device for detecting and locating lesion in medical image, equipment and storage medium |
| CN110599451B (zh) * | 2019-08-05 | 2023-01-20 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
| CN110648332B (zh) * | 2019-09-12 | 2022-03-15 | 电子科技大学 | 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 |
| CN110648332A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 |
| CN110766027A (zh) * | 2019-10-22 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 图像的区域定位方法和目标区域定位模型的训练方法 |
| CN110956621B (zh) * | 2019-11-27 | 2022-09-13 | 北京航空航天大学合肥创新研究院 | 一种基于神经网络的组织癌变的检测方法及系统 |
| CN110956621A (zh) * | 2019-11-27 | 2020-04-03 | 北京航空航天大学合肥创新研究院 | 一种基于神经网络的组织癌变的检测方法及系统 |
| CN112006651A (zh) * | 2020-09-10 | 2020-12-01 | 孙礼华 | 一种白内障手术辅助诊断系统及其方法 |
| CN112488203A (zh) * | 2020-11-30 | 2021-03-12 | 中国航天时代电子有限公司 | 一种面向似六边形弹孔智能识别检测的数据集扩增方法 |
| CN112488203B (zh) * | 2020-11-30 | 2023-10-27 | 中国航天时代电子有限公司 | 一种面向似六边形弹孔智能识别检测的数据集扩增方法 |
| CN112954198A (zh) * | 2021-01-27 | 2021-06-11 | 北京有竹居网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN113408575A (zh) * | 2021-05-12 | 2021-09-17 | 桂林电子科技大学 | 一种基于判别性区域定位的图像数据增广方法 |
| CN114612732A (zh) * | 2022-05-11 | 2022-06-10 | 成都数之联科技股份有限公司 | 样本数据增强方法及系统及装置及介质及目标分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410204B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410204A (zh) | 一种基于cam的皮质白内障图像处理及增强方法 | |
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN106815604B (zh) | 基于多层信息融合的注视点检测方法 | |
| Yadav et al. | Classification of glaucoma based on texture features using neural networks | |
| CN106845510A (zh) | 基于深度层级特征融合的中国传统视觉文化符号识别方法 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN109902736A (zh) | 一种基于自动编码器构建特征表示的肺结节图像分类方法 | |
| CN108520522A (zh) | 基于深度全卷积神经网络的视网膜眼底图像分割方法 | |
| CN107506761A (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN110502988A (zh) | 视频中的组群定位与异常行为检测方法 | |
| CN106951825A (zh) | 一种人脸图像质量评估系统以及实现方法 | |
| CN106228137A (zh) | 一种基于关键点定位的atm机异常人脸检测方法 | |
| CN107145889A (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
| CN109508644A (zh) | 基于深度视频数据分析的面瘫等级评估系统 | |
| CN111400536B (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| CN108921169B (zh) | 一种眼底图像血管分割方法 | |
| CN106056059B (zh) | 多方向slgs特征描述及性能云加权融合的人脸识别方法 | |
| CN109635812B (zh) | 图像的实例分割方法及装置 | |
| CN109087296A (zh) | 一种提取ct图像中人体区域的方法 | |
| CN108629369A (zh) | 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法 | |
| CN109101584A (zh) | 一种将深度学习与数学分析相结合的句子分类改进方法 | |
| CN112365471B (zh) | 基于深度学习的宫颈癌细胞智能检测方法 | |
| Wang et al. | Bag-of-features based classification of breast parenchymal tissue in the mammogram via jointly selecting and weighting visual words | |
| CN109241814A (zh) | 基于yolo神经网络的行人检测方法 | |
| CN108734277A (zh) | 一种基于卷积神经网络的靶向药物喷洒方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |