CN110033448A - 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法 - Google Patents

Abstract

本发明公开了一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，属于人工智能的图像识别领域。将人工智能与AGA临床图像的识别相结合，采用深度学习的方式，对AGA临床图像进行辅助雄秃汉密尔顿分级预测，从而减轻人工工作负担，提高了诊断准确率。可以对任意一张光照良好，图片清晰的AGA临床图像进行解析。通过图像预处理，卷积神经网络提取图像特征，训练好的分类器中对其进行雄秃汉密尔顿分级预测。分析的效率高，且自动化程度好，给予医生的判断提供了详细而且准确的数据支持，有利于推广。

Description

一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法

技术领域

本发明涉及人工智能的图像识别领域，更具体地说，涉及一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法。

背景技术

近年来，AI在医学图像识别领域迅速发展，并具有较高的准确性，可大幅度减轻医生的工作负担。在图像识别方面，AI算法从经处理的临床照片、皮肤镜图片、病理切片中提取特征，进行自动分类诊断，在眼科、皮肤科等领域中有较多研究。但对于AGA临床图像的辅助量化和分级，还缺乏相应的AI图像识别方法。

雄激素性秃发(Androgeneticalopecia,AGA)是一种具有遗传因素参与的且依赖雄激素作用的特征性秃发，男女均可患病，是最常见的脱发疾病。在男性患者中主要表现为前额发际后移、头顶部毛发进行性减少和变细。在女性患者中主要表现为头顶部毛发进行性减少和变细。

AGA的治疗方案选择及疗效评估与其分级密切相关。目前，AGA的分级方法主要为汉密尔顿分级。该分级方法主要依靠医师肉眼对患者的发际线形态、毛发密度进行粗略判断，具有很强的主观性，缺乏定量标准，容易造成结果的不统一。通过对AGA的临床图像进行毛发的粗细分布评估将大大提高分级的准确性，但该过程会产生大量的机械性工作，费时费力，加重了医生的工作负担，降低就医效率。

现有的也有对于皮肤病症的一些识别方法，但是其针对性不强，且没有给出对应整合计算的方法，中国专利申请，申请号201711030895，公开日2018年4月13日，公开了一种基于深度学习的皮肤癌黑色素瘤的图像识别方法，包括：皮肤病变皮肤镜图像数据库、数据预处理和质量评估筛选、级联深度卷积神经网络、引入迁移学习和分类器；在训练阶段，首先在原始数据上进行增强或筛除；再在输入正负样本后，进行样本扩充技术和防止过拟合，在预处理阶段，加入数据增强，随后进行两个深度卷积神经网络级联，再将在自然图像上预训练出的现成特征迁移学习到识别网络中，最后利用分类器进行分类的预测，根据网络收敛和预测情况再进行网络参数微调；此发明提高了皮肤病变分类的准确性，且避免了人工选取特征的局限性，适应能力更强，对于医疗皮肤疾病图像分析有一定意义。但是其主要针对于部分裸露病症的图像，未考虑被遮挡区域的图像因素，准确率不是很高，有局限性。

发明内容

1.要解决的技术问题

针对现有技术中存在的主要针对于部分裸露病症的图像，未考虑被遮挡区域的图像因素，准确率不是很高，有局限性的问题，本发明提供了一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，它可以实现对有遮挡以及各种不清晰的皮肤病变图像进行识别和量化分级，准确率高。

2.技术方案

本发明的目的通过以下技术方案实现。

暂不填写

3.有益效果

相比于现有技术，本发明的优点在于：

(1)自动化定量估计雄秃汉密尔顿分级预测，可以辅助医生进行AGA的分级诊断，大大减轻了医生的工作负担，提高了分级的准确性；

(2)充分结合深度学习的自我学习的优势，利用深层网络提取到增强型的高级特征，极大提升特征的区分性，进而提高分类的准确性，避免人工选取特征进行诊断的局限性，具有更好的适应性和实用性；

(3)将迁移学习应用到网络模型中，结合卷积神经网络在ImageNet上预训练出的现成特征，并利用AGA临床图像数据在这些抽象的特征上微调，训练出新的模型。由于AGA临床图像往往都是小数据，本发明实现从大数据向小数据迁移，将自然图像上训练好的模型迁移至AGA临床图像的小数据上，这对于AGA临床图像诊断而言，精度更好，准确性好。

附图说明

图1为本发明进行AGA临床图像辅助预测雄秃汉密尔顿分级的基本流程图；

图2为本发明进行AGA临床图像辅助预测雄秃汉密尔顿分级模型的网络结构图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

本方案的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，主要包括AGA临床图像数据库、数据预处理模块、卷积神经网络、候选区域生成网络、迁移学习模块和分类器。对于雄秃汉密尔顿分级预测，本发明方法基于AGA临床图像，依次采用采集AGA临床图像，数据预处理，卷积神经网络提取特征，分类器进行雄秃汉密尔顿分级七分类预测。具体步骤如下：

对于雄秃汉密尔顿分级预测，具体步骤如下：

101)采集AGA临床图像：将被测者头部固定于支架上，摄像头位于支架前方偏上45度方向上，拍摄被测者正面偏上45度，即头顶及前额的图像，被测者头顶及前额区域位于整张图像的中部；数据预处理：对采集的AGA临床图像进行预处理，处理过程包括尺寸归一化、必要的图像增强、噪声抑制。以及对图像进行分块质量评估，选取适合进一步分析的图像块。图像分块评估是为了选取适合进行毛发检测的图像区域，这是由于毛发镜视野内的有些区域毛发根部较为清晰，而有些区域由于发梢遮挡等原因，导致毛发根部不明显，这些区域不适合进行发根检测及分布评估。实现这一目的的一种方法为将图像划分为九宫格，训练一个二分类器，这个二分类器的输入即为九宫格中的一块，输出即为该图像区域是否适合进行毛发检测的置信度。

102)通过训练好的卷积神经网络提取特征：将预处理后的AGA临床图像输入到训练好的卷积神经网络提取图像特征。所述卷积神经网络采用MobileNet模型，所述MobileNet模型第一层为标准卷积层，其后接13段深度可分解卷积，所有卷积层后面连接BatchNorm层和ReLU层。所述深度可分解卷积将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核)，深度卷积将每个卷积核应用到每一个通道，1×1卷积用来组合通道卷积的输出，从而减少计算量，降低模型大小。

还可以在，通过训练好的卷积神经网络中进一步选择候选区域，通过训练好的候选区域生成网络找出一定数量的候选区域。在候选区域生成网络中，设定大小和尺寸固定的候选框锚点(anchor)，尺寸标准根据毛发镜的放大倍数而定，例如放大30倍的毛发镜，对应于一个40x40像素的区域。固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动，从而选出一定数量的候选区域。候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征，先增加了一个卷积，然后利用两个1x1的卷积，分别进行二分类和位置回归，所述二分类用于判断正负样本类别，所属位置回归用于找到目标位置。得到的候选区域送入训练好的分类回归器。候选区域生成网络是一个全卷积网络，全卷积网络是不包含全连接层的，可以根据输入图像大小而改变输出大小的卷积神经网络。

步骤102)中候选区域生成网络采用如下方式进行训练：对于每一个真实区域，选择和它重叠度最高的一个候选区域anchor作为正样本，对于剩下的anchor，从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本，此处选择a为0.9。随机选择和真实区域重叠度小于阈值b的anchor作为负样本，此处选择b为0.3。对于每个anchor，类别标签为1或0，分别代表前景和背景。位置标签由4个位置参数组成。利用交叉熵损失计算分类损失，利用smooth_l1_loss计算回归损失，在计算回归损失时，只计算正样本的损失，不计算负样本的损失，以此来修正类别和候选区域的位置。其中交叉熵损失函数具体为：

其中x代表一个数据样本，p(x)是真实分布的概率，q(x)是模型通过采集的数据计算出来的概率估计。回归损失函数具体写为：

其中t代表真实值，及目标坐标的真实值；t^*代表模型预测值，及模型预测的目标坐标值；是一个平衡函数，其定义如下：

候选区域生成网。候选区域生成网络生成感兴趣区域的过程为：对于每张图片，利用它的特征图，计算(H/16)×(W/16)×1大约20000个anchor属于络在训练的同时，会提供感兴趣区域给步骤104)的分类和回归器作为训练样本前景的概率，以及对应的位置参数。选取概率较大的前60％个anchor，利用回归的位置参数，修正这选取的anchor的位置得到初步的感兴趣区域，最后利用非极大值抑制，选出概率最大的前15％感兴趣区域作为输出，即步骤104)分类和回归器的输入。

所述步骤102)卷积神经网络采用如下方式进行训练：利用所属步骤101)的方式采集AGA临床图像，并将采集的AGA临床图像分为训练样本、验证样本和测试样本，三类样本之间无交叉。对于无脱发、轻度脱发、轻度到中度脱发、中等程度脱发、中度到重度脱发、重度脱发、完全脱发的雄秃汉密尔顿七个分级分别收集各至少10000张临床图像作为训练样本。AGA临床图像中无脱发的图像标记为0，轻度脱发的图像标记为1，轻度到中度脱发的图像标记为2，中等程度脱发的图像标记为3，中度到重度脱发的图像标记为4，重度脱发的图像标记为5，完全脱发的图像标记为6。在训练阶段，模型参数的初始化为在ImageNet预训练的MobileNet模型参数，从而加快模型的收敛速度。

候选区域生成网。候选区域生成网络生成感兴趣区域的过程为：对于每张图片，利用它的特征图，计算(H/16)×(W/16)×1大约20000个anchor属于络在训练的同时，会提供感兴趣区域给步骤103)的分类器作为训练样本前景的概率，以及对应的位置参数。选取概率较大的前60％个anchor，利用回归的位置参数，修正这选取的anchor的位置得到初步的感兴趣区域，最后利用非极大值抑制，选出概率最大的前15％感兴趣区域作为输出，即步骤103)分类器的输入。

103)将特征输入到训练好的分类器中对其进行雄秃汉密尔顿分级预测，本实施例，输出预测结果共七类，也可以根据实际的需要选择其他数量的类别进行判断。

若分类器输出结果为0，则该AGA临床图像对应的雄秃汉密尔顿分级为类别一，无脱发；

若分类器输出结果为1，则该AGA临床图像对应的雄秃汉密尔顿分级为类别二，轻度脱发；

若分类器输出结果为2，则该AGA临床图像对应的雄秃汉密尔顿分级为类别三，轻度到中度脱发；

若分类器输出结果为3，则该AGA临床图像对应的雄秃汉密尔顿分级为类别四，中等程度脱发；

若分类器输出结果为4，则该AGA临床图像对应的雄秃汉密尔顿分级为类别五，中度到重度脱发；

若分类器输出结果为5，则该AGA临床图像对应的雄秃汉密尔顿分级为类别六，重度脱发；

若分类器输出结果为6，则该AGA临床图像对应的雄秃汉密尔顿分级为类别七，完全脱发；

所述分类器为一个全卷积层级联一个Softmax层，所述全卷积层的输入为步骤203)卷积神经网络提取到的特征图，拥有7个卷积核，每个卷积核的大小为1×1。所述全卷积层输出一个七维向量，级联输入Softmax层，所述Softmax层同样输出一个七维向量，根据图像输入不同，计算出的向量的值也不同，每一维代表的含义为输入AGA临床图像所属对应类别的概率，总和为1，最终AGA临床图像所属类别为7个概率中获得最大得分的概率对应的类别。当采用不同数量的类别进行划分时候，选择的卷积神经网络，拥有的卷积核也相应发生改变。

所述步骤103)分类器采用如下方式进行训练：由于所述分类器与步骤103)所述卷积神经网络采用级联的方式，所以分类器的输入即为步骤103)所述的卷积神经网络输出的特征图，训练过程的样本与所述步骤103)采用相同的样本，并且与步骤103)所述的卷积神经网络同时进行训练。所述分类器模型全卷积层参数的初始化方式采用MSRA方法，训练分类器模型直至其收敛到损失最小。只考虑输入个数时，MSRA初始化是一个均值为0方差为2/n的高斯分布：

本发明克服人工诊断方法的不足，提出了一种AGA临床图像的AI辅助量化和分级方法，将人工智能与AGA临床图像的识别相结合，采用深度学习的方式，对AGA临床图像进行辅助毛发粗细分布估计以及雄秃汉密尔顿分级预测，从而减轻人工工作负担，提高了诊断准确率。可以对任意一张光照良好，图片清晰的AGA临床图像进行解析。通过图像预处理，卷积神经网络提取图像特征，候选区域生成网络生成候选框，分类和回归器检测出毛发粗细类别及其位置，毛发粗细分布统计自动进行毛发粗细分布估计；通过图像预处理，卷积神经网络提取图像特征，分类器分类自动进行雄秃汉密尔顿分级的分类预测。

实施例1

一种AGA临床图像辅助雄秃汉密尔顿分级的方法，包括输入图像，图像预处理，卷积神经网络提取特征，分类器预测雄秃汉密尔顿分级，如图1、2所示。具体调用步骤如下：

201)数据预处理：对采集的AGA临床图像进行预处理，处理过程包括尺寸归一化、必要的图像增强、噪声抑制。

采集AGA临床图像的方式如下：将被测者头部固定于支架上，摄像头位于支架前方偏上45度方向上，拍摄被测者正面偏上45度，即头顶及前额的图像，被测者头顶及前额区域位于整张图像的中部。

在训练阶段，首先按照所述采集AGA临床图像的方式采集AGA临床图像，并将其划分为训练样本、验证样本和测试样本，三类样本之间无交叉。对于无脱发、轻度脱发、轻度到中度脱发、中等程度脱发、中度到重度脱发、重度脱发、完全脱发的雄秃汉密尔顿七个分级分别收集各至少10000张临床图像作为训练样本。然后采用如下方式进行样本标记：AGA临床图像中无脱发的图像标记为0，轻度脱发的图像标记为1，轻度到中度脱发的图像标记为2，中等程度脱发的图像标记为3，中度到重度脱发的图像标记为4，重度脱发的图像标记为5，完全脱发的图像标记为6。最后进行所述的数据预处理。

202)通过训练好的卷积神经网络提取特征：将预处理后的AGA临床图像输入到训练好的卷积神经网络提取特征。所述卷积神经网络采用MobileNet模型,所述MobileNet模型第一层为标准卷积层，卷积核大小为3×3，卷积核数量为32，其后接13段深度可分解卷积，所述深度可分解卷积将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核)，深度卷积将每个卷积核应用到每一个通道，1×1卷积用来组合通道卷积的输出，从而减少计算量，降低模型大小。所有卷积层后面连接BatchNorm层和ReLU层。所述13段深度可分解卷积的每段内的卷积核数量，越靠后的段的卷积核数量越多，从前到后依次为64、128、128、256、256、512、512*5、1024、1024的卷积核数量。

所述步骤202)卷积神经网络采用如下方式进行训练：所述卷积神经网络所有层参数初始化为在ImageNet预训练的MobileNet模型对应层参数，然后利用预处理好的AGA临床图像训练样本进行模型微调。

203)将特征输入到训练好的分类器中对其进行雄秃汉密尔顿分级预测，输出预测结果共七类：

若分类器输出结果为0，则该AGA临床图像对应的雄秃汉密尔顿分级为类别一，无脱发；

若分类器输出结果为1，则该AGA临床图像对应的雄秃汉密尔顿分级为类别二，轻度脱发；

若分类器输出结果为2，则该AGA临床图像对应的雄秃汉密尔顿分级为类别三，轻度到中度脱发；

若分类器输出结果为3，则该AGA临床图像对应的雄秃汉密尔顿分级为类别四，中等程度脱发；

若分类器输出结果为4，则该AGA临床图像对应的雄秃汉密尔顿分级为类别五，中度到重度脱发；

若分类器输出结果为5，则该AGA临床图像对应的雄秃汉密尔顿分级为类别六，重度脱发；

若分类器输出结果为6，则该AGA临床图像对应的雄秃汉密尔顿分级为类别七，完全脱发；

所述分类器为一个全卷积层级联一个Softmax层，所述全卷积层的输入为步骤202)卷积神经网络提取到的特征图，拥有7个卷积核，每个卷积核的大小为1×1。所述全卷积层输出一个七维向量，级联输入Softmax层，所述Softmax层同样输出一个七维向量，每一维代表的含义为输入AGA临床图像所属对应类别的概率，总和为1，最终AGA临床图像所属类别为7个概率中获得最大得分的概率对应的类别。

所述步骤203)分类器采用如下方式进行训练：由于所述分类器与步骤202)所述卷积神经网络采用级联的方式，所以分类器的输入即为步骤202)所述的卷积神经网络输出的特征图，训练过程的样本与所述步骤202)采用相同的样本，并且与步骤202)所述的卷积神经网络同时进行训练。所述分类器模型全卷积层参数的初始化方式采用msra方法，训练分类器模型直至其收敛到损失最小。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，步骤如下：

101)采集图像，数据预处理：对输入的AGA临床图像进行预处理，选取适合进一步分析的图像块；

102)通过训练好的卷积神经网络提取图像特征；

103)将特征输入到训练好的分类器中对其进行雄秃汉密尔顿分级预测。

2.根据权利要求1所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：步骤101)中，预处理包括，尺寸归一化、必要的图像增强、噪声抑制，以及对图像进行分块质量评估。

3.根据权利要求2所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：尺寸归一化可以通过固定毛发镜放大倍数或通过放大缩小图像来实现尺寸归一化，图像增强包括图像锐化、对比度增强，噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。

4.根据权利要求2或3所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：图像分块评估是为了选取需要进行毛发检测的图像区域，将图像划分为九宫格，训练一个二分类器，这个二分类器的输入即为九宫格中的一块，输出即为该图像区域是否适合进行毛发检测的置信度。

5.根据权利要求1所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：所述卷积神经网络采用MobileNet模型，所述MobileNet模型第一层为标准卷积层，其后接13段深度可分解卷积，所有卷积层后面连接BatchNorm层和ReLU层，所述深度可分解卷积将标准卷积分解成一个深度卷积和一个点卷积，深度卷积将每个卷积核应用到每一个通道，1×1卷积用来组合通道卷积的输出。

6.根据权利要求1所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：步骤102)卷积神经网络采用如下方式进行训练，利用所属步骤201)的方式采集AGA临床图像，并将采集的AGA临床图像分为训练样本、验证样本和测试样本，三类样本之间无交叉，训练阶段，模型参数的初始化为在ImageNet预训练的MobileNet模型参数，从而加快模型的收敛速度

7.根据权利要求1或6所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：所述的分类器为一个全卷积层级联一个Softmax层，所述全卷积层的输入为步骤103)卷积神经网络提取到的特征图，拥有n个卷积核，每个卷积核的大小为1×1。所述全卷积层输出一个n维向量，级联输入Softmax层，所述Softmax层同样输出一个n维向量，根据图像输入不同，计算出的向量的值也不同，每一维代表的含义为输入AGA临床图像所属对应类别的概率，总和为1，最终AGA临床图像所属类别为n个概率中获得最大得分的概率对应的类别。

8.根据权利要求7所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：所述步骤，103)分类器采用如下方式进行训练：由于所述分类器与步骤103)所述卷积神经网络采用级联的方式，分类器的输入即为步骤103)所述的卷积神经网络输出的特征图，训练过程的样本与所述步骤103)采用相同的样本，并且与步骤103)所述的卷积神经网络同时进行训练，所述分类器模型全卷积层参数的初始化方式采用MSRA方法，训练分类器模型直至其收敛到损失最小，MSRA初始化是一个均值为0方差为2/n的高斯分布：

9.根据权利要求1或7所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：所述步骤103)输出预测结果共七类。

10.根据权利要求7所述的一种AGA临床图像的AI辅助雄秃汉密尔顿分级预测分析方法，其特征在于：n为7。