CN110021019B - 一种aga临床图像的ai辅助毛发的粗细分布分析方法 - Google Patents

一种aga临床图像的ai辅助毛发的粗细分布分析方法 Download PDF

Info

Publication number
CN110021019B
CN110021019B CN201910297306.0A CN201910297306A CN110021019B CN 110021019 B CN110021019 B CN 110021019B CN 201910297306 A CN201910297306 A CN 201910297306A CN 110021019 B CN110021019 B CN 110021019B
Authority
CN
China
Prior art keywords
image
hair
candidate
classification
regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910297306.0A
Other languages
English (en)
Other versions
CN110021019A (zh
Inventor
姜祎群
高萌
侯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Dermatology and Skin Disease Hospital of CAMS
Original Assignee
Institute of Dermatology and Skin Disease Hospital of CAMS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Dermatology and Skin Disease Hospital of CAMS filed Critical Institute of Dermatology and Skin Disease Hospital of CAMS
Priority to CN201910297306.0A priority Critical patent/CN110021019B/zh
Publication of CN110021019A publication Critical patent/CN110021019A/zh
Application granted granted Critical
Publication of CN110021019B publication Critical patent/CN110021019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Abstract

本发明公开了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,属于人工智能的图像识别领域。将人工智能与AGA临床图像的识别相结合,采用深度学习的方式,对AGA临床图像进行辅助毛发粗细分布估计,从而减轻人工工作负担,提高了诊断准确率。可以对任意一张光照良好,图片清晰的AGA临床图像进行解析。通过图像预处理,卷积神经网络提取图像特征,候选区域生成网络生成候选框,分类和回归器检测出毛发粗细类别及其位置,毛发粗细分布统计自动进行毛发粗细分布估计。分析的效率高,且自动化程度好,给予医生的判断提供了详细而且准确的数据支持,有利于推广。

Description

一种AGA临床图像的AI辅助毛发的粗细分布分析方法
技术领域
本发明涉及人工智能的图像识别领域,更具体地说,涉及一种AGA临床图像的AI辅助毛发的粗细分布分析方法。
背景技术
近年来,AI在医学图像识别领域迅速发展,并具有较高的准确性,可大幅度减轻医生的工作负担。在图像识别方面,AI算法从经处理的临床照片、皮肤镜图片、病理切片中提取特征,进行自动分类诊断,在眼科、皮肤科等领域中有较多研究。但对于AGA临床图像的辅助量化和分级,还缺乏相应的AI图像识别方法。
AGA的治疗方案选择及疗效评估与其分级密切相关。目前,AGA的分级方法主要为汉密尔顿分级。该分级方法主要依靠医师肉眼对患者的发际线形态、毛发密度进行粗略判断,具有很强的主观性,缺乏定量标准,容易造成结果的不统一。通过对AGA的临床图像进行毛发的粗细分布评估将大大提高分级的准确性,但该过程会产生大量的机械性工作,费时费力,加重了医生的工作负担,降低就医效率。
现有的也有对于皮肤病症的一些识别方法,但是其针对性不强,且没有给出对应整合计算的方法,中国专利申请,申请号201711030895,公开日2018年4月13日,公开了一种基于深度学习的皮肤癌黑色素瘤的图像识别方法,包括:皮肤病变皮肤镜图像数据库、数据预处理和质量评估筛选、级联深度卷积神经网络、引入迁移学习和分类器;在训练阶段,首先在原始数据上进行增强或筛除;再在输入正负样本后,进行样本扩充技术和防止过拟合,在预处理阶段,加入数据增强,随后进行两个深度卷积神经网络级联,再将在自然图像上预训练出的现成特征迁移学习到识别网络中,最后利用分类器进行分类的预测,根据网络收敛和预测情况再进行网络参数微调;此发明提高了皮肤病变分类的准确性,且避免了人工选取特征的局限性,适应能力更强,对于医疗皮肤疾病图像分析有一定意义。但是其主要针对于部分裸露病症的图像,未考虑被遮挡区域的图像因素,准确率不是很高,有局限性。
发明内容
1.要解决的技术问题
针对现有技术中存在的主要针对于部分裸露病症的图像,未考虑被遮挡区域的图像因素,准确率不是很高,有局限性的问题,本发明提供了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,它可以实现对有遮挡以及各种不清晰的皮肤病变图像进行识别和量化分级,准确率高。
2.技术方案
本发明的目的通过以下技术方案实现。
一种AGA临床图像的AI辅助毛发的粗细分布分析方法,步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,选取适合进一步分析的图像块;
102)通过训练好的卷积神经网络提取图像特征;
103)通过训练好的候选区域生成网络找出候选区域;
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归;
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的不同粗细类别的毛发,统计毛发粗细分布比例。
更进一步的,步骤101)中,预处理包括,尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估。
更进一步的,尺寸归一化可以通过固定毛发镜放大倍数或通过放大缩小图像来实现尺寸归一化,图像增强包括图像锐化、对比度增强,噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。
更进一步的,图像分块评估是为了选取需要进行毛发检测的图像区域,将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度。
更进一步的,卷积神经网络的预训练模型采用ImageNet预训练好的VGG16模块,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
更进一步的,在候选区域生成网络中,设定大小和尺寸固定的候选框锚点固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,选出需要数量的候选区域。
更进一步的,103)中候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置,得到的候选区域送入训练好的分类回归器。
更进一步的,候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,随机选择和真实区域重叠度小于阈值b的anchor作为负样本,利用计算分类损失和回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置,其中交叉熵损失函数具体为:
Figure BDA0002027008730000031
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过数据计算出来的概率估计,回归损失函数具体写为:
Figure BDA0002027008730000032
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;
Figure BDA0002027008730000033
是一个平衡函数,其定义如下:
Figure BDA0002027008730000034
更进一步的,步骤104)分类使用SoftMax进行预测,方法如下,
Figure BDA0002027008730000035
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号。
更进一步的,步骤104)的回归是在锚点(anchor)的基础上给出更为准确的目标位置;
目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G′,即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数可以写作
Figure BDA0002027008730000036
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数。
3.有益效果
相比于现有技术,本发明的优点在于:
(1)自动化定量估计毛发的粗细分布的方法,可以辅助医生进行AGA的分级诊断,大大减轻了医生的工作负担,提高了分级的准确性;
(2)充分结合深度学习的自我学习的优势,利用深层网络提取到增强型的高级特征,极大提升特征的区分性,进而提高分类的准确性,避免人工选取特征进行诊断的局限性,具有更好的适应性和实用性;
(3)将迁移学习应用到网络模型中,结合卷积神经网络在ImageNet上预训练出的现成特征,并利用AGA临床图像数据在这些抽象的特征上微调,训练出新的模型。由于AGA临床图像往往都是小数据,本发明实现从大数据向小数据迁移,将自然图像上训练好的模型迁移至AGA临床图像的小数据上,这对于AGA临床图像诊断而言,精度更好,准确性好。
附图说明
图1为本发明进行AGA临床图像辅助毛发粗细分布估计的基本流程图;
图2为本发明进行AGA临床图像辅助毛发粗细分布估计模型的网络结构图。
具体实施方式
下面结合说明书附图和具体的实施例,对本发明作详细描述。
本方案的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,主要包括AGA临床图像数据库、数据预处理模块、卷积神经网络、候选区域生成网络、迁移学习模块和分类器。对于毛发粗细分布估计,本发明方法基于AGA临床图像,依次采用数据预处理,卷积神经网络提取特征,候选区域生成网络找出一定数量的候选区域,分类和回归判断毛发粗细类别及其位置,统计毛发粗细分布比例。对于毛发粗细分布估计,具体步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,处理过程包括尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估,选取适合进一步分析的图像块。
其中尺寸归一化可以通过固定毛发镜放大倍数实现,为了配合不同放大倍数的毛发镜,也可通过放大缩小图像来实现尺寸归一化。图像增强包括一般意义上的图像锐化、对比度增强等操作。噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。
图像分块评估是为了选取适合进行毛发检测的图像区域,这是由于毛发镜视野内的有些区域毛发根部较为清晰,而有些区域由于发梢遮挡等原因,导致毛发根部不明显,这些区域不适合进行发根检测及分布评估。实现这一目的的一种方法为将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度。
102)通过训练好的卷积神经网络提取图像特征。预训练模型采用在ImageNet上预训练好的VGG16,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
103)通过训练好的候选区域生成网络找出一定数量的候选区域。在候选区域生成网络中,设定大小和尺寸固定的候选框锚点(anchor),尺寸标准根据毛发镜的放大倍数而定,例如放大30倍的毛发镜,对应于一个40x40像素的区域。固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,从而选出一定数量的候选区域。候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加了一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置。得到的候选区域送入训练好的分类回归器。候选区域生成网络是一个全卷积网络,全卷积网络是不包含全连接层的,可以根据输入图像大小而改变输出大小的卷积神经网络。
步骤103)中候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,此处选择a为0.9。随机选择和真实区域重叠度小于阈值b的anchor作为负样本,此处选择b为0.3。对于每个anchor,类别标签为1或0,分别代表前景和背景。位置标签由4个位置参数组成。利用交叉熵损失计算分类损失,利用smooth_l1_loss计算回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置。其中交叉熵损失函数具体为:
Figure BDA0002027008730000051
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过采集的数据计算出来的概率估计。回归损失函数具体写为:
Figure BDA0002027008730000052
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;
Figure BDA0002027008730000053
是一个平衡函数,其定义如下:
Figure BDA0002027008730000054
步骤104)分类使用SoftMax进行预测,方法如下,
Figure BDA0002027008730000061
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号。
候选区域生成网。候选区域生成网络生成感兴趣区域的过程为:对于每张图片,利用它的特征图,计算(H/16)×(W/16)×1大约20000个anchor属于络在训练的同时,会提供感兴趣区域给步骤104)的分类和回归器作为训练样本前景的概率,以及对应的位置参数。选取概率较大的前60%个anchor,利用回归的位置参数,修正这选取的anchor的位置得到初步的感兴趣区域,最后利用非极大值抑制,选出概率最大的前15%感兴趣区域作为输出,即步骤104)分类和回归器的输入。
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归。
其中分类使用SoftMax进行预测,其数学原理如下
Figure BDA0002027008730000062
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,其在卷积神经网络的学习过程中确定。卷积神经网络的学习可以通过随机梯度下降法实现。
回归的目的是在锚点(anchor)的基础上给出更为准确的目标位置。对于一个目标位置一般使用四维向量(x,y,w,h)表示,分别表示目标的中心点坐标和宽高。目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G′,即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数可以写作
Figure BDA0002027008730000071
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数。
本步骤的输入为步骤102)得到的特征图以及步骤103)得到的候选区域。首先经过一个ROI Pooling层,将所有的区域池化到同一个尺度上,并将它重置成一个一维的向量,接着连接两个全连接层,利用在ImageNet上预训练得到的VGG16网络对这两个全连接层进行权重初始化。最后再连接两个全连接层,分别是FC4用来分类,预测候选区域属于哪个类别(如可以选择,直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm,背景);FC16用来位置回归。
所述的步骤104)中分类和回归器采用如下方式进行训练:将步骤102)所述卷积神经网络输出的特征图和步骤103)所述候选区域生成网络输出的少量感兴趣区域作为分类和回归器的训练样本。对于分类问题,直接利用交叉熵损失;对于位置的回归损失,同样采用smooth_ll_loss损失,只对正样本计算损失。
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的三类不同粗细类别的毛发,输出为0的代表直径<0.03mm的毛发,输出为1代表直径为0.03mm~0.06mm的毛发,输出为2代表直径>0.06mm的毛发,分别统计三类不同粗细类别的毛发的个数,用N0,N1和N2表示。所述统计三类不同粗细类别的毛发方法为:所述步骤104)每输出一个类别信息,对应类别的个数加1,即若步骤104)输出类别0,直径<0.03mm的毛发总数N0加1,表达式为N0=N0+1;若步骤104)输出类别1,直径为0.03mm~0.06mm的毛发总数N1加1,表达式为N1=N1+1;若步骤104)输出类别2,直径>0.06mm的毛发总数N2加1,表达式为N2=N2+1。最后当步骤104)输出所有检测到的毛发完成后,统计毛发粗细分布比例,分别用P0,P1,P2表示直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm的毛发的分布比例:
P0=N0/(N0+N1+N2);
P1=N1/(N0+N1+N2);
P1=N1/(N0+N1+N2)。
所述的步骤101)中训练过程对输入的AGA临床图像采用如下方式进行标注:以毛囊预测位置为圆心,在360度范围内寻找存在毛发躯干的方向。然后以毛囊位置和躯干方向为基础,截取一个小的图像块,例如在放大30倍的图像上,截取以毛囊为中心,边长为40像素的矩形框,并标注毛发粗细程度:直径<0.03mm标注为0,直径为0.03mm~0.06mm标注为1,直径>0.06mm标注为2。
本发明克服人工诊断方法的不足,提出了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,将人工智能与AGA临床图像的识别相结合,采用深度学习的方式,对AGA临床图像进行辅助毛发粗细分布估计以及雄秃汉密尔顿分级预测,从而减轻人工工作负担,提高了诊断准确率。可以对任意一张光照良好,图片清晰的AGA临床图像进行解析。通过图像预处理,卷积神经网络提取图像特征,候选区域生成网络生成候选框,分类和回归器检测出毛发粗细类别及其位置,毛发粗细分布统计自动进行毛发粗细分布估计。分析的效率高,且自动化程度好,给予医生的判断提供了详细而且准确的数据支持,有利于推广。
实施例1
一种AGA临床图像辅助毛发粗细分布估计的方法,包括输入图像,图像预处理,卷积神经网络提取特征,分类回归器预测发根位置和毛发粗细分类和毛发粗细分布估计,如图1、2所示。具体调用步骤如下:
101)图像预处理:测试过程直接输入要进行量化的AGA临床图像进行预处理,处理过程包括尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估,选取适合进一步分析的图像块。
训练阶段,首先采集AGA临床图像样本,采集方式如下:利用专用摄像头贴近头皮区域,分别拍摄冠部、顶部、颞部、枕部四个区域的图像。将采集到的AGA临床图像样本划分为训练集、验证集和测试集,训练集的样本至少10000张,四个区域所占比例平均。同时充分考虑患者头皮的差异性,在尽量多地采集真实数据的基础上,对已采集的图像进行数据增强处理,生成多样性的训练样本。具体来说,可以通过颜色通道的微调,模拟不同肤色和头发颜色;通过局部截取模拟不同的毛发密度样本;通过图像的旋转扭曲等变化,模拟不同条件下的头皮图像,以保证模型的鲁棒性。在所述的数据增强处理之后,再对所有输入图像进行预处理,处理过程同样包括尺寸归一化、图像增强和噪声抑制。
所述AGA临床图像样本的标注方式如下:以毛囊预测位置为圆心,在360度范围内寻找存在毛发躯干的方向。然后以毛囊位置和躯干方向为基础,截取一个小的图像块,并标注毛发粗细程度:直径<0.03mm标注为0,直径为0.03mm~0.06mm标注为1,直径>0.06mm标注为2。
102)通过训练好的卷积神经网络提取特征。所述卷积神经网络结构采用VGG16,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。所述卷积神经级联网络的每段内的卷积核数量,越靠后的段的卷积核数量越多,从前到后依次为64、128、256、512、512的卷积核数量。所述卷积神经网络中的卷积层内的上一层输出与本层的卷积核进行卷积计算得到特征映射图,然后对每个特征映射图的局部区域加权平均求和,并选择性增加偏置后,通过激活函数,得到输出的特征映射图,作为下一层的输入。此处选取ReLU作为激活函数,其数学表达式为:
Figure BDA0002027008730000091
其中x为该函数的输入,具体来说说是上一层输出与该层的卷积核进行卷积计算得到特征映射图。即上一层输出与该层的卷积核进行卷积计算得到特征映射图,然后对每个特征映射图的局部区域加权平均求和,可加偏置后,通过激活函数,得到输出的特征映射图。
所述步骤102)的卷积神经网络采用如下方式进行训练:使用在ImageNet预训练好的VGG16网络对应层的参数初始化所述的卷积神经网络各层参数,然后利用步骤101)所述处理好的训练数据对模型进行微调。
103)通过训练好的候选区域生成网络找出一定数量的候选区域。在候选区域生成网络中,设定大小和尺寸固定的候选框anchor。固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,从而选出一定数量的候选区域。候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先通过一个卷积核大小为3×3,数量为512的卷积层,然后利用两个1x1的卷积层分别进行二分类和位置回归,所属二分类用于判断正负样本,所属位置回归用于得到目标的位置。最后将得到的候选区域送入训练好的分类回归器。
所述的步骤103)中候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过0.9的anchor作为正样本。随机选择和真实区域重叠度小于0.3的anchor作为负样本。对于每个anchor,类别标签为1或0,分别代表前景和背景。位置标签由4个位置参数组成。利用交叉熵损失计算分类损失,利用smooth_l1_loss计算回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置。
候选区域生成网络在训练的同时,会提供少量感兴趣区域给下一步骤的分类和回归器作为训练样本。候选区域生成网络生成少量感兴趣区域的过程为:对于每张图片,利用它的特征图,计算(H/16)×(W/16)×1大约20000个anchor属于前景的概率,以及对应的位置参数。选取概率较大的12000个anchor,利用回归的位置参数,修正这12000个anchor的位置得到初步的感兴趣区域,最后利用非极大值抑制,选出概率最大的2000个感兴趣区域作为输出,即下一步骤分类和回归器的输入。
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归。本步骤的输入为步骤102)得到的特征图以及步骤103)得到的少量感兴趣区域。所述分类回归器首先经过一个ROI Pooling层,将所有的区域池化到同一个尺度上,并将它重置成一个一维的向量,接着连接两个全连接层。最后再连接两个全连接层,分别是FC4用来分类,预测候选区域属于哪个类别,并输出类别信息。若所述FC4输出为0,代表判断毛发类别为直径<0.03mm,若所述FC4输出为1,代表判断毛发类别为直径为0.03mm~0.06mm,若所述FC4输出为2,代表判断毛发类别为直径为0.03mm~0.06mm,若所述FC4输出为3,代表判断该区域为背景;FC16用来位置回归,输出四个位置参数。
所述的步骤104)中分类和回归器采用如下方式进行训练:将步骤102)所述卷积神经网络输出的特征图和步骤103)所述候选区域生成网络输出的少量感兴趣区域作为分类和回归器的训练样本。对于分类问题,直接利用交叉熵损失;对于位置的回归损失,同样采用smooth_l1_loss损失,只对正样本计算损失。
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的三类不同粗细类别的毛发,输出为0的代表直径<0.03mm的毛发,输出为1代表直径为0.03mm~0.06mm的毛发,输出为2代表直径>0.06mm的毛发,分别统计三类不同粗细类别的毛发的个数,用N0,N1和N2表示。
所述统计三类不同粗细类别的毛发方法为:所述步骤104)每输出一个类别信息,对应类别的个数加1,即若步骤104)输出类别0,直径<0.03mm的毛发总数N0加1,表达式为N0=N0+1;若步骤104)输出类别1,直径为0.03mm~0.06mm的毛发总数N1加1,表达式为N1=N1+1;若步骤104)输出类别2,直径>0.06mm的毛发总数N2加1,表达式为N2=N2+1。最后当步骤104)输出所有检测到的毛发完成后,统计毛发粗细分布比例,分别用P0,P1,P2表示直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm的毛发的分布比例:
P0=N0/(N0+N1+N2);
P1=N1/(N0+N1+N2);
P1=N1/(N0+N1+N2)。
以上示意性地对本发明创造及其实施方式进行了描述,该描述没有限制性,在不背离本发明的精神或者基本特征的情况下,能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一,实际的结构并不局限于此,权利要求中的任何附图标记不应限制所涉及的权利要求。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本专利的保护范围。此外,“包括”一词不排除其他元件或步骤,在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (2)

1.一种AGA临床图像的AI辅助毛发的粗细分布分析方法,步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,选取适合进一步分析的图像块;预处理包括,尺寸归一化、图像增强、噪声抑制,以及对图像进行分块质量评估;尺寸归一化通过固定毛发镜放大倍数或通过放大缩小图像来实现尺寸归一化,图像增强包括图像锐化、对比度增强,噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点;
102)通过训练好的卷积神经网络提取图像特征;将迁移学习应用到网络模型中,结合卷积神经网络在ImageNet上预训练出的现成特征,并利用AGA临床图像数据在这些抽象的特征上微调,训练出新的模型;
103)通过训练好的候选区域生成网络找出候选区域;在候选区域生成网络中,设定大小和尺寸固定的候选框锚点固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,选出需要数量的候选区域;候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置,得到的候选区域送入训练好的分类回归器;
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归;分类使用SoftMax进行预测,方法如下,
Figure FDA0003470406620000011
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号;
回归是在锚点(anchor)的基础上给出更为准确的目标位置;
目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G',即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数写作
Figure FDA0003470406620000021
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数;
105)对毛发进行量化分级,统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的三类不同粗细类别的毛发,输出为0的代表直径<0.03mm的毛发,输出为1代表直径为0.03mm~0.06mm的毛发,输出为2代表直径>0.06mm的毛发,分别统计三类不同粗细类别的毛发的个数,用N0,N1和N2表示;
所述统计三类不同粗细类别的毛发方法为:所述步骤104)每输出一个类别信息,对应类别的个数加1,即若步骤104)输出类别0,直径<0.03mm的毛发总数N0加1,表达式为N0=N0+1;若步骤104)输出类别1,直径为0.03mm~0.06mm的毛发总数N1加1,表达式为N1=N1+1;若步骤104)输出类别2,直径>0.06mm的毛发总数N2加1,表达式为N2=N2+1;最后当步骤104)输出所有检测到的毛发完成后,统计毛发粗细分布比例,分别用P0,P1,P2表示直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm的毛发的分布比例:
P0=N0/(N0+N1+N2);
P1=N1/(N0+N1+N2);
P2=N2/(N0+N1+N2);
图像分块评估是为了选取需要进行毛发检测的图像区域,将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度;
卷积神经网络的预训练模型采用ImageNet预训练好的VGG16模块,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
2.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:
候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,随机选择和真实区域重叠度小于阈值b的anchor作为负样本,利用计算分类损失和回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置,其中交叉熵损失函数具体为:
Figure FDA0003470406620000022
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过数据计算出来的概率估计,回归损失函数具体写为:
Figure FDA0003470406620000031
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;
Figure FDA0003470406620000032
是一个平衡函数,其定义如下:
Figure FDA0003470406620000033
CN201910297306.0A 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法 Active CN110021019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297306.0A CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297306.0A CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Publications (2)

Publication Number Publication Date
CN110021019A CN110021019A (zh) 2019-07-16
CN110021019B true CN110021019B (zh) 2022-03-22

Family

ID=67191327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297306.0A Active CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Country Status (1)

Country Link
CN (1) CN110021019B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468273B2 (en) * 2018-09-20 2022-10-11 Cable Television Laboratories, Inc. Systems and methods for detecting and classifying anomalous features in one-dimensional data
CN112308827A (zh) * 2020-10-23 2021-02-02 复旦大学 基于深度卷积神经网络的毛囊检测方法
CN115984559B (zh) * 2022-12-27 2024-01-12 二十一世纪空间技术应用股份有限公司 智能样本精选方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389150B1 (en) * 1999-03-22 2002-05-14 Somnuk Amornsiripanitch Total quality of hair parameters measuring method
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10004530B2 (en) * 2014-07-31 2018-06-26 Restoration Robotics, Inc. Systems and methods for creating hair transplantation procedure sites
US10062198B2 (en) * 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN106611160B (zh) * 2016-12-15 2019-12-17 中山大学 一种基于卷积神经网络的图像头发识别方法及其装置
CN109011138A (zh) * 2018-05-07 2018-12-18 北京全贵医疗科技有限公司 基于头部图像的头部理疗方法及装置
CN109544627B (zh) * 2018-11-22 2023-07-25 深圳市吉斯迪科技有限公司 一种智能毛发分析装置与分析方法
CN109363640A (zh) * 2018-12-04 2019-02-22 北京贝叶科技有限公司 基于皮肤病理图像的识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法

Also Published As

Publication number Publication date
CN110021019A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
Bhalla et al. A fuzzy convolutional neural network for enhancing multi-focus image fusion
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
US20060204953A1 (en) Method and apparatus for automated analysis of biological specimen
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN111080579B (zh) 基于深度学习实现图像分割和分类的骨龄评估方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN110033448B (zh) 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法
CN110853009A (zh) 基于机器学习的视网膜病理图像分析系统
CN110310291A (zh) 一种稻瘟病分级系统及其方法
CN110533100A (zh) 一种基于机器学习进行cme检测和跟踪的方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
CN110826629A (zh) 一种基于细粒度分类的耳镜图像辅助诊断方法
Mahapatra Retinal image quality classification using neurobiological models of the human visual system
Fahmy et al. Toward an automated dental identification system
Xu et al. Automatic segmentation of cervical vertebrae in X-ray images
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
US20220319002A1 (en) Tumor cell isolines
CN113963427B (zh) 一种快速活体检测的方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant