CN110021019A - 一种aga临床图像的ai辅助毛发的粗细分布分析方法 - Google Patents

一种aga临床图像的ai辅助毛发的粗细分布分析方法 Download PDF

Info

Publication number
CN110021019A
CN110021019A CN201910297306.0A CN201910297306A CN110021019A CN 110021019 A CN110021019 A CN 110021019A CN 201910297306 A CN201910297306 A CN 201910297306A CN 110021019 A CN110021019 A CN 110021019A
Authority
CN
China
Prior art keywords
image
hair
classification
thickness
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910297306.0A
Other languages
English (en)
Other versions
CN110021019B (zh
Inventor
姜祎群
高萌
侯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Dermatology and Skin Disease Hospital of CAMS
Original Assignee
Institute of Dermatology and Skin Disease Hospital of CAMS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Dermatology and Skin Disease Hospital of CAMS filed Critical Institute of Dermatology and Skin Disease Hospital of CAMS
Priority to CN201910297306.0A priority Critical patent/CN110021019B/zh
Publication of CN110021019A publication Critical patent/CN110021019A/zh
Application granted granted Critical
Publication of CN110021019B publication Critical patent/CN110021019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,属于人工智能的图像识别领域。将人工智能与AGA临床图像的识别相结合,采用深度学习的方式,对AGA临床图像进行辅助毛发粗细分布估计,从而减轻人工工作负担,提高了诊断准确率。可以对任意一张光照良好,图片清晰的AGA临床图像进行解析。通过图像预处理,卷积神经网络提取图像特征,候选区域生成网络生成候选框,分类和回归器检测出毛发粗细类别及其位置,毛发粗细分布统计自动进行毛发粗细分布估计。分析的效率高,且自动化程度好,给予医生的判断提供了详细而且准确的数据支持,有利于推广。

Description

一种AGA临床图像的AI辅助毛发的粗细分布分析方法
技术领域
本发明涉及人工智能的图像识别领域,更具体地说,涉及一种AGA临床图像的AI辅助毛发的粗细分布分析方法。
背景技术
近年来,AI在医学图像识别领域迅速发展,并具有较高的准确性,可大幅度减轻医生的工作负担。在图像识别方面,AI算法从经处理的临床照片、皮肤镜图片、病理切片中提取特征,进行自动分类诊断,在眼科、皮肤科等领域中有较多研究。但对于AGA临床图像的辅助量化和分级,还缺乏相应的AI图像识别方法。
AGA的治疗方案选择及疗效评估与其分级密切相关。目前,AGA的分级方法主要为汉密尔顿分级。该分级方法主要依靠医师肉眼对患者的发际线形态、毛发密度进行粗略判断,具有很强的主观性,缺乏定量标准,容易造成结果的不统一。通过对AGA的临床图像进行毛发的粗细分布评估将大大提高分级的准确性,但该过程会产生大量的机械性工作,费时费力,加重了医生的工作负担,降低就医效率。
现有的也有对于皮肤病症的一些识别方法,但是其针对性不强,且没有给出对应整合计算的方法,中国专利申请,申请号201711030895,公开日2018年4月13日,公开了一种基于深度学习的皮肤癌黑色素瘤的图像识别方法,包括:皮肤病变皮肤镜图像数据库、数据预处理和质量评估筛选、级联深度卷积神经网络、引入迁移学习和分类器;在训练阶段,首先在原始数据上进行增强或筛除;再在输入正负样本后,进行样本扩充技术和防止过拟合,在预处理阶段,加入数据增强,随后进行两个深度卷积神经网络级联,再将在自然图像上预训练出的现成特征迁移学习到识别网络中,最后利用分类器进行分类的预测,根据网络收敛和预测情况再进行网络参数微调;此发明提高了皮肤病变分类的准确性,且避免了人工选取特征的局限性,适应能力更强,对于医疗皮肤疾病图像分析有一定意义。但是其主要针对于部分裸露病症的图像,未考虑被遮挡区域的图像因素,准确率不是很高,有局限性。
发明内容
1.要解决的技术问题
针对现有技术中存在的主要针对于部分裸露病症的图像,未考虑被遮挡区域的图像因素,准确率不是很高,有局限性的问题,本发明提供了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,它可以实现对有遮挡以及各种不清晰的皮肤病变图像进行识别和量化分级,准确率高。
2.技术方案
本发明的目的通过以下技术方案实现。
一种AGA临床图像的AI辅助毛发的粗细分布分析方法,步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,选取适合进一步分析的图像块;
102)通过训练好的卷积神经网络提取图像特征;
103)通过训练好的候选区域生成网络找出候选区域;
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归;
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的不同粗细类别的毛发,统计毛发粗细分布比例。
更进一步的,步骤101)中,预处理包括,尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估。
更进一步的,尺寸归一化可以通过固定毛发镜放大倍数或通过放大缩小图像来实现尺寸归一化,图像增强包括图像锐化、对比度增强,噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。
更进一步的,图像分块评估是为了选取需要进行毛发检测的图像区域,将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度。
更进一步的,卷积神经网络的预训练模型采用ImageNet预训练好的VGG16模块,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
更进一步的,在候选区域生成网络中,设定大小和尺寸固定的候选框锚点固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,选出需要数量的候选区域。
更进一步的,103)中候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置,得到的候选区域送入训练好的分类回归器。
更进一步的,候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,随机选择和真实区域重叠度小于阈值b的anchor作为负样本,利用计算分类损失和回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置,其中交叉熵损失函数具体为:
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过数据计算出来的概率估计,回归损失函数具体写为:
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;是一个平衡函数,其定义如下:
更进一步的,步骤104)分类使用SoftMax进行预测,方法如下,
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号。
更进一步的,步骤104)的回归是在锚点(anchor)的基础上给出更为准确的目标位置;
目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G′,即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数可以写作
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数。
3.有益效果
相比于现有技术,本发明的优点在于:
(1)自动化定量估计毛发的粗细分布的方法,可以辅助医生进行AGA的分级诊断,大大减轻了医生的工作负担,提高了分级的准确性;
(2)充分结合深度学习的自我学习的优势,利用深层网络提取到增强型的高级特征,极大提升特征的区分性,进而提高分类的准确性,避免人工选取特征进行诊断的局限性,具有更好的适应性和实用性;
(3)将迁移学习应用到网络模型中,结合卷积神经网络在ImageNet上预训练出的现成特征,并利用AGA临床图像数据在这些抽象的特征上微调,训练出新的模型。由于AGA临床图像往往都是小数据,本发明实现从大数据向小数据迁移,将自然图像上训练好的模型迁移至AGA临床图像的小数据上,这对于AGA临床图像诊断而言,精度更好,准确性好。
附图说明
图1为本发明进行AGA临床图像辅助毛发粗细分布估计的基本流程图;
图2为本发明进行AGA临床图像辅助毛发粗细分布估计模型的网络结构图。
具体实施方式
下面结合说明书附图和具体的实施例,对本发明作详细描述。
本方案的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,主要包括AGA临床图像数据库、数据预处理模块、卷积神经网络、候选区域生成网络、迁移学习模块和分类器。对于毛发粗细分布估计,本发明方法基于AGA临床图像,依次采用数据预处理,卷积神经网络提取特征,候选区域生成网络找出一定数量的候选区域,分类和回归判断毛发粗细类别及其位置,统计毛发粗细分布比例。对于毛发粗细分布估计,具体步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,处理过程包括尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估,选取适合进一步分析的图像块。
其中尺寸归一化可以通过固定毛发镜放大倍数实现,为了配合不同放大倍数的毛发镜,也可通过放大缩小图像来实现尺寸归一化。图像增强包括一般意义上的图像锐化、对比度增强等操作。噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。
图像分块评估是为了选取适合进行毛发检测的图像区域,这是由于毛发镜视野内的有些区域毛发根部较为清晰,而有些区域由于发梢遮挡等原因,导致毛发根部不明显,这些区域不适合进行发根检测及分布评估。实现这一目的的一种方法为将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度。
102)通过训练好的卷积神经网络提取图像特征。预训练模型采用在ImageNet上预训练好的VGG16,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
103)通过训练好的候选区域生成网络找出一定数量的候选区域。在候选区域生成网络中,设定大小和尺寸固定的候选框锚点(anchor),尺寸标准根据毛发镜的放大倍数而定,例如放大30倍的毛发镜,对应于一个40x40像素的区域。固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,从而选出一定数量的候选区域。候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加了一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置。得到的候选区域送入训练好的分类回归器。候选区域生成网络是一个全卷积网络,全卷积网络是不包含全连接层的,可以根据输入图像大小而改变输出大小的卷积神经网络。
步骤103)中候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,此处选择a为0.9。随机选择和真实区域重叠度小于阈值b的anchor作为负样本,此处选择b为0.3。对于每个anchor,类别标签为1或0,分别代表前景和背景。位置标签由4个位置参数组成。利用交叉熵损失计算分类损失,利用smooth_l1_loss计算回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置。其中交叉熵损失函数具体为:
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过采集的数据计算出来的概率估计。回归损失函数具体写为:
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;是一个平衡函数,其定义如下:
步骤104)分类使用SoftMax进行预测,方法如下,
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号。
候选区域生成网。候选区域生成网络生成感兴趣区域的过程为:对于每张图片,利用它的特征图,计算(H/16)×(W/16)×1大约20000个anchor属于络在训练的同时,会提供感兴趣区域给步骤104)的分类和回归器作为训练样本前景的概率,以及对应的位置参数。选取概率较大的前60%个anchor,利用回归的位置参数,修正这选取的anchor的位置得到初步的感兴趣区域,最后利用非极大值抑制,选出概率最大的前15%感兴趣区域作为输出,即步骤104)分类和回归器的输入。
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归。
其中分类使用SoftMax进行预测,其数学原理如下
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,其在卷积神经网络的学习过程中确定。卷积神经网络的学习可以通过随机梯度下降法实现。
回归的目的是在锚点(anchor)的基础上给出更为准确的目标位置。对于一个目标位置一般使用四维向量(x,y,w,h)表示,分别表示目标的中心点坐标和宽高。目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G′,即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数可以写作
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数。
本步骤的输入为步骤102)得到的特征图以及步骤103)得到的候选区域。首先经过一个ROI Pooling层,将所有的区域池化到同一个尺度上,并将它重置成一个一维的向量,接着连接两个全连接层,利用在ImageNet上预训练得到的VGG16网络对这两个全连接层进行权重初始化。最后再连接两个全连接层,分别是FC4用来分类,预测候选区域属于哪个类别(如可以选择,直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm,背景);FC16用来位置回归。
所述的步骤104)中分类和回归器采用如下方式进行训练:将步骤102)所述卷积神经网络输出的特征图和步骤103)所述候选区域生成网络输出的少量感兴趣区域作为分类和回归器的训练样本。对于分类问题,直接利用交叉熵损失;对于位置的回归损失,同样采用smooth_ll_loss损失,只对正样本计算损失。
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的三类不同粗细类别的毛发,输出为0的代表直径<0.03mm的毛发,输出为1代表直径为0.03mm~0.06mm的毛发,输出为2代表直径>0.06mm的毛发,分别统计三类不同粗细类别的毛发的个数,用N0,N1和N2表示。所述统计三类不同粗细类别的毛发方法为:所述步骤104)每输出一个类别信息,对应类别的个数加1,即若步骤104)输出类别0,直径<0.03mm的毛发总数N0加1,表达式为N0=N0+1;若步骤104)输出类别1,直径为0.03mm~0.06mm的毛发总数N1加1,表达式为N1=N1+1;若步骤104)输出类别2,直径>0.06mm的毛发总数N2加1,表达式为N2=N2+1。最后当步骤104)输出所有检测到的毛发完成后,统计毛发粗细分布比例,分别用P0,P1,P2表示直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm的毛发的分布比例:
P0=N0/(N0+N1+N2);
P1=N1/(N0+N1+N2);
P1=N1/(N0+N1+N2)。
所述的步骤101)中训练过程对输入的AGA临床图像采用如下方式进行标注:以毛囊预测位置为圆心,在360度范围内寻找存在毛发躯干的方向。然后以毛囊位置和躯干方向为基础,截取一个小的图像块,例如在放大30倍的图像上,截取以毛囊为中心,边长为40像素的矩形框,并标注毛发粗细程度:直径<0.03mm标注为0,直径为0.03mm~0.06mm标注为1,直径>0.06mm标注为2。
本发明克服人工诊断方法的不足,提出了一种AGA临床图像的AI辅助毛发的粗细分布分析方法,将人工智能与AGA临床图像的识别相结合,采用深度学习的方式,对AGA临床图像进行辅助毛发粗细分布估计以及雄秃汉密尔顿分级预测,从而减轻人工工作负担,提高了诊断准确率。可以对任意一张光照良好,图片清晰的AGA临床图像进行解析。通过图像预处理,卷积神经网络提取图像特征,候选区域生成网络生成候选框,分类和回归器检测出毛发粗细类别及其位置,毛发粗细分布统计自动进行毛发粗细分布估计。分析的效率高,且自动化程度好,给予医生的判断提供了详细而且准确的数据支持,有利于推广。
实施例1
一种AGA临床图像辅助毛发粗细分布估计的方法,包括输入图像,图像预处理,卷积神经网络提取特征,分类回归器预测发根位置和毛发粗细分类和毛发粗细分布估计,如图1、2所示。具体调用步骤如下:
101)图像预处理:测试过程直接输入要进行量化的AGA临床图像进行预处理,处理过程包括尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估,选取适合进一步分析的图像块。
训练阶段,首先采集AGA临床图像样本,采集方式如下:利用专用摄像头贴近头皮区域,分别拍摄冠部、顶部、颞部、枕部四个区域的图像。将采集到的AGA临床图像样本划分为训练集、验证集和测试集,训练集的样本至少10000张,四个区域所占比例平均。同时充分考虑患者头皮的差异性,在尽量多地采集真实数据的基础上,对已采集的图像进行数据增强处理,生成多样性的训练样本。具体来说,可以通过颜色通道的微调,模拟不同肤色和头发颜色;通过局部截取模拟不同的毛发密度样本;通过图像的旋转扭曲等变化,模拟不同条件下的头皮图像,以保证模型的鲁棒性。在所述的数据增强处理之后,再对所有输入图像进行预处理,处理过程同样包括尺寸归一化、图像增强和噪声抑制。
所述AGA临床图像样本的标注方式如下:以毛囊预测位置为圆心,在360度范围内寻找存在毛发躯干的方向。然后以毛囊位置和躯干方向为基础,截取一个小的图像块,并标注毛发粗细程度:直径<0.03mm标注为0,直径为0.03mm~0.06mm标注为1,直径>0.06mm标注为2。
102)通过训练好的卷积神经网络提取特征。所述卷积神经网络结构采用VGG16,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。所述卷积神经级联网络的每段内的卷积核数量,越靠后的段的卷积核数量越多,从前到后依次为64、128、256、512、512的卷积核数量。所述卷积神经网络中的卷积层内的上一层输出与本层的卷积核进行卷积计算得到特征映射图,然后对每个特征映射图的局部区域加权平均求和,并选择性增加偏置后,通过激活函数,得到输出的特征映射图,作为下一层的输入。此处选取ReLU作为激活函数,其数学表达式为:
其中x为该函数的输入,具体来说说是上一层输出与该层的卷积核进行卷积计算得到特征映射图。即上一层输出与该层的卷积核进行卷积计算得到特征映射图,然后对每个特征映射图的局部区域加权平均求和,可加偏置后,通过激活函数,得到输出的特征映射图。
所述步骤102)的卷积神经网络采用如下方式进行训练:使用在ImageNet预训练好的VGG16网络对应层的参数初始化所述的卷积神经网络各层参数,然后利用步骤101)所述处理好的训练数据对模型进行微调。
103)通过训练好的候选区域生成网络找出一定数量的候选区域。在候选区域生成网络中,设定大小和尺寸固定的候选框anchor。固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,从而选出一定数量的候选区域。候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先通过一个卷积核大小为3×3,数量为512的卷积层,然后利用两个1x1的卷积层分别进行二分类和位置回归,所属二分类用于判断正负样本,所属位置回归用于得到目标的位置。最后将得到的候选区域送入训练好的分类回归器。
所述的步骤103)中候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过0.9的anchor作为正样本。随机选择和真实区域重叠度小于0.3的anchor作为负样本。对于每个anchor,类别标签为1或0,分别代表前景和背景。位置标签由4个位置参数组成。利用交叉熵损失计算分类损失,利用smooth_l1_loss计算回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置。
候选区域生成网络在训练的同时,会提供少量感兴趣区域给下一步骤的分类和回归器作为训练样本。候选区域生成网络生成少量感兴趣区域的过程为:对于每张图片,利用它的特征图,计算(H/16)×(W/16)×1大约20000个anchor属于前景的概率,以及对应的位置参数。选取概率较大的12000个anchor,利用回归的位置参数,修正这12000个anchor的位置得到初步的感兴趣区域,最后利用非极大值抑制,选出概率最大的2000个感兴趣区域作为输出,即下一步骤分类和回归器的输入。
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归。本步骤的输入为步骤102)得到的特征图以及步骤103)得到的少量感兴趣区域。所述分类回归器首先经过一个ROI Pooling层,将所有的区域池化到同一个尺度上,并将它重置成一个一维的向量,接着连接两个全连接层。最后再连接两个全连接层,分别是FC4用来分类,预测候选区域属于哪个类别,并输出类别信息。若所述FC4输出为0,代表判断毛发类别为直径<0.03mm,若所述FC4输出为1,代表判断毛发类别为直径为0.03mm~0.06mm,若所述FC4输出为2,代表判断毛发类别为直径为0.03mm~0.06mm,若所述FC4输出为3,代表判断该区域为背景;FC16用来位置回归,输出四个位置参数。
所述的步骤104)中分类和回归器采用如下方式进行训练:将步骤102)所述卷积神经网络输出的特征图和步骤103)所述候选区域生成网络输出的少量感兴趣区域作为分类和回归器的训练样本。对于分类问题,直接利用交叉熵损失;对于位置的回归损失,同样采用smooth_l1_loss损失,只对正样本计算损失。
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的三类不同粗细类别的毛发,输出为0的代表直径<0.03mm的毛发,输出为1代表直径为0.03mm~0.06mm的毛发,输出为2代表直径>0.06mm的毛发,分别统计三类不同粗细类别的毛发的个数,用N0,N1和N2表示。
所述统计三类不同粗细类别的毛发方法为:所述步骤104)每输出一个类别信息,对应类别的个数加1,即若步骤104)输出类别0,直径<0.03mm的毛发总数N0加1,表达式为N0=N0+1;若步骤104)输出类别1,直径为0.03mm~0.06mm的毛发总数N1加1,表达式为N1=N1+1;若步骤104)输出类别2,直径>0.06mm的毛发总数N2加1,表达式为N2=N2+1。最后当步骤104)输出所有检测到的毛发完成后,统计毛发粗细分布比例,分别用P0,P1,P2表示直径<0.03mm,直径为0.03mm~0.06mm,直径>0.06mm的毛发的分布比例:
P0=N0/(N0+N1+N2);
P1=N1/(N0+N1+N2);
P1=N1/(N0+N1+N2)。
以上示意性地对本发明创造及其实施方式进行了描述,该描述没有限制性,在不背离本发明的精神或者基本特征的情况下,能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一,实际的结构并不局限于此,权利要求中的任何附图标记不应限制所涉及的权利要求。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本专利的保护范围。此外,“包括”一词不排除其他元件或步骤,在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (10)

1.一种AGA临床图像的AI辅助毛发的粗细分布分析方法,步骤如下:
101)数据预处理:对输入的AGA临床图像进行预处理,选取适合进一步分析的图像块;
102)通过训练好的卷积神经网络提取图像特征;
103)通过训练好的候选区域生成网络找出候选区域;
104)对于步骤103)得到的候选区域,在这些区域上通过训练好的分类回归器进行分类和位置参数回归;
105)统计毛发粗细分布比例:由步骤104)得到输入图像中所包含的不同粗细类别的毛发,统计毛发粗细分布比例。
2.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:步骤101)中,预处理包括,尺寸归一化、必要的图像增强、噪声抑制,以及对图像进行分块质量评估。
3.根据权利要求2所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:尺寸归一化可以通过固定毛发镜放大倍数或通过放大缩小图像来实现尺寸归一化,图像增强包括图像锐化、对比度增强,噪声抑制包括模糊处理、通过中值滤波或均值滤波去除图像上的噪点。
4.根据权利要求2或3所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:图像分块评估是为了选取需要进行毛发检测的图像区域,将图像划分为九宫格,训练一个二分类器,这个二分类器的输入即为九宫格中的一块,输出即为该图像区域是否适合进行毛发检测的置信度。
5.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:卷积神经网络的预训练模型采用ImageNet预训练好的VGG16模块,所述VGG16拥有5段卷积,每一段内有2~3个卷积层,且每段最后连接一个最大池化层。
6.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:在候选区域生成网络中,设定大小和尺寸固定的候选框锚点固定大小和尺寸的候选框在步骤102)得到的特征图上进行上下左右移动,选出需要数量的候选区域。
7.根据权利要求6所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:103)中候选区域生成网络输入为步骤102)卷积神经网络提取得到的图像特征,先增加一个卷积,然后利用两个1x1的卷积,分别进行二分类和位置回归,所述二分类用于判断正负样本类别,所属位置回归用于找到目标位置,得到的候选区域送入训练好的分类回归器。
8.根据权利要求6所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:
候选区域生成网络采用如下方式进行训练:对于每一个真实区域,选择和它重叠度最高的一个候选区域anchor作为正样本,对于剩下的anchor,从中选择和任意一个真实区域重叠度超过阈值a的anchor作为正样本,随机选择和真实区域重叠度小于阈值b的anchor作为负样本,利用计算分类损失和回归损失,在计算回归损失时,只计算正样本的损失,不计算负样本的损失,以此来修正类别和候选区域的位置,其中交叉熵损失函数具体为:
其中x代表一个数据样本,p(x)是真实样本分布的概率,q(x)是模型通过数据计算出来的概率估计,回归损失函数具体写为:
其中t代表真实值,及目标坐标的真实值;t*代表模型预测值,及模型预测的目标坐标值;是一个平衡函数,其定义如下:
9.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:步骤104)分类使用SoftMax进行预测,方法如下,
其意义为对于一个K类分类问题,给定一个样本x,其类别y为j的概率,j是K类中的某一类,w为可学习参数,其中wj是类别j所对应的可学习参数,wk是类别k所对应的可学习参数,T是转置符号。
10.根据权利要求1所述的一种AGA临床图像的AI辅助毛发的粗细分布分析方法,其特征在于:步骤104)的回归是在锚点(anchor)的基础上给出更为准确的目标位置;
目标是寻找一种关系,使得输入原始的锚点A=(Ax,Ay,Aw,Ah)经过映射得到一个与真实目标G更接近的回归位置G',即:
G′x=Aw·dx(A)+Ax
G′y=Ah·dy(A)+Ay
G′w=Aw·exp(dw(A))
G′h=Ah·exp(dh(A))
需要学习的是dx(A),dy(A),dw(A),dh(A)四个变换,该变换的目标函数可以写作
其中φ(A)是由卷积神经网络提出的图像特征,W是需要学习的参数。
CN201910297306.0A 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法 Active CN110021019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297306.0A CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297306.0A CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Publications (2)

Publication Number Publication Date
CN110021019A true CN110021019A (zh) 2019-07-16
CN110021019B CN110021019B (zh) 2022-03-22

Family

ID=67191327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297306.0A Active CN110021019B (zh) 2019-04-15 2019-04-15 一种aga临床图像的ai辅助毛发的粗细分布分析方法

Country Status (1)

Country Link
CN (1) CN110021019B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308827A (zh) * 2020-10-23 2021-02-02 复旦大学 基于深度卷积神经网络的毛囊检测方法
CN112686831A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的检测方法
US11468273B2 (en) * 2018-09-20 2022-10-11 Cable Television Laboratories, Inc. Systems and methods for detecting and classifying anomalous features in one-dimensional data
CN115984559A (zh) * 2022-12-27 2023-04-18 二十一世纪空间技术应用股份有限公司 智能样本精选方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389150B1 (en) * 1999-03-22 2002-05-14 Somnuk Amornsiripanitch Total quality of hair parameters measuring method
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
CN106611160A (zh) * 2016-12-15 2017-05-03 中山大学 一种基于卷积神经网络的图像头发识别方法及其装置
CN106659564A (zh) * 2014-07-31 2017-05-10 修复型机器人公司 用于产生毛发移植程序部位的系统和方法
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN109011138A (zh) * 2018-05-07 2018-12-18 北京全贵医疗科技有限公司 基于头部图像的头部理疗方法及装置
CN109363640A (zh) * 2018-12-04 2019-02-22 北京贝叶科技有限公司 基于皮肤病理图像的识别方法及系统
CN109544627A (zh) * 2018-11-22 2019-03-29 深圳市吉斯迪科技有限公司 一种智能毛发分析装置与分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389150B1 (en) * 1999-03-22 2002-05-14 Somnuk Amornsiripanitch Total quality of hair parameters measuring method
CN103996182A (zh) * 2013-02-15 2014-08-20 欧姆龙株式会社 图像处理装置、图像处理方法
CN106659564A (zh) * 2014-07-31 2017-05-10 修复型机器人公司 用于产生毛发移植程序部位的系统和方法
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN106611160A (zh) * 2016-12-15 2017-05-03 中山大学 一种基于卷积神经网络的图像头发识别方法及其装置
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN109011138A (zh) * 2018-05-07 2018-12-18 北京全贵医疗科技有限公司 基于头部图像的头部理疗方法及装置
CN109544627A (zh) * 2018-11-22 2019-03-29 深圳市吉斯迪科技有限公司 一种智能毛发分析装置与分析方法
CN109363640A (zh) * 2018-12-04 2019-02-22 北京贝叶科技有限公司 基于皮肤病理图像的识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜祎群等: "男性雄激素性秃发临床及皮肤镜特征分析", 《临床皮肤科杂志》 *
浩瀚之水_CSDN: "CNN目标检测(一):Faster RCNN详解", 《HTTPS://BLOG.CSDN.NET/A8039974/ARTICLE/DETAILS/77592389》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468273B2 (en) * 2018-09-20 2022-10-11 Cable Television Laboratories, Inc. Systems and methods for detecting and classifying anomalous features in one-dimensional data
CN112686831A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的检测方法
CN112308827A (zh) * 2020-10-23 2021-02-02 复旦大学 基于深度卷积神经网络的毛囊检测方法
CN115984559A (zh) * 2022-12-27 2023-04-18 二十一世纪空间技术应用股份有限公司 智能样本精选方法及相关装置
CN115984559B (zh) * 2022-12-27 2024-01-12 二十一世纪空间技术应用股份有限公司 智能样本精选方法及相关装置

Also Published As

Publication number Publication date
CN110021019B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
Dharmawan et al. A new hybrid algorithm for retinal vessels segmentation on fundus images
Dahab et al. Automated brain tumor detection and identification using image processing and probabilistic neural network techniques
CN110021019A (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN110148121A (zh) 一种皮肤图像处理方法、装置、电子设备及介质
Song et al. Segmentation, splitting, and classification of overlapping bacteria in microscope images for automatic bacterial vaginosis diagnosis
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
Fablet et al. Automated fish age estimation from otolith images using statistical learning
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
Shih An unsupervised hair segmentation and counting system in microscopy images
Hermawati et al. Combination of aggregated channel features (ACF) detector and faster R-CNN to improve object detection performance in fetal ultrasound images
CN109886346A (zh) 一种心肌mri图像分类系统
Beevi et al. Detection of mitotic nuclei in breast histopathology images using localized ACM and Random Kitchen Sink based classifier
Li et al. Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology
CN110033448A (zh) 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法
Dhanashree et al. Fingernail analysis for early detection and diagnosis of diseases using machine learning techniques
Anandgaonkar et al. Brain tumor detection and identification from T1 post contrast MR images using cluster based segmentation
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
Xu et al. Application of artificial intelligence technology in medical imaging
Pushpa et al. Deep learning model for plant species classification using leaf vein features
Budhi et al. Acne segmentation and classification using region growing and self-organizing map
Fayyadh et al. Brain tumor detection and classifiaction using CNN algorithm and deep learning techniques
CN110428405A (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质
Jayalakshmi et al. A study of Iris segmentation methods using fuzzy C-means and K-means clustering algorithm
CN115239695A (zh) 一种基于时序图像的肺结节识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant