CN107133439A - 一种皮肤病理图像镜下所见描述文本的生成方法 - Google Patents

Abstract

本发明涉及一种皮肤病理图像镜下所见描述文本的生成方法，方法包括以下步骤：(1)建立病理特性描述；(2)设计病理特性识别模型；(3)模型训练；(4)生成镜下所见文本。本发明从对以往皮肤科病理图像的诊断数据中提取镜下所见描述文本与图像数据之间的关系，生成皮肤病理图像镜下所见描述文本，无需占用病理实验室人员大量时间和精力、判断不受主观因素影响、减轻病理实验室人员工作量、达到病理图像分析的要求。

Description

一种皮肤病理图像镜下所见描述文本的生成方法

技术领域

本发明涉及数据挖掘以及人工智能领域，尤其涉及到一种皮肤病理图像镜下所见描述文本的生成方法。

背景技术

病理图像是人体组织的切片在显微镜下的成像，在皮肤科中由于取材的代价比较低，且很多属于该科的疾病及其严重程度均需要通过患病部位的病理图像进行判断，因而对病理图像诊断的数量需求巨大，这给病理实验室的专业工作人员带来了巨大的压力。皮肤科病理图像变化多样，同一张图像中能够反映的病理特性众多，对于病理实验室人员的专业知识、读片经验和读片时需要花费的时间和精力都是巨大的考验。一般来说，对于每一幅的皮肤病理图像，病理实验室人员需要给出一段用于描述送检组织病理图像所反映的病理特性的文字，目前是专业人员在分析每一幅病理图像之后给出的，之后再根据病理图像所反映的病理特性，给出初步的疾病诊断，或者是患有某种皮肤疾病的可能性。这给病理实验室人员带来巨大的工作量，大量一般性病例的镜下所见描述占用了病理实验室人员的大量时间和精力，且其判断受到主观因素的影响。

目前研究人员采用机器学习和数据挖掘的方法进行图像描述文本的自动生成。文献“Andrej Karpathy,Li Fei-Fei.Deep Visual-Semantic Alignments for GeneratingImage Descriptions.CVPR 2015.”提出了一个可以用于自动生成对图像和其中的局部区域的文本描述的模型，他们的方法是使用卷积神经网络对图像和局部区域进行建模，使用双向的递归神经网络对描述文本进行建模，并使用了一种面向结构化目标的策略对上述两个模型进行对齐，以产生最终的描述性文本。该方法的问题在于它本质上是基于图像分类和局部区域识别的，对图像和局部区域的文本描述的生成是通过其进行分类而得到的，难以生成复杂的文本描述，且无法表达专业领域中用于描述程度的修饰词，因而有较大的局限性。

除上述方法外，现有的其他方法的不足之处在于其多是围绕着自然场景图像的文本描述的自动生成而开展的研究，且绝大多数的方法都是以是或否具有某种类型图像的特征而进行文本描述的生成，而在病理图像分析领域中，对图像所反映出的特征的描述要求更高，故现有方法均不能满足要求。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无需占用病理实验室人员大量时间和精力、判断不受主观因素影响、减轻病理实验室人员工作量、达到病理图像分析的要求的皮肤病理图像镜下所见描述文本的生成方法。

为实现上述目的，本发明所提供的技术方案为：一种皮肤病理图像镜下所见描述文本的生成方法，该方法包括以下步骤：

(1)建立病理特性描述；

病理特性分为“是否型”病理特性和“等级型”病理特性，建立病理特性类型和描述性质以及病理特性在镜下所见文本描述中的逻辑关系；

(2)设计病理特性识别模型；

根据病理特性的类别处理训练数据集，设计深度神经网络作为识别模型；

(3)模型训练；

采用深度神经网络标准的误差反向传播学习算法调整模型的权值；

(4)生成镜下所见文本。

进一步地，步骤(2)中所述的深度神经网络为卷积神经网络，该卷积神经网络包括输入层、卷积层、激活层、全连接层以及输出层；其中，输入层接受病理图像输入，多个卷积层/激活层组合紧跟输入层，在最后一个卷积层/激活层组合的输出上连接多个全连接层和激活层，每个全连接层的维数为最后一个卷积层/激活层组合输出维数的3倍，每个全连接层之后紧跟一个激活层，输出层与最后一个全连接层连接，使用Sigmoid函数，每个输出单元得到一个在区间[0,1]之间的实值输出值，输出单元与病理特性一一对应。

进一步地，所述步骤(4)生成镜下所见文本包括以下步骤：

1)把待生成镜下所见描述的皮肤病理图像输入到已完成训练的深度神经网络模型中；

2)输入模型后得到一个多维的实值向量，根据每一维所对应的病理特性的性质进行离散化；

3)将每一个离散化后得到的病理特性的文本描述连接成完整的镜下所见文本描述。

进一步地，所述离散化，对于“是否型”病理特性时，根据对应的维的输出值判断该皮肤病理图像是否具有该病理特性；对于“等级型”病理特性时，根据对应的维的输出值判断该皮肤病理图像病理特性预测的等级。

进一步地，激活层的激活函数为Relu：y＝max(x，0)，其中x为上一层的输出，y为本激活层的输出。

进一步地，Sigmoid函数为其中x为上一层的输出，y为Sigmoid的输出。

进一步地，所述步骤(3)中模型的权值采用[0,1]之间的随机数进行初始化并进行多轮训练，所有训练样本输入到模型中并且完成权值调整为一轮，直到模型的输出误差不再下降为止。

进一步地，所述步骤(2)中处理训练数据集时，对于“是否型”病理特性，每一幅用于训练模型的已诊断的皮肤病理图像设置一个多维的实值向量，其中每一维的数值范围在[0,1]之间，它的每一维是这样生成的：若该图像具有该维对应的病理特性，则该维的值在区间(0.5,1]之间随机取值；若该图像不具有该维对应的病理特性，则该维的值在区间[0,0.5)之间随机取值；对于“连续型”病理特性，每一幅用于训练模型的已诊断的皮肤病理图像，设置一个多维的实值向量，其中每一维的数值范围在[0,1]之间，它的每一维是这样生成的：若该维对应的病理特性有多个等级，则这多个等级对应的数值在[0,1]区间之中均匀分布，其中第1个等级为不具有该病理特性，对应的数值为0，最严重的等级对应的数值为1。

本方案原理如下：

借助机器学习手段，从对以往皮肤科病理图像的诊断数据中提取镜下所见描述文本与图像数据之间的关系，生成皮肤病理图像镜下所见描述文本。

与现有技术相比，本方案具有以下优点及有益效果：

无需占用病理实验室人员大量时间和精力、判断不受主观因素影响、减轻病理实验室人员工作量、达到病理图像分析的要求。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1所示，本实施例所述的一种皮肤病理图像镜下所见描述文本的生成方法，具体实施步骤如下：

(1)建立病理特性描述；

病理特性分为“是否型”病理特性和“等级型”病理特性，首先建立病理特性类型和描述性质，如表1所示(“描述性质”字段里面，Y表示“出现该病理特性时要描述”，N表示“不出现该病理特性时要描述”，YN表示“两种情况下都要描述”)；

表1.病理特性类型和描述性质表(部分病理特性)

下步建立病理特性逻辑关系，如表2所示(表2中的序号是对所有病理特性进行的编号，必须出现字段表示该字段是否无条件的出现在镜下所见的文本描述中，“同时出现的序号”字段表示若该行序号所示的字段出现在描述中，则本字段中的序号所示的字段也要出现在描述中)；

表2.病理特性在镜下所见文本描述中的逻辑关系表

序号	病理特性名称	类型	必须出现	同时出现的序号
					1	角化过度	是否型	是	2,5
2	Murno微囊肿	是否型	否	1
					3	淋巴细胞浸润	等级型	否	1
4	痣细胞巢	是否型	否	无
					5	淀粉样变	是否型	否	3

(2)设计病理特性识别模型；

采用卷积神经网络为识别模型，每一幅皮肤病理图像的大小为400*400像素，颜色通道为RGB，模型的输入为一个400*400*3的矩阵，输出为一个65维实值向量，代表65个皮肤病理特性；卷积神经网络各层的结构如表3所示；

表3.卷积神经网络设计表

(3)模型训练；

在MatConvNet中通过配置文件实现表3中的模型结构，把数据集做成Matlab数据文件.mat格式，然后使用MatConvNet提供的训练脚本cnn_train.m进行训练。训练进行50轮，每10轮的学习率分别为0.05,0.01,0.005,0.001和0.0005。训练的损失函数采用zero-one loss。每个模型经过50轮训练后，系统会生成50个.mat文件，分别保存了各轮训练结束时模型的参数。

(4)生成镜下所见文本；

先把待生成镜下所见描述的皮肤病理图像输入到第50轮训练结束时的深度神经网络模型，得到一个65维的实值向量，其中每一维的取值范围在[0,1]之间，每一维代表一个病理特性。

离散化每一维，对于“是否型”病理特性，若对应的维的输出值大于0.5，则把该输出值置为1，表示该皮肤病理图像具有该病理特性；若对应的维的输出值小于等于0.5，则把该输出值置为0，表示该皮肤病理图像不具有该病理特性；对于“等级型”的病理特性，按照该病理特性的特级数量，把区间[0,1]分成相应数量的区间，模型在该维的输出落在哪个区间中，就认为模型把该病理图像的该病理特性预测为该等级。

将每一个离散化后得到的病理特性的文本描述连接成完整的镜下所见文本描述。

本实施例从对以往皮肤科病理图像的诊断数据中提取镜下所见描述文本与图像数据之间的关系，生成皮肤病理图像镜下所见描述文本，无需占用病理实验室人员大量时间和精力、判断不受主观因素影响、减轻病理实验室人员工作量、达到病理图像分析的要求。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：包括以下步骤：

(1)建立病理特性描述；

病理特性分为“是否型”病理特性和“等级型”病理特性，建立病理特性类型和描述性质以及病理特性在镜下所见文本描述中的逻辑关系；

(2)设计病理特性识别模型；

根据病理特性的类别处理训练数据集，设计深度神经网络作为识别模型；

(3)模型训练；

采用深度神经网络标准的误差反向传播学习算法调整模型的权值；

(4)生成镜下所见文本。

2.根据权利要求1所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：步骤(2)中所述的深度神经网络为卷积神经网络，该卷积神经网络包括输入层、卷积层、激活层、全连接层以及输出层；其中，输入层接受病理图像输入，多个卷积层/激活层组合紧跟输入层，在最后一个卷积层/激活层组合的输出上连接多个全连接层和激活层，每个全连接层的维数为最后一个卷积层/激活层组合输出维数的3倍，每个全连接层之后紧跟一个激活层，输出层与最后一个全连接层连接，使用Sigmoid函数，每个输出单元得到一个在区间[0,1]之间的实值输出值，输出单元与病理特性一一对应。

3.根据权利要求1所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：所述步骤(4)生成镜下所见文本包括以下步骤：

1)把待生成镜下所见描述的皮肤病理图像输入到已完成训练的深度神经网络模型中；

2)输入模型后得到一个多维的实值向量，根据每一维所对应的病理特性的性质进行离散化；

3)将每一个离散化后得到的病理特性的文本描述连接成完整的镜下所见文本描述。

4.根据权利要求3所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：所述离散化，对于“是否型”病理特性时，根据对应的维的输出值判断该皮肤病理图像是否具有该病理特性；对于“等级型”病理特性时，根据对应的维的输出值判断该皮肤病理图像病理特性预测的等级。

5.根据权利要求2所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：激活层的激活函数为Relu：y=max(x，0)，其中x为上一层的输出，y为本激活层的输出。

6.根据权利要求2所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：Sigmoid函数为其中x为上一层的输出，y为Sigmoid的输出。

7.根据权利要求1所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：所述步骤(3)中模型的权值采用[0,1]之间的随机数进行初始化并进行多轮训练，所有训练样本输入到模型中并且完成权值调整为一轮，直到模型的输出误差不再下降为止。

8.根据权利要求1所述的一种皮肤病理图像镜下所见描述文本的生成方法，其特征在于：所述步骤(2)中处理训练数据集时，对于“是否型”病理特性，每一幅用于训练模型的已诊断的皮肤病理图像设置一个多维的实值向量，其中每一维的数值范围在[0,1]之间，每一维如下生成：若该图像具有该维对应的病理特性，则该维的值在区间(0.5,1]之间随机取值；若该图像不具有该维对应的病理特性，则该维的值在区间[0,0.5)之间随机取值；对于“连续型”病理特性，每一幅用于训练模型的已诊断的皮肤病理图像，设置一个多维的实值向量，其中每一维的数值范围在[0,1]之间，每一维如下生成：若该维对应的病理特性有多个等级，则这多个等级对应的数值在[0,1]区间之中均匀分布，其中第1个等级为不具有该病理特性，对应的数值为0，最严重的等级对应的数值为1。